AI炼金术徐文浩 × 任鑫 Mars · 聊 AI 如何真实地改变生意和组织
图:Strata GitHub 仓库 README 原理示意图
  1. 词条
  2. 产品

Strata

产品

简介

2026 年 9 月在 GitHub 开源的本地推理引擎,用到 llama.cpp / ggml 的部分代码,专门用来跑 125B 参数的 Qwen3.8-Flash-Next:最常用的几千个专家放在显存,全部专家放在内存,SSD 上放一张查找表。项目说明称 12GB 以上显存的 NVIDIA 或 AMD 显卡、32GB 以上内存就能运行。10-14 期徐文浩介绍了这套分层做法,并说自己还没有验证。

选择一期节目开始收听00:00 / 00:00