DeepSeek 开源周 | 全景解读与我们的思考，开源加速 AI 创新
- 发布
- 2025 年 3 月 7 日
- 时长
- 1 小时 20 分
- 主播
- 任鑫、徐文浩
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
本期两位主持人用通俗比喻逐日拆解 DeepSeek 开源周（2 月 24 日至 3 月 1 日）发布的六个技术项目：FlashMLA、DeepEP、DeepGEMM、DualPipe、EPLB、3FS，以及最后一天的技术报告。他们解释了 MLA、MoE 专家并行、FP8 精度、流水线并行等概念，并讨论开源策略的动机与影响——秀肌肉、做生态、降低推理成本。后半段延伸讨论阿里云与钉钉因掌握场景而受益、基模公司价值下降、应用创业者应提前占位等待模型成熟。
- FlashMLA 是为 DeepSeek 自研的 MLA（Multi-head Latent Attention）架构做的推理优化库，核心思路是用计算换带宽，减少显存读写次数。
- DeepEP 是 MoE 专家并行通信库，解决专家分处不同卡和机器时的路由与中间结果传输问题，降低推理延迟。
- DeepGEMM 用约三百行代码重写了 FP8 矩阵乘法库，不依赖 CUDA-LAS 等三方库，官方称比英伟达官方库更快。
- DualPipe 让正向计算与反向传播的通信和计算重叠，减少流水线气泡；EPLB 则通过复制热门专家来均衡负载。
- 3FS 是幻方时期就有的分布式文件系统，用廉价 SSD 加高速网卡达到接近昂贵方案的性能，是降成本思路的体现。
- 两位主持人认为 DeepSeek 开源本质是秀肌肉加做生态，让更多人低成本部署其模型，短期压力最大的是国内头对头的模型公司。
- 阿里云和钉钉因为掌握企业与办公场景入口，被认为是这一轮开源红利的第一波受益者，类似当年微软因 OpenAI 受益。
- 对应用创业者而言，提前判断模型能力会在哪里提升并抢占对应的应用场景，等模型成熟后吃红利，是更广泛适用的策略。
本期制作
- 片头
- Shortwire - Reconfig
- 片尾
- Forester - The Flood
目录
点击跳到对应位置
- 开场：开源出来又怎么了00:00
- Day 1 FlashMLA：MLA 与用计算换带宽02:18
- 延伸：NSA 与长上下文的模型结构解法12:06
- Day 2 DeepEP：MoE 专家并行与通信瓶颈17:08
- 插播讨论：DeepSeek 为什么要开源22:58
- 中场：阿里、钉钉与掌握场景的赢家29:02
- 延伸：宇树机器人与钉钉的具身智能场景34:15
- Day 3 DeepGEMM：FP8 精度与矩阵乘法39:13
- Day 4 DualPipe 与 EPLB：流水线并行与专家负载均衡47:10
- Day 5 3FS：用便宜 SSD 做分布式文件系统55:58
- Day 6 技术报告：成本、利润与 IOI 金牌团队1:01:02
- 开源生态与行业格局：基模价值下降，应用机会变大1:05:54
- 结尾：六天发布内容整体回顾1:15:05
文稿
共 1057 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:08我有一个感受，就是放出来又怎么了？放出来你也跟不上我秀了一把肌肉吧。
00:18以前说那个AI没有护城河，最后发现护城河是规模。然后你有了规模，你就有了场景。然后你再公开出来的话，肯定它就有一个良性循环嘛。
01:04欢迎大家来到AI炼金术。那么今天呢是把那个徐文浩又拽上来，其实是因为DeepSeek，然后有一个开源周，然后开源周发布了很多奇奇怪怪的东西，然后我看不懂啊，所以得找专家问一下，说每一个到底是什么意思？
01:21我也看不懂。坤
01:22哥，好了。然后听众们默默地开始关掉了这一期播客，说两个看不懂的人，然后来聊这个，对吧？
02:22FlashMLA就是，是是这样的嘛，就是DeepSeek的模型结构其实跟我们大部分人用的模型结构其实是不太一样的。这个是他们最早的论文里就讲了，他们用的一个叫MLA嘛。就是我们现在用的都是Transformer模型，这个大家都理解，大家都知道，对吧？
02:40然后里面有个东西叫做attention，对不对？大家也都能知道，对吧？Attention你可以直观理解说，我接下来预测下一个token，我去整体的看前面的整个窗口的所有token，对吧？然后有个注意力机制，你可以认为，你简单点就是每一次你都去看加权平均，你觉得哪些前面的哪些token跟我们后面有关系，
03:01对吧？这个就叫attention的机制。实际上呢，在模型里attention是有很多层，也有很多头的。就你可以认为不同的头代表不同的方向。那算attention其实是一个成本很高的事情，你可以认为是其实是整个模型当中最消耗算力的部分。
03:19那之前其实就为了优化这一部分，呃。呃，有有在模型结构上有什么什么叫GQA啊，就是把一些头组成一个组，对吧？就是可以少做一些计算，然后计算优化上也有个东西叫做这个FlashAttention。就是这个FlashAttention你可以认为是说它巧妙地利用了一些数学的代换方式，啊，使得我每次计算的时候，
03:44我计算出来的结果是不变的。但是呢，因为我这个计算顺序的差异，使得我读取内存的次数减少了，呃呃。读取显存的次数减少了，因为GPU芯片上也是说一级缓存跟二级缓存里的数据算起来比较快，如果要读到主显存的话，它会比较慢。就大概是这么一个这么这么一个原理。
04:03我我先
04:04确认一下我有没有理解，就是第一个我们讲Transformer它有attention，其实就是说我接下来说的话跟那个我们前面聊的哪些事儿相关啊，对对吧？就比如说你你你前面也说了很多话。
04:17你可以直观这样理解。
05:01那它就占内存嘛，它如果不费劲的话。
05:38实际鬼知道他在看什么，是吧？啊，对对。
06:19所以优化的方向就不是说让你算得更快，而是说我提前做好规划，让你就是搬东西搬得更少。
06:26应该这样理解，就是说我宁愿多算一点，也少搬一点。如果我可以多算一点代替少搬一点，我就多算一点代替少搬一点。
06:35OK。那这是那个Flash的那个那个，
06:38呃，FlashAttention，你可以认为这样理解。这FlashMLA呢本质上也是类似的。就是说因为第一个是说MLA是是那个DeepSeek它自己提出的，它其实没有用标准的大家今天看到的Llama，或者说看到这些主流开源模型用的这些attention机制，它用了一个叫做，它的全称叫做Multi-head Latent Attention。
07:00Multi-head这个大家都是一样，大家所有的现在的机制都是多头注意力机制。第二个，所有的人的机制都是attention机制，这个都没有问题，对吧？那之前大家用的一些叫什么，就是什么grouped attention，对吧？
07:15就是说多个头，但是算比方说权重是共享的。那它的做法呢是说我能不能把它叫latent attention，latent呢就是这个我觉得是在很多机器学习的论文里都会有的一个思路嘛，叫做隐空间，就是我能不能把一个你的真实空间放到一个隐空间里去。
07:31我们可以把它理解成一个，比如说有一个数据，一个矩阵太大了，我把它压缩成一个维度，往下降，压缩一下，让它好放一点。
07:40对。Latent你可以认为就是基本上就是这个思路，你得理解就是说我们学到的这些权重，对吧？它的那个实际的空间是非常非常大的。比如说你有一个2048维的空间，它其实这个空间是无穷大的。你号称学出来有不同的，有那么多的参数，它如果把它变成一个个矩阵，其实那些变成一个个向量，那总的向量在这个空间中是非常稀疏的。
08:05本质上是能不能通过一个更小的维度，同样能表示出这么大空间中的信息。对吧，这个是常见的，我们叫latent的这个latent的这个思路。所以，那MLA其实我没有仔细看过它的推理跟论文啊，但是我理解它本质上是说，它是对这个矩阵的QKV嘛，
08:28这些向量做了一个低秩的压缩，就是你可以认为它压缩到一个更低质的这个空间当中去了。那么压缩到更低质的空间当中去，这个就是MLA，对吧？就是Multi-latent Attention。
08:42就是我原来的那些高的矩阵，我变成一个更更小空间，更小空间内就能表达出来的东西。FlashMLA呢，其实你可以认为跟FlashAttention本质上思路还是一样的，但就是我在MLA这个结构下。因为我模型结构跟别人长得不一样，对不对？
08:57因为它不是标准的multi-head attention，它不是一个标准的，或者说之前大家用的这种grouped attention的这种机制，它做的事情是说，哎。那我能不能写个库，我让我这个的计算也能够通过这个计算换存储，计算换带宽，它不能叫存储，
09:14它不是说存储，它的瓶颈不是存不下，而是每次去读内存它觉得太慢。我觉得核心思路是说，用计算换这个带宽这件事情，其实是现在GPU计算的中国
09:26人比较需要，是吧？
09:41就那个超级快的那个inference那个东西。
10:20那我可不可以这样理解，就是首先他因为自己用的是MLA嘛，MLA我就理解成比如说上海，上海是一个3D的一个空间嘛，但是我们看地图就把它变成一个二维的地图嘛，对吧？最多你就在地图上标注一下这栋楼有多高。那这样子其实这张地图也你大概靠猜也大概能想象上海什么样子，如果有一个张地图来告诉你每个点有多高的话，
10:43那这样子就就省事儿了。它在那个那个矩阵变换的时候，有一个大矩阵，就是至少降降了点维度嘛，你刚刚说降质啊什么的。然后的话呢，这是这是它首先就省了一些地方。然后的话呢，你就说Flash，就是让它在计算的时候的话呢，除了呃省了一层以外的话，又把它比如说想办法说那你多算一点，
11:04然后少占我点带宽，因为带宽太有限了，你宁可在这边浪费点计算，也也也节约一些带宽，不要搬来搬去的。每次就把一整个一大个矩阵搂进来搂出去，主要就这两件事情。
11:17就是Flash attention嘛，然后到到Flash ML，因为代码我没有看过，但我理解本质上其实是一样的。就是它本质上是我我的模型结构就是这样特殊的，我到底去把所有的推理过程去怎么去切，就是我切成是说我能够通过计算换存储的时候就计算换存储，我能够通过通信换计算的时候就通信换计算。
11:38你可以认为在玩一个魔方，对吧？就是魔方有标准还原套路，去拿一个魔方的这个手册，有一个标准还原套路，对吧？但是这个可能要转很多下，你可能一个普通人你也能背出来，对吧？这个就是标准的，我需要attention计算。它的做法呢，是它在不同的环节，你可以这里转一下，那里转一下，可以少转很多步，我就能把它转出来。
11:58判断具体情况，我可以有具体的更优化的小策略，但是这样子你可能就要多备二十个策略。
12:03呃，对。你可以这样认为。
12:57那它的解法的话，我粗略，因为我看到它稀疏嘛。
13:01它的解法本质上还是一个模型结构层面的解法。就我大概读了一下它的summary，我理解它还是一个模型结构层面的解法，而不是，就它不是个推理优化层面的解法。当然，这个模型结构的解法，未来你也可以去做新一步的推理优化，对吧？
13:17所以它其实不是attention，这个不对，它是推理啊。所以你说的是它是前面的事情，不是后面的事情。
13:24你先得解决一个原理问题，就是attention是说我一个token要读前面所有的token，对不对？那理论上讲，我要做的事情就是，我要硬算前面所有的token，我训练的时候也得这么做，推理的时候也得这么做。我如果希望前面的token很长，但是我又能训出来，又能算出来，你先得在原理上证明这个事情是有一个办法的。
13:47你先不是靠推理优化嘛，因为推理优化它计算量就是这么大，你再怎么优化，你也得算这么多。你先得从模型结构的层面去做，有些比如说这这个长上下文之间有很多paper嘛，比方说分块去算attention，然后再聚合起来。那你先得这，你不是说这个算法是不是有效，你有很多优化，我不算不就行了吗，对不对？
14:06我少放几个头不就行了嘛，但是你先得证，你先得做一件证证明，说我这个模型结构用了这个方式之后，我的效果得不下降。这个是所有的这些长上下文或者其他方式的attention，或者这种混合的线性加attention混合的方式先要解决的问题。
14:22你你用那些方式它一定速度会变快，对不对？但是光快不对是没有用的。你就
14:28说我算的快不快吧。
15:18我我觉得打比方没有问题，对吧？然后精确的回答我那篇论文我也没有仔细读过。OK，
15:25比方上大概是这样，因为我想直观地理解一下到底在干嘛。
15:29直观上大家在想，就那个论文的title叫什么，sparse attention机制嘛。sparse attention机制就是说，肯定是我没法都看，我得挑一些我觉得重要的东西看。然后我怎么就尽可能的跟这个现有的GPU硬件结合，然后我这个东西无论是训练还是推理都能比较快。
15:47对吧？我觉得它是个综合的论文，它它不是一个纯理论论文，它也不是个纯推理优化论文，对吧？就这个我觉得也是DeepSeek这家公司比较厉害的一点，就是他他说他们不是个象牙塔嘛，就是说思考问题的出发点很多时候不完全是一个纯学术角度创新。
16:03我举一个例子，最近或者说纯学术角度把一个东西弄，或者说纯想说我硬想一个新结构要work。然后他更多的是说我这个他能高度跟对这个GPU的硬件结合起来，说哎。我觉得这个方法呢，它理论上可能是work的，那我们来来证明一下。然后呢，但是用这个方法它对跟有一个好处，它跟硬件高度耦合，使得硬件的性能能发挥得更好。
16:29那么它理论上可能我又能证明它是work的，它就特别有用。就是比方说你找工程，纯工程出发的人会想，我们就简单粗暴，我不需要理论上证明它work，我就这样裁剪一下，然后我训出来它，我或者我这样用起来，效果也还凑合。
16:44这也是一种路子吧，所以说还有一种就是学术上我会觉得说，哎，我能够想出一个学术上很精妙，但是我先不去想它，它的GPU上用起来好不好使。了解了。
17:47对对。一般的科普都是这么讲的，说有一个调度员，哎呀，你是眼科，我就给你一个眼科大夫。
17:52这句话既有道理又没有道理，但是去调度给哪个专家不是在你整个问题级别的，它是在每一个token级别的。
18:00token级别的，我不能理解这个问题。什么叫token级别调度专家？你你你说一下。
18:07你不能把它当成是个先分类问题，然后比如说它有很多组参数，对不对？你不能把它当成是一个分类问题，说好，这个问题进来我分好类了，都往那个专家送吧。它不是这样的，它是每一个token的时候都要决定往哪个专家送，你可以这样理解吧？
18:42你能理解这个就能理解是，你第二个要理解就是说，很多时候，就是我第一个我需要能够决定，就在很多计算的时候其实，它也不只是有一个专家参与计算，这个也能能理解吧。
18:56能理解，我听你说话的时候，我的思考也在转，我的那个听觉也在转，我的视觉也在看着你，反正各种很多，我的大脑反正肯定有一些地方激活了，一些地方没激活，但是不是只每次只每次只激活了一小坨，不是固定一小坨。
19:17能理解，脑子大。所
19:18以呢正常来讲呢，但是你可以认为一般来说一个专家内的计算是高度紧密耦合的，对吧？就是它是一组attention，我们我们就先这样说吧。那你还所以在实际在推理的过程中就面临是说，因为这些模型都很大，它其实是分布在很多不同的卡上，
19:36甚至不同的机器上。那DeepSeek那个模型是600多B嘛。所以你需要解决的一个问题就是说，专家跟专家之间是要通信的。一方面我要路由，对吧？我这个，我有一个人去决定到底分给谁。
19:50第二个是说，很多时候我去做这个，无论是训练还是计算的时候，我需要把这个计算的中间结果传来传去，还是回到那个。呃，这一轮大模型跟GPU遇到了很多挑战，它的瓶颈又不在计算上了，它的瓶颈也可能是在通信上。其实比较奇妙的事情是说，它跟我们的CPU还不太一样。
20:14CPU你可以认为说通信跟计算，其实跟CPU只管计算，它其实不管通信的。你今天你的电脑，你的电脑实际上通信是靠网卡，然后什么direct memory access。你可以认为，就是虽然你把那个网络流量打高，它也会占CPU，但是GPU的计算单元，那计算单元叫什么，
20:33SM32那些东西，它既要负责通信，也要负责计算，它叫streaming multi-processor，对吧？叫做流式多处理器。所以它干的这个事情呢，就是说，哎，你这些计算单元在我的这个场景下，我第一个怎么能够做到，怎么边做计算跟边做通信，怎么去动态分配，它是最高效的。
20:57反正就是要压榨到死。嗯，
20:59对。所以它其实是个很底层的，你可以认为是一个性能优化库。
21:40对，它比较厉害的，你可以认为它就是一个动态的嘛。
21:43对，它就会不停地变嘛。
21:45对对对对对。
21:46然后它那那这里面就怎么调度和怎么协同。
21:50对，它是个adaptive routing嘛，对吧？就动态路由嘛。所以所以这个事情呢，我觉得很简单，就是大部分人跟你没关系这件事情。这件事情就是你说啊，科技进步了，你享受它的成果。
22:02哎，我觉得还是挺好的，我知道一下。因为我我我之前就知道我脑子里面关于那个mixture of experts那个模型，那个我的那个心理印象是不对的，我知道不是那样的，但是我也没有知道它到底是什么样的。今天听你讲，我大概知道是什么样了，就更进一步了吧。
23:52那比如说我现在要做东西，不不能学它吗？
23:57可以学啊，没问题啊，你可以学啊，但是它肯定内部也在做新的东西，对不对？今天还是一个技术快速发、快速变化发展的时期。这个时候我把我去年的，因为今天发的这些东西都不是今天做的嘛。就比方说它发的这些东西，大概率都是DeepSeek V3的时候它肯定都已经有了。
24:18那V3是去年十二月份发表的。那从你正常从一个模型，我训练完有效果，整理完发表，怎么也得个几个礼拜到个把月，你之前的所有的前置工作都要再往前。就是它今天发的，至少是半年以前它已经成熟使用的东西。DeepSeek这次发的东西其实是，呃，如果你算力很充足，你不一定需要嘛。
24:41啊，就是它的方向是那种，就是我们还是穷穷途，我们要逼逼性能的方向。
25:03但是那从这个角度上来讲的话，它把这一块，哪怕只是它半年前的，别人不一定要有的。那现在它公开出来，是不是那个Grok，还有那个OpenAI什么的，他们把这一坨加上的话，其实对他们帮助会有很大的帮助呢？就省钱了嘛，就是大家富贵人家也要省钱。
25:22但是这周发了很多东西嘛，咱们发了其实发了六天嘛，还有个one more thing，对吧？那发了六天，我觉得这当中有几个，就有些东西可能对大家是有用的，比如DeepEP跟那个DeepGEMM，DeepGEMM这两个东西，可能是对所有人都比较有用的，这是第一个。
25:39但比如说FlashMLA，我觉得就不一定。为什么啊？就我解释一下，比如说他们用了MLA这个架构，MLA这个架构他们也证明是挺好用的，但是别的公司可能有别的架构，对不对？但别的公司的架构路线跟你不一样，他要把他过去历史累积的经验参数这个东西推倒重来，用你的MLA训一遍嘛，
26:00对吧？是不是不一定？所以给你就FlashMLA。我其实FlashMLA这个东西是最容易猜到的，因为这个东西开源对DeepSeek是只有好处没有坏处，它能更快地让DeepSeek的模型在更多的地方被用起来。
26:15对，我我听他们内部的人讲说，就是非常希望把用户都到别的地方去，说我们不会改良我们的用户体验的，赶紧去别的地方吧，我们要用我们的卡做训练。然后就觉得说，天哪，别人花那么多钱搞的，搞的人你们都不要。
27:16对，我觉得你也很难判断它的对错，因为本质上竞争不是在，就DeepSeek跟我们的这种公司竞争，对吧？其实真正能拿去用的这些公司的人也都挺厉害的。那你就像说OpenAI、Grok这些人肯定也都很厉害，他看到你这个东西，肯定也是说你如果完全从竞争的角度去考虑啊。
27:34比如DPEP，那有一个前提是说，你如果用MOE模型，它的价值会比较大。对，你如果你还是个dense的模型，它的价值可能就没有那么大。但是大家也都传闻说，各家其实现在都在MOE上模型跑通了，因为MOE模型还是有个好处，它的那个每次推理需要的激活参数小嘛。
27:52就是说如果考虑激活参数的话，它同同等比例下的激活参数还是比那个dense的这种密集密集参数的模型的要划得来，或者效果更好嘛。那所以其实各家肯定都在训练MOE模型，但是是不是训得很好，或者到什么阶段，这个其实不知道，对吧？
28:16刚刚讲说，它其实比如说对于要提供这个服务的厂商是受益的，那是不是云是受益的呢？
28:41对对对。我们现在就发现说这个用token就是可以很很随便用啊，很很爽。
28:47就我觉得对所有人其实都受益的嘛。就我觉得压力最大的是头对头的竞对，就是国内的六小龙。对吧？这个压力最大，就是别人告诉你，我我我比你强十倍，那么你们这些公司还要不要融资？
29:01哎呀，太惨了。呃，你刚讲六小龙的话，我刚刚想到另外一个我自己的段子。就是我之前的判断是中国人还是，就是我们还是挺牛的。所以我觉得中国一定可以出一家公司的话，可以追上或者超过OpenAI，只要路是明确的。就是探路这件事儿，老美还真的是有蛮多奇奇怪怪的想法。
29:23但只要路是明确的，我们我们总有一天会赶上去了。我个人其实你也很难个人投进去嘛。我当时就看到阿里巴巴几乎投了每一家，然后我当时看到它几乎投了每一家之后，我就买了一点阿里的股票，然后现在已经涨了很多。我当时买的心态就是，我就相当于买中国AI的ETF。
29:42然后发现果然是顺的。但是在当时啊，这不构成投资建议啊，只是跟大家分享一个段子。
30:34你你刚讲讲这个你要装所有的，我就想到你刚刚讲的，就是它对于整个生态是利好。但是整个生态的话，就比如说假设是IM这个领域，那假设是对整个生态利好，那其实这个利好就像下雨嘛。那其实就是看谁的那个谁的面积大，谁接的雨就多嘛。谁的市场占有率，比如说钉钉的市场占有率、阿里云的市场占有率，它的市占最大。
31:00然后的话呢，雨就降到它身上降得最多，然后它身上长出来的场，它就它身上就更容易长出场景出来。然后它根据这个场景去服务的话，然后token变便宜了的话，大家就觉得是，其实可能是千问，比如说下一版进步了。但是大家就会说是钉钉牛啊。
31:16然后也可能是阿里云，比如说用到了DeepSeek某个某个框架，然后变便宜了。大家觉得，哇，阿里云牛，我以后要一定要终身用阿里云。那其实谁的市场份额大，其实谁可能就在这个这次的竞争当中会站到前面，谁占占用户场景。
31:33嗯，我是这样的呀，而且就是IM是个天然的入口。今天大家可能说大家用海外都会去开一个开一个什么ChatGPT啊，Claude的这个入口，对吧？但是的确你会觉得说，国内就这件事情对大家来讲，我就发现还是挺大的障碍。而且像很多公司还有合规要求嘛。
31:52但是比方说你，假设你今天办公用的是钉钉，钉钉其实在我我看了一下，它的一级入口就留了这个AI的入口了，它现在在一级入口就留这个入口了。这就意味着什么呢？意味着其实其实如果你想要用一下，比如说千问，对吧？你其实也不需要再去找别的地方，你在那个入口就能干这个事儿了。
32:10你就直接去去问它，它就能回答你的问题。你你不需要去说我再去另外开一个窗口什么，我再打开某一个别的什么AI的入口或者怎么样，对吧？呃，理理论上来讲，就是说阿里可以把所有的，反正我有云嘛，对不对？我这个云上，我一边你可以私有化部署嘛，API我挪一部分这个API，所有的开源模型我都可以接过来，
32:34你想用都能用嘛。它其实是一个办公场景的入口，然后我的办公场景渗透的用户又足够多。
32:42那这样子的话，其实就是，呃，不管是模型变得更厉害了，还是比如说我们的，呃，效率性价比提高了，这个时候最先被吃到这个红利的，其实就是掌握这种企业级场景的。比如说其实我要的是个OKR，然后我要的是一个算KPI的工具，我要的是一个比如说帮我做会议引导员。
33:04那这个时候的话，我其实额外装一个工具就很麻烦嘛。但是钉钉里面的话，其实就可以用AI把这些模块一个一个地套进来。那我就all in one把它给搞搞定了嘛。搞定了之后的话，然后我就会觉得是钉钉好，其实有可能是背后的模型好。
33:21或者背后的那个infra，infra好，infra提高了。然后但是因为只要80%的人，比如说原本用的是哪个IM，他就他就继续在这个IM上面用。这样子就谁的面积大，谁天下占领就爽。
34:03你这，哎，几乎一模一样啊，这样子。
34:28强脑强脑。
35:12我觉得这个合理呀，这个其实非常合理呀，这个就把AI跟具身智能串起来了吧。
35:57啊。啊，是，对，做一些我不想做的。
36:00就是擦个办公室啊什么的，它其实作为demo其实特别好。但是我举个例子，就是，呃，我觉得短期内其实最大的价值可能还是在那些风险系数比较高的场地嘛，比如我让它去野外。
36:13我去帮我抬个雷吗？
36:15呃，这当然是一种了，对吧？这个就不一定是机器人了，这个你就可以是机器狗了，对吧？或者机器鸟了。
36:24这样的话你就说，哎，我这个，比如我一个公司，比如宇树，他们说他用钉钉，我在办公室里，我我随便打比方，我不知道啊，就是我要去线下，比如说去门店去看一圈，巡查一圈，我要去大街上统计这里新开了多少餐馆，我就可以派一个机器人。我的AI是钉钉里的一个agent，我下了一个指令，然后他就让宇树，他就操作这个机器人去看了，
36:51他说跑到这个，对吧？它也联网嘛，我们国家5G也很发达，随时随地都能联网。它就出门，坐个地铁，跑到这个这个万达广场，从地下一楼一家一家店看下来，还能帮你数一下人头。数完就回来了，然后在钉钉上告诉你，然后你这个agent再想一想，分析一下，对吧？
37:13DeepSeek thinking一下，说，嗯，我应该调研哪个品类，再派它出去，再在那儿干个活儿，然后再走一圈回来，对吧？你也不用，呃，这这完了，失业了。
38:18所以最后你会发现说，以前以前说那个AI没有护城河，最后发现护城河是规模。然后你有了规模，你就有了场景，有了场景，你就令更多的，把更多的市场的红利，像开源啊，什么乱七八糟的。都可以都可以弄进去，然后自己还有千问，千问也很牛，然后再把这一套东西再转起来。
38:37再转起来之后的话，它就，或者像DeepSeek，DeepSeek的话，现在也是有一个飞轮已经起来了嘛，因为我牛。然后我就成为了全村的希望，全村的希望，大家都希希望着你成，让所有的资源向你聚集。然后你再公开出来的话，反正它就有一个良性循环嘛，我都不需要市场费用，我就可以做到做到，比如说DAU第一。
38:57然后因为有了DAU第一，因为又有了这么多用户的话，有那钱啊，什么方面，人才的品牌又出来又不缺，所以感觉都是一个良性的循环。刚刚那个是中场休息过去的话，我们再来讲第三个，我怕直接全部讲技术就就就晕过去了。呃。DeepGEMM是干嘛的？
39:15DeepGen我觉得更简单，就是个计算库嘛，就是算矩阵乘法算得更，八位精度算矩阵乘法算得更快。
39:23这这有啥？它是一个标准的东西嘛，这还能优化吗？我以为矩阵乘法就是一个，就是相当于它它是一个整体，叫做矩阵乘法。这个这个东西本身还有优化空间，为什么呀？这不是个数学吗？
39:37呃。第一个是，如果其实传统的商业计算库本来就很贵，是这样的，数学是一个本质上是个无限空间，但是你一旦用计算机来算，它其实是有精度问题的，能能，我不知道能不能解释啊。
39:51哦，知道了。
40:32嗯，理解。
41:06为什么表示不出来啊？它又不是加在后面，那是变成1了呀。
41:10不是啊，就是这个是，那它表示出来还是0.99。
41:14哦，我知道，你你是说它表示不出来，其实其实就是在在电脑里面，
41:18应该这样讲，它你没法拿一个大数跟小数相，在浮点数计算机里，你拿一个超大的数跟一个超小的数相加，它最后保留下的精度是有限的，所以它还得有那个超大数。
41:32你是说在表示上面，就比如说它有多少位来表示。啊，是，你说得对。
41:38对，它就存，就是比如说，就假设我只能只能显示两个数字，就是当0.99跟0.001相加的时候，它还是0.99。然后计算结果你存下来是0.99，那个1其实被扔掉了。但是0.99加0.99，它就会变成2，就能表示下来。
41:54我假装你是对的。
41:56这这个是浮点数计算的问题啊，就是就就是这样的，就是你这个你要相信我。
42:01我也想起很久以前你在搞那个那个广告的时候，然后有一天你在加班，我就问你在加什么班，然后你在说那个那个你们的那个卡什么运行了多少亿次之后，累积了一个浮点数运算的错误。然后我当时就崩溃了，我就想你还要考虑浮点数运算错误。
42:46对对对。徐文浩老师还讲过，计算机原理我我也学过，但是全部都还给老师了。对，
42:52你你大家不要小看，就就就所以大家有个精度问题。那第一个精度问题就大家又回到那个东西，就是我们的显存是有限的。所以所以无论是现在的很多优化都说我训练是用浮点数。最简单的说，我用FP32，讲32位浮点数。那它的表示的空间也比较大，但它占的显存也比较大，它算起来也比较慢。
43:13你容不容易理解，我就假设你理解了。为了训练模型，然后对吧，就我硬件扩展是有限的，那我软件技巧上能不能优化呢？所以就有了叫FP16，就16位浮点数，对吧？然后又有了叫BF16，叫做混合精度的16位浮点数。就是有时候呢，我用一种方式来表达，有时候呢，我用另外一种方式表达，它能让我这个数能够表示的空间能够大一点，
43:36对吧？BF16。那后来呢发现BF16又不够，所以要FP8。我用一个FP叫float point point嘛，就浮点嘛，用八位浮点数来表达。但是我需要占的空间是不是更小了？
43:50所以现在的所有的模型训练都是一个混合的，比如说我权重，一个模型的权重通常都是用FP8来表示的。因为一般来讲，我们都会把数据去做归一化中心化，就是你训练一个模型。
44:03那不是更短了吗？
44:05不是不是。就是尽量让这个东西在比如说在零附近或者在一附近，都在负一到一的区间之间，离得很远就没关系。但是你比如说在一些计算loss或者梯度累加的时候，你是拿大量的训练集，你先得加在一起，然后再除，再去算一个方向或者怎么样。
44:21那那那个值会很大，那你就用FP32或者BF16之类的东西来表示。所以它就是说你可以认为整个模型里虽然有很多参数，但不同的参数是用不同的精度来表示的。其实大家都在做这个事情，包括英伟达在做一个事情，就是对吧，就是英伟达你看他发了很多吹牛皮的东西，
44:38说哎，我的一块新显卡，这个速度是原来的好几倍。他那个好几倍说的不是FP32。FP16这种它传统的精度，他说他在FP8上FP4上，他的计算速度是原来的五倍十倍。他其实在FP16上可能是原来的一点五倍。那但是呢大家都想要干一个事情，就是因为英伟达这个FP8它的确算得快了很多嘛。
45:01那我能不能尽可能的多用FP8，但是多用FP8就是第一个是你得算得对，对吧。我们极端点讲说，你先得算得对，你别精度丢着丢着，它算错了，那就没意义。所以你现在得表保证它精度准确，那精度准确就是，然后第二个你得保证它的确它，呃呃，英伟达说算得快，
45:21但你是不是真的能算得快？所以所以DeepGEMM呢，它其实就是一个FP8的这个计算库。然后呢，它为了能够去解决这个问题，就是它就是要解决，就是说FP8，因为你表示的位数很很小，你如果有海量的累加的话，它精度就会丢失。精度丢失呢，就有一些，就英伟达其实也有计算库嘛，叫cuBLAS嘛。
45:43就是就是如果你大家在传统CPU上计算过这个做过这个机器学习，就我以前跟你说的，比如我们用BLAS这种库，它也有去解决这种精度计算的这个问题。DeepSeek告诉你说，哎。官方的库不好。官方的库太慢了。
45:59官方的库太慢了，我来给你写一个。啊，我花三百行代码来写一写。它不要依赖那些cuBLAS啊，那些布拉布拉其他的这个三方库。那些三方库搞了一堆模C++模板什么的，太慢了。我来给你写一个。
46:12这这这么写就，我们去读一下英伟达的官方的文档。我们这样写一下，它就快了。大概大概就是这么个意思。大家大家能理解吧？三百行Python代码，嗯，对吧？
46:57对，你你可以，你可以这么讲。好的。
47:28EPLB吧。
47:29啊，EPLB，对对，就是第四天他其实发了三个东西，对吧？就DualPipe、EPLB，对吧？但这两个东西呢，我觉得跟前面的那个DPP的价值其实是类似的。是类似，价值是类似的，但是内容肯定不一样。它本质上还是说我从，因为我还是一个多机多卡的训练跟推理的过程。
47:50我通过什么技术手段能够让这个效率尽量高。我我解释一下DualPipe在干一个什么事情呢？DualPipe干一个事情叫做，刚才讲的叫专家并行，对吧？就是我我们这里要再科普一下，有个东西叫做流水线并行。哎呀。
48:04什么叫流水线并行呢？就是这个跟CPU的流水线并行也是一样的，或者说CPU的指令流水线也是很像的。今天我们去训练一个模型，是模型也很大，所以我没办法放放在一张卡上，要放在很多张卡上。流水线并行我们也说过，就是说这个深度神经网络它其实有很多层。
48:21那它的做法是说，那我能不能把这一层，计算这一层，放在这张卡上，算完的结果传到另外一张卡上，然后另外一张卡上来算下一层。我们先先这样这样解释。这个也很容易理解，对不对？但是呢，光这样做其实卡是用不满的，因为我那张卡在等我这里算的时候，它其实不能跑，它得等你把算的结果传给我。
48:44它最好的方式是说我算的这一批卡传给你，再算下一批的时候呢，我这张卡已经在算下一批了。这个叫流水线。流水线，但是流水线你是没有办法完全跑满的，你没办法是非常精确的预测到说，神经网络训练的时候，比如说它有反向传播，要算梯度，你总得算完一个batch再算下一层，所以我们会把它切成很小的很小的这个一小批一小批的数据嘛，
49:07对不对？但它中间总是会有一些空隙，说这些卡这段时间它是空着的。这这个空着的呢，在这个我们叫它气泡。那气泡，就气泡越少意味着我对卡的利用率越高。DeepSeek说呢，那我能不能这样算，我让气泡尽量少的方式是不是只算一个方向，就是说一般来讲这个气泡我是推理，
49:29我先是正向做forward的计算，算完再反向算梯度嘛。我能不能在forward的计算跟backward的计算的时候是同时进行，它的这个气泡就会少。因为forward的计算跟反向这个backward的计算，这两个计算之间互相之间是没什么依赖的。
49:45呃。
49:46他怎么可以同时进行呢？
49:48同时进行是他拿的是不同的数据嘛，在做不同的事情嘛，我我们这样讲。就是，
49:53还是说比如说我有一百张卡，我看哪些闲着的，比如说我在做，
49:58啊不不不。不是不是，为为什么同时进行我觉得没有完全讲清楚，我刚才应该没有完全讲清楚，就是流水线这件事情我们先得想清楚。流水线的逻辑是说，就模型计算是做很多这种矩阵的计算嘛。就矩阵计算，它是我们刚才先讲了，它得拆成流水线。
50:13就是说拆成流水线的角度，就是这当中有很多个矩阵，算很多个attention，上一层的attention得等下一层的attention算完，对不对？上一层的attention在算的是，呃，就是，而而第二个呢，我的数据是有很多个批次。
50:25就是比如说我训练的时候，现在一个batch都很大，比如说有一百万条数据，它其实是，比如说那我五千条五千条数据去算，可不可以？那五千条数据在这个这一个卡上算的时候，另外一张卡再算，呃。算完了，它传到了下一张卡，下一张卡算这五千条数据的第二层attention的这个值。
50:46我们假设这样去算，后面那张卡就可以算同batch里的另外五千条数据，这个我们叫micro-batch或者叫mini-batch。这所有这些东西全都算完之后，会累加，才会去做一次梯度下降。但是这个当中就是像，第，就就是会做很多优化嘛。
51:02就第一个是我流水线这个batch size是多少，然后这个我怎么去切模型，怎么去分配这些计算单元的通信跟计算的配比，对吧？使得我这个显卡尽量能被用满。但是通常呢，我们优化只考虑，比如说我只考虑反向传播这一路，或者我只考虑正向计算这一路。
51:23但其实是模型推理的过程，你可以认为是说，它其实是一个先正向再反向的过程。所有的模型计算都是我当前的权重，我把这个数据输入进来，去叭叭叭算，算完之后的结果跟我预期的结果对比，算一个差距，然后反向算梯度，再反向回来，对不对？
51:42所以正常人的想法是说，哎呀。我先，我优化一路嘛，我正向传播我怎么把它算算完，我反向传播怎么算算完。那么他的想法是说，我能不能同时算算完？这个
51:53在逻辑上怎么做到呢？还是我这一次的正向和上一次的反向一起？
52:39OK，了解了，他就把正反向的活儿拼起来，让工人累死，让生产线没有任何空档。
53:07哦，对。Google之前也是这样，Google之前拼那个大规模的那个服务器，对吧？
53:37就就也有点心酸啊，是不是还是因为没有卡？有卡的话，他们会逼到这么狠吗？
54:13EPLB其实我就没怎么看了，但是我看它的简单说明，就是，就是我没有仔细看。但是我我看这个名字跟大概的描述，我觉得其实是比较容易理解的。就是我刚才跟你解释过，就是我们说了，就是MOE模型，它的专家是，你可以认为是在每算一个token的时候就要平衡的。
54:32所以实际在计算的时候，每个专家的，就是，就这个这个世界上对于专家的需求是不平衡的，呃。今天世界上，比方说对于AI的专家的需求在暴涨，呃。对于iOS开发的专家的需求在减少，对于植物学专家的需求没有那么旺盛。所以呢，当你训模型的时候，和你推理模型的时候，其实你是不知道
54:57到底哪个专家负载会重，哪个专家，哪个专家比较算的比较多，哪个专家算的比较少的。实际在训练的时候，它跟密集模型有个区别，你不是说我权重简单分一分就完事儿了。如果这个专家在推理跟训练的时候要用的比较多，我应该多copy几份，放在我这整个的网络结构里。
55:18然后呢，那我算的时候呢，就是GPU又能用用满了，就是算的少的专家。你就算的少的专家，你就少放一点嘛，你就只放一份；算的专家你可以放多的，专家可以放一百份。那它其实就是干这个事儿的，叫做专家的负载均衡。它的负载均衡不只是，不只是说负载放在那里我去路由，而是说根据这个这个一个分层的策略，甚至是说推理的动态的压力的策略，
55:44去复制一个专家，然后放到不同的GPU上。就是负载多的专家就会用的比较多，负载少的专家就会用的比较少。
56:023FS就是又是一个穷人特别重视的事情，这个事情我就特别感兴趣，就是因为我们也很穷，哈哈哈。就是模型训练，我们讲过模型训练，其实很多时候呢，它的瓶颈跟这个其实就很像Google啊，我觉得又很像Google，又很像Google发Big Table跟发那种的感觉。
56:22就是说我们很穷，我们不可能像Groq一样，我买很多SRAM，我很有钱，我像Groq一样，我买很多SRAM，SRAM比内存贵十倍，对不对？我自己做个芯片，我都贴在里面。那第二个是说，哦，那我差一点我就用好的显卡，然后我用那个InfiniBand，然后我用这个东西把所有的东西都存到这个内存里，
56:44那不就更快吗？我们更好的网卡。那实际上呢，他们干了个什么事儿？他们觉得说，对的，在模型训练啊、模型推理啊，这个特别是模型很多时候要去做数据处理。就是你如果今天去训练一个模型，你有海量的数据，有一种方式是说，哎，今天我想把数据的配比改一下，
57:03对不对？有一种方式是说，我把数据用一个计算集群，重新按照这个配比计算一遍，存下来，然后就用这个东西加载进来做训练。那存下来那个东西，我可以放在一个高性能的存储上。之前大家比如说用NFS，或者用这个，现在大家都主要用VAST的存储。
57:21更有钱的就是，我搞个真正有钱的公司，我猜啊，像Grok这种公司说，没关系，我们有钱，我们为了追进度，我给你搞一个内存集群，这个东西专门用来放数据，用内存当这个数据cache。那么他们呢就说，哎，我们要做个，我们搞个分布式文件系统，用SSD硬盘，用这个网卡，使得我能够比较快地去。
57:47第一个可能我不需要说每次预计算，我完全可能是说我这个数据配比，原始数据就是这些，我就都加载进来。然后呢，我动态地通过计算节点去改配比，然后我再给下游管道去用。然后呢，我就用普通的SSD，我就用普通的server，我用高性能的网卡串起来，我不需要用更贵，
58:07我不需要用更贵的存储设备，我也不需要用内存来去做各种缓存，无论是数据还是说我们计算中的KV cache。这样呢能够带来的一个结果，就是说我用更廉价的存储。能够跟你们有差不多的性能，或者性能比你差一点没关系，但我ROI高。
58:26所以它是用，就是就是相当于用SSD，就是就可以达到比较好的一个并行的，比如说吞吐数据的一个方案，可以这样理解吗？
58:35对。然后呢，他把它封装成一个文件系统。这个事情我就觉得特别特别像第一次看Big Table那种论文的时候。大家都知道，比如说我顺序读写快，随传统机械硬盘顺序读写快，随机读写慢。然后呢，同时我又想做一个文件系统，然后呢，我要对外部要透明，你不能说调用的人我得知道这个这块数据存在哪块盘上。
58:58同时呢，我就只能买得起廉价的这些盘，我又得高可用。他们相当于说，哎，我根据我的应用场景下，而且他这个3FS其实不是他最近写的，是他们在做幻方的时候写的。他是一个三四年前，他们其实就发过那个3FS的技术报告。现在现在开源了，对吧？
59:16就是换句话说，就是这个团队的技术积累也很强。他也不是说我今年临时凑了一拨人，又又又干了这么一个，这干了这么一个事儿。我一直是觉得这样的，就是你今天去看模型的所有的人的这些推理优化，或者你你觉得从理论之上肯定有大量的优化空间。
59:32我觉得大部分团队面临的第一个问题都是说，哎呀。那我们为了赶时间，我们先不管这些事情，我先花点钱。就跟，就跟存储，大家一开始都用很贵的NFS，对吧？可能要1TB，你现在在云上租个NFS，其实给你打个折，可能也是两百美金1TB的存储。
59:48你搞这种多模态数据，你搞个几百TB的存存储，或者上1TB的存储，就是一个月就二十万美金就走掉了。那所以你得省钱，对吧？就大家就，就像我们也省钱，就是我们也要省钱，我们也找一些方案，市场上也有一些方案，说我怎么把更廉价的对象存储包装成个文件存储。
1:00:06就是，就是有各种各样的方式，就我们也用了很多省钱的方式去优化这个事情。但我们肯定不会想说，我们自己来写邮件系统，我们自己搞一堆C C盘，对吧？因为大部分人第一个反应是，搞这个东西它很不确定，你搞不搞得出来很不确定，或者你确定它一定能搞出来，
1:00:21但是什么时候能搞出来你不确定。对，大家大家都会挑low hanging fruits嘛。就我们也去做了一些这个优化，都是些low hanging fruits，就是找一些商业上的一些方案，或者怎么样，怎么组合一下。觉得一个月就能搞出来，我已经省了百分之七十的钱，老板你不得夸夸我吗？
1:00:36但人家不是这么想的，人家说，哎呀，你们这些东西也都不太行，要不我自己搞一个吧。就是我我觉得这这个事情，我觉得一个是能力上肯定有差别，第二个mindset上也有差别。我觉得就，而且这个mindset有些是来自他的积累。我相信3FS这个事情，呃，也是他们比较强，而且就3FS这个事情，因为它应该是很多年前他们就发过技术报告的，
1:00:59所以呢，这个肯定不是最近在干的，最近才干的。
1:01:02那最后一个，虽然说是说五个嘛，最后不是有个one more thing嘛，one more thing那个你是是是干嘛的？
1:01:09one more thing我觉得是个技术报告嘛。one more thing就是说啊，我们把我们所有这些高科技组合起来，我告诉你啊，大概你的成本应该是多少，你们好好干。
1:01:18之前就是外网确实有人在说他们每天在狂亏啊什么的嘛，他现在就直接拍出来说。
1:01:24那个我觉得是纯属不会算。我大概也估了一下，我觉得呢，就是大家可能是微亏，就大家一开始可能是亏钱的，或者为了快什么，但是不会亏那么多钱的，就没有理由。就就你也得理解那些做推理啊、做平台的人也不傻，就是说让他亏一点钱是OK的，让他海亏是没人干这个事儿，
1:01:45谁也拍不了这个板。而且你对比一下就知道嘛，他那个，因为V3跟R1模型尺寸是一样的呀，他R1卖得很贵，他V3卖得并不贵。而且V3 600是一个MOE，你去去想一想，比如说Llama 405B这种密集的模型，他卖的也没多贵。
1:02:03我当时的心态是说，哎。DeepSeek之前不是有人出来说过嘛，说我们不亏钱的，但是我们微利，对吧？我们稍微赚点钱。当时大家的，我的假设说，哎呀。肯定会发一些这种推理优化，肯定会是告诉你他肯定是能挣钱的。
1:02:17但是呢，你没有想到他的威力是说，他现在告诉你，他说我现在稍微赚钱，是因为什么网页APP免费给你们用的这个成本，我们也都算进去，我们也是稍微赚点钱
1:02:26的。这帮做量化的真的是太强了，他们在他们那边是不是塞了很多IOI金牌？
1:02:33他们有四个IOI金牌，四个IOI金牌，就是就是大家听说过的，比如说有，就现在市场上有两，有有两个人也是IOI金牌，大家都听说过，第一个人叫王小川，对吧？应该，但是百川应该他只有他一个IOI金牌，对吧？而且他肯定现在也不不行干嘛，对吧？
1:02:49他肯定不干这个事儿。对啊。而且你得理解，就是那个时代的IOI竞争没有现在的IOI竞争激烈，就特别在中国队啊，那个时候你肯定是最聪明的，你能拿IOI金牌。应该这样讲，中国的集训队可能出去十个人就是IOI金牌啊。
1:03:05所以现在国籍不是说，不是那个之前看谁也是，也是好像也是个IOI金牌在，是是在说啊，说就他爆料嘛，说幻方有四个IOI金牌，这意味着其实他们可以拿十几块IOI金牌。因为现在是这样的，你拿过IOI金牌，对吧？就就你下次集训队或者比赛你就不用参加了，你去干别的吧，留点机会给其他人。
1:03:26就或所以明年会有另外一个高一或者高二的小朋友再拿个IOI金牌。一个是王小川是IOI金牌，第二个是那个现在拼多多的CEO陈磊是IOI金牌。对。就我我已经说了嘛，这个事情是这样的，就是说是个智商碾压。
1:03:40我在想我是不是应该去，我我高中应该有很多块金牌，我应该去高中的那高中奥赛群，我好歹也混在那个群里了。从来不冒泡，最近应该过去多跟大家哈拉吧，每个人的微信加上，然后说你最近要创业吗？你需要钱吗？还是得挖最牛最聪明的这些小朋友啊。
1:04:01我觉得你看干什么吧，你要干，我觉得你要干量化跟基础模型训练这两件事情呢，就特别是你的DeepSeek告诉大家说基础训练模型训练它，我觉得基础模型训练今天其实有一个特点啊，一个是说方向其实是不明确的，就是你的经验其实有效性是有限的，你的经验半年一年也就是个半年一年的有效经验。
1:04:24第二个是你如果为了把这个事情挖掘到极致，特别是因为你的算力的投入非常大嘛，基本上基础模型训练的团队人均三百块H100嘛，就是即使是国内这些团队啊，就基本上人均三百块H100。三百块H100是啥概念呢？三百块H100大概一个月的成本。
1:04:45我来算一下，呃。一块H100大概一个月的成本是一千五百美金，三百块H100呢大概就是呃五十万美金一个月。所以呢，你会发现小天才们的工资虽然高，但跟卡的成本比起来呢，其实也还好。是，
1:05:44哦，是吧？OK，
1:05:45就是哪怕是你觉得他们不不需要小天才的，他们现在也在疯狂的搞小天才。
1:05:51那我觉得那就不一样了，那莫妮卡肯定要想搞点大事了。
1:07:07对的，一个长上下文的。哦，这个这个问题就就就回到那个问题，就是这种竞争你要不要参与嘛？你要参与也有可能是说你虽然很牛，你拿了IOI银牌，就很尴尬，你知道吧？
1:08:00Minimax那个创始人就讲了这个，他觉得就只要做技术品牌嘛，他就觉得DeepSeek做得很好。他在那个DeepSeek火之前好像接受采访说的，他说这个虽然不见得对于吸引用户有用，但是对于吸引技术人才，可能一两个人就改变很多。
1:08:16那最后回到商业上，你觉得如果开源生态爆发的话，就是对我们做应用，或者你可能还做一点模型啥的，对。做应用做模型来讲的话，会有什么样的就是格局会有什么变化，会有什么机会吗？除了我们呃刚刚可能已经聊过的，就是比如说像阿里啊、钉钉啊这种，呃阿里云啊这种，其实掌握用户场景的，
1:08:38他就会是第一波受益者嘛。就比如说杭州的像什么什么那些公司都用钉钉，那他们以后钉钉好用了，然后加各种各样的AI能力的话，自然而然就是就是钉钉就是最大的受益者嘛。那但是还有没有什么其他的其他的机会吗？
1:09:14他们有场景，继续找呗。
1:09:34现在是会有很多积累的。你刚才我想到就是其实像我们去年不是尝试孵化一个视频方面的应用嘛，然后当时就结果找到最好的是那个，就是我们想找一些开源的拼嘛，就结果看到开源的没有开源但开了论文的最好的就是阿里出的MIMO。
1:09:54然后我还当时在各种关系联络阿里内部的人说这个东西能不能借我们用一下，但是他们内部的积累其实还蛮蛮多的。内部有积累，外面又有开源的，然后阿里云又可以把它塞进来。钉钉要给塞进来，然后又要有应用场景。其实在这种情况下的话，那个就是水涨船高嘛。
1:10:13那那比如说我们现在，你你刚刚说那个我们录播客，我们录播客。现在同时也在开着Riverside嘛，这个软件每个月我们要交几十美金的。对，然后呢，交了这个交了这个钱的话，那个如果大模型或者说语音识别或者各方面它的进步，那其实我们会以为是Riverside的进步，
1:10:32然后我们就可以给Riverside更多的钱，因为它控了我们这个场景嘛。有可能是后台的那个那个模型进步了，可能是自研的，可能是开源的。那这个时候的话，其实
1:10:42谁占用户场景好像就变得更重要了。
1:11:25对。3.7里面好像还专门做了一点什么，就是说这种事情。对
1:12:01对，我我这几天体验也是毫无感觉。
1:13:12我觉得会的，而且Kimi不已经在搞了吗？好像已经在内测Kimi 1.6了。OK，哎，
1:13:18挺好的，中国终于到大家都雄起了。
1:13:53所以我觉得做应用创业的同学们，就是都跟我一样，就是我们得提前判断一下，就模型会在哪些方面有重大进步，然后我们可以提前到那边去占个位置，去占应用场景，就在那边做做一堆比如说工程上的事情，产品上的事情，把那个应用场景给占下来，哪怕效果不那么好，对吧？
1:14:13然后我们在那边干嘛呢？就可以等着模型成熟。等模型成熟，一旦成熟，我们就吃到了最大口的红利。就好像那个做AI编程的Cursor嘛，之前是不温不火，直到Claude 3.5代码能力一下子到位了，哎，Cursor就火了。
1:14:27然后直接收了1亿美金收入。那前面我们提到阿里的股票涨了，好像也是类似的情况，就阿里云啊、钉钉啊，在To B的场景里面占绝对优势。那AI能力提高，他们就一下子吃到了最大口的一口红利。所以我觉得这种策略可能是更广泛适用的一个策略。
1:14:45因为真的能做模型、能用上DeepSeek这些开源代码的同学们应该很少，我刚刚听完也就是，嗯，大概了解有个大概是吧。但是我们都可以预判一下，就是未来一年AI能力可以在哪些方面有巨大提升，我们可以提前找到应用场景，呃，先占个位置，然后等水涨等船高，这是我们可以用的策略。
1:15:05那最后那个今天我们不是聊了好多开源模型吗？我估计已经忘掉了。你能不能再帮大家梳理一下，到底讲了些什么？哪个到底是用来干嘛的？
1:15:14哦哦哦，好呀好呀，这这其实就是我觉得DeepSeek其实它做了六天的发布，有三天，第一天、第二天、第三天，呃，第四天，都是围绕着它自己的MOE模型跟它自己的MLA的架构，开源了各个小的计算或者通讯的优化组件。第一天的FlashMLA呢，其实是优化了它的那个叫做Multi-head Latent Attention，
1:15:41就是叫做潜在注意力的这么一个模型架构下的快速推理，它其实是把推理性能给提升了。第二天呢是它开源了一个东西叫做DeepEP，它其实呢是把专家之间的通讯性能、通讯库给开源了，让MOE模型的训练跟推理能够更快。第三天呢它开源了一个叫DeepGEMM，就是GEMM，GEMM的全称叫做General Arithmetic Multiplication嘛，
1:16:10就是通用的这个矩阵计算的库，矩阵乘法的一个库，它其实是把那个FP8，就是八位浮点数的矩阵计算的库重写了一下，会让这个计算会加快了。第四天呢它是开源了DualPipe跟EPLB。跟一个就就就是分析、计算、通信overlap的一个小工具。
1:16:34它其实是，它解决的是这个GPU计算的时候，我们叫流水线并行性下，尽可能让通讯跟计算能够有交叉，让GPU尽量被用满。EPLB呢其实是就就是在专家、就专家并行的情况下怎么去调度专家，让负载重的专家去复制更多个专家头，然后让这个也是其实本质上让GPU计算更满。
1:16:59就前四天开源的其实都是比较硬核的，就是呃其实有很大一部分是只要你训MOE模型就能用，只有第一天的MLA是你如果用MLA架构才能用，后面几天你基本上可以认为你只要训MOE模型、训超大模型对你就有用。那么这四个比较硬核的这个计算库。
1:17:18第五天呢它开源了一个文件系统，文件系统换句话说也是一个降成本的事儿吧。它其实是能够说，比如说KV Cache，就是说传统我们都是说要么缓存在GPU里，要么再差一点缓存在内存里，它能够缓存到这些SSD的盘上，对吧？第二个是说他用这SSD的这些盘，通过RDMA的网络去是能够更快的去读写数据，
1:17:45对吧？相当于它能用更廉价的硬件设备达到跟你差不多的呃效果。那第六天它其实是把它写了技术报告，对吧？你可以认为综合了一下我们有给你的这些技术硬实力，我帮你算一算，按道理来讲呢，你按我的价格卖GPU，你有80%的利润。
1:18:05一块钱你成本应该只有两毛。
1:18:07没有两毛你自己回去反省。
1:18:09扎扎实实秀了一把肌肉，大概就是告诉大家，就是，呃，你看，我还是比你厉害吧，对不对？我给你看看我比你厉害在哪里，你好好用用，接下来我会有更厉害的东西的。
1:18:42好呀。那我们今天先聊到这边，嗯，欢迎大家继续关注AI炼金术。对的。
1:19:11拜拜，拜拜。好，拜拜。