禅，与神经网络维修艺术
- 发布
- 2023 年 10 月 16 日
- 时长
- 58 分
- 主播
- 任鑫、徐文浩
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
任鑫分享了自己参加禅修班的体验：打坐时念头纷飞，反而让他不断用 AI 概念去类比人的心智。两人由此展开讨论——把念头看作多 agent，把禅修看作日常的"大脑维修"与可解释性工作，把业力理解为行为对神经网络的微调、把轮回类比成模型的上传下载与再 fine-tune。后半段转向现实：算力扩张、训练与推理的硬件差异、Google TPU 与英伟达 CUDA 生态之争，以及如果 AGI 真的很快到来，个人该做什么——锻炼身体、不要赌性太强、多做让生活更美好的娱乐与线下体验类生意。
- 禅修的核心是觉察念头而不被带走，可以类比为把脑子里的念头当成多个 agent，由背后的『背景程序』决定听谁的
- 任鑫不再把 MOE 当作人脑的类比，因为在徐文浩看来 MOE 的专家共享底层参数、切换时不吵架，更像人格分裂而非多 agent 吵架
- 业力被理解为：所思所想改变行为模式，行为模式改变结果概率，本质上是行为对自己神经网络的微调
- 轮回被类比为模型上传下载：这一世的所作所为作为数据上传，遮掉一层后重新 fine-tune 下一个容器里下载的模型
- 从现在到 GPT-4 级别的差距被认为没有技术障碍，主要瓶颈是算力、数据与成本，两年是很激进的估计
- 训练依赖 HBM 和 NVLink 的大带宽互联，推理更简单；英伟达的真正护城河是 CUDA 生态，Google TPU 只能租不能买
- 面对 AI 冲击的建议：锻炼身体、不要赌性太强、细水长流，做娱乐与线下体验类生意，而不是继续卷生产力效率
目录
点击跳到对应位置
- 开场：业力、生产力垄断与『慢慢走，不要停，快快到』00:00
- 禅修时的念头纷飞：多 agent 与人脑里的争论01:03
- MOE 到底像什么：专家切换、人格分裂与多 agent 之别02:49
- 我和 GPT 很像：上下文决定思路，中英文切换与换个人05:25
- 业力即神经网络的微调，禅修即日常的大脑维修07:20
- 禅修是不是一门生意：觉观、烦恼即菩提与看见参数08:55
- 用上传下载解释轮回：孟婆汤、屏蔽数据与 RLHF 权重16:03
- 科学与佛教类比的边界：经验主义、宗派差异与研究对象18:13
- AI 取代人类有多快：算力扩张、数据量与 scaling law24:06
- 训练与推理的硬件差异：HBM、NVLink、TPU 与 CUDA 生态26:25
- 务实视角：我们该做什么，娱乐与效率的分野31:31
- 《履单》：全球化、互联网巨头与美国中产阶级的坠落34:27
- 钱、资产与垄断生产力：UBI 与劳动意义的争论35:59
- 人需要的是叙事：AI 干活，我们去做体验与线下40:41
- 两年还是二十年：GPT-4 已经够用，关键是修修补补43:01
- 国内能不能追上：算力卡、华为 Mate 60 与逆向复刻45:02
- 给个人的三条建议：锻炼身体、不赌、做美好生活的生意51:12
- 收尾：慢慢走，不要停，快快到56:06
文稿
共 784 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:06实际上佛教里面我看下来就感觉，业力其实讲的是说你做的一些事情，你的所思所想会影响你的行为模式。然后你的行为模式又会导致说之后你不同的行为模式会导致你不同的结果。
00:23就最极端的情况下，如果我能造机器人，我能生产制造所有供我需要的东西，我不需要和你来交换了。未来最有价值的是谁能垄断这个生产力，而不是你有没有钱去换这个东西。
00:37禅修的时候，最后一直在跟我们讲的一句话：慢慢走，不要停，快快到。不用着急，慢慢地搞一搞。但是呢，坚持听一听，反正这一天可能比我们想象当中更快会到来，挺好的。有生之年可以看到这种东西，比看到外星人还嗨嘞。
00:56欢迎大家来到这个AI炼金术，因为我跟徐文浩主要是定期聊天。那聊什么呢？那那个我待会儿可以聊一聊我最近那个禅修的经验，就是禅修的时候，呃。脑子里面念头纷飞，然后想到的东西都跟那个AI相关，然后可见这个禅修的质量之差，差到极点。
01:19那我就跟大家分享一下那个禅修的那个东西好了。之前的话，其实我在理解那个禅修修行的时候，其实就会去把它按照一个多agent的方式理解嘛。我们脑子当中会出现各种声音嘛，比如说你可能会出现一个什么善良小人，一个什么恶魔小人，小时候写作文嘛，
01:37对吧？你就想，脑子里会有几个小人打架。那后来看到多agent、multiple agent这个model的时候，就会觉得，对对对对对。就是有好多个agent他们在吵，你最后要定下来到底哪个agent。那在禅修的时候很经常讲的就是说你要观察觉察自己的念头嘛，比如说又想到了一个AI啊，又想到了说今天晚上要干嘛啊，
01:59又想到什么，你就不要被那个那个念头带进去。然后的话呢，你你不能跟着他跑，你要看到一辆车开过去了，哦，他开过去了，一辆车开过去了，哦，他开过去了。但是，如果脑子当中没有一个那个多agent这个模型的话呢，其实你就会，就其实你不跟着念头跑也没有那么容易，
02:17因为有的时候我们会把自己当做那个念头嘛，对吧？我们比如说我饿了，我就会觉得是我饿了嘛，我不会觉得是我有一个念头他饿了嘛，对吧？我肯定觉得我饿了嘛。所以你就会自然，这这其实就是你跟着这个念头跑了嘛。那多agent这个模型就是说，啊，是有某一个自主智能体说它饿了啊，对吧？
02:37那你就可以决定听还是不听嘛。所以我以前就就看到自主智能体的时候就觉得，诶，这个东西蛮蛮适合让我来了解我的脑子的，那些声音我就可以不听它了。所以当时是这个想法。然后后来不是听，我还你第一次听到MOE好像就从你那里，我还问你MOE是什么意思。
02:54后来一想，嗯，不对，这个更像是MOE。
04:03MOE，我觉得不是所有东西都适合跟人去比对，当然也可以啊，就是说MOE我觉得更像说我们在做某一件，一个人在做具体某一件事情的时候会做切换。就比如我在写代码的时候，其实我会非常专注，我其实就是想的都是呢，这个这个这个代码的这所有的这个事情，
04:22你就会切换到一个expert的状态。然后比方说，有些人可能会弹钢琴，对不对？他在弹钢琴的时候跟在写代码的时候，脑子里，他在弹钢琴的时候脑子里是不会闪过任何和代码相关的东西的。我是这个假设嘛，那么这个就比较像MOE，就是说我是很多个expert，每个技能呢，虽然在底层我们都是个人类，
04:42有一些常识是相通的，但是具体到分化的技能它完全不一样。我觉得更像这么一个比喻，它其实不太像多个不同的人，因为它底层还是有共享的这个参数的。它呢也不像说一个人的很多念头，因为它一旦切到那个模型里，它是不再会借用其他的这些head里的这个东西。
05:01或者你讲它更像人格分裂。
05:03那还是更像那个multiple agent嘛，就是还更像是多多agent嘛。吵来吵去的嘛。他不吵，
05:09就是他不再像我脑子里有很多个小人打架，而是我脑子里已经决定了，这个时候我决定用我的这块区域，或者说用这个能力。对对，MOE
05:18不吵嘛，但但是agent那边会吵呀。agent那边就会吵。类比的话，应该类比成还是多agent。然后你刚刚讲到弹钢琴那个倒是让我想到，就是其实我也觉得我我有的时候看那个GPT的时候是觉得说，它使我我会觉得我傻。
05:35就是我会觉得我其实跟GPT挺像的，就是很多时候看起来在思考，其实也就是脱口而出。而这个脱口而出非常依赖上下文。就是比如说你刚刚讲说比如说弹钢琴的时候，他就不想写代码什么的嘛，这个还不一定是两种事情嘛。我就发现我在同一种事情上，我给出不同的上下文，我的思路是不一样的。
05:57比如说我我如果用中文思考和用英文思考，在纸上写一些英文单词。我的思路就完全不一样。然后如果我在黑板上写和我在电脑上敲，在白板上写，我的思路又不一样。就是它其实就是它激活的好像是我的不同的那个一个神经网络的区域，然后的话它往外蹦词就蹦的不一样。
06:19它是根据根据上下文来的。如果我是根据比如说我脑子里面有一套思考什么模型的话，而不是就是根据上下文，就就它感觉是激活的我不同的脑子的不同部分，比如说你用中文和英文，对吧？你的那个思维框架是不太一样的，我可以明显感觉到这个不一样，出来的东西完全不一样，所以我有的时候会中文想不出我就切英文，
06:39英文想不出切中文，或者说纸上想不出我就切黑板，黑板想不出切电脑。呃，我倒
07:15你下次可以试一下，真真的还蛮有意思的，我会觉得说就就感觉脑子里面换了个人。然后这次那个禅修的时候也会想，还会有一些别的嘛，比如说就是我之前也那个也去看一些书啊什么的，比如说会讲到那个佛教的业嘛，佛教的业力。那业力的话，一般民间的传说就会是那善有善报恶有恶报这些东西嘛。
07:34但是实际上佛教里面我看下来就感觉业力其实不是这个东西嘛，它其实讲的是说我更加能够理解为就是你的你做的一些事情，你的所思所想会影响你的行为模式。然后你的行为模式又会导致说之后你不同的行为模式会导致你不同的结果。就比如说你你所思所想，就比如说我现在有点渴，我去冰箱里拿一瓶可乐，那可能就会增加了一点点我比如说爱喝可乐或者放纵自己喝可乐的概率，
08:06那我以后胖的概率就提升了。所以的话，其实我对于它的业的业的那个理解的话，其实是一个非常朴素的这种理解。通过一些行为，你影响了自己的神经网络，然后你的神经网络因为影响了它，它变到了另外一个方向上去，它就会去造成不同的结果。
08:24那这样子其实就又会又又感觉又又有点像，就是一个一个AI的一个神经网络嘛，对吧？
08:31这个这个我觉得是这样的嘛，因为本质上来讲就是神经网络这个事情，就是觉得人大概大脑是怎么思考的，然后我们猜一猜，依依赖我现有的这个硬件设备去凑一凑。所以的确就是我们过去聊过很多期都是你会发现就是大家的这个idea，它也不是推数学公式推出来的，
08:47大部分人的这些想法都是说，哎。我去这个现实生活中找方法跟比喻，做各种方向的尝试，然后得到的这样的结果嘛。我只是比较好奇，就是你去禅修之后，我们问一个通俗一点的问题，哎。你觉得就是从我要禅修这个角度，因为我知道禅修其实也是个大生意，对吧？
09:05它其实呃也不一定大，但它肯定也是一个很有意思的这个业态，它也不是一个纯粹的就是和尚对吧，出世。然后我们要出家，或者说，它是一个，一方面是帮助你调整心灵啊，调整这个节奏，一方面它也是个business，对吧？它它也是一个收费的business，我只是很好奇，就是说我们以前一直说过传统上过去AI啊或者应用啊，
09:28其实还是效率跟娱乐导向的嘛。这种心灵服务导向的很少，因为很多人想做这个东西。你去禅修完之后，你你觉得这东西到底可以做吗？会做
09:47这么说吧，就是我们不是在MVP一个东西嘛。那我们我MVP的思路的话，其实不太偏禅修，它更偏向于说就是去识别你的highlights。因为更偏向于识别你跑的时候，然后如何去识别中间的pattern，然后让它重复得更多嘛。这是比较偏向于西方的那种，就是或者说阿德勒心理学这种。
10:11但是禅修和自我的觉观会完全不一样的一个角度。就是大家可能都听过一句话，叫做烦恼即菩提，所以它就是烦恼中间产生智慧。就因为你要啥都不烦的话，其实你没有地方去分析自己嘛。所以的话，其实禅修的那个觉观的时候，其实一方面你要能够觉察到自己的烦恼，另外一方面呢，你要能够通过那个烦恼，
10:32比如说你通过这个机器，它比如说这个神经网络，它做错了某个事情，比如说该左转的时候它没有左转，那这个时候的话。它其实是让你说你如果功力够深厚，其实是你可以往下看的，去看到那个神经网络到底是哪些参数搭错了。然后就你通过一个烦恼，通过它的一次错误，其实相当于通过它给自己折腾的一个麻烦，然后你去再去翻说，
10:55哦，那去反推说这个网络里面哪些参数有问题，其实它是它是这样一个过程。所以的话，其实这里面是，呃，第一个就是产品的机会。我现在正在跟，因为我这次也是一边在听课，一边在也在想这个这个是可以做的，所以正在跟他们，我就不是要去美国玩嘛，
11:11玩完回来就会仔细地聊一下，可以怎么做。但是另外一方面呢，我也觉得这件事情就很像是说你在去，就不是那种炼金术的调模型，它是会真的根据你觉得哪个地方出了个问题，然后它去拆你的神经网络。就当然不一定到真的到神经网络，它其实拆的是我们思考的行为模式。
11:32然后那个模式里面有哪些东西可能是有问题的，自己去先看见，先不敢讲改不改，对吧？一般也不不见得让你强改，但你至少先看见说，哦，原来是这里面其实是因为有这些这些这些东西联动了，然后跟我一个什么童年记忆啊，可能跟一个我的什么隐含假设啊，跟我对谁是什么什么东西的认同啊，几个东西拼起来才会让我当下有这个烦恼。
11:53并不是外面比如说有人拍了你一下让你烦，而是因为比如说小时候有人拍了你一下打了你一顿，加上比如说那个你他的手有点油腻，然后你很讨厌油什么什么，这几件事情混在一起，然后让你觉得烦。所以它其实是这样一个过程，是是是一个很大的机会了。
12:12明白明白，哎。但这样听起来，就它还不是一个，这个跟AI没有关系啊，这个跳过来就感觉这个禅修是个日常工作。它不是个定期我去出事，然后待一个礼拜的工作，而是说你你是一个日常，你每天需要去去做的这工作。对，
12:29对。是个日常工作，就跟你调模型一样。它只是是说你在那边去禅修，就好像你定在那里，然后你就专心地调一段时间模型嘛。但是其实你日常生活当中会发现我们的模型就出错的地方，就比如说让你很烦，对吧？明明这件事情就不烦的，你为什么会很烦？
12:46你根据这个入口去找到下面其实哪个参数跟哪个是连起来的，你去找到那些连接。然后这个时候去拆解，就有点像是就是平时的fine-tune，就有还是有点像炼丹嘛，你去把它往哪个方向炼嘛。但是他错了，比如说他这个路口没有左转，其实如果按照按照那种玄学的角度，其实我也不知道下次怎么能够让他在这里左转嘛。
13:09他这边就是会说，那我那我下去去拆开，看看他为什么在这个该左转的地方没有左转，或者不该反的地方我会那么烦。微调一下。首先很多问题可能看见就没有了，因为我们有的搭神经真的是乱搭的。那可能你看见了就会觉得什么鬼啊，然后就没了。
13:28对对对对。也不见得要调，但是首先要看见。那其实跟我们去拆一个模型，说到底让它可解释，其实有点像。然后日常维护，日常维修大脑。对，就这么一个意思。
13:40OK，OK。
13:41跟你想的是不是不太一样？那个
13:43跟我想的不太一样，我原来是想很多人，包括我认识的很多创业者都是什么呢，就是创业失败了或者或者从前一个公司出来就他辛苦了很多年。
13:52他要休啥假？
14:20对。是daily的，而且它很多时候其实是，首先第一点的话，它其实是不要被那些agent带走，因为有一些agent，比如说我现在就好想去冰箱里拿一瓶可乐，对吧？那这这个其实是我脑子里的一个念头嘛，但是我们有的时候就会把念头当做自己嘛，比如说我听你说说，
14:39哎呀，你好矮啊，对吧？然后我可能就会生气嘛，那这个生气其实也是一个念头嘛，但是这个念头念念头不见得我就一定要认同这个念头，我就不一一定要给他生气，对吧？这个生气其实我有的选的，但是很多时候我就会跟着跑。但是其实那那这里面其实就首先就是你可以看见这些念头，不一定要跟着跑，有有选择。
15:00那我们其实就要就要把自己脑子里面建立一个多agent的这个模型，而不要认为我就是一个。那如果我认为我就是一个的话，那我就那我就一定要认同嘛，对吧？我不可能不跟着你跑嘛。但是如果是多个，其实你就会觉得说，那我是背后的那个比如说背景程序。
15:19那前面是很多个agent在跳来跳去，那我这个背景程序应该就是可以定说我该听谁的不该听谁的嘛。那我其实有选择的。然后第二个呢，就是那些agent有的时候跳得实在是太扯了一点的话，比如说一听你说我矮，我就很生气了。那你就会去想一想说，那这里面其实这个他应不应该生气嘛，或者说你你去看一下，哎，为什么火那么大呢，
15:40对吧？你本来就矮嘛，那你为什么火那么大？哦，原来是因为什么什么原因，布拉布拉。你可能就会看见自己的一些一些羁绊和执着在里面。那这个时候看见了之后，你就一点点剥掉嘛，一点点剥掉，可能你就把自己彻底的剥回那个背景程序，就是无我了。
15:56这就没有了。对对对。就这个意思。对。完全用完全用计算机来讲的话。
16:03那这次除了除了当时的这个意外和这种剥离之外，我这次跟师兄讨论一个东西的话，让我当然这个这个也是我的暴论啊，就是完全属于我在AI方面也不太懂，在那个禅修也不太懂，因为懂的人就不敢做类比嘛，就半吊子就敢做类比嘛，对吧？然后我终于明白了他们所说的那个轮回是什么意思。
16:24就我之前一直以为轮回就是一个灵魂在不断的换容器嘛，对吧？然后你理解的是这个意思吗？轮回。
16:32我理解不是啊，我我理解是轮回了之后你的下一世，它是同一个东西，但是下一世你的记忆反正之前的也都没有了嘛，
16:41对不对？那就是一一个东西，然后清清理一下记忆，喝个孟婆汤。然后换下一个容器嘛，对吧？不是这样的。这是西方的那个。
16:49那佛教是怎么样的呢？
16:50佛教的那个我的理解，如果完全套到那个，我因为我脑子里面完全最近在想的都是AI的事情嘛，我完全套上去，应该是你在xCloud上，你的你的那个模型是在云端的。这个云端甚至于都不是你单个的一个模型，它是把你download下来。
17:05那download下来之后就会发现一些问题啊，就是因为我我之前很困惑，就是这个游戏其实很没有意义嘛，你这样设计。因为其实比如说你download下来这个身体很残缺啊，或者活半年就挂掉了呀，那那这这有什么意义呢？但后来一想，如果它这个游戏设计就是你的容器是随机的，或者说根据那个积分嘛，就是那个你的因果报应啊什么那些积分嘛，
17:26然后积分它来给你分配一个容器，就把你download下来。那首先这个容器就会有一些限制，比如说它的显卡不够好，其实跑不动你这个模型啊，诸如此类的这种限制。而且它其实是那个多模型的一个一个东西，比如说我们肠道，对吧？然后它里面还有一些你的，比如说我们切除脑什么前额叶啊什么的，又会产生比如说性格又会变得暴力啊什么的。
17:48其实它跟这个容器里面的气质也有关系嘛。所以其实你的身体里面也有发言权的。然后你download下来这个这这个东西，它其实只是你人生当中的这些你能做决定的一小部分，并不是整个灵魂就能够定你的那个人生的。所以其实你还要跟脑子里面比如说什么前额叶啊什么乱七八糟，不是我们有一些部分切掉或者什么被受伤了就会变性格嘛。
18:11明显的这些东西是肉体决定的嘛。
18:13当你把科学跟佛教组合在一起的时候，然后你完全用他的概念，你完全用那个概念，我觉得事情这个事情就混乱了嘛，对吧？没有
18:21啊。就是你先你先假设那套东西是对的，然后呢。然后你如果把它套到我们能够理解的这个环境下面，那你就会发现说其实很有可能它download下来就是相当于多模型，就是假设是MOE或者说那个多agent的状况，它就是一一个，然后它就是一个，所以的话呢，它也不一定说了就算。
18:39而且这一个呢，它也是像你讲的，它其实喝过孟婆汤，它就是把那个记忆要不然就是清掉了，要不然的话就是它可能做了一些遮蔽嘛，比如说像我们可能要上传数据的时候要把什么敏感信息全部遮掉嘛，对吧？然后再去训练模型嘛，他可能遮了一遍，所以我们对前面的事情回忆不清楚。
18:59那他遮了一遍之后下再下来的时候的话呢，其实他他自己的那个是有限的，但是你在这一生的时候的你的所有的所思所想所作所为，那其实权重是比那个大模型，我们脑子里那个大模型要要权重更大的。就有点像不是OpenAI是几万条那个RLHF嘛，嗯，RLHF，Reinforcement Learning Human Feedback。
19:22几万条就就能够影响那种什么上千亿上亿的嘛，对吧？那其实是这个权重更大嘛。那你活在这一辈子，比如说小时候就被一个坏人老教啊什么的，他可能就是那个权重也挺大的，他影响你那个也能影响。所以那个东西其实挺可怜的，他并不是说你一个这个很牛的人对吧，我是佛。
19:39然后我下来之后就控制我的身体，然后我爱干嘛干嘛。不是这样的。他只是一个相当于就是进了一个委员会，然后呢在里面占了一个席位，然后呢还被外面。
19:49那下一个问题是这样的，如果按照这个逻辑，他变成了委员会里的一员，他死了之后，还是他继续被上传上去了，还是说这些委员会重新揉巴出一个新的东西出来？
20:02我的理解啊，我的理解是它会上传上去，但是上传上去的话呢，会把你这一世的所思所为、行动这些这些数据遮掉一层，就喝完孟婆汤之后遮掉一层，再去再去fine-tune那个model，就是原来那个model下载下来了嘛。但是你这一世做的东西，就相当于你的业这样子上传上去，然后又下一世再下载的时候。
20:23这样子就被带到了下一世，就相当于，就就其实是通过数据fine-tune来实现的。因为我们前面讲那个业的话，如果我们把它解释成就是影响你的神经网络，影响你行为模式，从而影响你得到结果的概率的话，那其实它这个跨世的那个影响，就是通过说这些行为和结果的那个数据还是上传上去了，
20:46上去了之后影响了那个神经网络，它在下一次下载的时候就到就画头，它就影响了。所以我当时就在想这些有的没的，然后我就一边想一边觉得这次真的是效果好差呀，念头一直在飞。然后就因为你应该没那么多想法吧，对吧？啊，你那就是你你还是练得不错嘛。
21:03我就一直在想，啊，我又我又在想啥呀？然后过一会儿，啊，我又在想啥呀？然后就自己有的时候都忍不住在那里在那里，啊，天。模型还是收敛
21:14的，对，这个这个过程模型还是收敛，对吧？loss还比较大，stability还比较强。
23:00啊，这个我不是说，只是我的意思是说，就是，就佛教那个宗教意义上的东西，跟一个经验科学，有这两个东西不太好，就是这个东西对类比起来太有难度了。
23:10就就主要是好玩，好玩一下，帮助自己理解。关键是我对于佛教那些概念，其实也理解的，我我猜十之八九是错的。对，因为我每过一段时间就会被告知说这个意思其实不是这个意思。
23:50底层可能是通的，但是法门很不一样。对。挺好玩的，想一些有的没的东西。我们之前都很靠谱嘛，就来聊一点特特别荒谬的东西。
24:06就是前两天跟一个朋友聊特别荒谬，就是他觉得这个按照他们现在的这个研究进度，他们觉得这个AI取代人类是个很快的过程了。啊，就我们原来还在讲个五年十年的过程，对吧？但是现在来看，就是大家都慢慢的，呃，反正我听说啊，国内这些头部的研究研发团队都觉得说，GPT-3.5这个事情应该没有什么难度。
24:29觉得GPT-4可能大家再花点时间也能做出来。然后，而且他们觉得GPT-4也不是什么很厉害的东西，因为其实你用的算力其实还是比较少的，就两万块A100嘛。那么现在大家都在组这个十万块H100级别的这个集群，特别是海外这些头部的公司啊，对吧？
24:48那就意味着说，你算力至少大了十倍以上，然后你数据量又可以再大十倍以上。按道理来讲，就是说，就是智能也会scaling law嘛，会继续增长嘛。到了那个时候有一个更强的智能，你说让它再普及到所有人去试用，我只是一个纯粹的工程的点，就怎么省成本，
25:06怎么裁剪，怎么怎么降这个成本的这个问题了。所以听起来，这个人工智能就要实现了。
25:12从我们私下聊的东西和那个和看的公开的Sam Altman的他他的一些零零碎碎的话里面的话，应该大概率就是两年的事情了。
25:48我也看到了这个。说今天说Google的那个的话，我也听说听说了这么一个版本。
26:56比较大的差别，就是说推理跟训练的算法本质上其实没有本质差别，但是训练的时候有一个问题，就是说你需要并行交换的数据，通过网络带宽去交换的数据会很大。OK，所以因为训练的时候我是并，我是很多数据啊，你不是，就是我们讲Transformer有一个好的好处就是它容易并行化，
27:18而训练因为你要跑的数据量非常非常大，你需要它尽快训练，你不是说我拿八张卡对吧？一条一条数据喂进去，那其实是你把模型切成很多个部分，然后部署在很多个不同的地方，然后再训练，然后中间会有大量的这个数据交换。那这个呢是说英伟达用了两个技术嘛，一个叫做HBM嘛，就是什么High Bandwidth Memory，
27:39就是我的内存到我的CPU芯片的那个缓存的那个通信速度现在快。第二个叫做InfiniBand嘛，就是说我不同的卡之间可以接一个它专门的那个NVLink的线，然后这这块卡的算力可以去读另外一块卡上的显存嘛。就这两个是对于训练是特别重要的，但在推理层面就可能就没有那么重要了。
28:02因为推理层面就就是你一个模型加载完了，其实都是一条一条数据进来，或者都是即使是你是为了性能也是小批次的数据进来。所以的确像你说的就是说从硬件的角度啊，或者各种各样的角度，训练跟推理的这个硬件设备的算力要求是不一样的。但是呢，我觉得这并不是说英伟达的独家优势啊，因为我觉得英伟达的核心优势还是在那个呃先发的生态上，
28:27就是CUDA上。HBM这个事情都不是英伟达发明的，HBM是AMD发明的。所以AMD当时做游戏显卡，想要找一些路子能够反超英伟达，先发明的HBM，如果我没有记错的话啊。这个并不是英伟达优势，而且如果你看最新的就是呃MLSys，就是机器学习的系统的这些论文里，就是大家的比较典型的一个观点，
28:51呃也不叫就是现在是，其实在训练层面，可能Google的这个infrastructure更强。因为Google他们有一个叫做TPU嘛，对吧？Tensor Processing Unit就是专门做这个张量的这个处理的，然后呢
29:04那个更好吗？我还以为他比那个差。
29:06那TPU的单卡的算力其实是比呃英伟达的GPU要稍微差一点的。但是谷歌的基础架构团队非常强，强在做什么呢？前两天还刚发了一篇论文，我我在群里看看到，但是我还没有去翻啊。就他们就是卡卡之间的互联，他们用的一些光通信的这些设备，它可以使得它的带宽比英伟达的那些英伟达的还要再高一个数量级。
29:32所以从这个视角上来讲，就是说你它能够连更多的卡，然后就是说这些卡的算力可以更被使用嘛。因为现在在训练的过程中GPU的load大概最多也就跑到百分之五六十，因为有时候是算力在等数据传输，在等就是数据通过网络传输或者数据从内存加载到卡上的那个缓存上来，静态的那个SRAM上来，因为那个更快嘛。
29:59所以现在卡的比如说利用率可能只有百分之三十几四十几，可能最好能到百分之五十几。那Google其实说我的卡算力可能低于你20%，但是我的利用率如果比你更高，我的带宽传输速度更快的话，我的集群可以更大的话，其实我是比你更有优势的嘛。
30:16对，对吧？而且我的可能是单卡算力比你低，但是我功耗也低嘛，因为我的成本还有一部分是电力的成本。所以我觉得英伟达当然还是有巨大的先发优势啊，包括生态啊，包括这个东西。因为毕竟比如Google这个东西，所有人都面临一个问题，就是你只能租不能买。
30:33你只能通过Google的云服务来用这个东西，你不能买了自己建数据中心，这个跟英伟达是一个巨大的差别嘛。那第二个就是说CUDA嘛，基于CUDA的这一系列的这个东西是现在的整个工业界、学术界的标准嘛。你要去用Google，你就得去用一堆其他的兼容层，就XLA啊什么这些东西。
30:54那这个东西的至少社区的大小跟CUDA跟PyTorch比，什么JAX啊、XLA都是比这个社区要小的。虽然Google也投了很多人，也有人在这个上面去做很多开发，它其实跟现在最新的模型跟的节奏都是挺紧的。但是你有两个弱势嘛，第一个弱势是，就是说我担心你的这个社区开发起来不方便，我有个新模型，哎。
31:18我要等你支持或者等你迁移。第二个我担心说，哎，你这个GPU我只能租，我不能买，对不对？万一你涨价呀，或者你怎么样啊，这个这个，或者你不给我用啊，或者说我想要用的时候用不上啊，我都没办法。
31:31那，哇，我们居然能从那么扯的话题聊，又聊到了这么扎实的话题。我顺着问问你一下，就是回到你前面讲的那个那个点，就是因为其实从各种小道消息看的话，其实都AGI快了嘛。那假设说我们还是以一个务实的眼光，就当然我们待会可以聊一会儿那种什么社会学啊，什么乱七八糟大的东西。
31:54对。务实的眼光看我们该做什么呢？假设说今年年底中国的公司，比如说出现4家到3.5水平，然后但是国外开始发4.5，然后明年年中的时候国外发5，我们追到4。然后明后年的这个时候的话，那么大家都到比如说5到6的水平，就是现在相当于说一个不太会出问题的研究生的水平。
32:19现在是一个老出问题，有一点怪怪的一个大学生嘛。如果整个社会就未来的两三年，我们既然已经知道大概率会朝这个方向发展的话，我们该做什么呢？这
32:31个是个好问题。因为我我们也在讲我们到底该做什么的，对吧？就是，
32:36其实我相信所有在做这个大模型的应用开发呀，融资的这做什么垂类大模型啊，包括做什么通用大模型团队，之前都有一个假设，就是说我先怼点算力，我赶紧今年能搞出一个这个什么样级别的模型出来，然后再往后看，觉得前方可能道路还是很凶险的，就是我虽然后发，但是我能追嘛。
32:58但是现在看起来就是说，很有可能是这个是OpenAI、Anthropic这种完全先发者和巨头的游戏。就其他人你说做基础模型，甚至做垂类模型，就是做垂直模型。可能除非你有专门的数据啊，你玩从智能的角度，你肯定是不如人家的。
33:17对，你可能很难赶得上。但第二个，也就是第二个问题是，如果它真的非常智能了，就是它一定会替代掉更多的工作。
33:24对。
33:25替代工作这个事情会更彻底，而不会像现在我们还在什么copilot呀，我们觉得是还在梳理流程啊。它如果越来越智能，就是它不存在需要我一个人再去帮他去，就大部分人去校正，它的意义就变得很小了嘛，对吧？所以我觉得从我这个视角，我觉得就是还是往这个娱乐业走吧。
33:45娱乐业就是说让去想说AI怎么让人生活得更开心一点。因为可能卷工作效率这个事情很快就会卷到头了。因为对大部分人，不管是你说创业还是工作来讲，对吧？你不会去做那个基础大模型研究，你也不是去做这个顶级的数学家，说就是有一些东西还是需要人类，就算是让人类帮助大模型align它的那个数学研究能力，
34:09你也需要这些人，对吧？但是大量的人我们现在干的事情实在太简单了，对吧？包括你今天说我们说做个什么AI的应用开发，你说这事情真的有多难吗？我我不觉得有多难。甚至你说微调一下模型这个事情特别难吗？
34:21我我也不觉得这个事情有多难。那么你就会面临这个，就是说其实我们大部分人的工作已经没啥价值嘛。这两天正好在看那本书，就是讲亚马逊的，叫做履单嘛，就是履约的履，订单的单。OK。这个去年还挺火的，然后前半段它都讲的是什么呢？
34:38讲的其实就是，就是美国的这些所谓的传统的中产阶级，就是原来的蓝领工人，我一个人就能养一家人，有个花园洋房，有有有个有两辆车，对吧？一个中产阶级生活是怎么在这个九十年代到两千，随着全球化，这个生活是被怎么冲击的。一方面是被这个互联网巨头嘛，我觉得这个其实国内海外其实都一样，就是因为高度的集中化，所有的中间环节都被打掉了，
35:07意味着这些就业机会都被打掉了。第二个是他们还更早受冲击，就是全球化，有大量的这种制造业转移到中国啊、东南亚啊，或者这个这个过程中，这个导致就很多人就是生活还是很困苦的嘛，就是而且也没有那么容易就能转型。可能半年前大家虽然觉得这个东西会有挑战，但这个挑战可能来得会要慢一点。
35:28可能是五年十年。半年过去了呢，现在又有一些观点会变成，又变成Sam Altman那个观点，就是这东西可能会很快。很快意味着这个冲击就会更快到来，那不管是你要你要做的事情是怎么去应对，这个准备就又变得更复杂了。就
35:42真的不知道怎么准备啊，而且你会觉得说你，就比如甚至于包括你在准备的过程当中，比如说多赚了三五斗的话，到底有没有意义这个事。啊，
35:51对对。因为因为钱这个事情只是个一般人家，只是用来交换的嘛，对吧？如果未来资产的巨大化，你手上那现金就没有用吧。
36:50说其实没有人认，没有人认这张钱，其实你钱也没有用，是
38:22我的意思就是他们马上就应该造枪。如果他们只是像传统商业社会一样造生产力的话，那么有枪的人会把他们要求他们分出来嘛。他这个垄断是不可持续的。但是，如果他有绝对的生产力。他就应该用来造枪。
38:36对对对，这个最后就会变成那些就是Cyberpunk的这个世界里的这种科幻的这种巨头公司嘛，什么对吧？什么荒坂塔，对吧？对。就Cyberpunk这种风格的，就是大企业垄断一切嘛。而且你面临第二个问题，就是大部分人在这个过程中已经失去价值了。
38:53今天看你还有价值的原因是，他还是要跟你换一些东西，虽然他可能因为各种各样，你你你称之为剥削也好，你称之为这个不公平也好，但是你还要跟他有交换的价值嘛。但有可能一段时间以后，我都是机器人去制造，机器人去生产，我你就没有和我交换的价值了。
39:12我不需要你嘛。对。就是就是这这个是一个最极端的情况吧。换句话说。回到那个履单那个逻辑里，就是为什么美国的那么多原来的中产阶级，今天突然就日子很难过，美国也现在也变成一个割裂的社会，
39:25也是因为这些人对于剩下那部分人呢，看起来他没有交换价值了。
39:29对的。就比如说你刚刚讲的美国蓝领的话，其实是全球化的话，对于精英阶层，他就可以换一批人剥削嘛，可以换换中国工人剥削嘛。那这样子的话，他身边那些人就原本可以傍着一起赚钱就赚不到了嘛，所以他们其实是确实是被抛下来的。
39:45对。然后这个这个上上面其实还之前还有两个观点呢。第一个是Sam Altman的观点说我们应该发UBI嘛，对不对？就所有人发钱，就是就是任何一个人你生来就有固定的收入，对吧？这是一派观点，而另外一个观点就是那个我们之前聊过的那个George Hotz的观点嘛。
40:02他觉得一个人他需要等别人发钱给自己，这个社会实在太可怕了。就人也会觉得自己失去意义跟价值。他他觉得是说生产力极大发展的逻辑是，所有东西应该都变得极其便宜。就你只要有任何办法搞到一点点钱，你就什么生活就不愁。对，他把所有的东西价格打到零，比方说你今天所有东西只有一分钱，虽然你只挣比如说一百块钱。
40:55是劳动，不用打。
40:57不一定是有肉吃，他会觉得我人生失去了意义，好像也不一定。我的
41:02感觉是这样的，它不一定是劳动，就是人呢，他还是个社会性的动物。他需要在社会中有一个交换交换价值的方法。
41:11我我我觉得其实就是人需要一种叙事，然后我应该在叙事的过程当中觉得自己有意义。它不一定需要交换价值，比如说大家都去禅修是吧，然后都去比如说追求什么灵性觉醒，这其实也是一种叙事。他只要信这个叙事，现在就是你觉得人应该比如说应该赚钱嘛，对吧？
41:31应该功成名就嘛，这也是一种叙事，或者为了建设社会主义祖国而奋斗，这也是一种叙事。那你只要相信任何一种叙事，或者我要做好事可以上天堂，这也是一种叙事。那你相信任何一种叙事的话，都可以。只是因为现在资本主义，比如说赚钱这种叙事，它是太主流了，因为它它这个东西它是自己会自生长的，
41:53就是这个商这个模型太太好了。所以它就会灌到我们每个人都觉得你应该买那个你根本不需要的包。你为了买那个包的话，你就应该应该努力赚钱。那你怎么赚钱呢？就是你去做营销，逼他催大家去买他不需要的那本本子，对吧？
42:08大家相互相互骗嘛，然后这样子创造欲望嘛。那但是这个东西它应该只是N种叙事当中的一个，对吧？大家都可以去追求灵性觉醒，是吗？对对对。
42:20这样子也可以，也不一定啊，就让AI去干活呗。那个，我有一次看王建硕有一篇文章觉得很有道理，他说，AI不会取代人类的所有的工作，呃，所有的活儿的。因为有些活儿你就想自己干，比如说有一顿好吃的，你还是想自己，有一顿火锅。你还想自己吃。
42:38所以，有些事情你是想自己干的，想自己干的就自己干呗。有一首歌你想自己听一下，你不能让他帮你听一下。但不管怎么说的话，如果这件事情真的是在，哪怕不说真的两年，真的假假设我们先做好最坏的准备是真的，或者最好的准备是两年到的话，真的太可怕了。
42:57这个整个世界所有的基石价值全要崩掉。
43:01对，我觉得两年可能，对，两年是个很很激进很乐观的估计吧，但是比如说十年二十年，我觉得是至少我现在认识的所有的在搞大模型的人，可能都觉得这个事情应该挺快的。
43:57最差情况下就是GPT-4不进步了，你只用了一些第一个帮他找了场景，然后在上面用比如说多Agent或者什么稀奇古怪的方法给他挖掘了一下，场景匹配好，然后让他的能力挖得更深了一点。然后成本更低。已经翻天覆地了。
44:54就是而且说说培训他用一下GPT-4跟不培训用，也会有一点点差别，但差别不如那个用不用的差别大。对
45:02对对。那刚刚听你讲说比较前沿的同学，他们是认为说比如说从三点从三点五到四，没有大的技术障碍，对吧？
45:12对，我我听下来感觉是这样的。
45:14那从四到五的话，其实也没有技术障碍，只有算力障碍，是吗？
45:37就是只要比比四聪明就算五，就是假设说从三点五到四有变聪明多少。嗯。然后再来一次这样的提升，我就认为它就是很……
46:06没有那么多，没有那么多H100啊，他们的信心从哪里来的呢？就是卡会卡在算力上呀。
46:12这这大家都在买卡，有很多卡都是要过一段时间才会到货嘛。
46:18哦。大家，大家都下了很多单，买了很多卡嘛，对吧？就
46:23是，就是世界上有问题总有方法搞定，是吗？
46:40啊不。我是说中国国内境内公司嘛，境内公司还是会卡在卡上面，就比较比境外公司会难搞一点。
47:08我啊，这是两件事情啊，第一个是这个芯片本身的设计嘛，第二个是生产制造嘛，对吧？这就是两件独立的事情嘛。对芯片来讲，只要流设计流片能够成功，意味着瓶颈就在生产，而不是说设计出来。毕竟你现在去设计芯片，它也不是手工，对吧？他最终也是找设备去做这个事，找晶圆去蚀刻啊什么搞这个东西嘛。
47:31所以我理解不受限于什么光刻机之类的。
47:33受限呀，但这个是生产制造层面的受限，不是设计层面的受限吧。
47:38对对对对对。那还是会造不出来啊。我觉得
48:09为现在你已经成本搞不出来了。
48:11第一个是说你说啊我技术落后是三年前的。问题是你觉得三年前你用的这些硬件设备手机跟现在你用手机真的有那么大分别吗？你当然从商业的角度，从成本的角度，现在它有分别，但是说实话，我想想三年前我你也刷抖音，现在不你还是刷抖音吗？
48:27你并没有去做出多高级的说必须用多高级的这个应用。技术落后不要紧的。对。你技术的落后的两三年还是很容易赶的，就就怕的是说就是有有一个门槛一直跨不过去嘛。对吧？
48:41但如果这个门槛的确是跨过去了，我觉得这个事情是具体的，因为我们也不是什么涉密保密人士，也不知道这些东西。但是至少从现在看到的各种消息来讲，还是比较乐观的。因为华为Mate 60至少现在应该是在大规模的出货吧。
49:21这是另外一个事情，这个是另外一种一些不确定的，就各种各样因素，我们也不知道，对吧？但是我觉得是说至少目前看起来，这即使是现在这种你说有这种对抗脱钩，但是还是个联系很紧密的世界。而在一个联系很紧密的世界情况下，我并不需要发明创造，我只需要跟随嘛。
49:40我只需要说哎，你们原来做过的，我能不能复现出来。这个我觉得是说至少中国过去的互联网证明，什么你们这些什么大规模的机器学习啊，什么大数据啊，什么这种，呃，大家抄一个八九十分还是很容易抄的。做原创创新很难，说我们先推出Open，先推出ChatGPT很难。
49:58但是别人有了这东西，我们要抄一个。也不叫抄吧，因为你其实也没有拿到人家的源码，对吧？你你你反向工程，逆向逆向地复刻一个，还是做得到的。
50:09这个还居然还挺有希望的感觉。当然了，如果整体做出来，到底是有希望没希望也不知道，
50:14挺好玩。我觉得做出来总是好事。我总觉得吧，就是科技这个东西就应该散播出去，就大家都有，这个社会呢就会比较和平安定一点。一旦一家独大呢，它总是要来欺负，就是不管谁一家独大，总是容易欺负别人。对，嗯。
51:00我我不知道，就是我们现在，因为你很难想象这样一个世界，就跟你很难在iPhone出来之后，想象之前想象一个移动互联网的世界是什么样子的。想象
51:12啊。对，你很难想象这是一个什么样的东西，但是我觉得几个原则吧。第一个，锻炼身体。对，
51:18活到那一天。
51:19我觉得我觉得这个这个是非常重要的一个事情。第二个呢。我觉得不要赌性太强，现在就是不管你做什么，就是说不管你融了资没融资做什么，不要赌性太强，觉得这个事情一定对。因为我觉得有很多啊，是应该就是就更细水长流一点。我觉得做大部分事情啊，不管你即使你融融资了，我觉得也应该细水长流一点。
51:38因为你今天做的所有假设，明天可能一个模型更新，咔，就没了，对吧？你今天做的这个假设，你说我是做基础模型的，你模型吭哧吭哧做半天，啪，人家发了个，哎，开源个Llama 2，哎。你发现我觉得其实干了没有什么意义，所以你最好是说这个要考虑一下投入产出比。
51:55第二个呢。我觉得是说我会倾向于去，就包括我们现在想做的事情，我称之为要多找一些让生活更美好的场景，而不是让干活更快的场景。
52:05有道理。
53:22对，我觉得一个是娱乐类的。第二个我我反过来，我觉得是说可能要做更多的这种社区类的内容了。就是说原来大家其实都很忙，对吧？真的就是说只能看看，我我会倾向于说如果说你要做事情，你也可以不做AI，你去做更偏线下的，更偏人跟人真实接触打交道的这个事情。
53:42因为这个体验你是很难代替的。就跟咱俩虽然这样一直聊，但是有时候见面聊还是会感觉更好一点。对，对吧？就是就是尽管你可能可以每次叫外卖，但是你真的去一个饭馆吃饭啊，旁边环境也不错，这个菜也是现炒的，而不是个预制菜，对吧？
53:58你的体验也会更好。这个就是说当生产力往极限发展了，你就得，你就不能再走那个，就更有效率这个路了。我是这个感觉。但有些可能是AI相关，比如娱乐，可能AI还能帮助我们做很多事情，对不对？那有些我觉得跟AI的关系可能没有那么大。
54:12你当然你可以利用AI去做更多线下的事情，你可以办社区啊，办这种。对，就像你去禅修，你不可能说，哎，我们开视频会议来禅修，这没有感觉的。
54:22对，我觉得毫无感觉。你再叫Oculus Quest来，你
54:26再叫Oculus Quest来禅修，我觉得应该也没有感觉的，你还是得人到现场。真的试过。
54:32我真的试过。它有一个那个App是专门在那个Oculus Quest上跑的。就它会在在你在那边在，然后你坐在一个荷花上面，然后你每次呼吸你就看到那个东西。
55:10完全不一样。所以说现在其实线上是传统行业嘛，线下其实你可以玩的花样更多。
55:15我觉得是这样的，线下线上更像个传统行业。你今天还是跟人家说电商，这是个传统的不能再传统的行业。
55:22对。还是得去体验，想想说万一，万一那个AI比想象中快到，对吧？又出现什么事情？现在还好，我觉得我
56:41啊，对，对。其实你要想想，一年之前我们没有人，周围没有，我周围没有人相信有生之年能够看到什么人工智能把人的活都给干了。
56:59对对对对。
57:00虽然我们
57:00有点老，但还不算太老，对吧？你毕竟不是六十了，对吧？对吧？当然不是最最佳年龄，至少人家三十干这个。
57:08好的好的。那我们今天就这样吧，然后大家早点睡觉，保重身体，命长一点最重要啊。祝大家长命百岁，然后关注我们的公众号。好，拜拜，拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。