AI自我意识的幻想,究竟是科幻还是现实？| 对谈田渊栋 Meta AI 科学家《破晓之钟》作者
- 发布
- 2024 年 12 月 19 日
- 时长
- 57 分
- 主播
- 任鑫、徐文浩
- 嘉宾
- 田渊栋
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
任鑫与徐文浩对谈 Meta AI 研究科学家、科幻小说《破晓之钟》作者田渊栋。田渊栋认为 AI 的学习效率仍低于人类，靠加数据加算力堆出超越人类的模型存在瓶颈，而可解释性是两条路径的共同目标；自我意识更像副产品或一种幻觉，AI 不必具备自我意识也能变强。他还谈到 AI 写小说只能到辅助层面、创作的关键仍在于人的选择，以及 scaling law 的对数特性、合成数据、梯度下降替代方案、创业机会与虚拟世界中的永生等话题。
- AI 在学习数据的效率上仍低于人，靠加数据加算力超过人类是未知数，很可能很难
- 无论走堆算力还是撞墙后找弱点，最终都要靠可解释性理解模型本身在干什么
- 自我意识是副产品乃至幻觉，AI 不必有自我意识也可能变得很强
- 探索与利用的平衡是智能体的通用原则，瞎折腾本身是有用的基因
- 写代码这类工程任务 AI 已能胜任，但研究中的洞察和灵感仍需人介入
- AI 写小说大概还需五到十年才能达到《破晓之钟》的水平，商业模板可做，个人灵感不行
- scaling law 横轴指数、纵轴线性，本身很悲观，未来更可能是多段 S 曲线而非 AI 冬天
- AI 最大的价值在于做增量的科研与艺术，而不是在已知空间里卷
本期制作
- 片头
- Shortwire - Reconfig
- 片尾
- Tyler Brown Williams - Let Forever Begin
目录
点击跳到对应位置
- 开场：介绍田渊栋与《破晓之钟》00:00
- 写小说的动因与科幻的斜杠传统02:20
- 小说中的 AI 高速发展在现实中可能吗02:49
- 自我意识是必要前提还是副产品05:45
- 斯坦福小镇、佛教觉性与意识的幻觉09:15
- 探索与利用：瞎折腾为什么有用11:05
- 求存倾向与对齐、可解释性12:20
- AI 会像核能一样无法控制吗14:52
- 学习效率瓶颈：数据、无人驾驶与标注16:16
- 田渊栋自己如何用 AI 写代码18:06
- AI 写小说还要多少年19:46
- 诗云、选择与创作的定义22:56
- 人机协作与围棋 AI 的经验23:32
- 体验、永生与虚拟世界的价值26:26
- 体验经济带来的商业机会27:53
- 吃火锅能在虚拟世界里实现吗28:45
- 书中的虚拟世界与忒修斯之船30:08
- 大过滤器、AI 与人类命运时间表31:20
- scaling law、涌现与发展的 S 曲线33:16
- 合成数据、算力分配与技术路线之争35:24
文稿
共 846 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:03要不就是说我们就拼命加数据、加计算资源，最终得到一个非常强大的、超过人类的模型。另一条路就是说，如果模型撞上墙了，往上边塞数据，塞下去之后效果不好了，那这个时候你还是要做可解释性，通过这方式找到模型的弱点，把这模型继续提高。
00:18所以最终两条路都要通向一个目标，我最终还是要理解这个模型到底在干什么。因为现在AI的学习能力还是没有达到人的水平，AI在学习数据的效率上还是没有人那么厉害。大部分情况下是这样，你需要大量的数据灌给AI，AI才慢慢能够学得比人好，或者说跟人差不多。
00:38那到底能不能超过人，现在还是个未知数，我觉得是很难的，因为最终的问题还是因为学习效率原因低于人。这样的一个迭代过程就是，最终你永远会爬到更高的一个山上，然后让AI帮你做其他的活。结构应该是随着工具的发展与时俱进的，你总会能发现AI做不了的一些灵感的发源，在这个灵感发源下面有一个AI来帮你把这个事情做完。
01:09大家好，欢迎大家来到AI炼金术。这期呢我们请来的是田渊栋同学，是一个真同学。请他来的话主要两个目的：一是这位同学是Meta AI的研究科学家，然后他是很多做AI的同学应该都认识他，就是AI方面的大神。我们想找他来聊AI。
01:28他之前呢拿过很多的奖，很多论文都是非常知名的，所以我们想找他过来聊一聊，说在实践和理论上的话，AI这边有什么进展。当然了，更重要的是，这位同学最近写了一本书，一个科幻小说。我是在上一次去硅谷回来的飞机上把那本书看完的，还真的蛮有意思的。
01:45所以这一次也抓着他问了很多书里面的问题。书里面的问题基本上也跟AI有关，因为那本书简直就是围绕着AI在写，所以呢，今天请来了他。但是呢，很抱歉地跟大家讲，就是我们聊天出了各种状况，录音缺了一段，所以这一段介绍也是补录的，
02:02前面可能会有点突兀，大家会莫名其妙听到我在开始问问题什么的。大家就相当于说几个朋友在那边聊天的话，但是突然一下从中间开始切入，然后开始听起来。好。那让我们进入正题，开始聊起来。
02:20我业余时间会写点小说，通过这个方式来表达自己。因为我这边的idea也比较多，靠谱的写论文，不靠谱的写小说，想法就不会浪费。那么这个也是一个比较好的一个充分利用那个想法的过程。
02:33挺好的。好像科幻界的话，斜杠是必然的，大家可以想到某个大牛不就是做电工嘛，所以一定是要斜杠起来。那我先问一些跟你的书有关的问题啊，书叫什么名字来着？
02:58书里面是为了自然是为了戏剧性，所以要把速度调得非常快。因为现在AI还是有一些瓶颈，瓶颈一个瓶颈就是硬件，对吧？我们都指望着老黄的卡，卡冲到了，我们就能跑实验；黄的卡没冲到。那我们就只能干等着。但是如果有一天AI能够自动设计硬件了，自动地搞个工厂设计这种硬件，然后把硬件的结果弄出来，那这个速度就会远远比现在的速度要快。
03:20所以我觉得这个速度肯定是有提升空间的。那么还有一个问题就是说，很多实验呢也并没有必要做。我们有一个单独的模型，比如说叫reward model，或者叫surrogate model。那么这个模型叫代理模型，就是说我可以不通过实验，我大概地预测一下这个实验结果是什么。
03:36这样的话，你其实可以加快这个实验的速度。其实这个问题其实早就有了，就很多人听过有一些想法，怎么样能够让它变快。我用这个模型来模拟这个世界，对吧？用模型来预测这世界会发生什么，那最后这个速度就会变快。所以速度变快呢是肯定可以的，但是呢有没有达到书里面那么快，我现在不知道，也许可以，也许不行。
03:57不知道。
04:47来。但是如果是走专家路线的话，他其实他就是他脑子当中对世界有一个抽象嘛。对。如果是走模拟的路线的话，它其实假设这个世界是不可约的话，它其实也是一种简化嘛。
05:02对，是的，就是，但是模拟毕竟还是慢。OK。大部分时间是通过抽象方式来做。你像现在有很多的已有的模拟过程，比如说你要做有一种东西叫DFT，化学这边你要解一个多体薛定谔方程。解完之后呢，这薛定谔方程能告诉你这个原子这些性质是什么。
05:18但是这薛定谔方程非常难解，你需要花很多时间去去运算。比如说你要是要超算，然后这超算算17个小时，而且除以一个步长，大概是这样子。那么现在已经有很多工作，你把这个过程换成人工神经网络，通过一些运算，我一步能够顶一千步。那么那么我就很快能加快模拟的过程。
05:36当然就是更高的高级方法，就是我的神经网络就是像大化学家的头脑，我可以在高层的逻辑里面推理出来它到底有没有效果。这个是一个目标吧，但是现在还是挺难做的。
06:08对，我觉得自我意识其实是个副产品吧。书里面要这么写呢，是因为通过这个方式可以有更高级的跟人对话的一个方式。通过这个方式呢，也可以制造一句话，让人做很重要的决策。对于小说来说呢，这是一个必要的一个条件。但是我觉得现实生活中，我不觉得一定需要有一个自我意识化的一个AI。
06:27因为自我意识对人来说是必要的，为什么呢？是因为人一开始要见过人，人自己。比如看到个老虎来了，我如果不见我自己的，我就不知道自己伤了，那我就无法决定到自己要逃跑呢还是要跟老虎搏斗。渐渐地对自己的人的整个身体会有一个大概的一个模型，然后这个模型呢会慢慢地扩展到我接下来要做什么，
06:48然后我是谁。那慢慢就会有自我意识，我觉得是这样的一个过程。一开始是建模，比如说我自己的身体情况怎么样，我能不能跟老虎搏斗，然后我的肌肉如何，旁边有没有人。慢慢慢慢它会建模到更深层的东西上面去。我觉得这个是一个进化的一个过程，通过这个方式呢可以让人变得更加强大。
07:04啊，但是对于AI来说，它不会担心自己被老虎吃掉，这完全是为人服务的，这是一个非常另外一条路径吧。嗯。
07:42这个也是一样的嘛，因为reward你加一个负号就是punish。
07:46因为你想的就是你纠结过去和想未来，大部分时候还是苦的嘛，你会不活在当下嘛，所以我一直把自我意识理解成就是故意造出来受苦。
07:56我觉得reward model肯定是有的，人应该有AI现在也是有的嘛，现在也要通过AI的reward model来训练，让这个model变得更强。但是就一个关键就是说，这个model自己本身有没有对自我的建模吧。它可能建模得非常简单，就是像昆虫那样，受伤了就受伤了，那我就避开。
08:12但是如果这个模型并没有对更加高层的东西进行建模，比如说存在性，我是否应该存在，对吧？我的目的是什么？我想要做什么事情？这些模型如果没有的话，那其实它就没有自我意识。你可以认为它是昆虫式的一个机器。
08:26那么这个机器它还有一些本能的一些反应，说有火焰就要躲开。我觉得现在这个reward model现在是处于这个状态。
08:33那有没有可能我们认为它没有自我意识，但是它可以让他以为它有自我意识？
10:21我们回到刚刚说科幻一点的话，你写的是本科幻小说嘛，就是也写的也不是一个，比如说叫什么人工智能简史，对不对？你如果是拿这件事情我们来反思一下自己的话，你觉得像我们人类会冒出来这些奇奇怪怪的动机吗？比如说我们会在拿到很多钱的时候出来莫名其妙穿越，把自己的钱都亏掉。
10:40就会做一些奇奇怪怪的事情，比如我们其实都做过这种事情。像你的话，比如说工作很忙，敬仰的科学家，然后说，哎，我要写本小说。我们都会冒出来这种奇奇怪怪的动机。这些行为它就非常的不像机器嘛，显然没有按照一个特定的方向去什么效用最大化嘛。
10:56但它可能按照一个底层的，我不知道的。你会从科学的角度，你会怎么去，就或者从机器的角度，怎么来看人的这种奇奇怪怪的想法？
11:05首先第一点就是说，我不觉得机器一定会最大化某个东西。OK，你可以设计一个机器，让它不最大化某个东西。比如说强化学习里面，智能体，它在智能体里面就有一些准则嘛，就是它要平衡exploitation和exploration，
11:19利用当前的模型得到最大的奖励和探索新的未知的世界。如果这个平衡能够达到比较好的平衡的话，那它最终得到的奖励也只是最大的。因为就是说你不仅要看到你的一亩三分地，就在这上面获取最大收益，而且你还要探索未知，因为未知也许这些未知会给你更大的收益，
11:37你并不知道。所以就是说这个智能体它的比较好的行为，一定是一边平衡，就是一边做你自己的熟练的东西，另外一边探索一些新的。现在就算是以现在这个能力的这个AI，以现在这个能力智能体做出来的东西。它也是存在这两种选择的。
11:52所以瞎折腾其实也是一个有用的基因。
12:02一本书嘛，为什么伟大不能被计划？里面就会讲说你有的时候，比如说让机器人学会去开门，然后你的优化函数是每次离开门越来越近，反倒它就开不了门。但你的优化函数是novelty，每次都要搞出一点新花样，然后反倒最后把那个门给开了。
12:17我们找到一个方案，把门打开。对，
13:43对。这个就constitution嘛，就是agent必须follow某些要求。有些要求是说我不能侵占人类，或者说我希望某些方面做得更好，有些事情我不能做。那我觉得这个跟以前一样，机器人三定律，机器人不能伤害人类。那么我觉得现在能做的呢，就是说我们这边有一个方向叫可解释性。
14:00我们希望对模型有很深的理解，知道这个模型在什么情况下有效，什么情况下没有效果，能够让这个模型在它变很强很强之前，找到一个很好的规约。我这边有两个逻辑嘛，就一个逻辑就是说，要不就是说我们就拼命加数据、加计算资源，最终得到一个非常强大的、超过人类的模型。
14:20在这种情况下呢，人类是什么都做不了的，唯一的用处是做可解释性，去解释，就是说找到模型的弱点，或者说找到模型的不足的地方，通过这种方式改进它，或者说限制它，这一条路。另一条路就是说，如果模型撞上墙了，就是说往上边塞数据，塞下去之后效果不好了，那这个时候你还是要做可解释性，
14:38通过这种方式找到模型的弱点，把这模型继续提高。所以最终两条路都要通向一个目标，我最终还是要理解这个模型本身在干什么。这样的话呢，对于将来就是安全性，或者说人类担心来说，我觉得这是一个方法。对，我觉得也是这样。
14:52我有个问题比较好奇，就是说，对齐就是一直有一个假设，就是我能控制这个模型嘛，就我人类最终能控制这个模型。但是我觉得现在研究AI就跟比如七八十年前研究原子能其实差不多。一旦这个东西被研究出来，其实是不是其实已经没法控制了？
15:06因为一旦知识被曝光，说，哎——我已经能做出一个超越普通人的一个智能的一个AI。换句话说——你当然可以去做很多对齐，但一定会有人说，那我就放弃对齐，给它更大的能力，特别是在一个互相竞争的环境下嘛。就像今天的模型其实也是一个互相竞争的环境，不是一个全人类说大家有一个共识一起来做一个，而是说每个团队都想做自己的。
15:27一旦进入这个状态，换句话说，就像今天你说有了核弹或者原子能之后，这个其实风险就一直在。虽然用了各种各样的控制手段，它其实本质上也不是科技控制，它更像一个政治控制手段嘛，就大家说好了，大家不要乱搞。
16:01对对对，我说的不能被控制，不是说不能被某一个人控制，而是它一旦知识被传播或者诞生之后，它是不是说，因为有些人会说，我为了在竞争中超过你，我就放弃这些东西，我要让它自己本身变得更强大。
16:13这个现在还没有看到，不太可能会发生。因为我觉得现在还是这样，因为现在AI的学习能力还是没有达到人的水平。AI在学习数据的效率上还是没有人的那么厉害，大部分情况下是这样。你需要大量的数据灌给AI，AI才慢慢能够学得比人好，或者说跟人差不多。
16:31但如果就跟无人驾驶是一样的，无人驾驶你开始做得很快是因为什么？是因为出了门老是出问题，每个问题都是一个数据点，然后这样的话你就会把那个模型训练得很好。但是你这个模型已经训练得很好了之后呢，你这个车在外面开着，基本上碰不到什么数据点，大部分都是很平稳。
16:46那这个时候呢，你再想要更高的、更有效的数据就很难了，这个时候进展就会越来越慢、越来越慢、越来越慢、越来越慢。那到底能不能超过人，现在还是个未知数，我觉得是很难的。因为最终的问题还是因为学习效率原因低于人。那么大模型也是一样，大模型现在也是碰到数据的一个问题嘛。
17:02现在数据很多，把它放进去，这个大模型已经把世界上所有数据都用完了。那么这个时候你再想要数据的话，你就要找人去标定。但是这些要标定的问题现在也比较难。比如说有一道数学题，全世界只有100个人知道怎么做，你找100个人去标定吗？
17:16那么这样的话呢，你就会有一个问题，就是说它到最后它也会平稳到一个比较难的或者比较困难的这样的一个阶段，但是还达不到比较顶尖的人类的这样的水平。就是大家可以用它来做各种工具，做各种事情，但是你要说能不能超过人——现在还是比较困难的。
17:51我觉得要看大部分怎么定义。
17:53超过我们交大的同学们。
17:56那就要看在什么样的工作环境下，怎么样超越人类吧。我觉得这个是一个很重要的一个点嘛。重复性劳动我确实觉得很容易，比如说码工。
18:06对，
18:06我就刚想问一个问题，就是你自己现在你觉得你写的代码有多少其实是AI帮你写的，有多少是必须你得自己来想？
18:13我现在基本上就是让AI来帮忙写了。比如说我有一个Telegram的bot，有一个机器人，然后这个机器人每天给我推送文章。这个机器人以前我觉得我要写的话，我可能花很多时间去写。我现在就告诉ChatGPT，我说我要写这个机器人，然后它给我一堆代码，然后包括里面所有的Telegram怎么调用啊，
18:31那我可能需要调debug一下，它会搞错各种版本号啊之类的事情，还挺麻烦。然后在这里这边再写一个简单的那个线性回归啊什么的，然后自己搞个推荐系统。可以看到这个文章之后，这文章我觉得不错，我点个赞，不行点个踩。可以收集所有的我的用户的数据，这个数据可以在模型里面再训练一把，得到个新的模型。
18:49就这个系统已经在那儿了，每天早上我七点钟我就看到我的文章推出来。
18:53但我理解这是两类问题嘛，这类就是比较偏工程类的问题，不一定需要你做，我做也行，或者是你马路上找一个可能刚毕业两年的小朋友。还有一类就比如说你现在发论文，或者一些偏research的工作，但这个工作我理解一般也是要写代码做实验或者怎么。
19:38所以我的意思，写代码这部分其实机器已经能做了，但是在迭代的过程中，就是研究迭代。
19:42对对对，你应该是需要就是专家意见，可能需要让人介入。
19:54可能还要十年吧，或者说五年到十年的时间。
19:57为什么会那么久呢？因为我们现在已经看到一些市场上，你也见过嘛，AI的——小说已经卖钱，已经卖得还不错了。
20:33就是那些灵感的那些迸发，反倒是它做不到的，
20:36就是这么说。就是说第一个当然是这样，有一些比较特殊的灵感或者特殊的想法，它可能想象不到，这是一个。另外就是说写小说是非常个人的、私人的事情。就是如果这个idea被AI生成了，就不是你的idea了。那所以就是说有这样的一个迭代过程，就是最终你永远会爬到更高的一个山上，然后让AI帮你做其他的活。
20:55所以就说这个问题是迭代是进展，就是你会发现如果AI已经到了第N层，这个N层是这一层上的东西。对。那你还是考虑N加一层的一些数据或者一些一些想法。所以说整个艺术的结构应该是随着工具的发展与时俱进的。最终这样迭代结果就是会发现，就是你总会能发现AI做不了的一些灵感的发源，在这个灵感发源下面有一个AI来帮你把这个事情做完。
21:21这个在写小说中会不会就跟写代码一样，变成一个你其实在做选择跟debug的过程，而不是一个写的过程。
21:28对。有是有可能的，就是但是有可能是这样，他给你的选择你不想要，你会加各种各样的要求啊。我希望这个角色经历过什么样的苦难，那个角色有什么样的个性，就这些话都是得人加进去的。
21:40你让它完全原创嘛，就假设你这完全自动驾驶可能不现实。但是其实从辅助驾驶或者说让你去做一些选择的角度来讲，你觉得它可能会更短的时间就会到。
22:22可以买到啊。《破晓之钟》可以买到，我已经看了，比较嗨的都是里面打仗的环节。那像这种环节的话，我是理解说现在那个环节的话，我觉得想象力的蓬勃的话和浩大那种感觉跟大刘是一个水平。
22:35但是，真的吗？谢谢。但是不敢当。
22:37但像这种感觉的话，这种东西能不能让AI，我觉得它，你让它一次做出来比较难。但是我是可以逼它想，再想一百个，再想一百个。对，这是可以的。
22:46但是你的选择的过程就是你的输入了。就比如说你生成一百个，然后你挑一个好的，然后你再说OK，这个开头不错，然后接下来请继续写，这个过程就是你的写作过程了。
23:09但是找的过程就是一个人类选择的过程。对，对，
23:13对，所以我一想啊，大刘，嗯，对。又被他写过。
23:15对对对。就是大刘在那部短篇小说里面，其实表达了很悲观的一个观点嘛。就是说我世界上所有的诗都已经被那个诗云给搞定了，人类就没有创作的空间。但是我觉得其实人的选择是很重要的，对，选择这个，以这个选择作为一个我的一个要求的话，这个本身就是人类的创作之一。
23:57嗯，第一版叫DarkForest。因为那个时候我是大刘的粉丝，所以我看了《黑暗森林》之后，我觉得哇，这个写得太好了啊，所以我就把这个bot名字叫做DarkForest。但是后面有一个版本叫OpenGo，那个版本呢就是用AlphaZero这种自对弈的方式。
24:12当然那个确实很强，那个超过了顶尖人类棋手。但是呢，就算超过了顶尖人类棋手，人还是很难从里面学到东西。人类面对的是一大堆的各种数字数据，巨大无比的一个搜索树，都不知道它怎么选的。所以其实在上面其实还有一个地方，就是说怎么把这个一大堆东西变成一个人类可理解的一个高层概念，
24:31然后高层概念去让人类去学。你会发现这个高层概念很重要，用通过高层概念去思考。那这部分其实现在还是做不到，这部分。如果能做出来的话，我觉得可能是个很大的突破。它能
24:40自己去挑，就是它自己写，先写一堆，然后它自己再分成十个角色，再帮忙挑一些，就相当于做初筛嘛，最后再让人类再重新
25:00就是我有掺和，就算我的，是吧？
25:03是这样，就是只是说你的掺和的水平越来越高了，你的掺和的这个档次在越来越多往上走。但你一定要有掺和，你不掺和的话，这个东西就没有你个性了。但是一定
25:11要有我的个性，是不是一个ego呢？还是说真的更好？
25:14这就牵涉到艺术定义了嘛，就是你什么是艺术，对吧？艺术一定是跟人有关系的，就是你写的东西是不是你的，因为你掺和了。
25:23但是，对，我也有的时候掺和不一定是好事儿嘛。
25:26但是就是要看吧。
25:27就最近拿个胶带，把一个香蕉贴在墙上，是吧？对啊。
26:12就是你回到现在这些，你说移动互联网创业那么多公司，其实最终真正留下来的公司，可能今天就五家或者十家。大部分人即使所谓很多人财务自由，把公司卖了上市了，它其实也是个过程，过几年就都消失了嘛。
26:25往长远讲，我们都会死的。
26:50当然就是我们都有那求不朽的欲望嘛，但是what's the point?
27:24哎，很好。我确实我之前有人问我说，就是总有人担心说会被AI取代嘛，说什么不会被AI取代。我就说，吃火锅不会被AI取代，因为这是你自己以自己的经验为目的。对。但是一旦是你完成一个事情，就大概率AI都会比我们干得好，但是你不会让它替你去吃火锅。
27:43对，那是因为他在吃火锅，不是我在吃火锅，对吧？所以你也要去吃火锅试一次。对啊。
27:48我是以自己的经验为目的。但是如果是这样的话，就是我们回到一个特别世俗的，因为我最近，对，我们也在想不同的产品的机会嘛。那这里面有没有什么商业机会或者产业机会？一下子俗了下来。
28:24对，我之前就把我宝宝画的一个机器人，让它在电脑上动了起来。
28:29是啊是啊是啊，经验本身是一个很重要的一个点嘛，还有就是说，也许你会找到，你可能会连接各种人，对吧？这些人他们有不同的经验，你跟他们聊会有很不一样的感觉。那这样，那
28:55关键是体验是不是你的嘛，主要是问题，对吧？也许你作为一个，你在虚拟世界里面，然后体验过这个吃火锅这个动作，那就是你的。其实你并不关心这个事情在现实世界发生还是在虚拟世界发生，其实你并不关心。
29:07尤其是在我不知道的情况下。And
29:09okay.就比如说你现在可能有些想法，哎呀，虚拟世界肯定是假的呀，我非常不信任。
29:13也很难证明现在是真的。
29:15所以但是如果它真到一定程度了，跟现实世界没什么区别，那大家可能会接受。这种情况下就是你的目的是得到这个体验，至于这个体验从哪来就无所谓。
29:54如果我是跟它相连一块一块的换我的板子，对吧？电脑电脑，智能啊，thousand brains，然后一个一个brains换。把我慢慢的挪上去，我个人觉得我还是挺期待这一天的，因为这样子我是有永生的概率。但是好像我从书里面感受到，好像从书的价值观里面不是那么的看好这条路。
30:15其实不是这么说吧，因为其实书里面写了这样的一个故事，就是说有一些人还在现实世界，有一些人已经去了虚拟世界。书里面其实主要是写的就是第一版虚拟世界呢不是很完美，有很多问题。当然了，就是这版虚拟世界呢，是因为就是人类自发组织得到的虚拟世界。
30:30当时就是说作为虚拟世界的经营公司，对吧？这个经营公司可能没有想到这么多，就会有bug，会有问题，就是导致就是里面的人，然后做产品的逻辑。嗯，对。就有些人会有会有一些想法，就是说当然我也不想剧透，对吧？但是确实是，可能会觉得就是有些东西太容易得到了，那就会失去自己的动力啊，或者自己的想法，对吧？
30:49这个是一个可能。第二版的虚拟世界呢可能就会好很多，就是这样的一个一个过程。我并没有说这个东西是不好的，我觉得这个东西呢也许最终还还会进去，但是有各种各样的办法和方案去让大家去解决。人类社会在这里面有什么样的，就是有很多东西要重新定义了。
31:06比如说里面的人不会生孩子，那么新一代人从哪来？如果里面的人都已经没有欲望，都已经没满足，那他们会不会进步？他们有没有前进的动力？这都是都是问题。那这个应该是一会儿很大的问题，但是进化总是能够找到一条路的。
31:27嗯，对，我觉得有可能我们已经过了大过滤器，呵呵。
31:30所以说我我其实有另外一个问题吧，就是大过滤器的一个前提是你人类会不会自我毁灭嘛。就从这个视角来讲，就是AI到底是加速你自我毁灭，还是它是会让你更快地越过大过滤器。
31:43对。如果是AI把人类毁灭的话，AI应该已经发展
31:46到发展到很智能了。
31:48反正我就有个差别，AI，你的假设是，就AI也没有要进化或者出门或者探索的欲望嘛，我们还是受激素影响的动物嘛。
31:55那有道理，最后大家都生活了，就在自己家待着。
31:59这也是有可能的嘛。我其实说实在，就是我们，我承认了，我觉得这种，我们这前后一百年，可能接下来两百年，是最重要的一段时间。
32:06一两百年嘛，因为其实我也聊了很多的人的话，真的会比较激进一点，都认为是三到十年，会认为未来三到十年就决定人类整体命运了，就是会很激进啊，就就科学家会，对，
32:22我觉得这个时间上来说，就是我可能说一百年说的太保守了，对，我是觉得可能五十年吧，大概这个时间。就我们
32:27有可能活着看到。
32:50那在我们先不讲它被卡死吧，就是它的发展路线的发展的能力的进一步的发展，像Sam Altman是吧，天天搞PR，肯定就希望大家觉得它这个趋势线会不停地往下走。那从业内科学家的角度的话，你会觉得趋势线会继续往下走吗？还是说其实大家也都是只是在赌，这只是一个像摩尔定律，就每过两年搞一个新的技术突破，解决原来的问题，
33:14但是在搞出来之前谁都不知道。
33:16我一直是没有那么乐观的观点，我一直觉得这个scaling law会比较，就是可能在什么时候会停下来，或者说它scaling law本身是个很很悲观的东西。
33:25我觉得它是对数的。它对
33:57那现在除了这条路以外，因为像有时候我们就脑子里面只看得到transformer啊什么这些东西嘛。从你的角度的话，就看到说是大家都已经在一条路上已经就走下去了，还是说其实你还看到了旁边开了五六朵新的花，其实还挺有希望的。
34:54是有可能的呀，是有可能。这个故事可能不一定scaling law了，可能其他东西。你还是有大量数据，大量的模型去训练，但是可能训练的范式会发生变化，或者训练的数据准备发生变化，这个都是有可能的。
35:05我看了困在那个Twitter上发的这些内容，我觉得你们其实困他自己看的也不只是简单的scaling law。
35:11或者就是，所以他也不是简单scaling，他也是有一些想法吧，就是大家都有想法，这很正常。因为scaling太过于无聊了，就是。
35:18就是scaling的话，感觉最后变成比谁有钱了。
35:21我们现在也听到两个小道消息，我不知道真的假的。一个就是说training丢算力已经没用了，所以才把一半的算力比如说丢到post training，这是一个听到的小道消息。啊，另外一个小道消息就是合成数据有毒，练进去不好，现在还是卡在数据上了。
35:36之前是觉得合成数据可以解决这个问题嘛，现在说不能解决这个问题。那算力和数据上现在都遇到了很大的障碍，这是小道消息还是其实这是比较有共识的一个比较真的东西？
36:40还有一个说法就是现在在怼算力已经没有那么大的用处了，所以pretrain大家都把那个卡在减少，往post train放。这个是因为这个原因吗？还但是我听到另外一种很乐观的解释是跟我讲说，是因为agent work了，所以我们要做agent了。
36:55嗯，我觉得还是确实在往预训练这堆的话，可能会有些问题吧。我觉得还是模型越大，数据越多的话，因为就现在所有数据都放进去，所以你训练完之后，可能你不一定能看到你想要的效果。当然了，就这个事情是我的推断了啊。
37:12对。刚刚讲到非共识，你有什么对于这个行业发展，你会觉得大家可能想错的地方吗？
37:18我觉得我有些很非常不主流的想法嘛。
37:20就是说我们要bet一些非主流的。
37:22也许有一天我们能够代替梯度下降。梯度下降本身不是一个好算法。也许我们存在一个新的算法能够代替梯度下降，得到更好的解，然后这个解呢能够比梯度下降的这种数据用得更少。
37:34啊？你的论文是这个吗？对啊。
37:57其实在局部的地方和在宏观的地方，其实都还是大家还是存在着很多自己的一些独特的。
38:03你有很多独立想法，我觉得很多时候大家不是那么一致的，特别是研究员，每个研究员都有自己的想法，都有自己的新的路径那么去试。
39:31对，你是怎么
39:46可能要先做做看吧，还是要做一下，感受一下什么样的结果能够得到一个更好的推理模型吧。每个公司都有自己的要求嘛，对吧？希望有一些至少有个产出吧，我觉得这个是个很好的一个热点。因为最终还是希望模型有一些能力，就是别人没有的我要有，别人有的我当然也要有。
40:02因为之前的涌现，我觉得是把很多就3.5到4之间的能力，是很多能力原来不太实用嘛。现在能力其实非常实用，比如写代码，这3.5其实还挺buggy的，就是bug还挺多的，你经常要自己调，幻觉也很多。其实到4，包括现在Claude Sonnet 3.5，基本上就我最近几天写代码，基本上我觉得可能1500行代码，
40:21可能就50行我把输入输出路径改了一下，其他基本上都是它写的。但是你觉得到5，或者说就到next generation，就大家的预期是什么？是做科研吗？还是说其实大家的预期，他希望它用起来能做什么样能力？
40:33当然就是希望它做科研嘛，如果它能提出一些很有意思的新鲜想法，那当然就是下一个阶段，但是这个我没有那么乐观。
40:41OK。所以你觉得其实从完全从就不是科研的角度，就从工程啊或者从解决具体问题的角度，你是不是觉得其实现在已经基本能满足需求了？
40:50我觉得应该可能是吧，特别是写一些简单的程序。但是比较难的程序，我觉得还是需要人介入。
41:41对，我觉得是啊，就是增量的话，至少对整个社会是有贡献的。对。
41:45那你写小说，你现在是怎么用AI，还是完全没用？
41:49我在探索吧，就做一些可能的做法，比如说可以让AI来，让它写一些比较典型的桥段，可以。然后比如说描述一个场景，描述一个物件啊，然后有些时候会点拿做脑洞嘛，比如说你跟它说，你接下来具体会发生什么？对，它可能会有一些奇怪的展开，有些展开挺挺有意思的，是不是可以可以考虑一下？
42:10我见过一个好玩的用法，是好像是做乙游的吧，有人讲的，他就说他们应该经常要设计反转，然后他就会先比如说啊，他们两个相亲相爱，不知道干嘛干嘛，然后再说结局是一个女的把这个男的杀了。给我安排中间到底发生了什么啊？
42:25对对对。这个肯定是可以的，就是他要有个办法来熬过来，这个熬过来的想法我想不出来，AI再帮我想一想。对，他现在还是可以做到这一点。
42:53对啊。因为AI也不会抱怨嘛。
42:55啊，所以是可以这样用的，
42:56可以这样用嘛。对。还有就是说有些比较花团锦簇的描述，你不一定想出来。
43:02我刚刚一直为了避免剧透的话，一直绕着那个书里面情节在走啊。你能不能讲一两个你书里面的情节或者画面的话，给大家一个概念，说你在讲啥，或者有啥好玩的，比如说介绍一个特别有意思的，哎。觉得，哎嘿嘿，我牛逼，我写出来可开心了。这种情节，比如说
43:19打仗嘛，对吧？
43:20对对对。我就是最喜欢打仗那一段。
43:21对。打仗呢，那就是说是未来，比如说外星人入侵地球了，它以什么方式入侵地球的，地球是什么方式回应的？这样这种高等文明之间的对战呢，就是人类应该是参与不了的，必须是让AI来参与。对整个地球来说，它其实有很多资源是没有被开发的。
43:38是啊，让人去制造战争机器啊，然后跟对面对战的，这个是非常没有效率的。那么用AI来控制整个地球的资源，让它去进化，找到一个更好的解决方案。那么这个其实是效率其实是远远比人要高。先想先造，然后先行进化嘛，就是这样的一个过程。
43:53就是人类有可能就是以后就躲在地下室看直播。你可以想象，地球可能就是比如人类的免疫系统。对，免疫系统它有很多的自动运行的一个程序。这程序能够生成大量的白细胞，然后产生病菌。这样其实是更像是一个AI系统应该做的事情。
44:07这个是一个我觉得写下来，我觉得还是挺挺好的一段。
44:26科幻还是想要有一些大的脑洞嘛，对吧？然后这脑洞可能你没有想过，或者说是一个比较有意思的一个脑洞，去把这个事情做成了。
45:55再问可能虚一点的问题，你觉得这次跟以前几次有什么不一样吗？其实撞墙撞过很多次嘛，对吧？就是说从有机器学习或者说有AI这个概念到后来，现在撞墙又
46:04撞了三次了。对啊，
46:05对。你觉得这次会跟之前，就是因为当大家就特别乐观的时候，往往觉得是这一次跟上一次不一样。
46:12我觉得这次不一样的地方，一个是大家确实看到了它有用，真的能够改变大家的一些职业的一些流程。这个东西就算是撞墙也是很有用的，可以拿来做很多事情。比如说你说应用来写代码，这个是以前的几次没有的。我觉得这个很重要。就算上一波机器学习做出来之后，必须训练一个单独的模型做这个代码，实用性就打折扣了。
46:32但是现在这个实用性其实是相当好的了，真的可以用。这波就算现在我们撞墙了，或者说最近发展停滞的话，这个应用本身也可以做很多很多。嗯，已经够好。已经够好了，就可以代替很多的以前的一些人的劳动。那么这个就足够让这个领域继续发展了。
46:48所以它肯定不会再出现什么AI冬天这种事情。可能不能说撞墙吧，就是说可能是S型曲线上升，平稳，再上升，再平稳这样的一个过程。不是说我从上面往下掉。
46:59对，这样的其实是说从人，就是大家的，就是你就是顶级的研究人员或者工程人员的，就是现在大家的整体的趋势是怎么样的？因为可能两年前的ChatGPT出来的时候，会有，因为并不是所有人都在做这个大模型这个领域，然后就大家看到，我我称之为是所有领域的人，我现在都转来做，只要觉得自己比较厉害的，其实都会转来做偏大模型方向的事情。
47:19第二个是说大部分人会选择去做pretrain嘛，就是说有机会去做pretrain的人会优先考虑去做pretrain，因为有更大的算力，更大的投入，看这才能做一个更厉害的事情。但现在不管他有没有撞墙，但是感觉说反正这个梯队也拉开了，可能真正能做最头部的模型的，你在美国我相信比如说OpenAI在做。
47:37然后Anthropic在做，Meta在做，Google在做，那感觉好像其他人也没有人说，我就真的投入非常大的算力。那现在就是大家在无论是研究还是工程上的选择，会有会有什么变化？
47:49对。这个是一个很现实的问题吧，就是对我来说嘛，我们我们当然希望我们的方向还是一个是也是主流的方向，这样的话至少能跟上主流的步伐，但同时呢又有时间和精力去做一些探索，去找到更香更不一样的东西。
48:02而且还exploration跟exploitation要结合一下。
48:45我是有的，但是这个完全是看具体那个情况是怎么样的。
48:49比如说比如说搜索啊。
48:51搜索其实是可以做的，我觉得它不是个全新的领域。对，对吧？你大不了可以结合大模型跟传统搜索方法，你先传统搜索做到一堆结果，然后大模型把它串起来，串起来的时候保证这个citation是对的。
49:03但是像Perplexity那么高的估值，但是Google也可以做，OpenAI也可以做，然后它还可以直接底层做，就配合得更好。这是为什么？我其实对于Perplexity的估值没有那么理解哦。从你的角度，你是理解的还是觉得说虚高还是怎么样？
49:362024年你有见到什么你觉得有创造力的公司或者产品吗？
49:40视频生成好像有一些挺有意思的，但是有很多的其他方向我也关注了，但是我也没有特别觉得好像有什么东西很惊艳的。
49:48最近Google的NotebookLM你看了吗？
49:50我看了那个数据挺好，就是相当于生成一段播客嘛。
49:53我最近很感兴趣。
50:05肯定不能做它那个播客生成工具是肯定没有的，但是这里面有没有其他的机会？那你有没有看到什么其他的？比如说你觉得今年比如说有几篇论文，其实打开了一个新的方向，新的世界值得关注的。
50:19然后像最近有一篇Test-time compute的，我们说Test-time training嘛，在测试的时候做训练。之前是不是就有一个叫ARC Challenge，就有一个简单的，就是你有一个一张图，对吧？这张图有一些那个奇怪的结构，然后另外一张图是通过某种操作，把这张图变成另外一张图。
50:34比如说这张图上都是三块缺一块，你这样子把它补全。但是这个操作本身是不告诉你的，你要从之前给的那些样本里面去猜。有点像few-shot啊，对，few-shot。对。这样子，OK。
50:45但是就是这个问题，就是他们有一个nonprofit organization，说我悬赏一百万美金奖励第一个把这个问题解决的人。但是挺火的，最近MIT有一个文章嘛，就是他们效果比原来好好不少，他们通过Test-time training这样方式来做这个事情。Test-
51:13对。但是这个学习不是通过这个简单列举一些in-context learning的结果，它其实是在训练中，在预测中动态地改变它的权重，这个应该说挺有意思。好的。
51:23然后再问一个问题，就是对于创业者来说的话，我估计听我们播客的很多也是自己在做产品啊创业的，但是可能也没有那么懂技术。你觉得他们要懂到什么程度啊？是把大语言模型大概了解说可以怎么用就行，还是你基础稍微要知道一下它的边界，还是最新的论文要看一看？
51:40我觉得就是完全看你你想要什么吧，对吧？如果你对技术很感兴趣的话，你应该看论文。对。如果你就是你觉得现在技术有用，但是对产品的形态有兴趣的话，那应该去想办法把产品形态做出来。
51:50对。如果是主要大部分我接触的创业者还是做应用的，做应用的你觉得看不看论文重要吗？还是其实无所谓的？
51:57我不知道这个应用具体是
51:58什么应用。就类似于比如说要做个Perplexity，或者做一个AI算命。我觉得这个
52:28大部分我们还碰不到那个问题，或者碰到的也不是大语言模型的问题，我们会碰到很多其他模型，就比如说视觉模型啊什么的那种问题。那种还看完之后你还觉得自己勉力可以改一改，大语言模型想都不想。OK，好的。那今天我们也聊了很久，你要不要再介绍一下这本书？
52:47对。这本书呢，动因呢就是说，因为每个时代都有自己的科学幻想。以前电气时代，没想到是科学，通过各种那个晶体管去制造一个机器，然后用它来实现人工智能，对吧？这是一种，比如说再往前走，比如说机械时代，可能想到就是用大量的机器和齿轮做一些机器，然后用它比如说潜到地底啊，
53:07或者登上月球啊，这样子的，对。应该说就是每个时代都有自己的一个前沿的科技，然后这些前沿的科技呢能够带领人类做一些以前想不到的事情。但是呢，现实世界的这个发展呢其实跟人类的想法很多是不一样的。我们现在进入人工智能时代，等人工智能时代有了这个之后呢，那其实前沿科技的想象和思考是不一样的。
53:27一个想法就是说我们能不能写一个人工智能时代的科学幻想。在人工智能时代，就是人类这个想法和思维是极大的拓展了。那么在这种新的想法和思维下呢，那么也许整个故事是不一样的。所以这个是一个动因吧。你通过这个方式呢，可能能够想一想，就是接下来人会往哪个方向去发展。
53:45如果我们碰到外星高等文明，他们是什么样的想，他们的思路是什么。通过这个方式呢，就是可能可以展望一下将来人类社会的形态和目标，和人和人性的关系是什么样子。大概是这样的一个小说吧。
53:56嗯，很精彩，你是如何可以做到不透露剧情，又可以讲出这么多话？OK，很棒，很棒。嗯。刚刚在说我这两天是在陪那个晚上我还去医院嘛看病，有一些时候我就会跟AI一边在讨论一些事情，然后就在跟他聊啊，然后说让他帮我看一下这个参数啊，然后看一下这这个指标加那个指标，大概帮我诊断啊什么的，
54:18然后一些这种事情。有一下我就突然的感受到说，太科幻了，我居然在做这个事情。就这个事情假如说是在比如说五年前跟我讲说，你一定会，这就是个纯纯的科幻啊。但是现在我就会觉得我甚至还嫌他傻，有的时候我还在嫌弃他。但是实际上你有的时候静下来，你就会觉得太科幻了。
54:38所以现实变成了科幻的时候的话。那其实整个我们对想象力，因为人类又习惯了嘛，习惯了之后，但是对我们对于世界的想象就可以再往上走一层。科幻就是可能是明天的现实，然后现在的现实其实是我们五年前觉得科幻的场景。对对对。所以的话，通过科幻小说其实很很有可能是我们未来的一个现实吧。
54:59这个也是我的一个想法吧，因为对我来说，我有很多想法，靠谱的想法我们写论文，不靠谱的想法我们写小说，靠谱的想法某一天会成为现实，这样就不用浪费了。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。