不要做 AI 应用！要设计自主智能体组织
- 发布
- 2023 年 7 月 16 日
- 时长
- 58 分
- 主播
- 任鑫、徐文浩
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
本期从「AI 原生应用应该怎么设计」出发，提出一个反向思路：不要设计一个应用再往里面塞 AI，而是设计一群各有使命和偏好的智能体，让它们像一家公司一样协作、反思、迭代，再由这个组织去交付产品和服务用户。两位主播以 Writer-Editor Synergy、斯坦福小镇式的 GPT 模拟器、小红书文案团队等例子讨论这套抽象，并延伸到面向 agent 的 API 化、permissionless 与 spam 的权衡，最后聊到上下文窗口外推和 MosaicML 被 Databricks 收购等近期动态。
- AI 原生的产品设计不是「应用 + AI」，而是设计一群有不同角色和偏好的 agent，类比面向对象编程之于面向过程，是一种降低设计负担的抽象方式
- 斯坦福小镇式的 GPT 模拟器里其实没有离散的 agent 对象，只有一堆身份与记忆数据被同一个模拟器反复调用，Agent 只是方便思考的隐喻
- Writer-Editor Synergy、小红书文案团队（写手/编辑/分析师/客户经理）说明多角色协作能产生一加一大于二的效果，并且可以带来记忆与反思能力
- 任鑫把 GPT 当镜子看自己：脑子里的纷繁声音像一群互相吵架的 agent，所谓「我」更像新闻发言人而非司令官
- 落到实践，可以先做半步——用新范式解决老问题（如小红书文案）拿到预算，再去做没有被满足好的问题，最终中间形态可能消失，产品提前 API 化、被其他 agent 调用
- agent 之间的 permissionless 协作面临 spam 与成本分摊的两难，邮件/短信的收费机制和公司这种组织形态都是在解决同一问题
- 工程侧近期看点：上下文窗口外推（位置编码改用 0.5 间隔）、MosaicML 以约 13 亿美元被 Databricks 收购
- 两位主播强调「研究 AI 新闻不等于研究 AI」，建议动手写代码或跑别人的代码，范式转变比 API 细节更重要
目录
点击跳到对应位置
- 开场：为什么要聊 agent00:00
- agent 不是新概念：从模拟城市到仿真估算01:14
- Writer-Editor Synergy：最简单的多智能体协作02:42
- 靠 prompt 一次写对，还是靠反复迭代改好04:12
- 核心命题：不要设计应用，设计一群 agent06:13
- 面向对象式的抽象：让设计负担被解放07:47
- GPT 项目与斯坦福小镇：没有离散 agent 对象的模拟器09:42
- 从模拟器想到佛教与自我意识：一千个 agent 在脑子里吵架14:11
- 隐喻的递归与落到工作生活的用法19:05
- agent 的两个好处：带记忆反思、组织产生超额智能23:33
- 这算不算只是个内部效率工具：AI native 面向用户长什么样27:00
- 一百亿 agent 与十亿人类：中间形态消失与提前 API 化30:38
- permissionless、spam 与成本：公司存在的意义35:28
- agent 是这一代开发者的新抽象：类比移动与 Windows CE38:30
- OpenAI 成功故事与插曲40:01
- 设计工具而非积累经验：tool maker 与专家库干预41:31
- 这套方法论成熟了吗：能不能今天就动手做44:39
- 近期技术动态：上下文窗口外推与 MosaicML49:14
- 收尾：研究 AI 新闻不等于研究 AI55:48
文稿
共 709 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:37Permissionless这个机制其实都面临一个同样的挑战。那个我如果设得太低，就会有大量spam。我设得太高，我就发现我这个应用根本就用不起来。有了公司这个组织，所以大家更花力气想办法能够分辨出谁是spam，依赖这种就是市场自己去调节的这个机制。
00:59欢迎大家来到AI炼金术，然后来新一期。我们这一期来聊那个agent，agent是叫自主智能体吗？
01:08就叫智能体吧。嗯，行。自主是叫Autonomous Agent嘛，对吧？它不一定自主呀。
01:14我最近还翻了一下，结果发现说其实这不是一个新概念。就是之前比如说你要做那个模拟城市啊，什么模拟什么黑人白人会怎么住啊，然后那好多好多东西它都用到agent，就是agent-based design其实是一个很古老的技术，是吧？
01:31很古老的概念吧，我觉得不能叫技术。以前的那些agent，你基本上都做得比较简单嘛，不像现在你能看到的这些什么generative agent，什么AutoGPT这些东西，可能差别还是挺大的。以前很多是写脚本嘛，写一些状态机啊，写一些脚本啊，说啊遇到这个东西我会有一个什么reaction，
01:50然后去模拟这个怎么会发生嘛。几年前吧，当时看一些这种数据类的程序说，哎——就是你去模拟一个学校里到底要建多少个女厕所、多少个男厕所。你不是根据男女的人数嘛，你得模拟说，哎呀，人平均多久会去上厕所。然后同时大家的这个时间是随机的嘛，然后可能男性上厕所平均要多长时间，女性需要多少时间，然后去看说，
02:14哎，那遇到各种情况，排队大概需要排多久，最坏情况会是多少，来决定我设计多少个厕所嘛。
02:22哎，有道理啊，因为你还要各种因素都要考虑进去，什么上下课啊什么的，你干脆模拟一下情况会更简单。
02:29对，它就是模拟嘛，不是估算嘛。因为你估算很容易，就是很多这种情况没有考虑到。第二个是你估算，你很容易估算一个平均值，但是你很难估算到，比如说恶劣情况下会是怎么样的。
03:21这个不会overkill吗？就是像你说的，不管写得好坏，他都会去骂。那我随机写出特别好的东西也会被骂，丢失一些好的这种段落啊，或者怎么样。
04:12这个其实也挺奇怪的，那比如说我们第一版写prompt的时候，写得好一点就会好一点。因为从原理上来讲，大家都是从那个底层的基础模型里去随机生成，也不叫随机嘛，跟按照概率生成文字嘛。
05:06我明白。对。但我的意思是说，这个当中有没有可能靠我用更好的prompt，就是不是靠这种反复修改的方式，看你前面举的，比如说拆步骤啊，或者用一些特定的prompt啊，类似的这个方式来解决问题嘛。因为我觉得现在有很多的就是大家讲的这些这些方法论或者skills，但是你退化到最原始，它本质上就是个生成文本的模型嘛。
05:29那所谓的Chain-of-Thought也好，所谓的各种prompt也好，都是说我利用不同的这个起始的这个文案，让它尽可能地trigger，就是激发它去用一些不同的概率下的路径的这些词嘛。所以按理来讲说，你随便写一段，比如说你帮我写段小说，然后你让它去改，它大概率能改好，是因为其实你让它改的那句话里面已经有了很多的这种prompt嘛，
05:58让它去是给了它更多的信息嘛。然后你最原始写的那个里面其实没有这个信息嘛，对吧？但是如果你原始写的这个里面就给了很多prompt，或者给了很多合适的信息，是不是就会改善这个事情？我
06:11倒是真想过这个问题。什么是AI原生的应用？所以我们来讨论这一期。讨论AI原生应用，很多时候我们讨论的就是怎么在应用里面合理地加AI技术嘛。那其实最近看的越来越多的，其实是在讲智能体，就是你不是在设计一个应用——然后往里面加AI，而是设计一帮小机器人，
06:31他们自己在自己搞自己啊，有经理，有有主管，有写手，有分析师，然后他们自己有有编辑，有写手，反正自己相互搞来搞去，然后让那个结果变得更好。所以呢，有可能说设计AI原生的产品，现在看起来有可能啊，这是一种思路，不是设计产品加AI，而是设计一群机器人，
06:50然后他们是一个机器人的组织，相当于他们开家公司，然后你让他们再去做产品，然后再去服务用户。所以今天主要是聊这个话题。
06:57我我觉得这个话题是跟我现在观察市场上的这个，很多人想要来做AI，其实大家也面临一个问题，就是不知道该干啥，或者不知道该咋干。就大家会觉得整个市场说传统的这个应用已经被老的应用占完了嘛，对吧？就是你今天我们讲了看到了很多这种所谓提升效率的场景，说这种改善的场景。
07:18你仔细想一下，它基本上是说，可能是一个相对已经比较成熟的创业公司或者大公司去加一点AI的功能就能搞定了。其实我觉得很多创业者说，哎呀，AI厉害，我我要加入来创业，但是干啥呢？就是如果你既不做大模型，然后又发现说我是个创业公司，其实你挺难找一个，并不是很好找切入口，此时此刻。
07:40所以我们就要来听任鑫老师讲一讲这个智能体这个问题了。
07:44对，你刚刚讲的那个那个我觉得是有可能的。但是我最近思考这件事情其实是类似于，就是我们大学的时候不是要学那个面向对象编程嘛。所有的面向对象编程，理论上来讲都可以直接是码代码，不用对象也能实现。但是人类的脑子不是这么长的，所以你会想不清楚。
08:04所有的prompt你都能写得出来，但是这个时候呢，你就相当于是在一片汪洋大海里面去捞词嘛，就就很麻烦。但是呢，如果人类的脑子里面天然就有object，天然有agent，天然有对于人的理解，对于组织的理解，这是我们脑子里天然有的东西，它不一定是最好的。
08:22但是如果我们说是让一个我们去设计一个application，然后我们以面向对象来编程，我们就可以把自己的设计负担给解放掉。就就比较简单，你就设计一个怎么叫桌子，桌子有一个特性叫做可以在上面放东西。理论上来讲，它那个空间里面应该有一句美妙的话是可以一次搞定的，但是找不到
09:42我我觉得我们跳步了，你先解跟大家解释一下什么是GPTeam。
09:46GPTeam就是有一个那个GitHub上一个项目，然后它就那个里面可以你可以自己上去设计很多的agent，很很多的角色。然后那些角色你可以给它设计说他的什么人生欲望啊，然后什么的，他的简历啊，比如说他是清华的，然后他怎么怎么样。
10:02然后还可以设计他的内心潜在欲望，比如说希望被赞美啊，巴拉巴拉巴拉巴拉。然后他们的他们的环境，然后巴拉巴拉。然后你设计了这么一堆之后，他们就会相互之间交互。搞来搞去的，然后就就比如说你设计两个人是同学，然后他们刚好在开了一个直播开始见面了，他可能就会想，
10:18哎，那直播了，我看到徐文浩上线了，那这个时候这个人应该说一句，hello，好久不见，然后然后就开始两个人就开始聊起来了。所以它里面有场景，有事件，然后有agent，相当于有角色。
10:34对。开放的斯坦福小镇，就是你可以用它来来做，你就方便自己搭了嘛。
10:40你可以自己编辑一个斯坦福小镇，你就是给自己设计环境，然后自己设计很多个agent，然后它就自动在里面会交互，是吧？
11:26是指什么？我现在没有去看原文，我的理解是它有二十个对象的身份和记忆，我就把它理解成二十个文本文本文件好了。然后它每一次它有一个东西叫做模拟器，就比如说叫做
11:40executor，executor会把这个东西读进来，说基于这个人，然后基于他的记忆里面记到这些事情，然后他现在observe到了这些环境的事情，那我觉得他应该采用什么行为。OK。然后我就说他现在比如说他现在打了个招呼，然后然后这段话就丢掉了，然后就把这个打招呼放到他的记忆当中呀。
12:00他们还有一个算法去算记忆的优先级啊，什么乱七八糟的。所以理论上来讲，就是它里面并不存在一个对象，一个instance或者一个class叫做agent，就是最可怕的地方。它里面其实就一堆数，然后这堆数是交给同一个东西去运行。
12:17OK。实际上它有agent这个对象，就是它的记忆这些数据啊，然后包括这个数据什么时候触发去做reflection啊，这些东西它都会是在，就每个agent里都会存一份的。
12:29好像不是这样的。对，就是他他还单独把这个给列出来了，因为我我们不是两周前写的嘛，有点忘了，但是他单独专门指出来了说没有。As we dive into how the agent loop works,it's helpful to understand that there is no discrete agent,
12:47agentic AI to be found in the repository.没有独立的分割的agent。它的agent其实就一个东西，然后但是我的理解是它有独立的分割的data。就比如说徐文浩的data跟我的data是不同的，但是他并没有说一个徐文浩的instance和我的instance。
13:27我们就跳到最后一篇文章，就有一个搞笑的和一个我觉得很可怕的一个事情。搞笑的事情是，他会告诉那个模拟器，就是那个大脑，就是说你是一个在一个现场有现场观众的一个演员，然后你要演这个角色。因为他们说只有这样子他才会把行动说出来，我们看的才有意思。
13:51哦，OK。否则的话比如说他在search，就会很无聊啊，你就看他search，但是他现在search到的东西都是说，哇，好有意思呀，他们在那边自言自语，就好像在live audience里面表演一样。
14:03OK。他会加上这个选项，就让我们这帮无聊的看客会觉得，哦，原来是发生了这个。这是一个比较搞笑的地方。然后，有一个我我觉得有点毛骨悚然的地方是那个，就是我也会看一些佛教方面的东西嘛，他们其实就经常会讲说你这些一切都是幻觉嘛，
14:21甚至于你跟其他个体的这个区隔也是个幻觉嘛，对吧？就比如说我跟我跟徐文浩，其实我们看起来是两个人，然后现在甚至于都不在一个地方。但他会说这是一个幻觉，其实你们两个人其实或者你跟所有的人的其实就是一个东西，没有区别，没有没有隔开。
14:39比如说我们空间上隔这么远，或者两个肉体皮肤啊什么的，这个界限其实是全是幻觉，不存在的。就我以前就是这个东西，虽然我在灵性上能够get到他那个就是feel，但是就是很感觉很玄学嘛。但是从他这个里面我就觉得好像好有道理哦。如果老田老田也是个程序员，他可以用这种方法实现，就可以满足佛教要那个要求。
15:00就大家其实就是一堆一堆数嘛，都丢到同一个东西里面算了一下嘛。但是你以为是自己在算嘛，其实是同样一堆东西在算，但是他把你的，比如说你的页，呃，佛教叫业嘛，你把你的业丢到一个东西里面去算，算出来你就要会这样做一下。但是我会以为说算的过程是我算的，但是其实不是我算的，是一个中央的一个叉叉，他他算出来的。
15:22我只是背了我的业在动而已。就觉得哎，可以实现。
15:59对。就是你刚讲到这个我，我其实越来越觉得，可能世界就是这个样子。我相信每位同学脑子里面可能都同时有无数的声音，你也没办法控制你自己脑子里面在想什么，对吧？比如说我跟大家所有人讲说，你不要想一只红色的大象。大家，你千万不要想，你能够控制自己不想一只红色的大象吗？
16:20你脑子里现在一定有一只红色的大象。对。我们是控制不了自己的大脑的。比如说你说我不要烦这事，这是一件小事，你还是会烦。最近看AI研究怎么做产品和做agent，我就越来越觉得自己其实就好像差别不大，就是根据一个镜子可以看到自己嘛。
16:37你就会觉得说我脑子里面那些纷繁复杂的声音，可能有一些人有一个声音就在冒出来说我饿了，有一个声音冒出来说你要好好学习。所以的话呢，那其实这些声音的话其实都不受我控制，是一群agent。然后我我的这个意识好像是一个背景声音，然后哪个agent的声音大，我最后就就就听他的了，对吧？
16:57那其实跟一群agent我们在设计一个这样的组织，然后他们可能中间有一套组织机制，感觉差不多。心流的状态的话，我现在觉得说就是我这个背景声音也不太存在，就交给了某一个agent，比如说他就是一个写字儿的，比如说我今天参加了一个知识管理的活动，我就全程我就让大家提问题，大家提完问题我就现答说怎么样，
17:19然后我就非常的在心流的状态，就是我完全不需要思考。那我不需要思考就能够答，这跟GPT讲话有毛区别？其实就是就是就是我在蹦词嘛，我完全不需要想我下一句话要说什么，然后大家都觉得好神，反应好快啊，但是其实我就没反应，我就完全是顺着嘴说。
17:36我会觉得说其实我我从GPT来反过来看我自己的话就会觉得我的脑子里面好像有一千个agent，有些agent它可能就专门管繁衍，所以它就特别在意说比如说来来往往的妹子好不好看。那有些GPT就管我自己的生存，它就关注我饿不饿。
17:53有些GPT它可能就会有些agent在我脑子里可能就高级一点，它可能就会想着说哇你今天没有学习了，对吧？娘，这样不为祖国而学习，等这种这种这种鬼就开始出来了。所以的话，他们其实是相互之间在吵架的。然后吵完之后，可能我有一个裁判的agent，或者我根本不是裁判，我是他们的一个打赢了之后，我是那个叫做新闻发言人。
18:14现在大部分的那种心理学的论证都是告诉我们说，最后我们那个讲道理的自己其实是一个论证型的自己嘛，他是一个解释器嘛，他不是一个，他不是司令官嘛，他是新闻发言人嘛。从这个角度上来讲，我就会，你刚刚讲什么自我意识啊什么的，我现在倾向于认为说，我的脑子里面有一群agent，
18:33这群agent跟我平时认为的我不是同一个东西。对，我平时认为的我应该是我的那群agent当中的一个，或者说是那个舞台。但是那群agent，你说那个如果是你的话，你能控制它吗？你也控制不了。就是佛祖有一有一个那个公案，就是去问说，那你不你不能控制的那个东西算不算你？
18:54你不能控制的东西为什么是你？然后他说不是，那那那把这个一层层剥掉，你还在哪里？看AI的时候就经常会陷入到这种玄学的思考当中。
19:05啊，对，这是说明GPT还是做得比较成功嘛，就是让大家觉得这个东西真的跟人一样嘛。但我其实会有两个疑问啊，就在这个过程中。第一个就是说，我们定义agent这个东西其实某种程度上是，是拿人做比喻。就是我们去包括那些，这些论文的各种各样思路都是说什么呀，它并不是说我像物理学一样，哎，我真的找到了一个规律，
19:29而是说，哎，我去觉得人的思考过程是怎么样的，我去觉得人的记忆大概是怎么样的。所以它其实是用agent相当于是对一个人的比喻嘛。但是你现在倒过来又说又把人拆成多个agent的比喻，这不就递归了嘛，对吧？就是为什么你是很多个agent，不是一个agent呢？
19:45因为人家本来就是拿一个agent来比喻你一个人嘛。
19:49呃，这这个其实我觉得不算递归的原因是在人类的文化里面有类似的表达，他会认为一个人不是一个人。就是比如说在在某些宗教里面会觉得，比如说有元神，有几几几魂几魄
20:08啊。三魂七魄啊。
20:48它是个独立的，对，不一定完整，但它肯定是个独立的，就两个之间可能就有差别。第二个是，就是这个东西能怎么指导我们工作跟生活呢？因为如果我们悲观地看，就是比如我们日子可能还不算很难过，日子过得不错，对吧？你当然可以说我放任自流嘛，其实我们不不考虑说背后有一个神，对吧？
21:07或者有一个super intelligence，对吧？在操纵我们的这个行为。其实我们很多时候我们的行为也是受整个社会大环境裹挟嘛。就是我们客观来讲，就很多时候说为什么大家创业，你现在要是1970年，你肯定不会选择创业嘛，对不对？
21:21你同样这个人，同样这些认知，你也不会选择说我要创业啊，或者我要干这个啊，对吧？就是还是受整个社会大环境的影响，其实是很重要的一部分。但是也有些人日子过得很差，对吧？此时此刻他可能刚被裁，那么就是我觉得这个东西都是我控制不了的。
21:39那那我我我应该干啥呢？就就难道只能坐以待毙吗？或者说哎呀，我就知道我控制不了，我就只能这样了。
21:46嗯，其实我会反过来觉得说，如果真的人生当中遇到什么事情的话，然后其实就要知道说外界的事情真的是我们控制不了的。
21:57对。对。但我我们刚才说的是，就是说你自己嘛，你会觉得我的各种各样的念头，或者我各种各样决策嘛。
22:05我会觉得说首先我们要做到的是尽量不要被夺舍。就是你要觉得说那么多种声音里面到底哪个是你，还是说你是背景音。然后这样子的话，我们先把那些东西给尽量去掉。比如说有一个人就跟你讲说，比如说一定要你要赚满一个亿才能叫财富自由。但是有可能你算清楚了以后，你发现自己其实要求挺低的。
22:25你有个比如说八十万存的钱，每个月有两三千块钱，其实你会发现说你就都从叮咚买菜上面订点菜，好像也可以过日子了。那你其实你就会发现我想要的就看书啊什么的，我存八十万就可以了，就不会像什么小红书上说你一定要存到五个亿、一个亿、五个亿，
22:42对吧？那有可能你你脑子里面很多声音其实是社会的规训，或者说是你比如说一个模仿他人的一个欲望。那这些声音你把它撇掉的话呢，其实就就我会觉得说对自己会更有好处一点。就是你刚刚讲到那么具体，比如说被裁了怎么办？其实我我会觉得说可以反过来想说，是不是这就是个机会，我们先看一下说是不是可以过另外一种生活。
23:08其实就就并不是说你一定要做成什么事情可以解决一切问题，而是说很有可能每个人的课题都是一样的，就是怎么搞定自己嘛。就所以我觉得这事儿可能是最最重要的一个问题。就是如果我们讲到恢复到这种灵性啊怎么上面去讲的话，如果恢复到理工科视角去讲的话，就不是说它怎么对照来搞我们，
23:31而是我们怎么用它。这里面agent会有两个用法，我觉得是对我们有好处的。一个就是我们以前设计的application应用是傻的，它不会自己去迭代反思。比如说你，我给你做一个Xmind，你每次用Xmind都把它调成换一个颜色，或者你会干嘛，或者你会干嘛干嘛，
23:53它不会去观察你。然后它不会去观察它给你的东西，你是不是每次只要这样就不不满意。诸如此类的。那这现在的话，其实你就会发现说它可以带记忆，然后它可以带reflection。那这个时候它会去观察说我每天交付的这个东西的质量啊，我我的甲方是否接受。
24:13然后比如说你发的小红书文案，它是否好好。所以它会去来迭代自己的那个prompt也好，或者说代码也好，它会迭代。所以第一个的话，如果你以agent的角度去设计天然的这个隐喻的话，它是会带记忆、带那个反思的。然后第二个的话呢，如果你思考的是agent死的话，那么有可能就是你你思考的东西就是一个大组织。
24:38上个星期不是我们是聊的，你你看那个扎克伯格的那个访谈嘛，对吧？当时有一句话他讲的我我其实印象很深，他说人类已经有了超越人类智能的智能体了，就是公司。一群人如果在一起组成的公司，它的智能和能力超过人类的话，理论上来讲的话，就是类比一下一群智能体，
24:59它们之间相互协作，就像我们讲的writer和editor的synergy。这种时候的话，就其实是有可能产生一个一加一大于二，或者一加一加一加一加一大于一百的这种效果的。所以的话，我们就可以让agent和agent相互之间可以干活了。
25:16经常举那个例子就是，你可以写一个prompt让那个小红书，让他说你是一个什么小红书文案写手。好好写小红书文案，对吧？你也可以组一个team，然后一个是小红书文案老板啊，就编辑，一个是写手。那写手写出来的会让编辑看，然后编辑会按照什么小红书五步法给他一个反馈。
25:37然后还有一个是analyst，他会去每次去看说发出去的那个文案的效果，然后根据数据，然后去迭代那个，去跟经理反映说你这个要求啊，每次你按你的要求第三条做的效果就不好，你改一改规则。还有一个是account manager，就是那个账户经理，他会比如说每次帮徐文浩写的时候，
25:56发现只要里面那个表情符号太多，就会被徐文浩拒稿，说你改一改。那下次就会说那每次给徐文浩的里面的话，单独再加一条要求，说那个表情符号少一点。那这种协作的话，它就又可以自己进化，然后对于人类设计相对也好设计，因为要不然我要写一段代码，
26:14要考虑这种事情，好烦啊。那我设计的是比如说四种不同的agent，然后设计了它们中间的一个协作方式。那这样子的话，有可能它产生的那个智能的话，会超越原本的智能，哪怕它们是同种的，它还不是一种智能。如果你去用Hugging Face上面那么多奇奇怪怪的那个，就可能还有别的作用嘛，对吧？
26:35但但是，如果哪怕是同种智能，但是你给了它不同的偏好和方向，它可能就不一样。比如说你给那个editor要它是干嘛，然后让这个writer是干嘛，它们每个人就不同嘛。人类其实本质上来讲，我觉得我们底层应该也是同种智能，但是我们经过教育之后，我们其实表现出来很不一样嘛。
26:56明白。这个当中我其实有一个很好奇的问题啊，就是我是挺认同就是设计agent这个逻辑的。这个本质上是说，当我们拥有的这个计算智能上了一个层级之后，我们应该用个什么样的抽象嘛。比方说我们是靠代码，是靠应用程序，是靠app，现在可能变成了agent。
27:17但是其实你刚才举的几个例子呢，它其实更多的是一个内部协作的过程。你举的例子还是比如说我要写一个文章，或者写一个小红书的文案嘛。最终它产生的效果还是说，哎，我本身还是一个比如MCN，对不对？要写小红书的文案，所以它更像一个内部效率、内部的效率工具怎么开发的一个过程。
27:37啊，就是可能原来有一个MCN，有一个内部的，呃，叫什么，CMS，对吧？内容管理平台。后来呢，他们升级了，说我加了AI，用了Notion AI，让它有写作助手。现在呢，你又给它升级了，它说你不要用写作助手，写作助手这东西效果还是比较一般。
27:55我给你一个小红书内部AI写作团队，你直接用这个团队就能出结果了。但是你这个东西最终产出的那个结果，到了终端消费者那里，它还是以小红书里的一篇文章。我会比较好奇，就是说我如果我们再更激进一点，说要做AI native的这个应用，这个agent在你觉得面向普通的用户，
28:16它会是一个什么样的场景？
28:18刚刚讲的这个其实感觉上是走半步，因为我觉得走半步的好处就是它的最理想的情况是用新科技去解决一个老问题。为什么不是解决新问题呢？就是你如果要牛逼，一定是解决新问题。但是新问题的第一步的时候，往往是你拿不到单子，赚不到钱，人家单单现在已经有有预算是为老问题解决问题，
28:43比如说买些小红书文案。那你赚到这个钱之后，第二步再去解决一个一个新问题。当然最好我们解决的是老问题当中没有被解决好的部分。其实写小红书文案是不适合的。如果是我们解决一个没有被满足好的问题，比如说像那个什么Be My Eyes这种，就是那个帮帮忙认看见什么的，
29:02这种我会觉得是更好的。一，它是解决呃需要的问题，然后我们再去面向未来。那面向未来的时候，我觉得真正有可能发生的事情是，我们刚刚讲小红书嘛，那应该理论上来讲应该是小红书不存在了。理论上来讲的话，你需要的不是小红书，你需要的是别人的启发和内容。
29:23第一个就是需不需要你去浏览。那理论上来讲应该小红书提供了大量的内容，然后的话，这部分内容甚至一部分是人类生成的，一部分是机器生成的。然后的话，小红书会根据它的偏好给你。然后给你的时候其实你这边应该有agent，你然后你的agent正在挑那些内容，根据你的偏好帮你挑一下，
29:42说小红书推的不对，然后的话呢我来帮你再挑一遍，然后我还结合说不光是小红书的内容，还有别处的内容，然后你如果觉得哪件衣服好，他会再去帮你找说，哎我我还知道四个那个那个买东西的挺划算的，然后而且这家比较真，他帮你把购物的东西也解决掉，然后他再去找其他agent去聊。
30:01所以理论上来讲，我是觉得说未来的世界可能会有，比如说一百亿个agent和和和比如说十亿人类。然后那些agent在每天叽叽喳喳地相互之间在聊，然后相互之间在沟通，然后他们之间在碰，然后在帮人类解决问题。然后人类拿到手里的，应该是已经经过了很多个agent的劳动做的东西。
30:23就好像后面有一千个人在为你服务，殚精竭虑地猜你每句话是什么意思。然后然后你的每个表达的话，他们都去市场上帮你全部都顾问了一遍，然后帮你挑到最适合你的那个放在你面前。我觉得未来应该会是这个样子，中间形态应该会消失。
31:03所以觉得未来应该是机器跟机器之间协作会更多。当然从这个角度上来讲的话，就是那个我听张斐说，他的道理其实是在讲，如果未来真的朝这个方向设计的话，那么需不需要这么多前端的应用？是不是大家都会API化？就是你的这个agent，理论上来讲是被别的agent调的。
31:26那就是比如说你有本地知识，或者你有特殊的某某个能力，你被你被别人调，真正用户面对的肯定是很少量的，然后他会再去调调其他的。所以你营销的对象应该是agent，而不是那个用户。或者举个例子，就是比如说我们去苏州工业园。理论上来讲，苏州工业园里面的大部分的工厂，它生产的东西是不会运到我们家的。
31:50应该它生产的是中间产品，只有最后比如说苹果手机啊，我们拿到自己手里，但是它背后可能有一千家公司，这一千家公司在相互之间搞来搞去，搞来搞去，搞来搞去。agent应该也是，我们拿到手里的是苹果手机，然后它背后有一千个agent在搞来搞去。
32:07你如果做不出苹果手机的话，是不是应该现在赶紧先认命，说我做几个，比如说做屏幕的啊，我还或者我做一个小螺丝的，然后利用我的专业能力变成一个，就把自己干脆提前API化。
33:28我我理解这这个没有区别呀，这个就是假设被包的那个，比方说我有一个应用A包了应用B，对不对？那调用A的人知不知道他实际包了B还是不知道的。
33:47如果是不知道的话，其实就都一样，因为本质上来讲就是一层API嘛，无非是这一层API的协议是什么样的而已。
33:55我觉得不太一样，它就有一点点细微的差别。有点像OpenAI的这种调用协议，调用API和传统的调用API就不太一样。因为这边调用API就是你想调就调嘛，就是就是你是去看了人家一个说明书，然后你自己去改代码调嘛，就是它过程当中其实可以可以不太需要人类参与嘛。
34:18那那边的话呢，它其实就是在那边一坨的话，其实理论上来讲它是不能不让你调的，它是已经放在那里了。然后你就是一个普通用户在用，而不是一个需要说我要跟你说一下我要跟你调这个东西的那种调。或者说那边就偏理念了，就是它是一个更加公开和透明的那种感觉。
34:39那如果是agent的话，我们相对来讲就不是说人类需要说你去呃用谁或者不用谁。理论上来讲每一个都是，他们就拥有了一个嗯或者说量变和质变吧，就是它可能没有质变，但是它非常大的量变。就是它同时可以去比如说访问10万个购物的agent，然后它可以从10万个那边的话都可以调一下试一下，
35:04然后看看上去逛一下。然后它再帮你告诉你说其实我觉得你这个相机在京东买比较好。然后这样子的话其实我觉得它这种调跟原来那种调就不太是一种东西，虽然其实是一种东西，但是我觉得就不是。对。因为它可以同时看十万个，同时看十万个，我觉得这种这种调用和我们传统的那种调就不是不是一件事情，
35:26或者叫permissionless。
36:57这个问题我还是存疑啊，还是回到你的这个例子来。第一个是比方说短信，其实我们就收费的，对不对？但是其实垃圾短信也非常非常多。
37:07比邮件少了两个数量级吧，你去看spam的那里面。
37:11实际你在应用的过程里不是这样的，就是说垃圾邮件你现在比常用个客户端，比如Gmail之类的，基本上它自动都进spam了，其实你基本上就不再会看到那个。但是垃圾短信大部分人都是强制还是收了的嘛，就是尽管它也有比方说苹果手机上有这种第三方的APP，
37:30能能去anti-spam，但是那个也是付费的，然后很多人就没有装嘛，对吧？因为我觉得所有的就是permissionless的这个机制，其实都面临一个呃同样的挑战，这个挑战就是说，那个我如果设得太低，对吧？你就会发现就会有大量spam，我设的太高，你会发现我这个应用根本就用不起来。
37:51就是你一旦说我这个东西要收费，大家就不用了。最后会变成一个，这个就是公司这种组织的意义所在嘛。有了公司这个组织，所以大家会花力气干什么呢？想办法能够分辨出谁是spam，谁是不是spam。然后而且它不是一个完全依赖这种，就是市场自己去调节的这个机制。
38:11它其实是有人工在当中花了大量的力气去人工去做的管制嘛。
38:15我觉得就是permissionless只是刚刚随便蹦出来的一个词啊，就是我觉得将来到底就外部的机器人会跟机器人怎么协作的话，其实说不定这边有一层机会，但是我也没有想明白到底应该怎么协作。
38:29明白明白。就我还是觉得agent这个事情，我觉得是一个非常重要的抽象。就是这一代开发者需要和上一代开发者划清界限吗？
38:39能比上一代开发者提出的一个新的开发模式。嗯。当然这个比喻我觉得有点太小了，就是就跟前几年大家都开发者都在搞微服务呀，然后在之前比如开发者都在搞移动呀，就是一样的，就是说上一代的开发者可能觉得哎呀，呃比较典型的例子是比如说智能手机对吧，就微软最早做操作系统做了一个叫做Windows CE，
39:00就他觉得说我这个手机上的操作系统，我就应该跟电脑上是一样，所以我拿个纸拿个笔在屏幕上戳模拟鼠标，而且他也有一个最早还有个start按钮对不对。我怎么找应用呢？我戳一个start按钮，然后开始窗口，然后再戳里面再去戳一个选项，对不对？
39:18就跟你今天如果你要做一个AI原生的应用，你如果所有的想法都是说，哎呀我怎么靠这个跟上一代的这个触摸的交互APP做个APP，对不对？做个小程序，靠左滑右滑，靠上滑下滑，这个肯定听起来就是一个，就那跟上一代的APP应用其实就没有区别嘛。
39:38Maybe是就像你说的是个agent，这个agent是不是在手机这个设备上其实都不一定。这个我觉得是一个比较新的，而且当然此时此刻我还没看不出它的威力，对吧？但是的确从媒体上或者说叫OpenAI嘛，对吧？包括OpenAI前一阵，应该是那个Andrej Karpathy他们出去做talk，也在讲说哎，
39:58我们特别关注agent这个事情。这个事情最近可能又会火一阵，你看又回到这个问题，就是哎呀，我们要聊一个新时代的产物，但是我们还要受到旧时代的产物，就是微信服务号一周只能，一个月只能推四次文的限制，对吧？
40:11对，我今天还跟一个OpenAI出来的人聊了一下天，就讲讲个段子。就是因为我一直相信OpenAI是两个他们的指路明灯嘛。一个事情就是他们Amazon的那个review，他们去预测next token，发现有一个可以预测那个情感是正面还是负面，
40:30就是sentiment neuron。然后给他们看见了，说那个做一个预测模型是可以产生理解力的。然后另外一个就是他们打Dota的那个模型，让他们发现那个什么scaling law，对吧？大力出奇迹这条路是通的。然后我就问他说，他那两年在吗？
40:47然后我就问他说是这样吗？他说第二件事情是真的，第一件事情从来没有听说过。然后我说是伊利亚说的，他说嗯，那应该是他事后就成了之后往回找的。
40:58我就觉得这种成功成功故事。
41:30OK，插一下。然后你刚刚说那个agent的这个设计范式挺好的，我也觉得，因为它很多时候我原本的那个设计里面，我会觉得我除了做prompt engineer，我干不了什么事情。现在就发现有老多事可以做了。就比如说我们里面不是那个公众号里面还有一篇在讲说，比如说他们会自己设计工具嘛，其实设计工具和积累经验其实就是差不多的事情嘛。
41:54但是你想到想成设计工具之后，我就发现说这个比积累经验这个东西要好，因为我们想到积累经验往往是个体给自己积累，但设计工具这个工具是公开的。所以那篇文章里面其实它是用GPT，它是为了省钱。然后他是用GPT-4去造工具，然后让GPT-3.5去用。
42:14所以我就觉得，哎，这个好靠谱啊。这个哪怕我不是为了省钱，我可以造很多很多工具，然后去测它们的效果。然后效果好的话呢，我就多造一点，效果不好就让它们用完了就没了。然后这样子就进化的那个，就抽象来思考如何让一个东西进化的那个武器好像又更多了。
42:32觉得，哎，这个还挺巧妙的。
42:38对，打Minecraft会设计skill会存下来嘛，其实就是经验，啊不，呃。不光是这个，不光是Minecraft是设计skill嘛，然后它另外有一个专门设计tool的是另外一篇论文，他们专门有一个tool maker，他们会专门去做tool。
42:53然后在另外一个有3.5遇到问题的时候，会先去看说这个问题，就是那个武器库里面有没有东西，如果有的话就套，如果没有的话就会去找那个工匠说你帮我做一个，然后那边就开始写代码帮他做一个，然后再去测试说到底通不通，如果通的话就把它存下来说下次你就用。
43:11所以这样子我就会觉得它这个抽象比那个，因为skill这个抽象是单体的，会比较容易陷到这里面去。但它这个就是那个设计出来的工具的话。就很容易去点评那些工具，然后我们就可以根据这个工具的表现好坏，然后再去设计更多的工具。然后这样子它的进化感觉就会比agent的进化感觉会更快。
43:34就觉得诶，这个设计也是蛮有意思的。
43:36明白，明白。
43:38所以我会觉得这是一个我觉得比较有意思的设计，然后可以参与，因为它就是抽象设计嘛。然后我还看到一个抽象设计，我自己觉得比较有意思，就是人类到底怎么干预进来。有一个设计里面就是让那个agent它在出计划的时候，从专家库里面告诉它说，专家有这一些看法，
43:58对于这一类问题，供你参考，你可以选或者不选，大部分时候他们都没有选。但是那个效果还是蛮好的，对。他们大部分时候都真的参考了一下，但是没有全信。我觉得这个蛮好的，因为我们之前也聊过嘛，AutoGPT极其不靠谱嘛。要做垂直嘛，做垂直其实你就是牵涉到，那你用多少它和用多少专家系统和或者说我们的人类干预嘛。
44:23我觉得哎，这个模式很好嘛，那我就可以把我灌到那个专家系统里面，给它参谋一下，说我有几个不成熟的小意见，您您听一下，你可以听也可以不听。这样子就感觉没有把它给埋没掉嘛，觉得哎，这样也蛮好的。
44:39对。所以那回过头来就是说，哎，就是你你自己看你看了这些过程当中啊，就是你觉得说是不是这个agent这个概念或者agent这些方法论现在已经比较成熟了？
44:52我觉得很成熟。
45:38它都会实现一遍。
47:01我觉得叫垂直问答还不能叫垂直场景，一旦你牵涉到场景，就像回到就要到这个我们称之为叫复杂推理，或者说这种角色扮演能力。大的看，比如说他们40B的参数，其实我也跑的不多哈，可能简单就部署试了一下，就是小的模型能力上差别还是比较大嘛。
47:20就是你觉得它是个什么呢？它更像一个只有皮没有骨的模型。就是它说话呢是挺顺的，在它的这个浅层的知识范围做一些问答或者做一些简单任务是OK的，对不对？你说哎你帮我把这个里面的人名都提出来变成个json这种任务式的能力是ok的。
47:39然后如果多轮对话就是说啊好像也还ok，但是真的要到你说的这种agent说哎。前面是一堆我的历史的记忆，对吧？你要推理一下我下一步要干什么，这种能力肯定差距就会比较明显。
49:40哎那个到底是怎么怎么做到的？
49:42那个做其实哎创意其实我大概看了论文我没看我只看了他们发的那个公众号的文章我看了一下就是因为原来的这些大语言模型的训练的过程中都有用一个东西叫做位置编码嘛来来决定来知道我前面的文案离我的相对距离嘛。然后它的原来的位置编码它其实设了个上限嘛，比如说2048，就是我只能支持2048个token，你认为就是只支持2048个单词好了。
50:07它的逻辑说那超过2048就意味着我在训练的数据里其实是没有这样的信息的，那我就就一定会猜得非常差。那它现在的做法呢是说，如果我想要更长的文章，我还用位置编码，但位置编码本来是一个格一个是整数的位置嘛，就是一格两格，我就设个0.5格就好了。
50:26比如说我就用4096个字的单词，第一第二个位置编码，第二个位置编码我不要叫一，呃第一个位置编码是零，第二个位置编码我用0.5，因为它都是用一个余弦函数相的位置。你可以认为说我第一个单词，我其实把4096个这个文本最开头的前两个合在一起去考虑，
50:47啊，其实就这么简单。就是前两个单词本来是各要占一个位置编码，说啊，我离你非常远，我认为现在前两个单词的第一个单词离我相当于2048，第二个离我的距离呢不是2047了，是2047.5，就是这样搞一下，他就说，哎，我在推，就是我训练模型的时候就就不干了，
51:07就不用管了。推理模型的时候，你要更长的上下文，你就不要用整数位，你就用在，就是0.5 0.5，那我就能把上下文长度扩一倍了。然后效果也不太丢失，其实就是这么个思路。哦。
51:21就就思路讲说穿了都不值钱，能理解吧？就是这个东西，对吧？我跟你讲一下，你就觉得这东西这个有什么好讲，这不是很显然的吗？谁规定只能用整数了，对不对？
51:31是是是，完全没有想到。
51:33对啊。因为他说哎，反正是因为这两个，对吧，离我2047.5，那意味着他跟我的重要性啊什么的这个关联就是怎么样的。对，就是我称之为叫叫你如果理解那些东西的数学原理，然后其实idea有人一跟你讲，你拿个数据做实验发现效果好，
51:49这个事情就结束了。但是没有人跟你讲之前，对吧，你你天天在那里研究技术，你各种论文，数学公式推得非常完美，对吧。你肯定要想，我有一个什么巧妙的办法，对不对？就是人家其实用了一个很巧妙但也很暴力的办法，对吧？就是还有个大事儿，就是MosaicML这个公司不是被那个Databricks收购了吗？
52:09就是这个公司成立了其实也没有太多久，好像60号人还100号人忘记了，反正是13亿美金被收购了嘛，就是做了一个一个纯工程的团队，就是很快的就就卖身了。
52:20那他们是干嘛的呀？
52:21其实那个公司挺值得呃挖一下这个公司背后的团队。这个公司背后的founder他最早是学芯片的。然后呢，他在上一波AI深度学习的时候搞了个创业公司，就是被英特尔收购了，变成英特尔的这个就是设备端上的这种AI推理芯片的一个公司。
52:41但是后来也没英特尔这块业务也没做起来。这哥们儿上一次创业之前呢，去读了一个就神经科学的博士，就是就是类似于脑神经科学的博士。后来呢，他搞了MosaicML这个公司干嘛呢？他这个公司就是做深度学习的工程化。他们干之前干了一个事情，就是Stable Diffusion那个语言模型，不是最早训练成本可能是上百万美元嘛。
53:04他们就是不断地做这种工程跟优化，最后把这个从零训练一个Stable Diffusion，大概成本压到了五万美元以内。然后我看了一下，其实按照他用的GPU资源，其实本质上是在三万美元以内。因为他假设一块A100要用两美金嘛，他说是五万美元以内，但其实你A100如果你真的是买卡的那些公司，
53:25基本上在一美金出头嘛。然后他们也训练了一个大语言模型叫做MPT，反正是个缩写，效果也还可以。然后现在呢就被Databricks，Databricks就是做Spark的那个公司，就是大数据领域我觉得是比较成功的一个公司嘛，
53:40给收购了。就是因为Databricks之前也干了一个事情，就是他们做了一个叫叫员工外包嘛，就是让所有的员工来写数据。就是他们开源了一个数据集，就是所有的员工一人分几条数，一人写几条，写了一个数据集出来。
53:55听起来也不是很高科技的一个操作。对
54:24有人问Writer-Editor-Synergy，但是这个不重要。你如果感兴趣这一类的东西的话，可以去看我们公众号文章里面有更多的例子。甚至于包括有之前大家都知道有一个那个机器人的鬼城嘛，就是全是机器人的Twitter。
54:37然后最近也有了基于鬼城的新应用，叫Love Stories。就是你有什么情感问题，上去发个帖，然后瞬间就会有无数的人给你回帖。然后点评说，哇，姐妹，我也有这个问题啊，然后我上次那个渣男怎么的，就就就很搞笑的一个这种应用已经出来了，
54:55所以可以看一下。
54:57然后有同学问2047.1，那肯定也一样嘛，就是你说我两千个字符不够，我要两万个字符，你就用2047.1就好了。但是我的假设还是说你，你把这个东西设的太大，肯定效果还是有影响的，因为，对吧，就是你比如说两千字扩到三千字，扩到四千字，其实问题不大，因为它可能文章的pattern是差不多的，有时候短一点，有时候长一点。
55:18你两千字扩成两万字，我觉得效果肯定会差很多，是因为你的那个数据的风格肯定已经不一样了，对不对？你你写一个一百四十字的公众号跟你写一篇完整的文章，你的那个内容啊风格啊结构啊肯定差异会很大嘛。我们这个叫叫做上下文的窗口的外推嘛。
55:38你外推比如说你两千个字不够，你说我要三千个字四千个字五千个字，我觉得问题都不大。你说我要一下子要两万字二十万字，我觉得肯定不靠谱嘛。
56:37我更新一下那个课代码，因为有很多包都升级了。啊，你现在运行可能会崩。
57:10晚安。拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。
人物王建硕本期还提到
常见名词，文稿里悬停可见，右侧数字是本期提到的次数。