不是 OpenAI 选对了路，是那条路反选了 OpenAI
- 发布
- 2023 年 5 月 14 日
- 时长
- 27 分
- 主播
- 徐文浩、任鑫
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
本期两位主播从 AutoGPT、BabyAGI 一类自动智能体聊起，指出它们机制相同、做 demo 容易做产品难，垂直、问题明确的场景反而更容易出好结果。随后讨论 Jasper 从弹窗工具到卖课的幸运创业史、游戏开发与 AI 团队都要在无法 MVP 的情况下长时间封闭打磨的相似处境，以及 AI 做情感寄托产品与效率工具的差别。最后落到垂直私有模型的数据准备：用 GPT-4 造对话数据、小模型自答加评判模型打分，把复杂问题拆开，低成本微调即可在垂直领域达到接近 GPT-3.5 的效果。
- AutoGPT、BabyAGI 等自动智能体机制本质相同，都是提示语定义计划、执行、拿反馈再循环，代码量很小
- 做 demo 容易做产品难，场景越封闭、问题越明确，效果越可靠；什么都做的工具反而没人记得住
- 用 Llama 13B 这类小模型在垂直领域微调，只要数据质量高，效果可以接近 GPT-3.5，训练成本大致在万元级别
- 大模型和游戏开发一样没法靠 MVP 迭代，必须做到一定程度才能拿出来，团队要长期封闭加班打磨
- 这一轮 AI 做出让人有情感寄托的产品很重要，因为效率工具的提升普通人感知不到
- 垂直私有模型的数据准备可分三步：激活自有数据做预处理、让 GPT-4 改造成多轮对话或任务数据、用小模型自答加评判模型打分来积累标注数据
- 单独训练一个评判模型来分辨回答质量，比模型自己答对更省信息量，也减少了把数据漏给 GPT-4
文稿
共 370 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
01:49我我们我其实其实就就跟跟几个小伙伴我们做了一个相当于相当于一个聊天室，然后就一些机器人可以在聊天，你可以进去跟他们一起聊。然后或者你有一个比如说，呃，我之前不是有一个那个prompt的火了嘛，就说你可以找一个什么六人智囊团啊。
02:08然后六个人就比如说，啊对对对，马斯克批判你一下什么的。然后我我就把这个东西给做出来了。然后不光是可以这个，你还有什么六顶思考帽啊，就六个人可以，他们相互之间会吵架。然后然后这个你就是。然后我就在想说这个东西其实它是一个更用户界面友好版的，你也可以把它往AutoGPT那个方向做嘛，
02:30它其实可以里面是可以有workflow的嘛，对吧？这几个人。比如说一个人提出选题，第二个人把他大纲列出来，第三个人针对他的大纲，比如说每一句话展开成一篇文章，第四个人再批判一下，说你这个上下文不通，巴拉巴拉。第五个人在干嘛？
02:47对对对对。
02:48所以就本来开始做的时候其实没想那么多，但是做着做着觉得说，嗯，这个东西好像是可以是一个是一个浅层次版的，浅层次版的AutoGPT呀。
03:00啊，对呀，对呀，对呀。我我觉得是这样的，就是当然我我我觉得就是因为AutoGPT我我简单试了一下，我觉得还是有一个问题，就是说就是就是现在大家就做个demo容易，做个产品很难。就是啊这个说起来是很酷炫的，但是呢你要把这个东西产品化，就是说啊说真的它能够有一个很好的结果其实是比较难的。
03:25你真的想要有一个比较好的结果，其实往往是领域封闭一些，然后问题明确一些。就比方说你说六顶思考帽。这个可以的。对。
03:35金字塔原理这个是可以的。对。因为那个东西看起来是一本书，但其实你用一秒钟就能讲清楚。对。那你其实就在这个当，对对对，然后一旦你要发散出去说啊，他又能干这个又能干那个，那基本上就就很快就会进入一个相对不靠谱的阶段。
03:52所以我我觉得其实不一定有必要，不一定有必要。当然这个缺缺点是就是很薄嘛，就是你很容易说，看你做了，然后做出来大家反响很好，然后大概率下大家才会抄，对吧？比如说我也做一个，或者说特别是有很多人现在做了很多这种工具嘛，就是类似于一个这种prompt template的这种组合，
04:11就做了一个键入里，各种各样的小应用。就他们很容易把这个东西往里塞。对。但是我觉得未必是那个是有有用的嘛，因为当你这个东西啥都是的时候，其实就没有人会记住这个东西了。就你就做一个六顶思考帽，或者你就做一个这个AI董事会这个事情，我觉得反而是说啊大家就是认知很明确嘛。
04:33对。这有点像什么周报生成器，我最近还看了有离职信生成器，我在想这个比周报还离谱。天哪，你怎么想的？周报一周好歹用一次，离职信生成器。我是想着说如果稍微多几个agent放进来的话，那么其实你至少就不光有prompt engineering这一层嘛，
04:55然后你其实还会有一个workflow这一层嘛，或者叫做domain，你有一个domain，你有一个比如说六顶思考帽，有一个有一个叫做行业知识，对吧？行业，
05:06是的，
05:31这是可以的。就好像你说，就就就以你举的这个例子，其实你完全可以说我通过一个agent，再去取说外部的分析报告数据。对。你可以取外部的分析报告数据，你也可以要求用户上传一些，说哎，我们的这个业务数据报告，你帮我来看一看。那你当然肯定是可以往更复杂的这个里面做嘛，但是就是越复杂，它的这个其实要产品化的难度越高。
05:57就像，对吧？就是第一天当大家看到什么ChatPDF的时候都很兴奋。对，对吧？但是你会发现说，这个产品做出来，你真的随便拿PDF往里扔，效果其实是很一般的。就你真的要做好，对那个数据分片要做的很细致，要做的相对好一些。
06:14当然，它肯定还是比传统的能用AI解决问题要容易很多，但是你还是要对，就是说，真的要做好。不是说啊，我做了这么个像demo一样的东西啊，这里面我就按字数或者按分段切一下，这个东西结果就会很好。周围有挺多朋友其实在跑那个Llama的模型嘛，就是Facebook的那个模型嘛，然后在上面做微调。
06:35然后效果真的都还不错。就是说他都不用特别大的模型去微调，效果都还不都还不错。所以我的假设也是说，当你在垂直领域有很多语料，它那个底层大模型，因为Llama的那个模型里其实一样的，第一个是参数也不是特别大，它就是13个billion，他们有些人就是用13个billion微调。
06:57不一定用那个65个billion的去微调。第二个是说它里面肯定也没有很多中文的语料，但是你如果给很多这种好的指令，它的效果就挺好的。就挺好的。就是很多人都和我说说，我在Llama上微调，只要我的数据集质量比较高，那个我调出来的效果在我自己的领域其实跟GPT3.5能是差不多的。
07:20当然这个都是假设了，我自己因为我自己还没有在那么大的数据集上微调过，因为我手我手头现在还没有太多的数据嘛，只能搞一点别人公开的这种数据，所以效果就比较一般嘛，因为你很难去衡量它的质量好坏。
07:32所以其实他需要就是那种相当于QA的数据，就是对话。
07:37对对对对，很多人的做法是说，拿我自己有的数据，然后让ChatGPT4帮我造嘛。
07:44啊，对。
08:43那这样，就我的训练成本是人民币是万还是十万级别，还是百万级别，还是千万级别？
08:50呃，万级别吧，万级别吧。
08:52哦，那就还好，那就无所谓。万级别吧。
09:27解。然后如果数据没有那么那么规整的话，或者没有那么问答型的数据的话，就让GPT4帮忙生成。
09:55就是说有人在手机上用了。然后看一段截屏，是像模像样的。
11:28对啊，对啊。他们之前其实也挺幸运，加入之前其实就是明明明明是搞一个，就是一个，就是一个拉皮条的公司，就在中间号称自己营销很都会，然后就转介绍给别的营销公司，然后就就就就就从中间赚钱。然后自己这个都做不好之后，他们就去卖课了，教别人怎么做营销。
11:50然后卖课的时候做了一个pop-up的一个小窗口，弹窗。然后他们发现这个弹窗把他们自己的转化率优化了48%。然后就开始开了个webinar卖这个弹窗，说1000美金一个。然后先交钱，我们再开始开发，然后一边被那些来听课的人骂了一通。
12:08然后一边有八十个人交钱了，一一个晚上收了八百美金，然后就开始做这个东西。就觉得说什么鬼啊。这MVP做到极致。
12:21对，下下下过过过一段时间也可以讲讲，我来讲这种故事，你也可以挑挑看看讲讲啥故事什么的。
12:28嗯嗯。因为我最近看了很多故事都不是这个AI开发的，但是我其实公众号里也写了嘛，最近看了很多讲游戏开发的故事。啊，对对对，就是这本故这本书呢，我觉得大家如果不是特别感兴趣可以不用看，因为这本书就满满的写了两个字，叫做加班。
12:47对，他基本上每一个故事都是说，哎呀，我们一开始有多么多么的美好的梦想，但是到最后就是要拼命加班，加班了还要点累，点累了。还要加班，不停地加班。一边加班一边觉得我们不能点累了，就这样交出去吧。一边觉得我们还要再打磨一下，不如继续加班吧。
13:02最后把这个，这个，对吧，就大部分故事是这个正面的结局嘛，就是说最后这个产品还不错，或者产品上市被人骂了一顿，继续加班修bug，最后还不错。但也有就是彻底就消失，就没有。有最后一个故事嘛，讲那个卢卡斯，卢卡斯做的那个星球大战1313，就就就就最后这整个组就解散了嘛，
13:28对吧？但是我觉得这个其实也也，我觉得挺有意思的一点是，我觉得接下来有很多AI团队，我觉得会面临跟游戏团队一样的事情。就是它跟我们传统做互联网应用不太一样。
13:40对。特别是那些做大模型的公司啊，我觉得，就是他面临一个问题，就是这个东西不做到一定程度啊，拿出来就是没有用的。对。就游戏来说，你必须整个游戏做完了，做成了一个产品，你来才能放出来给大家看。而且这个产品，对，没办法，MVP，它不像你做互联网产品，对吧？
13:59我们说我们一直MVP就逐步的迭代嘛，对吧？大模型其实也是也有这个问题，就是你没法说你做到一定成果之前，你拿出来这个东西是完全没有任何意义的。对。对吧？然后呢，同时呢，这个东西还面临第二个问题，就是说你自己觉得好，拿出来完全可能用户反馈非常差。
14:19对对吧？因为你你的团队就是你在做模型，你也就一两百个人的团队，你自己测的很多事情，很多问题你根本就想不到嘛，特别是在alignment这种这种角度里，很有可能大家一玩这个东西就坏，玩坏了。这个其实在ChatGPT出来之前，之前几年我不知道大家记不记得，什么微软小冰啊，什么Facebook也出了一个这种聊天机器人，
14:40基本上都是一个礼拜被大家玩坏就下线回家就不不不发布了，对吧？或者说是大家没玩坏，但是也不受，就是就一个礼拜大家玩完大家就不关心了嘛。对吧？所以我觉得就是接下来做AI的这些同志们啊，就是肯定很苦。就是你拿了钱之后你就要开始疯狂加班。
15:01然后因为你钱就只能够花这么点时间，然后做出来的必须得做出一个东西，而且很有可能是，就是你觉得我已经可以放出去了，你还会决定说我还再要一点时间，再加班打磨打磨再放出来。是啊，是啊。
16:00我觉得很很正常啊。联络不上。我我我觉得，你你别说这样了，就是就是ChatGPT现在down的当然没有那么频繁了，你down了你也我也很难受很多时候，我也想哎呀。我本来这代码，嗯，他帮我写了就好了，那我现在是去休息呢，明天再来写呢，还是我自己把这事情写了？
16:21对吧？我我太难了。对。就是这个是很难受的。就是第二个是说，那个因为，就是最近B站那个那个那个，
16:34极乐净土不是很火嘛，不是B站啊，是芒果嘛，对吧？就是，你说大家是对这个东西就是个情感寄托嘛。对。对吧？就是我觉得是说这一轮的AI能做出很多让大家有情感寄托的产品是很重要的。
16:48因为卷效率工具这个事情吧，它当然很有价值，但是普通人其实感觉不太到，都是潜移默化慢慢就习惯了。对吧？大家现在用手机已经非常习惯了，就是说，就觉得反正它就是个很有效率的效率工具，对吧？我想联系谁都能就能联系到谁，但是你不会觉得就是说那个那个呃，倾注情感付出锁定在上面。
17:12就是你用微信的原因不是微信有多好，是因为你的朋友都在微信上。
17:18然后说有什么呃可以将AI和福格行为模型当中的方法结合起来的思路嘛，嗯。我我先回答一下，就是我觉得几层啊，一层就是如果你是想自己用的话，我知道有人他，但我我忘了细节，他用法应该是他就是跟那个GPT说，我觉得福格行为模型很好，你知不知道？
17:39然后他说知道，然后他说我现在想干嘛，你能不能用这个模型帮我安排我的日程，然后让我让我就比如说我要减肥，你觉得我应该做哪些事情，然后如果缺哪些信息你问我，就是相当于说他把自己的一部分的那个to do安排出来给那个给那个给那个GPT，让他帮忙反过来安排自己。
18:01所以你如果要结合，这是一种方法。然后还有方法的话呢，其实就是如果你是要做产品的话，尽量要把它跟那个真实的产品的垂直场景要联合起来。就比如说是我们刚刚提到那个小朋友的教育，那其实就是你得知道小朋友到底有哪些就是动动动力点，对吧？
18:21然后有哪些那个能力，能力的话有没有一个分析的框架？然后这个时候其实你是在教会那个那个那个那个模型说那个他他的能力在哪里，他的动机可能有哪些，然后他借助这个他自己去生成适合他的水平，当下不能超过太远，按照这个规则生成不能太远的。
18:42比如说题目或者说那个阅读材料或者什么样的东西。所以这个时候其实是，他是在一边根据那个用户的用户的一个反馈，比如说让小朋友写了一篇文章，然后他是有一套评判的方法，帮助你判断这个小朋友他的那个所谓的motivation和他的他的能力在哪里。
19:03然后你给他一个原则说，那你下一次出的东西应该刚好比那个偏一点点，但是不能偏太多，然后你给他，就可能以前举过例子，什么叫做不是太多。这样子就就挪动他。所以，嗯，你如果要例子的话，你可以去看刚刚我们聊到的那个Khanmigo那个东西。
19:20他的他的创始人在TED上有一个演讲，我觉得他讲的就是这个意思。就是小朋友的动机，小朋友的能力，然后怎么样，顺着他磨，然后这个，可以去看一下，对。补一个那个为了未来训练垂直私有模型，如何为有高质量的数据做准备？
19:38这大家都想垂直自己的训练，自己的垂直私有模型嘛，对吧？所以这个私有模型比较重要的是数据，但数据这个事情我觉得其实基本上就做几步嘛。第一步是你自己原来有什么数据嘛，你就就该该收集的就是，因为数据很重要这个事情并不是这轮的AI。
19:56你才知道的，对吧？其实之前你们做互联网业务，大家都知道数据很重要，只是用法不一样而已。只是你现在需要及早地开始做，我觉得做几件事情吧。第一个事情是，就是你看看怎么利用，呃，这些数据做，多做一些预处理，对吧？在不破坏这种数据出海的规定啊、隐私的情况下，让这个GPT-4帮你把它变成一些对话的数据，
20:22或者说是变成一些这种特别是多轮对话的数据，或者是一些任务完成的这个数据，这个是一个。第二个呢是，我们现在看到一个常见的套路是这样做的，就是我尽可能地多用自己的调好的小模型，它做两个动作。第一个呢，先尝试回答问题。回答完了问题呢，这也是最新的一篇论文，回答完问题呢，再用一个训练好的模型去评判一下，说它回答出来的问题，
20:53针对这个问题，质量的分数是高还是低。如果是低呢，你就不要用这个去回复用户，重新把这个问题问一遍，拆GPT-4，然后GPT-4的答案。如果是质量是高呢，你就自己去回答这个，用自己的这个答案去回复这个问题。然后你就有了很，有了有了很多这种标注的数据嘛。
21:13就是你有越来越多的标注数据，我觉得会帮你解决很多问题。就是特别是什么，你尽早啊，把这个对话模型放到你的产品里去收集对话。因为有很多数据，你是
21:29不用对话的形式放出去，用户其实是不会问的，或者你原来的数据里是没有的。对，就是我们以前有的很多还是行为数据，或者我很多写好的材料。但是实际上终端的用户会问的数据，其实你很难想象到，你不通过一个应用在外面去收集。你其实是不知道用户会提什么样的需求的。
21:51对，哎，对。
22:59嗯，有道理。
23:29OK，OK，了解。
23:30这第一个是说，它减少了，它在竞争过程中减少了把数据漏给GPT-4的过程。
23:37是，是，
23:39对不对？第二个，它让自己的回答有了更多的机会接受用户的反馈。
23:45对，对，挺好的。
23:47对啊。就是他其实做了这样一件事情。这个这个我觉得是是一个合理的逻辑，是值得借鉴的。
23:54是的。可以这样试试。挺好的。好。大家可以这样准备起来。
23:59好的。没有什么别的问题了。对。那个Khanmigo是要用美国的，要生在美国，要用美国的信用卡。
24:06跟跟跟GPT要用到GPT Plus里面一样的条件。OK。然后那个大家可以全网关注啊，就是我们在那个直播和那个那个播客里面聊的会比较轻松活泼一点。然后如果你要稍微专专心一点，就是稍微深入一点的话，建议看那个公众号的AI炼金术。
24:28然后那个会里面的我的内容会稍微深一点。如果再要深一点的话呢，就要去买徐文浩同学的课了。就是那个那里面每一个都带代码的，就是每一个都是都是，就是你要把这些东西怎么落地，什么向量数据库啊什么的，怎么落。怎么embedding啊，都是这些这些比较具体的东西了。
24:46所以看大家是要，就是我们大家图一乐，我们聊聊天，就就就听听播客，看看直播。如果大家要知道现在到底发生了什么，我们有什么感想的话，可以去看文字。如果要系统性地了解的话，可以去买徐文浩那个课，在极客时间上面叫大模型之美，对吧？
25:04对。AI大模型之美啊，已经完结，已经完结。今天下午终于把结束语也写完了，我可以终于可以稍微休息一下了，不然这个所有的业余时间全部被占满。
25:44对，我现在也，我现在确实发现说，如果要写新一点的东西，是不太能够让它写的。就包括甚至我要写好运，我都没法让它写，我只能让它给我一些灵感。
25:54对。就是就是对它的就原创性还是没有那么强嘛，所以这很这这很正常，这个是，对吧？但是你不需要它有那么强的原创性，你需要它就是能够提升你的生产力效率就好了。
26:29好。希望大家
26:30各各平台关注，然后那个推荐给朋友们。好的。
26:34那我
26:34们下周见啦。好，好，下周见，拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。