AI 时代的最后一公里，“外骨骼装甲”插件
- 发布
- 2023 年 4 月 11 日
- 时长
- 1 小时 3 分
- 主播
- 徐文浩、任鑫
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
本期是任鑫与徐文浩的直播连麦问答，围绕「现在能不能开工做 AI 应用」展开。两人先聊了 API 现状：GPT-4 需要排队申请、公开市场只给 8K 上下文，国内可先搭中间层并准备文心一言或开源模型做备胎。随后重点讨论应用层怎么做：不要指望一句话出结果，而应把任务拆成多步模板链式调用，用 System 1/System 2 的类比引导模型推理；检索问答则要在分段、摘要索引等工程细节上针对场景调优。两人认为应用层投入小、应尽早试，而自训模型门槛高、要慎重。
- GPT-4 的 API 需要单独排队申请，公开给到的是非多模态、8K 上下文的版本，32K 短期不会在公开市场开放。
- 做国内 C 端应用一定要准备备胎，可选文心一言一类国内模型，或本地能跑的开源模型，实测 ChatGLM 在封闭域问答上可用。
- 提升效果的关键是把任务拆成多步的链式模板，逐步生成中间结果并拼进后续提示词，用 System 1 / System 2 的思路让模型『慢想』。
- GPT Wrapper 类产品定价很难合理，主流做法是免费试用加包月限次数，或工具收费、用户自填 key，本质都比较薄。
- 做某个角色（如苏东坡、慧能禅师）的机器人，语料少的古代人物更适合 embedding 加提示词，而活人可以尝试 fine-tune；风格易学，逻辑难学。
- RAG 的坑在数据与索引：embedding 只能按 4K 分段，需要自建摘要树状索引，并针对具体场景调整分段方式，开发一天、调优两周。
- 应用层试错成本低，一两个人就能起步，应该尽早试；自己训模型则要准备至少百万美金和三到六个月的团队投入。
- 徐文浩把 prompt 能力分四类：创意解题、清晰表达、小技巧、分步骤拆解；前两类不过时，技巧类信息很快透明，拆解类大约还有三到五年价值。
目录
点击跳到对应位置
- 开场：开工能不能用上 GPT-4 的 API00:00
- 国内接入与合规：中间层、备胎和开源模型02:15
- Claude 为什么悄无声息05:28
- 写爆款文案：fine-tune、模板还是照改06:39
- 把多步提示词链产品化：可控性与推理能力09:41
- GPT Wrapper 怎么定价，Jasper 薄不薄13:21
- 造一个苏东坡：embedding、fine-tune 与电子骨灰盒15:10
- 私董会提示词：六个角色、各自记忆18:41
- RAG 的真实门槛：分段、索引与调优19:35
- 要不要等模型变强再动手24:33
- 答疑：供应链推理、自训练预算与团队配置27:07
- 答疑：微软云环境、垂直领域公司、文心一言画图33:00
- 专栏推荐与检索问答的常见坑33:58
- 中文语料、开源模型与多久能追上 GPT44:34
- 马斯克千人联名与国内多久追上 4.051:58
- 提示词工程师会不会过时：四种能力分类58:37
文稿
共 950 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:03做个原型很快，做个原型一天就做了。然后你说要做到比较好的效果，你会发现其实并没有那么容易。那么这个对应的场景不一样，你的产品索引、问答，你有很多具体的东西你要调，这个其实就就其实比较考验大家的产品力嘛。
00:39可以啊，可以啊。
00:40哎，现在马上开工的话，是不是只能最多接到3.5啊？4的API就现在还没没开给大家，对吧？
00:54那个wait那个waitlist到到哪里排啊？我我也是plus的，我没有看到哪里可以排4啊。
00:59不不，那个是不是plus，是他单独OpenAI的那个API原来排队可以排一个嘛，就就我已经排到了，对。
01:06但是是可以排到4的。
01:08对，可以排到4，我已经排到了。
01:104的话，如果我在那个playground里面，想用那个32K的，呃，
01:13没有没有。4它现在只有单非多模态的，然后8K的，就32K的我相信内部肯定有啊，但是我理解公开市场去排队，它不会给你32K的，它就给你个8K的。
01:248K的也比4K好呀，8K也比4K好很多。
01:26啊，对对对。8K是比4K
01:28好。因为我想我想有一些长文本让他看嘛，8K也是，8K的话相当于4000个中文字嘛，4000个中文字，2000个。
01:36看你是什么中文字吧，就是运气不好可能只能2000个，运气好的话才是4000个。
01:41哎，那就这样吧。反正它至少上千个字你就比较能用了嘛，要不然4K更没法用。OK，了解了。
01:474K可以用啊，为什么？4K其实已经挺长了。
01:50如果你要改一篇文章的话，其实它它老断。对。就是你你贴给他一篇文章2000个字，他就会说太多。你贴给他一篇一千多字的文章，你再让他给你回文章的时候，他会回的特别短。我反反复复跟他讲，说长一点，他才会回我。
02:05因为它是它是输入加输出是4K嘛。
02:09所以现在其实是可以接入，呃，4的API能力是可以接入的，就要排位。那我去排一下。对对对。然后另外第二个就是如果我我现在就是打算做一些小工具来做测试嘛，那做测试的过程当中呢，怎么样安全地接，我通过海外转一下吗？
02:25腾讯云美国服务器。对。现在这不这我自己没有试过啊，我也是听别人说的。
02:39呃，对对对。注意那个数据出海的法律法规啊，不要把隐私信息发出去。
03:11我我觉得是说取决于你面向的用户嘛。就如果你面向的是国内的C端用户，我觉得你总是要有备胎的。就是你万万一不小心你搞了五十万个用户，你也不舍不得放弃啊，对不对？不要说五十万，你可能有十万、五万、十万用户。你肯定觉得，
03:26啊对，你肯定觉得，你舍不得放弃。
04:10啊，了解。
04:12就是他有一定的常识，
04:13对，
04:13他，对对对，他所以他是有一定的常识跟推理能力的。我试了几个，我觉得还OK。我觉得你要跟ChatGPT说给你写个程序啊，给你做这种搞脑子的逻辑推理题啊，我觉得肯定，我没有仔细试啊，但目前我试过的所有产品都不行，所以我觉得也没有抱太大期望。
04:30其实还取决于你的业务的复杂程度。而且我还试的是那个单机就能跑的，60G参数，而且是把那个浮点数换成整型，反正就就我一台单机能跑得下的，我觉得比我想象中好。我本来想说做了那么多裁剪，肯定是只能不能用的。
04:46对，但我试了一下还可以，是就是能用的。甚至说你放到你多拿一些自己的数据试一下，如果都能回答，我觉得你做个点简单的电商客服FAQ啊什么的，我觉得问题不大。
04:56了解。那已经比原来的那种电商客服要好了，比NLP那套要好了。
05:00不能说因为NLP这个大家一直在进化，如果17年之前没有Transformer的时候，那是比较蠢的嘛，但是Transformer出来之后，我觉得本来很多团队也是跟着那个BERT的那个路径，所以其实效果也还可以，也还可以。OK。
05:14但是我觉得就是说，至少它是可用的。它就是这些开源的模型不是，如果是在一个封闭域，然后你要对推理能力要求不是特别高，我觉得是可用的，是可用的，而不是说只能给你demo一下。
05:28我之前是看有一个对于它的几层的分析是说，其实语言本身的话在里面只占很少一部分，大部分是世界知识。所以它如果稍微稍微无知一点的话，其实是可以裁剪小的。
05:58Claude为什么没宣传啊？我插开一下，就是总感觉非常的悄无声息。但是我从投影里面我也用了一下，感觉还可以啊。就是
06:39就比如说我们现在是在那个视频号上在在直播嘛，假设我是想写视频号上会爆款的脚本，我让AI帮我写。那如果我是让他帮我写脚本的话呢，我自己就想到了一些可能性嘛，比如说我丢一大堆的爆款脚本给他说，你自己去去对吧。就就fine tune一下，说这叫好好脚本，应该这样写。
07:03然后他以后我就可能跟他讲一个主题，或者我丢篇文章给他，他就按照这个来教我说你该怎么改，或者帮我改好。这是我想到第一种思路，就fine tune的思路。第二个呢，就是我整理二十个好的模板的模板套路给他，比如说第一句第一段第二段我给他套路，他然后我给他选题和一些内容，
07:22然后就说你这是选题，这是内容，这是套路。然后你你自己看着办，帮我套，对吧？第三个呢就是我直接把爆款内容给他，然后我告诉他怎么怎么改。比如说人家是讲说怎么样成为一个优秀的优秀的，我说我要改成又怎么成为一个优秀的管理者。那你你按照这个套路改，然后我的例子是这个，然后贡献一些原创的东西。
07:46然后照着改，你觉得哪哪一种比比较靠谱一点？
07:49我觉得第二种比较靠谱一点。第二种是相当于是这样的嘛，就是这个也是现在我觉得常用的一个应用场景。我昨天就在写我专栏的一篇文章，就是怎么用那个大语言模型做自动化测试。在用GPT的模型的前提条件下啊，你说如果，如果用开源模型，说实话，因为我也只是简单用了一下，
08:09并没有，因为我大部分时间用的还是呃ChatGPT的背后的3或者3.5或者4的这个模型。因为合理的套路是说什么呢，你已经把这个问题的环节拆解开了，但是每一个环节的内部输入你不需要，比如说呃我们写代码的时候写个单元测试，呃的做法是这样的，是我先说啊，我有这样一段代码，你先不要写单元测试，
08:29你先帮我一步一步，一句一句的给我解释一下这段代码是干嘛的。然后啪，它会生成一段提示语。然后把这两段拼完，然后说，哎，你再针对上面的这个内容，继续去写，我希望你帮我设计一系列的测试。这些测试要考虑边界条件，需要考虑尽可能多的范围输入，需要易读，需要每个测试的结果都是有确定性的结果的，
08:51而不是可能是随机的。然后啪，它会设计出来一组说，哎，这个输入对应那个输出，这个输入对应那个输出。最后你说，再把这个东西全部拼在一起，说，那根据这个上面的这个要求，你来帮我写测试代码。就相当于是你引导他一步一步的去有逻辑的做这个事情。
09:08那么这样的话呢有有几个好处，而且这个当中你其实每个步骤你中间都可以做检查，比如说第一步你会发现他解释只有三行，那你就让他重重试一下。就是至少要解释有五行的时候再往后走。他给你测试的时候他只给你三个case，你可以再去append一下说我给我五至少给我五个case。
09:27因为因为你有时候跟他说三个case，他也会呃多给一些case，他也会只给两三个。那就这样，然后到最后生成代码的时候，你可能再用个比如代码库去检查他的语法是不是正确。通过这样的一个，这个就是我理解就是你所说的模板的方式嘛，就是分步把它拆成一个个模板。
09:41但你这个模板就是就是我我现在是想把它产品化嘛，你这个模板还是需要参与吧。
10:55对，只是每一步都是AI去生成内容，不是说你人参与进去。就是从第一步到最后一步，你会把中间结果也拼到后面用的提示语里面去嘛。这样的话，就是你的这个产品会比较可控，然后它的逻辑推理也会比较强，就随机性会减少。
11:12那你见过内容生成领域的，还是说这种应该是到Jasper里面去抄它的那个workflow或者recipe？
11:20我现在有有内容生成，有人做那个嘛，有人做就是Midjourney的prompts生成工具。
12:16呃，第一个就是现在fine-tune很不稳定。它听不懂是吧？就fine-tune现在我觉得我自己感觉就是说，呃，我第一个我觉得你如果在专有的领域是OK的，但是我觉得你刚才那个场景它不是个专有领域，对不对？就爆款它本质上我觉得有差别啊，创意类写作跟问答类、知识类问答我觉得是有差别。
12:37如果你是垂直领域的知识类问答，我觉得fine-tune是合理的。但是创意领域的写作我觉得可能不一定合理，目的是效果，不是事实。fine-tune比较好的是，我这个数据灌进去了，我这个一个是语言风格会相似，第二个是事实会理解。
12:55就是我自己看下来大家的做法跟挑战。就是说当然我觉得这个就是因为大语言模型现在太大了，可预测的东西太多了。所以现在，呃，但是我觉得是说封闭域，你如果想要有效果，想因为你的最终目标是这个爆款真的能爆。而不是这个东西写的有那么个东西，对吧？
13:13那我的感觉是拆成第二步会，第二种方式会更合理。
13:46还有别的定价，就是工具收费，然后你自己拿个key自己来填。我已经在无数的地方填过我的key了。对，我我的感觉是没有看到有太多的合理的定价方式，就是wrapper哈。就是我觉得挺难合理定价的，就是说有些定价嘛，你一看就是割韭菜嘛，对不对？
14:06因为大家都访问不了，反正我就割一把韭菜，九十九块钱，先把你先收了再说，对吧？这这个我觉得是一种策略，对吧？有些就是基本上就是为了吸引用户，基本上就贴着成本来定吧，对吧？然后所以我觉得我也不知道这个东西该定什么价，而且因为其实我也没有太朝这个方向想啊，因为我自己会觉得说做wrapper这个事情意义就不大嘛，
14:28对吧？这个这个有啥有啥意义呢？这个就是这个跟卖VPN不是差不多，但是卖VPN这不不敢卖啊，对不对？
14:36那你想说Jasper那种公司的话，它不也是本质上也是个wrapper吗？
15:26两种都有嘛，一种是这种，第二种是fine-tune嘛。但是fine-tune的话，我觉得越是古代的人越难了，因为你语料很少。那苏东坡这辈子说过的话，对吧？你就把他所有诗词加起来才多少语料，对吧？所以你不得不去找更多的什么苏东坡传记啊或者怎么样啊，然后再通过内容加提示词的这个方式来做这个事情。
15:46但是我觉得如果是活人的话，其实可以做fine-tune，也可以做embedding，我觉得都值得试。看到一个应该是一个美国一个大学的一个老师，他做了个项目叫电子骨灰盒嘛。他说他把网上我所有的言论都放进去，然后做了个聊天机器人。
16:01对，所以从这个视角，你可以把你自己所有做过的直播、视频、写过的文章，对吧，这个都作为语料灌进去，然后它fine-tune出来一个。当然我觉得差距是语气可能很容易像你，或者说话风格很容易像你，但逻辑像你我觉得有难度。
16:17所以语气风格哦，如果我是用的就是我说话的那个，但是如果说用苏东坡传记，其实学不到语气，是吧？
16:25呃，对啊对啊，回答苏东坡知识的机器人是很容易的。你说要做一个苏东坡出来，我觉得是很难的。因为你去想一想说，苏东坡就就是留存在世的诗词就这么些，他会用什么样的风格说话，数据其实你也并没有太多。
16:41那还有一个角度，我那个私董会的那个那个prompt不是火了吗？听说。对对对
16:46对。然后
16:48那个东西的话，就是我自己平时用的话，其实一方面我是觉得还挺好用的，会说让什么乔布斯啊，让慧能禅师，就是他们来点评嘛。就是他们点评的那些角度我是喜欢的，但是每个人的话个性还不够强。如果个性要够强的话呢，其实我就会希望说，比如说慧能禅师点评我的时候，一方面他讲的都是佛学的话嘛，
17:11然后另外一方面我希望他举他的人生的例子。比如说那个时候我们要权变，我跟着猎人的时候，那个吃饭的时候我也吃肉。对吧，就讲这些，就讲他的故事。然后乔布斯就会，比如说我跟他讲我现在人生很迷茫，他就应该跟我讲说他人生迷茫的那一段时间。
17:29就相当于他应该用他的人生的过程举例子。如果我想做到这一点的话，我是不是应该把他们的这种资料都丢进去embedding，然后让让让他说，你你就拿这里面的东西最相关的，然后去举例子。呃，
17:43对，对，就是最粗的方式当然是用embedding来做。当然你可以，你要往细里调，基于embedding还可以做很多事情嘛，对吧？就像你说的这些，就是你可以在数据处理上做很多，但是你就合理的方式是你应该是六个，你的私董会成员是六个system，
18:01对吧？每个人都有一个，然后背后都有一堆自己一堆自己embedding跟memory，对吧？然后你的，对，然后拆成六个，然后各自回答，然后再组合在一起，然后再再怎么样，我觉得需要，就那个是一个好的方式嘛，对吧？可能乔布斯，我觉得你甚至不用embedding，你做一些prompt engineering，
18:19可能AI给出来大部分都是对的。就是说因为互联网上乔布斯的数据很多嘛，他的传记也很多嘛，对吧？就这种故事也很多，但是，对吧？伊隆·马斯克跟马云可能也还靠谱，对吧？慧能禅师我估计数据就比较少了，对吧？
18:41然后这个如果做起来难吗？就是如果我是让他回答的时候，都尽量去里面找他的人生例子啊。呃，不
19:04一两个工程师搞一两个礼拜，我以为LangChain你好像都做好了呢。
19:09但因为你肯定会，我觉得最大的问题就在于说你要根据你的各种数据去测。比方说embedding我应该怎么分段，我需不需要对一些重点的话题单独抽出来把它。这个当中不是说开发，开发是很简单的。核心挑战是说，基于产，围绕产品，围绕你的产品的场景去调说，因为我可以所有的东西都一视同仁地去embedding，
19:32但是这个效果肯定不是最好的。我用一天也能做一个电商FAQ出来，就我一个人用一天也能做一个电商FAQ出来。但是，呃，也会面临很多奇怪的问题。就是有时候比方说你FAQ里有送货时效跟送不送得到，有时候它会打错。那么你就要去做一些调啊或者怎么样，或者去看一看到底是我分这个FAQ的分段分得不合理，我对不对？
19:56不能一股脑的就就裸裸的所有默认参数都调一遍。还是，对，大的事情是花在调上面。对对对，我觉得会花在调上面，会花在调上面。我觉得开发工程开发上这个事情，对吧，我可以给你断源嘛，就是就能测了。对。
20:12但这这个的核心的效果说，最简单的方式的效果肯定还是不够好的。对，我我我举过一个例子，就是我最近其实在，我把整本藤野先生，呃，这不……藤野先生只是一篇文章了，都embedding了，然后直接对着它用默认参数问，说，哎，鲁迅的老师是谁啊？
20:31它说不知道。为什么不知道呢？因为这本书是鲁迅的杂文集，它是用第一人称写的，里面除了标题出现鲁迅两个字之外，后面没有鲁迅，对不对？
20:40它都是我我我我，那好，那我那我哪知道，他去搜的时候，我哪知道鲁迅的老师是谁，对不对？那所以你一定说啊，那你要么调prompt，你说，哎，这篇文章它都是用第一人称写，所以它说我就是鲁迅，对不对？这是一种处理方式，对吧？这个，但是第二个你面临说，我把整本朝花夕拾放进去，你说鲁迅在哪里上的学，这句话就复杂了。
21:01因为藤野先生里面他说我去仙台学的医学，另一篇文章范爱农的时候，他他是那时候刚到东京，然后他回答的答案就可能是错的，对不对？
21:54甚至于可能要找到适合它的内容集。比如说讲苏东坡的话，那我可能丢十本苏东坡的传记，甚至于还不如网上的某个作者他整理的什么苏东坡一百个小故事。然后那一百个小故事刚好每一个那个size刚好合理。
22:10啊，对对对对，这个就是，就是数据很重要嘛，就是说，就是你blunt，就是过，技术上这事情是简单的，哦，对吧？因为你也不会自己去改那个大模型。但是当你遇到一个具体的产品场景的时候，你就会发现，哎，其实坑很多的。像你看我还只是写专栏，说都是些短小的例子。
22:29我自己试了半天，我为了写专栏，告诉它牛逼，对吧？我都得把这个正确的例子给试出来。对吧？也挺花时间的，也挺花时间的。对啊，我说，哎，你应该这样，你根据这个问题你去想一想，你应该改prompt啊，你根据这个例子你应该改你的索引结构。
22:43但是实际上你真的去解决这个问题，并不是说你无脑往里一股塞，就就这个问题就解决了。当然，比如说你有GPT-4，对吧？32K上下文，那我觉得可能就是你往里，啊，对对对，你往里一塞，它也是
23:00不是Transformer啊。
23:01不不，这就是我的意思是，呃，我讲个具体的例子啊，就是，呃，比如说假设它有，呃，苏东坡传，它有一篇很长很长的一个文文章，就可能有五万字，其实是在整个是在讲他一件很悲惨的事情。对。那那它能够理解这五万字整体在讲一个很悲惨的事情吗？
23:21这个就是你要做一些工程嘛，就是比方说第一个是我我我，呃，这个有好好几种做法啊。第一种是，我
23:28以为它是这样一层层卷进去的。
23:40的4K会跟下面的4K再拼一下，然后再卷一下，然后再拼一个4K。
24:20所以我如果要要要弄好它的话，要让它能够理解这五万字是一件很悲惨的故事。我讲我悲惨的时候，它可以把它抽象出来跟我讲的话，其实我还是要做很多工程上的事情，让它能理解。
24:32对对对对对对对。
25:00就就就
25:01尴尬了。
25:19但是要调两周啊，我干脆这两周去优化我的界面不好吗？
25:23对。但是我的假设是，当你面临真实的场景的问题，即使给你更长的，比如说更长的文章，比如说GPT-4未来会开放32K，但我觉得它的价格没办法一下子降那么低，对不对？所以你一定是针对自己的。第二个是你不去试这个过程，其实你也理解不了用户的场景。
25:41因为我觉得用户场景这个问题其实现在是个不是个说已知的，这个用户场景就是对。是啊。是我不知道，我要在摸索的过程中去去干这个事情的。所以我自己的感觉是，如果大如果是要做应用层，呃，而且说你没有太多包袱的话，嗯。我觉得是尽早试，因为投入也不大。
25:58就我们刚才说的这个事情的投入，其实你不需要五个人的团队，十个人团队，你只需要有一两个人的团队，一个人的团队就能开始干了这个事情了。所以我觉得如果做应用层，我还是觉得应该尽早试，因为它的投入并不大。但是你如果要去试，比如说做大模型这件事情，我觉得就要比较慎重。
26:17因为有可能你组完团队啪啪啪开始搞，发现人家其实有很多人已经早就卷起来了，同学们。对不对？大家不要觉得哈，现在国内其实有很多团队已经在干了很一段时间了，已经卷起来了，只是没有必要出来说话嘛。对。所以我觉得偏应用层早点搞其实没有什么坏处。
26:34因为你的，因为你不管啥时候搞，你都有那个试错成本。这个试错成本中，大的并不在那个研发，就是产品技术层，那个其实是低的。
26:44所以我想的是说，我就算是应用层，因为我现在已经发现可能有十个八个场景可以做嘛，我也找low hanging fruit嘛。然后哪个场景，比如说先收了一百万，然后有一百万现金证明说这是个真场景，然后然后再再再一百万里面花五十万去去去打磨。现在就是第一步，可能就是一个prompt engineering的东西搞搞出来。
27:07有同学问说在3.5的API做一些逻辑推理，让模型认为是个供应链管理员，定义一些节点依赖，推理某个节点挂了的波及面，有什么trick吗？
27:19第一个是，我认为不是所有的问题都一定适合完全用大语言模型来解决，这是为什么会出现LangChain这样的框架，对吧？它比如说它算算数的时候，是调外部的另外一个东西。我觉得大语言模型的能力强项还是在常识逻辑和基于常识逻辑的推理。
27:36如果说你这个已经有一个供应链的图，有一个环节哪个点挂了，前后的依赖哪些会波及，这个其实你不需要大语言模型的逻辑推理，你其实更合适就是用一个传统的程序去解决。如果说不是的，你说是基于一些常识的推断，那我其实刚才跟任鑫聊一开始，我觉得你还是要分步骤。
27:53就是你把这个步骤啊，其实我们上次聊就聊过吧，人有系统一跟系统二，system one跟system two。你想一想，如果作为系统二，你来解这个题，你会怎么分步骤？每一个步骤拆成说，先第一个步骤说，哎，我们遇到一个问题，这个问题呢，这第一个步骤我一般会怎么去思考啊？
28:14AI请你思考一下，啊，啪，它把答案列出来了。基于这个答案呢，你说，哎，你看，啊，这个第一个步骤里它已经思考出了这么结论，那么我们想利用这个去，呃，列出一些可能会出现问题，你多列一点，对吧？啪，它又出来一堆东西。然后第三个，再根据这个输入说，哎……根据这些可能出问题，跟一开始提到的那个问题，你再推理一下。
28:35就是你不能不要指望说我啪把我的问题往里一扔，它啪出一个答案，这个呢你的假设是系统一直接给你结论嘛。那么系统一给你结论，很多时候它能给你结论，但是它给你结论你会觉得没价值。比如说我我前面说，我们写个做个让AI帮我写测试，它给我写的测试都是不考虑边界条件，都是good case，
28:57就是你用它测都过的。我就让它做个，我让它做个什么呢？时间的格式化。你输入一个秒数，比如61，它就给你输出1分1秒。如果你说你把这个程序扔给它，说写单元测试，它就把你，它就扔几个什么1、60、20
29:12进去。我们用刚才那个步骤说，它会给我扔一个负1进去，它会给我扔一个空字符串进去，它会扔一个ABC给我进去。对，对不对？这个这个就是你利用把问题拆开来，去做这个推理能力，它就会，它的推理能力就会比较强。就是你要引导它尽可能地用系统二思考，
29:30场景适不适合。第二……就算场景适合，你也要把它帮它拆解步骤，让它用系统二。不要它直接拍脑袋，它拍脑袋比我们拍脑袋还不靠谱。
29:40对，它拍脑袋是，它拍脑袋就是快而已，比我们快。但是不一定比我们准。
29:56几个问题啊，第一个是说，比方说你能不能用OpenAI的大语言模型？因为大家有几种，一种是说我必须要用个国内的模型或者开源模型，对吧？因为一些数据啊之类的问题。那这种情况下，你可能你当然，假如说你可以接文心一言或者怎么样效果啊。
30:12那我的第一部分是说，从我自己的体验，电商客服，假设你不存在这种我必须得自己训练个模型，我觉得你不需要训练模型。你只需要把大模型、大语言模型用好就好了。你只要去把embedding用好，你只需要去把这种我们刚才说的多个环节的链条，包括说这个问题的拆解做得更好就可以了。
30:34其实我在专栏的，应该要下下周才会上啊，那那篇文章下下周才会上。的第大概十六七讲，我就写了一个说你要做个电商客服。嗯，对。假设你电商客服有三类问题，第一类是导购的问题，对吧？就是我有个商品库，然后导购的问题。
30:49第二个问题是那个客服的问题，就是啊，你们发货发到哪里啊，就是就就是知识型FAQ的问题。第三个是说跟我的订单状态相关的问题。那你其实完全不用训练任何模型，你就利用好它的embedding跟LangChain这样的工具，你自己包装一下，就能做出一个八九八十分的吧，我觉得没有问题。
31:08八十分的吧，我觉得没有问题。对。所以这个情况下，你的预算就很简单，就是你到底有多大用量，就是你去开一个OpenAI或者微软云的账号，对吧？申请到这个权限去干就完了。
31:20如果你要自己训练模型，那基于开源模型也可以做这个事情，对吧？但是就取决于你的量多大嘛，就是说你是京东淘宝，那我告诉你的预算跟你说我是个小商家，我就每天一百单的这个预算肯定是不一样的，对吧？所以我的感觉是，取决于你问题的复杂程度跟预算，但是我觉得大部分公司现在没有必要，就是你不愿意在模型上花一百万美金，
31:43就先不要去碰模型这一层。我的我是这么个结论，就是你那，你可以说我做一些原型研究啊什么的，说你说要产品化，我一定要用模型来做，那你先做好准备说你觉得你接下来一定要投，当然这是拍脑袋的，一百万美金。你不然你干这个事情没有啥意义，你搞几个人，搞一些卡，半年时间，呃算几个月时间，你算算就是多少投入。
32:05而且这些人越来越贵，
32:26对对。然后现在有些上市公司啊什么的，如果要请徐文浩过去帮忙顾问一下的话，可能就顶得他过去顾问一天，可能就是一个客服团队一个月的一个月的成本。
33:00那下一个问题啊，他刚说什么火了？是我之前发明了一个prompt，就是说你可以就一个提示词，跟我朋友说那个你假装是六个人，什么慧能禅师啊、Elon Musk啊六个人，然后每个人有自己的人生经历和价值观、世界观，然后我会说出来我的处境和我的决策，请从这六个人不同的角度给我评判和建议。
33:23然后还蛮好用的，然后后来发现说啊，大叔火了。然后我觉得说，哎，既然火了的话，我我我也在考虑说我把它产品化一下，看看能不能卖钱，好吧。就相当于做测试嘛。所以刚刚问徐文浩好多问题说，能不能假设我里面有一个苏东坡的话，我怎么让他能够拿苏东坡自己来举例子，
33:42不要讲那么空。然后现在就发现还不是说几句prompt就可以完成的。但当然我可能会投机取巧一下，但是就任何东西要做好，其实背后还是要付出一点的啊。比以前容易付出一个人两周的时间，这也是时间嘛，对吧？然后还有同学问说那个专栏是哪一个？
34:06吗？啊，是的，是的，就是那个，就是那个。
34:09对，可以去买。然后那个AI炼金术里面应该也有有相关链接吧好像。啊，没有的话……有，
34:15历史上有，历史上我，历史上应该发过，发过，发过。
34:18把它置顶一下，或者或者有一个那个那个放开放在放在什么导航栏里面放一个。OK，有没有可能把一大本书不同地方的信息连接在一起回答问题？
34:29可以啊，就是你因为我们其实是把一本书拆成了很多段，然后用这个问题去检索哪些段可能会相关。那它可能就会提取到一本书里一开始的段跟后面的段。但这个问题其实我觉得也比较也比较tricky，就是说有时候其实你不希望，因为这两段之间内在中间空了很多东西。
34:50对。这两段其实你放在一起，跟你把从头书放在一起，直接基于这两段去回答，跟从头把书读完，知道这本书是怎么回事去回答，其实可能完全是相反的意思，对吧？我举个例子，你说看乔布斯传，比方说你看说，哎，乔布斯这个，你看他很年轻的时候就去什么印印度灵修，
35:10对吧？然后他年纪大了，这个就因为胰腺癌说不愿意吃这个药，要那个。然后你不是好不容易搜到了嘛，这两段一匹啊，你得出了一个结论，去印度灵修要丧命的。对啊，就是不是这么回事嘛，对吧？就是所以，他，所以这个就是我刚才跟任鑫聊的，说你真的到具体的应用场景，你会发现啊，我们说的都对，
35:30用embedding搜索一下，这是大的框架是没问题的。但是当遇到你自己的应用场景，你要去想想你的这个知识是用什么样的方式索引起来比较合适。是我应该就让它原始的文章，还是说我自己针对它变成一个小结，说而且小结有有我关注的重点，比如说任鑫关注的可能是故事。
35:48嗯。有人关注的是名言警句，对吧？有人关注的是一个具体的发生的事情，对吧？有人关注他他做了哪些决策。那么，这个对应的场景不一样，你的产品索引问答，你有很多具体的东西你要调，这个其实就就其实比较考验大家的产品力嘛，
36:05就是怎么去，又要懂一点技术，又要去去思考这个产品到底应该怎么做。我觉得其实门槛它很低，但是上限其实很高。门槛很低，上限很高。
36:15然后那个那个呃下面还有两个问题啊，然后一个是国内基于大模型的垂直领域开发有哪些公司？
36:46讲的那些上上上市公司都都已经涨过好好多轮了。
37:31那还有一个，老师，我说的其实就是基于现有的API去做一些FAQ的问答、营销文章生成的工具，具体需要做什么，具体流程，哪些人参与，预算类型。然后徐文浩回答正正经经的那个开始之前，我建议你可以搜一个东西叫meet Cody。
37:49Cody就是C-O-D-Y，然后meet就是就是看见Cody。它是专门解决你这类问题的，就是完全不需要理模型，就是你它里面会设置说你公司的那个比如说角色，然后这个角色背后有哪些文档，比如说是什么公司报销政策，对吧？那可能就是HR的角色，那其他人就可以找这个机器人问公司的报销政策，呃什么公司内部政策，还有一些机器人就可以说帮忙写文章，
38:15那可以内置模板啊什么的，Meet Cody。然后有好多好多类似的东西，所以也有专门的工具，不一定需要你全程开发，就是你一旦一旦陷入陷入到你要全程做这事儿，主要就是现在只要但凡有点跟这事儿沾边的人，都会很昂贵。对对
38:34对对。就我觉得是这样，就是我觉得其实这事情不复杂，对吧？这个买专栏反正专栏很便宜啊，对吧？才六十块还是八十块，对吧？那个你就里面会有例子，但是我觉得你只需要一个，如果是说我就是基于OpenAI的API，然后那我觉得你第一个你需要个产品经理，
38:52第二个你需要一个工程师，这个工程师不需要有太强的AI背景，他只要是个呃学习能力比较强，比较聪明，能做应用开发的。然后呢，你去，比如你有专栏了，你看一下专栏介绍过的各种开源项目，各种场景，你把那些开源项目去看一看。这些开源项目里都会有example notebook，就是示例，他说哎，我这个可以用来做问答，
39:13我这个可以用来做这个搜索，我这个可以用来做这个聊天机器人。他们去看一遍，基本上你专栏看完那些文档。看完，你基本上说，哎，我不用搞什么太高深的东西，我就做个应用，客服。我觉得他基本上也就清楚了，他基本上也就清楚了。因为你总是需要有个内部的团队的人来干这个事情嘛，对吧？
39:33然后，那个，我觉得预算，就是人的预算是大头。就是因为最后总是要有，不管是谁，总你内部总要有个人负责干这个事情。然后，对吧？尽早去申请一个Azure的API，因为OpenAI的API不是特别稳定，经常挂。对吧？
39:49三天两头出事故。Azure是微软云嘛，但是两边的调用方式是一样的，你去你有海外的公司，你去申请排个队，应该很快就能审批下来。然后根据这个结果来讲，你可能最后觉得需要两三个工程师，一个产品经理，这事情就能做了。甚至我觉得，甚至他们可能说，哎，我找到一个开源的工具，我部署一下，其实它也是包装了OpenAI，
40:11可能一两个礼拜就就能上了。所以我觉得这个，如果你是想只是做电商的FAQ，做一些营销文章生成，第一步是你找一两个工程师，找个开源，就立刻去去去做就好了。有包括Jasper这种东西，哎，你何必呢？你何必自己做呢？
40:28你就用它的不行吗？对不对？对，直接用
40:32Jasper不挺好的吗？那
40:54公众号这个这个
40:55AI链。这个就是，这个是我们的公众号，我个人没有公众号啊。Jasper就是jasper.ai，呃，一家美国的，呃，创业公司吧，算，也算创业公司。
41:07叫文案写作工具
41:34对。反正国内在座的很多很多在座的人的话，也在看徐文浩同学的专栏。徐文浩的呗。
41:46没有看到哪里有专栏，呃，有。你要么搜一下AI大模型之美，在微信里面，如果搜不到，你搜一下极客时间，应该他们还是在这个，因为的确就是比较热点，对吧？呃。我也算蹭上了这个热点，对吧？
42:00当然我是比较有预见性的，去年这个事情还没热的时候，我就跟他们说，我们搞个这个吧。微博的大模型什么时候发布？我不知道微博在做大模型啊，我觉得微博做不起大模型啊。对啊。就微博的微博这个公司体量，它做不了，就是它没有必要来参与做这件事情。
42:16外企Office都升级了，国内还得抓紧。哎，我觉得大家不用，我我估计三个月之内，呃，这个我瞎编的啊，我也没有。今年之内吧，飞书跟钉钉肯定都会有这种类似的AI功能。大家得理解，就是大语言模型中有，有做得好，其实难的并不是它能说人话，能以及能帮你编一些话。
42:36现在最大的差距还是逻辑推理，就复杂的逻辑推理。那你不要求复杂的逻辑推理，其实我觉得大家赶得会非常快。复杂逻辑推理，就是第一个是我们觉得OpenAI是第一线，我们试下来。第二个Claude又比它差一点，但还算有。其他家目前看下来都不太行。
42:53其他家看下来都不太行，对吧？就是你给他搞搞脑子，你就发现他是个智障。但是OpenAI你给他搞搞脑子，你发现，哎，这家伙还挺聪明的。
43:13你要不就你在线用这种Colab这种在线Python编程的这种环境，就就可以做了。Colab你就可以至少可以写代码，写完代码。第二个是你让ChatGPT帮你写，写完了之后你把这个copy paste，你最我觉得比较合适的几个入口，
43:29你电脑没有编程工具比较合适的入口。第一个是做浏览器插件，你自己让ChatGPT写，说我要做个Chrome浏览器插件，有什么什么样的功能，你帮我把代码写出来，它啪就会把代码写出来，然后告诉你怎么怎么一步一步把它打包，然后copy一下就安装，
43:46安装好了你在那个浏览器里就可以用了，然后你继续它做改造。对。这个你不需要编程环境。第二个说你说，哎，我就想，因为OpenAI的很多示例或者机器学习都是Python嘛，你就用在线的Colab这样的环境，对吧？
43:58它你也只要有浏览器就能干。就所以相对来讲会会比较比较简单入门吧，试试一下。当然，我觉得你如果正经要搞，因为科技还没有发达到那个地步，所以你还是搭一个环境吧，本地，对吧？你搭一个开发环境的成本很低呀。
44:15对于你这种懂的人很低，对于我这种二十年没写过代码的人，
44:19不是，是这样的。就是如果你真的想干这个事情，你花一天怎么也搭完了。对，你真的想干这个事情，你花个一天两天怎么也搭完了。如果你觉得这是个十年的级别，三十年级别的浪潮，你不差这两天时间，那你一定不差这两天时间，所以你就搭一下嘛。
44:34中文网上资源的匮乏会不会造成大语言训练不可逾越的障碍，不足以和英文结果对比？其实不是这样的，你可以拿英文训练呀。你为什么一定要局限在拿中文训练呢？
44:47肯定会有影响啊。就是我因为我们现在觉得，就我们跟朋友聊下来，我们都觉得ChatGPT啊，至少3到3.5的工程上，虽然也有很多，一定有很多秘密，但是这个事情可能没有那么难。但是我们都觉得应该OpenAI在数据上应该做了很多工作，但是具体是什么我们不知道。
45:07对。所以这个我觉得会有障碍，但是这个障碍不只是说资源，就是说它一定有。因为OpenAI他们官方说过一句话，他们说了是什么呢？其实他说互联网的公开数据里有非常多好的数据源，但他没说哪些。他论文里发的那些，肯定就是什么书啊、论文呀、代码呀，包括这个Common Crawl，他们洗过的Common Crawl的数据之外，
45:33他们肯定还是找到了很多高价值的数据，对吧？那么这个我觉得是个秘密，什么叫秘密呢？就是很有可能是在搞的人都会想到一些招，但是这个不会有人公开出来。因为这个很有可能是最和那个工程结果相关的，而且它也不太适合发论文。因为这个东西大家特别容易抄。
45:52预计多久会有平民化版本的接近GPT？现在开源模型都号称接近3.5啊，你自己体验一下呗。不，现在的开源模型，
46:02嗯，对，推理能力，我们我们的感受就是推理能力上有差距。对，对不对？它它试的大部分例子还是比如说公开数据集上啊，或者是像像包括一些问答的这种例子。但是推理能力上我觉得还是有差距。所以我觉得，但是我的感觉是，我和我之前上次预测的一样，我的想法还是一样，就六到九个月。
46:24因为大家就看3.5嘛，
46:253.5嘛。
46:52Dolly号称很好。是真的很好吗？我我
46:55我，我还没试过。
46:56我还没试过。
46:58但是Dolly比Dolly有一个好处是它的那个开源的license比较好，因为LLaMA是不允许你商用的，我记得它当时说。啊，了解。Dolly用的是Apache的license，就是说你可以把它那个东西搬过来，说我自己商用，
47:12对外销售。所以这个是这个我觉得很多人会去Dolly，是因为它的接下来是因为它的它的这个开源的那个license设计得比较好。就不是设计得比较好吧，就是它它它是说，就是说我不是来秀一下的，就是给你们用的。大环境现在什么环境最简单好用？
47:28Linux，Windows下装Windows Subsystem for Linux，然后你装装一下Python的这些环境，你习惯用哪个就用哪个。你Windows就可以装，Windows可以装。现在你只要是新的Windows都能装那个叫WSL嘛，就在Windows里面装个Linux。
47:43我没有Windows。
47:45那Mac你就直接装就好了嘛，就Mac你就直接装，我也是用Mac嘛，我我我我是都有了。那个专栏，那个专栏里
47:51面会说大环境吗？
48:02你专栏卖了多少份了？
48:04现在八九千吧。
48:06那将近也有一万份了啊，还很很厉害。
48:08不，任鑫老师，大家不知道，任鑫老师是那个高中的时候是湖南省的信息奥赛一等奖，所以保送的交大，对吧？所以任鑫老师说说不能写代码，我觉得是很过分的一件事情。我
48:30我相信百度的大模型，底层的大模型也是基于Stable Diffusion，甚至是说在Stable Diffusion上再去灌数据，再去训练，再去调出来的。那么Stable Diffusion的那个数据里，就因为数据集大量都是英文的。
48:43英文的嘛，都是图片以及它的英文的那些标识嘛。那但是它它可能短期内我觉得它，
48:48就是大家会可能会觉得百度说出来肯定会说这是我们什么自主独立自主研发。它有可能没有说过这句话，但是因为已经被骗过太多次，经常会说独立自主研发。
48:58对，因为这个问题其实很难回答，就是什么叫什么叫独立自主研发？是多独立自主叫独立自主研发？是我Linux那个操作系统也是我自己研发的，我能在上面跑程序，它叫独立自主研发。对吧，这个这个分有分很多层，连那个芯片都是我自己做的，还是操作系统我自己做的，还是机器学习的框架是我做的，
49:17还是这个算法是我做的，还是这个数据，就我觉得这个就很多层嘛。那我觉得百度就是着急赶鸭子上架，它可能在中文的数据集。因为我觉得训练模型，机器学习的能力上它可能是有的。但是说我明天三个月上线，我找那么多有中英文标识的这个数据的，可能我觉得是它找不到短期内那么多有图以及它的中文标签是什么。
49:41那么它可能用了一些方式说，比如说我用机器翻译找一些英文的就来跑。我觉得这个它会导致就出现那些什么车水马龙。什么老婆饼什么啊，大家都看过，对吧？这个这个，就是我觉得这作假这事情很难定义，对吧？因为百度也从来没有说过说我们不是Stable Diffusion的，他也没有说我们不是的，我们是完全搞了个新模型，
50:01他从来没有说过这句话，对吧？第二个是我觉得百度肯定也不是调API，对不对？第三个你看他的画的这个风格，他肯定是自己调了一个模型，对不对？它不是跟Midjourney一模一样的，它也不是跟默认的Stable Diffusion，或者你看到的某一个别人直接把模型全是拉进来，
50:15那个风格一模一样的。我觉得这个你叫作假，嗯，我觉得最多叫PR的，就是有点夸大吧，对吧？或者说他的PR跟你的预期不一致，但这件事情我觉得还谈不上作假吧，还谈不上作假吧，对吧？就是说，就是大家宽容一点，宽容一点。
50:30对，他已经是我们全村的希望了。
50:33对。呃，全村希望还有很多，对吧？就只是说我觉得宽容一点，没有必要，就是。但毕竟在这件事情上，他也没有坑你钱，对吧？
51:00是吧？两边都排，两边都排，两边都排。对对对对，就是领领鸡蛋嘛，对不对？老太太出来领鸡蛋，反正现在不排上。
51:07然后去搞一个腾讯云的美国服务器。那个我中间也可以搞一层，切各种各不同的大语言模型。然后我要做那个让他帮我写那个爆款文案的话，我应该是整理一些爆款套路给他。然后呃要把那个整个的文案拆步骤，不要一次让他出，可能会上说这个什么类型啊，你要套用哪个模板啊？
51:29然后套用完之后，你再什么加例子啊什么的，然后可能要分分几步出，对吧？对。产生一个chain，然后的话呢，这边那个定价的话呢，也就就反正也是这些定价。如果要调个苏东坡出来的话，是可以embedding的，然后翻天也翻天，个人的话翻天也可以。
51:47然后但是这边工程量的话，接好它可能就是那个一个一天的事情，但是要调好它，估计说不定就两周就耗进去了。小助理这边发了几个问题。然后有一个热门话题，就是什么马斯克等千人呼吁在六个月内暂停AI的那个5.0的那个开发。你觉得它多大的概率会停止开发？
52:09然后国内厂商赶上4.0的水平会需要多久？你有概念吗？
52:14我觉得第一个问题就没法回答，我觉得对吧？这个我也不是马斯克，我也不是Sam Altman，对吧？我们甚至也不在OpenAI里上班，但是我觉得你用常识想想，你就觉得没有人会停止啊，对不对？就大家大家这个这个在你美国人停，中国人也不会停，对不对？
52:31中国人停，欧洲人也不会停，对吧？我觉得所以这个事情是，就是呼吁是，有些事情呼吁其实没啥用，对吧？我也希望呼吁这个这个这个世界和平，但是这个就不现实，这不具有现实性。对，我觉得是这样的，我们看3.5啥时候出来，我们才能知道啥时候能赶上4.0。
52:49比如六个月之内，3出来的东西已经跟3.5差不多了，那我觉得就会追得很快。就说明大家就发现这事情没那么难，而且这个事情影响信心的吧，就是你三个月就追到了3.5，你就会加注去投，对吧？然后你就会有更多的资本人，大家都会有信心。
53:05如果说你要十八个月才追到3.5，那你去追4的时候，就你会缺信心嘛。但是我个人还是比较乐观的，就是我个人比较乐观，还是因为最近拿了一些小模型都试了一下。啊，我的结论是，哎，小模型好像挺好的。进步挺快是
53:23吧？啊，对。第一个是开源，很开，大家开源很卷，对吧？开源很卷，对吧？就是你的感觉都是说，我甚至当时自己想，我看了那个Stanford的Alpaca出来之后，有人用葡萄牙语调了个发音，
53:35说，哎。我觉得我也可以用算力调一下，但是我在写专栏没有时间。然后过了一个礼拜，哎，发现那个链家他们开源了一个嘛，就是就是用同样的方式调了一个，对，链家科技嘛，对吧？对，链家。
53:46所以这个事情当然了，就是调一个跟我做一个，跟做LLaMA那个水平差距还是很大的。所以，而且第二个是那个Databricks就把Dolly开源了。然后这两天反正每天都有新的开源模型，或者大家新的idea、新的呼吁出来。所以我觉得追3到3.5没有，因为3的论文毕竟是两年，20年发的，3的论文是20还是21年发的。
54:07我的感觉是追到3、3.5这事情没有那么难，对不对？那追到4其实面临几个挑战嘛。第一个是卡，对不对？到底有多大？因为4到3.5为止，主要的信息你从公开论文里都能拿到。
54:21我是用什么算法，我的团队是怎么搭的，我的这个这个，我甚至我数据怎么是怎么标的，那个InstructGPT都写得非常详细，对吧？甚至说我的标注团队的培训是什么，它里面都写了。但是4就写了个技术报告，说我们牛逼，对吧？那所以说到4这个事情到底怎么，就是什么时候能赶上，我不知道，的确不知道。
54:43我觉得等3.5出来，就是才能有一个估计吧，就是理性的估计。现在都是拍，更就更拍脑袋了。本来3.5我也是拍脑袋估的。
55:13他的名字居然能放在那么前面了，我才知道他那么牛逼
55:17啊。对。对，他现在是那个Facebook AI Research的一个leader吧，在里面的一个。
55:22然后那个，而且另外的话就是那个千人的话，很大概率上那是一个，那是一个，那是一个PR局。因为我也有几个人在里面，他们都说他们没有在那上面签名。
55:35对，那个。反正那是个表单，你谁都能填。
55:51我我我没怎么试过，所以我没法回答这个问题。
55:55对。因为，
55:56我最近其实都在卷，把专栏赶紧写完。就是因为啊。
56:00那你那个你卷专栏的时候，你会用到这些AI的工具吗？现在有什么AI工具可以帮助到你，有发现什么好玩的吗？特别是国内的有吗？
56:09呃，因为我那个写代码为主，我其实自己还是用ChatGPT、用Stable Diffusion会多一些。这个这个不对啊，这个我觉得其实应该多，我稍微有点后悔，就是觉得这个挺占时间的。就是你有很多东西没有空，就写专栏很占时间，所以你有很多工具都没有空去试。
56:25比如说文心一言，按理来讲一定应该要去试一下。但是我想，哎呀，我已经忙到四脚朝天，对吧？就是就是就算了，就先先。你看我们现在这个这个这个直播都都都就就都没有做准备，都没有提前说，哎呀，我对一下，说我们要聊什么呀？哎呀。
56:44我们今天聊什么主题啊？都是，哎呀啊，说，哎呀，马上，我说我马上等我五分钟，马上开始啊。所以所以文心一言，因为至少我没有在网上或者朋友圈里看到有谁贴给我一个图，说，哎，文心一言这个特别牛逼。所以其实我就没有那么好奇，就所以我就没有那么好奇，对吧？
57:02就是就是你只要说他贴出一个对比图，说这个case，OpenAI牛逼，那不行，文心一言这个逻辑推理出来，那我可能立刻就有动力去赶紧找人搞个号进来试一试。但如果不是这样的话，其实证明他现在还是落后的。其实我觉得花太多时间去研究它行不行，对我来讲不是很重要。
57:21当然可能对很多人做做国内的产品应用，因为各种数据的问题可能会比较重要。但是我是试了一些开源的模型，因为如果真的想要深入做产品，我也想试一下开源。但我觉得开源模型，我估计文心一言的体验不会比这些开源模型差。所以我相信它的能力是不差的。
57:38因为我用单机式的开源小模型，我觉得都不错。这个不错是跟预期比的。因为我当时在想，那个模型一千三百亿参数裁剪到只有六十亿，还把浮点数都换成了整型数。我当时在期望说，哎呀。我这这专栏这一篇到时候不要写，不要写不出来，不要写出来case都是不过的，那我得想一下我在专栏里怎么写，
57:58我得向大家解释说，哎呀。开源模型太弱了。对，对不对？哎，我试了一下，哎，还行。那么我觉得就是，就是，对吧？
58:05我最怕的是什么？写出来发现这这这篇文章没法发，发了大家看了没有价值。对。但是我也试了稍微复杂一点的场景，的确不行，就上下文能够支持的长度又短，对吧？它只能支持比如128个token。
58:18不，这是这个单机决定的吧，这是单机决定的。我不是说它，当然我也不想花钱说把它那个模型再找它的云服务器再布上去或者怎么样。因为我写专栏还是要让大家自己每个人都能跑，我去搞了折腾那么久，大家只能看一下，那没有什么意义嘛。专栏快点发完，专栏专栏已经每天一稿了，你还要怎么再怎么快？
58:37那那再问你最后一个问题啊，就是prompt，因为有现在很多人也在贩卖焦虑嘛，说，哎呀，prompt掌握这个能力，提示词工程师，年薪两百万。这到底是会是一个人人都需要掌握的能力，还是说一个职业发展的方法，还是那个其实过一段时间这就过时了？
58:55因为Sam Altman是说过这个东西几年后就不需要了嘛。
58:58我认为prompt engineering要分成三种类型的问题。第一种类型是有创意的解决问题，就是你的那个绘图、绘能什么，Elon Musk、马云，这个能力我觉得永远不会过时。对。这个是个creative的能力，我觉得AI它也想不出来，对吧？
59:14你今天让AI帮我想个好一点好的idea用，你一发现它都是车轱辘话。所以这类能力我觉得是，但这类能力就是也不一定是，是说我今天去参加个培训班就能学会的，对吧？它是个日积月累，它是一个长时间积累的，所以这种我认为不会过时。第二类是说，正常作为一个人的沟通，好好说话的能力，把你的需求表达清楚。
59:36这个我觉得也永远不会过时，这个我觉得大家可以去学习一下。但是我觉得这不只是个prompt engineering的能力，这就是个良好的沟通表达的能力，怎么把事情讲清楚，有条理的能力，这是第二类能力。第三类能力呢，就是一些trick，它像一个，就是我知道个小秘密，我知道个行业内，哎。
59:54今天投，就跟我们以前投广告说，哎。这个广告效果高一点，那个广告广告。哎，这个版位好一点，那个版位差一点。这个能力呢，我觉得信息很快会透明，很快会透明，所以它的时间实际上会非常短。还有一种能力，就是我们刚才举的那个分步骤做prompt，它其实就是一种prompt engineering的能力。
1:00:10对，它其实也是一种prompt engineering的能力，你不要把它当成一个编程能力。那从这个逻辑，这个能力呢，我觉得在三到五年内有用。嗯，对。三到五年内有用，就是你要既能够理解这个模型是怎么做的，我又能够理解我怎么拆问题，又怎么理解巧妙地把模型跟这个东西能够结合起来。
1:00:26这个呢，我觉得是未来就会没有用。没有用的原因是，AI能够支持的上下文跟逻辑推理能力会越来越长，越来越强，对不对？等到GPT-4，32K，它今天当然很贵。那三年以后、五年以后还这么贵吗？肯定没有那么贵了，肯定就是跟今天的3.5的价格一样。
1:00:43那你何必呢？还要搞那么复杂，你就是，对吧？一壶倒给他，你回答吧。我把整本书灌给你，请回答。所以我觉得是是是，我觉得我我的观点中分成这四种能力，就是说后两种是会随着时间迁移消失的。
1:00:58前两种，第一种我觉得很难，就第一种就是你这种能力，我是我觉得是羡慕不来，我就觉得任鑫老师有这个能力，我没有这个能力，对吧？我只能回答事实性的问题，就是这种creative的事情我是想不出来的，我只能说，哎，解做题我擅长，
1:01:11对不对？想新题目其实不太擅长。第二，第二种基础的沟通能力，我觉得大家都需要。就这个其实跟是不是跟AI都没有关系了，你就在公司今天没有AI那个能力，我觉得你也得好好锻炼。后两个，前一个这种秘密的呢，我觉得你就收集收集啊，知道一下没有什么坏处，但是它的这个，它是没有什么利息的，
1:01:28就是你掌握了，过两天大家都会知道。第二种那种分阶段拆的、拆解问题这个能力呢，我觉得是一个比较讲究技巧跟经验，它会有用。我觉得那有人问三到五年这么久吗？我觉得可能会能够用到三到五年。因为第一个是非常长的上下文，因为你现在只有4K，给你8K你也不够用的。
1:01:52给你8K你发现，我原来你4K的时候，你觉得写个单元简单，还是说单元测试我要拆三步；给你8K的时候，你说我要写个简单的app得拆五步；给你32K的时候，说我要写个大的应用要拆几步，对吧？所以它这个当中一定是，只是说不是你今天学完就没了。
1:02:08你可能随着模型，你还在不断地学新的这个方式方法跟解决问题的这个能力嘛。所以我觉得它会有，但是真的大，但是可能五年之后，甚至或者十年之后，那不需要了，对不对？对，这个你你你上半句刚蹦出来，哎呀，已经把下面所有东西都给讲好了。
1:02:24好的，那我们今天就这样。好，谢谢老师，谢谢老师，谢谢老师。拜拜。好，拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。
本期还提到
常见名词，文稿里悬停可见，右侧数字是本期提到的次数。
- OpenAI20
- 向量化18
- fine-tune13
- 文心一言12
- 提示词工程8
- ChatGPT8
- GPT8
- Dolly6
- 百度6
- Elon Musk5
- Stable Diffusion5
- Azure4
- LangChain4
- System 14
- Google Colab4
- Transformer3
- Claude3
- 极客时间3
- Cody3
- MVP2
- GLM2
- Midjourney2
- 一流科技2
- Alpaca2
- Databricks2
- WSL2
- Sam Altman2
- 链家2
- 华为1
- BERT1
- Anthropic1
- Google1
- 京东1
- 淘宝1
- 《乔布斯传》1
- 36氪1
- 虎嗅1
- 机器之心1
- 量子位1
- 光年之外1
- 西湖心辰1
- Glow1
- Notion1
- 钉钉1
- 飞书1
- Common Crawl1
- 斯坦福大学1
- InstructGPT1
- 吴恩达1