徐文浩：以ChatGPT为例，大模型和应用层有什么新机会

00:03但是GPT-3它的模型参数现在是1750亿，这大概是个什么概念呢？我觉得虽然不能一比一的对，人大脑的神经元差不多是1000亿个。

00:14呃，大家都在尝试做更大规模的模型，因为现在的研究表明什么呢？模型规模越大，效果越好。数据越多，效果越好，而且最好两个事情是同步增长的。

00:29此时此刻，他会用ChatGPT，因为它定位是副驾驶，优秀的助手。然后我在这个基础上，再靠人去做决策跟修改，我觉得可能是一个最适合的场景。做应用，大家的核心竞争力不是我自己的产品带来的，其实都是大模型本身赋予的能力。

00:52hello

01:22理解理解。就我觉得其实我们这些年AI发展历程，我觉得有两个阶段吧。第一个阶段是2012年之前，那个时候其实还是传统的学习。大家今天如果去看很多课本的话，还是什么逻辑回归啊，一些经典的算法。但是2012年其实是AlexNet吧，就是第一次深度学习这个横空出世。

01:45当然它一开始是在视觉上的，对吧？就是我们今天看到的，今天大家可能高铁站，对吧？才会扫一下这个人脸去做识别，其实就是从那个时候开始。在视觉上有了很大的进展。同样的，其实一直到2017年，其实是第一次在文本上，就是Google发了他们的那篇很著名的论文，

02:06就叫Attention is All You Need，也是今天就是我们今天看到ChatGPT的这个基础，Transformer是在那个时候诞生的。然后那之后其实大家在产品应用场景，可能说大家可能去看论文，关注这个领域的人，很多人会觉得说啊，

02:21从数据指标上都刷得很好了，对不对？但是从体验上，大家觉得真的去找一个聊天机器人聊天，还觉得是个人工智障嘛，感觉没有什么反应。这一波我觉得也是两个阶段。第一个阶段其实是当OpenAI把GPT-3的这个模型通过开放平台接口的方式提供出来，就是前两年。

02:41那么这个其实是在业界产生了比较大的影响的，因为大家发现这个东西有非常好的效果。而且在海外的话，其实依托这个API也出了一批创业公司，就是今天大家听说的这些什么Copy.ai啊，什么Jasper.ai这些辅助写作的软件，都是在那个时候起来的。

02:59那这一次就是去年底，ChatGPT开放，就普通用户能够用网页聊天。大家又发现它的能力强了特别特别多。那我觉得大家兴奋的主要的一点是在于说，大家第一次发现啊，就是说我原来我们传统上不喜欢把它叫人工智能，对吧？就是特别是产业界的人，因为大家都觉得说它就是一个机器学习或者深度神经网络学习的一个模型。

03:22他说，我能分辨这张脸是那张脸，对不对？但是任何一个模型它就没有其他的功能了。但是今天你如果用ChatGPT，你会发现它好像什么都会，而且它有逻辑。你给它一些逻辑过程，它说它能去做这个推理。我觉得这个是一个最大的体会上的差别，然后一下子让大家就特别兴奋。

03:42就是以前在科幻小说里能看到的，大家觉得这种通用人工智能，对吧？就像年初很火的这个流浪地球里这个MOSS这种啊，那它能好好跟你说话的这个东西，一下子好像就快要接近了，就快要出现了。

04:05我觉得是这样的，就是说我觉得第一个原理，我觉得它很有意思的是，我们把ChatGPT其实分成三个模型嘛，一个就是叫Attention，然后就是Transformer，就是我们讲的这个转换器的，这是一个小的，就是在神经网络里的一个小的结构吧。

04:23第二个比较重要的模型就是GPT-3。那Transformer到GPT-3，我觉得其实是第一个，就是说它提出了第一个东西，叫做我的模型是一个自回归的，并且是一个无监督的学习。这是什么意思呢？就是说我们传统上去做人工智能的很多研究，我是需要去做数据标注的，对不对？

04:45就比方说我要标一下这张图是猫的图片，我要标一下这张图是狗的图片。我要标一下这个问题是用户是来问说，哎呀——我今天天气怎么样，我要去标一下。但是GPT-3这个模型是没有标注的。就是说呢，我把尽可能多的语料都放进去，我可能把尽可能多的数据放进去，它呢根据说，哎，我看到这个数据前面的出现了哪些文字，

05:09那么后面就应该跟着蹦出来哪些文字。那么而不是说我需要去标注一下啊，前面这段文字是要来问天气的。那这个使得什么呢？使得我们可以用很小的成本训练一个很大的模型。今天的这个ChatGPT，GPT-3用了45TB的模型，TB的数据，对不对？

05:30但是这个TB大家要知道，不是视频，它也不是图片，它都是文本，对不对？像一本书可能也就这一一兆大小。那你想想，如果这个数据我都得标一遍，那其实非常巨大的工作量。那么它呢是利用语言内部的结构。它说，哎，我看到这段话后面跟着，就是另外一段话，我跟着这个，对吧？

05:50白日依山尽，后面就是黄河入海流，那它就自然能够学出说，哎——我学诗的时候，那就是白跟黄可能都是颜色。那么它这个是第一步，它训练了一个巨大的模型，叫做GPT-3。而且呢在这个过程中，大家发现一点呢，是说随着模型的参数，就是这个模型本身存的参数到一定的程度，

06:09它原来的能力很弱，但到一定规模之后，它突然就现在大家叫涌现出了一些能力，涌现出了一些逻辑推理能力。这个就是很可怕的。就大家就是觉得说，哎，是不是只要我给足够多的数据跟足够多的参数，我就能够去，其实机器就自动能够学会一些逻辑。

06:29然后呢，第二步呢是说，在有了这个大模型之后——有了第二篇论文叫InstructGPT，对不对？那就是说我模型里已经有了很多能力了，但是呢，我好像体现不出来。我能够做说，写打一句话，你能接一句话，但是好像，哎，在不同的领域，它的效果不一样。

06:46因为我这个文本里有好的有坏的，因为它其实大量的都是网上的公开的文本嘛，它叫Common Crawl，就网上抓的网页。但是呢，它抓的这个网页里可能有比较好的内容。就是比方说它也网上抓了一本书，抓了一本经典的，比如海明威的小说，那它里面遣词造句可能都比较优美。

07:06同时呢，它里面可能也有很多脏的数据，比如说有很多广告数据。所以，如果你只是用原始的GPT-3的模型——你可能会遇到说，哎，这个数据里面有很多，效果可能有各种各样的领域上效果不好。InstructGPT是说，那我能不能再让人在这个模型上再做一些微调跟训练。

07:23但同时这个微调训练它需要的数据量非常小。它这个训练怎么做呢？它训练是说我让人写一些指导，就有人问一个什么，我人就应该回答什么，交给模型。模型呢可能再根据训练出来结果说，哎——我给你一些选项，说我生出来，你觉得哪个好哪个不好。

07:39好的呢我就给他奖励，差的呢我就给他给他扣分。但是这部分是有监督的学习。但是这部分有监督的学习呢，它需要的数据量非常小。那这个意味着我们通过一个巨大的海量数据，其实我就把很多知识蕴含在我的模型里。然后呢，我通过人给他一些少量的反馈，一些微调，就是他就能很快学会说我怎么用正确的方法去处理问题。

08:02就换句话说，就是他是先读了大量的书。然后有了一定的知识，然后呢你人再引导他举一反三一下，哎——一下子你会发现，他处理很多问题都可以处理得很好。

08:16对。GPT-3是OpenAI先发布，他们先发布了GPT-1，然后是GPT-2。其实一直到GPT-2的反响还没有那么大，因为效果没有那么好。但是GPT-3他们把整个模型的参数量嘛，放大到了就是1750亿，就一下子就发现这个语言模型能够体现出很强的各种各样的能力。

08:44我觉得是两个吧。第一个是就是模型规模的变化。因为之前大家训练的都是，大家都已经觉得自己训练的模型已经很大了。比如说一开始大家说我有六亿的参数。六十亿的参数，对吧？

08:58甚至一百亿的参数。所以大家想象一下，这个一百亿参数已经很难想象了。一百亿的参数，如果你都要放在我们的这个显卡的那个内存里，对吧？就十个十个billion嘛。在之前可能大部分的模型的参数可能有几万维、几亿维都已经很大了。

09:15但一下子它把这个数量级提到了1750亿。这大概是个什么概念呢？我觉得虽然不能一比一的对比啊，就是人大脑的神经元差不多是1000亿个，它的模型参数现在是1750

09:27亿。就是当然不是代表一个神经元就对应一个参数，但是你可以理解这个之间是有一个规模的关系，就是当它的规模到一定程度，它才涌现出了很多能力。那现在的最新的，就大家看的研究说大概在600亿左右，就是你的参数到600亿左右，它开始能够涌现我们今天看到的所谓的这种思维链呀、逻辑推理呀。

09:47举一反三啊，这样的，叫叫叫上下文学习嘛。就你给我一些例子，我就能学会我应该怎么回答。

10:20是是。第一个是说，其实别的大的公司也在跟进做大型模型，并不是说只有OpenAI在做，谷歌也做他们的大的模型，现在叫LaMDA嘛，他们之前也发过一个论文叫Palm。然后Facebook啊，现在叫Meta嘛，他们也发布了一个开源的大模型，叫做OPT，就OpenPretrained Transformer。

10:43包括社区也有比较大的模型叫BLOOM。但是呢，大家的大模型现此时此刻的效果，比OpenAI的这个放出来的GPT-3.5，跟今天我们能够看到的这个ChatGPT的效果，还是有明显的差距的。我觉得这个当中，就大家选择的路线可能会有一些差别嘛。

11:00因为谷歌之前在GPT-3出来之前，他们发了一个论文叫做BERT。那从跟各种数据集上，BERT其实比GPT-1效果是要好很多的。大家的选择的技术路线或者方向上可能会有一些小的差别。只是说我觉得是这一次是OpenAI赢了，对不对？

11:18那谷歌之前也有很多成功的，像AlphaGo，对不对？那可能是它的，它那个收购的DeepMind先做出来的。整个领域来讲，包括国内也有些人在做大模型。就是我觉得整个领域来讲，大模型这个是大家都看到的，只是说OpenAI可能特别特别坚定。

11:34就是大家可能其他人都觉得啊，可能出结果啊，我我必须跟进这个领域，但是没有这种，对吧？一掷千金、豪赌的这种投入，对吧？我我前两天看到的，大概看了一个数据，OpenAI去年他们大概就三四百个人吧，那员工工资发了四亿美金，对，算力大概也花了四五亿美金。

11:52这个是一个我觉得是个非常大的投入。当然这个不全都是在那个ChatGPT上，他们还有这种那个画画的模型，对吧？DALL·E，还有那个这个语音的模型，他们还有很多别的研究。

12:15呃，我觉得这个关系的就是，第一个我觉得是说，因为视觉跟自然语言处理，原来这个领域还是会离得比较远。当然了，我觉得随着现在大家其实越来越融合，包括现在很多做视觉的人也开始用自然语言里的这个Transformer的这个结构去尝试改造自己的模型。第二个呢是画画这个，呃，就是因为它相对来讲，我觉得是说还是体验的C端用户比较少，所以大家其实感觉不明显。

12:43但实际上你如果去体验一下，就大家会发现它已经非常强大了。当然了。画画的这个模型，我觉得是能够参与的公司会比较多。因为比如现在第一个是有开源的模型叫Stable Diffusion嘛，这个社区现在也非常活跃，有很多人围绕Stable Diffusion去做各种各样的内容，包括插件，包括上下游的生态。

13:03第二个呢是Stable Diffusion这样的模型，虽然已经比较大了，但是它的规模还是跟ChatGPT不太一样。它的规模还是说一个创业公司，可能我搞个十块、几十块A100，我还是能训练的，甚至几块A100我就能训练。但是像ChatGPT这个效果，它的这个1750亿个参数，可能就大部分公司可能连，呃，就是可能是没有机会说我我拿拿一点数据来训练一下。

13:34画画其实现在的模型规模也已经非常大了。当然这个我自己没有试过，因为我问了一下，大概现在训练一次Stable Diffusion，大概从头训练到整个模型出来，大概成本是60万美元。当然你去训练GPT-3、GPT-4，那就可能是几百万美元，甚至上千万美元，这个还是规模上会有个差距了。

14:00通用人工智能我觉得是这样的，就是说大家如果用过ChatGPT，你会发现ChatGPT有很强的，第一个它本身有很多知识，对不对？你问它一个问题，它能够回答出来。虽然它有时候因为，呃，大家用中文的话效果可能会差一点，是说它的中文的训练语料，这样它总的语料会比较少。

14:19但是我们说通用人工智能是说，你会发现它是你给它什么内容，它比方说你打一段英文，然后你接下来打一段中文说，请你解释一下。它立刻就会把对应的下面的英文用中文翻译出来，而且会给你解释中文里它是什么意思。而不是说我翻译需要训练一个模型，查资料问答我要去训练一个模型，或者说我去说做对话机器人，我要单独训练一个模型。

14:43我一个模型去解决了所有的就自然语言处理的问题。我觉得这个是第一个体现，就是说它是个我们叫foundation model嘛，就基础模型。是什么呢？就是好像我并不需要问不同的问题去解决不同的问题，这个是传统人工智能会用的办法，对不对？

15:00我们说，我们传统的比如说视觉，我说我要做人脸识别，我要做个模型。我要做个这个动作，这个车牌识别，我会单独再做一个模型，对吧？但是ChatGPT你觉得好像是一个模型解决了所有的问题。第二个呢是他们现在叫few-shot，对不对？

15:17叫做我给他几个例子，他都能理解这个问题。就是你可以跟他说，哎。我给你几段文字，我希望我希望说，哎，这个代表说用户开心，那个代表用户不开心。你给他三五个例子，你再打一段话，他就会自动告诉你是开心还是不开心。你这个是完全通过自然语言给他一些例子的方式来处理，而不是说我需要写代码啊，调用程序啊，去去做这个事情。

15:40所以就大家就觉得说，啊，那我很多事情我都不是说再要通过代码去干了，我其实是跟他说一下，他就能帮我解决掉了。

16:01这个参数其实就是个数，就是个浮点数，就是个比如说1.628。那它里面可能有1000多亿个这个不同，每个值可能都不一样。这个模型中我会把它输入的那个文字，你可以认为也是一个，呃，它会达到这个参数里面去算，我把整段文本都里面算，

16:19它会算出来说，根据这1750亿个参数，它可能都过一遍，它可能算出来说，这段话接下来我应该接个什么字，然后一个个接下去，根据，简单的一点你可以叫做加权平均，对吧？当然它这是个更复杂的模型结构。你可以，我举个例子吧，今天你想出去吃饭，对不对？

16:39你说我要考虑几个，第一个我要考虑离我近一点，对不对？那我说它有个权重叫做0.1，那离我5公里我就0.1就得0.1分，离我10公里我就得1分。然后呢，我今天还看价格，价格又有个参数0.5，我最后可能我还会看说这个口味，不同的口味，呃。

16:58我给他打不同的分数，那么这个综合在一起，可能打出了一个八分，呃。这个餐馆是八分，那个餐馆是九分，那我肯定选一个我最喜欢的餐馆。那，就只是说，这个是我选餐馆可能有不同的维度去去考虑。那么如果我今天是在自然语言模型里，你可以认为说我一个输入，我要通过这1750亿个参数以及你输入的内容综合在一起，

17:21我知道接下来要回答是什么。你可以认为是维度，但是因为它不是一个浅层的模型，不是说我们像我刚才的，我只要简单线性相加，它可能还是个神经网络嘛，可能第一层参数算完，算出的结果再拿第二层的参数算，第二层算完再拿第三层的参数算，就一层一层算完。

17:39最后得到一个你想要的这个结果是，接下来这个词儿我应该蹦什么，蹦哪个词的概率是多少，蹦出来下一个单词，那再下一个单词，再根据前面的结果，再去算，哎。我就形成了一句完整的话，然后我就无论是我们现在的是问答呀，然后续写呀，什么，就就是你你想做各种事情，

17:59它都是在这一个模型里，把这一个个词给你蹦出来解决的。

18:10呃。我觉得这个其实挺难解释的。这个神经网络大家可以认为是这样，就是我们刚才说我们有一个简单的加权的过程，对不对？那个，我要看口味，我要看这个距离，我又要看价格，可能我还要看，我还要会关心今天我是一个人去还是几个人去，对不对？

18:29这个是单维度的，但是你要去处理一个更复杂的事情，你可能会有很多进一步的去组合出来，对不对？就是说我比方说你你今天要去谈恋爱结婚，那他可能是说这个因素好一点，那个因素就不重要点，那个因素好一点，下一个因素又不重要点。所以呢，他会先第一层说，我先从一个角度算出来一个分数，我再然后这个分数呢，又要再和另外一个分数再组合一起。

18:56你可能是说，如果说他跟我是老乡，我对他，我他跟我是同一个地方来，我特别有情感情，那么其他的因素我可以放宽，它不是简单的线性相加了，对不对？这个因素能够起更多作用，甚至说有些因素是说是一票否决的，对不对？这个因素，那么它可能是一层层组合下来，有很多这个，它不是一个维度简单的加权平均，它是一层一层深入进去。

19:21就好像我们现在做视觉的这个，呃，神经网络，你会看到它第一层它它可能只看到了什么呢？是一些边，你看到说，哎，这有个眼睛的轮廓，那里有个，那里有个鼻子的轮廓，这里有个嘴巴的轮廓。那第二层神经网络呢，它说，哎，我左右眼睛离得近还是离得远？

19:40第三层它可能说，啊，这是个侧脸还是个正脸？那一层一层我还是最后画出来说，哎，这是谁？他是个正脸还是个侧脸？他长得好看长得难看，对吧？这每一层神经网络层可能是解决一小部分问题。

19:52那在ChatGPT这里就更复杂了，它里面会有很多子网络。就你可以认为它学了那么多东西，其实一个子网络可能就是一个知识。对不对？我今天刚看了一些，呃，刚看到一篇论文，还没有深入看，他们说证明了什么呢？说ChatGPT是怎么算这个除法的。

20:09他说，等到它学习足够多了呢，它其实内部有一个傅立叶变换的神经网络。它只要要算除法，这个除法或者模，它都会走到这个神经网络，然后算出一个结果来。就是一个很深层的、很复杂的机器学习结构，然后每一个子网络可能都承担了一些功能，跟提取了一些这个，

20:27你想想相关的这个知识。嗯。

20:37啊，应该这样说，就是解答某一个问题的时候，它会过这一千七百五十个参数。但是可能比方说，其中有一百个参数是说，哎，我来看一看你这是不是个数学问题。那它不是，它的输出可能就是零了，那么在后面的它就不提供贡献了。嗯。那那其中有十个，比如说我们两个现在聊天在讨论什么是神经网络，那最后可能说有很多参数是没有用的，

21:00或者说它又算着算着，你可以认为它就变成零了，它就没有输出了，它就不起到任何作用，对不对？因为那些都是和可能是和比如绘画相关的，或艺术相关的，和历史相关的。但是，呃，有很多可能它是适合这这个这个我们神经网络相关，它可能里面有十一个参数。

21:17但是我在输入之前，我其实也不知道是哪些参数会起作用。

21:46呃，我觉得是我了解到的就是说国内大公司，因为其实我昨天刚刚去了阿里和人聊了一下，就是跟达摩院啊，然后就有一个panel，然后前一阵也跟，就是我的了解就是跟ChatGPT可能第一个是和ChatGPT不止，我们不要说国内，就像大家刚才你说的，就美国的这些公司，就是Facebook、Meta呀，什么谷歌呀，

22:08包括微软自己，它也不是说我做了一个，而是我投资了OpenAI嘛，对不对？对对对。就大家至少在这个自然语言处理的这个大模型上跟ChatGPT差距已经有差距了。那国内我觉得可能这个差距还会再大一些，这个我们就是说要客观承认的，就是还是有距离的。

22:27但这个距离呢，我觉得没有到就是遥不可及的这个状态。因为，呃，AI这个领域其实国内本身也就跟得很紧，我们也知道，就像其实一直是有无论是大公司还是小公司都有尝试做大模型或者围绕大模型生态做一些工作的。所以我觉得是说要达到ChatGPT今天的效果，我觉得是是能做得到的，可能过一年过两年，对吧，

22:53可能最多也就过三年。我觉得怎么也能够达到ChatGPT今天的效果了。我觉得更多的差距可能在于说，因为每一次突破都是别人先做嘛。我知道你最后能够做出来，而且就是朝这个方向做，跟我说，呃，这这个这个事情是很难的。啊，别人都告诉你了，就是说，哎，答案已经告诉你，就让你搞个解析过程，这个相对容易嘛。

23:16对对对。

23:29Transformer其实我觉得不能叫一个模型了，它叫做一个结构吧，叫做模型里的一个小的结构。就是说，因为比方说我们神经网络，比方说大家用这个图像，以前很多用卷积神经网络，它就说里面有个小的结构，就是我经常去算卷积。然后Transformer你可以认为就是它有一个，呃，叫变换器或者变压器，对吧？

23:49这是中文名字，它就是专门去算自然语言，你可以认为是这样的。它第一个是说，我去能够去把这个很多，这个语言模型的本质上是什么呢？本质上是说我当前这个词儿出现，就我前面出现了哪些词儿。往前，我的记忆长度越长，我的这个能够知道的这个东，我能够去处理上下文的能力就越多。

24:11那么Transformer呢，其实就是一个，它其实是解决了一个什么问题呢？就是传统原来我们也有这种，在Transformer之前也有这个就是语言模型里各种结构，但那些结构呢其实都有一个缺点，就是不太容易并行计算。

24:25就是Transformer之前最早做自然语言处理叫做RNN嘛，叫recursive neural network，叫做递归的神经网络。然后之后就叫长短记忆网络LSTM。那么现在的这个Transformer的好处是说，它做到了一点，就是它比较容易并行的去训练。

24:42原来的模型其实不太方便并行的训练。不方便并行训练意味着，我没有办法做特别大的模型。因为你去想，就我每算一个词儿，我都得把前面的词儿都算一遍。那我去训练一个模型，我可能只能用一块显卡。你这块显卡再再强，很难很难能够再训练一个很大的模型，或者需要非常非常多时间，对吧？

25:03但你你不可能吧，因为你的时间有限。我现在可以靠一千块显卡，一万块显卡去训练出一个一个一千七百五十亿参数。那我如果只有一块显卡，那我现在一个月能训练完，那我岂不是得等一千年，对不对？所以Transformer我觉得是说它出来之后，其实很大的解决了这个模型结构的这个不方便并行化的这个问题。

25:33现在这个我们叫做通用人工智能，或者我们觉得它有点通用人工智能这个能力啊。为什么它有这个能力？其实现在大家并没有研究出来。就是今天的这个，你说GPT，我们叫大力出奇迹，它更像什么呢？我们之前叫炼丹嘛，对吧？

25:50它更像炼金术，它不是个现代化学说。我们知道原因了，我这个当中我有个数学证明过程，所以说我只要，但是我们的猜猜测我觉得是几个嘛。第一个是说训练语料里面有很多相关的这个风格的文章，这个我们叫做知识。第二个呢，我们觉得这个文字之间是语言有它自己的或者智力有它自己的一些结构。

26:15在大量的数据训练进去之后，它就拥有了一些能力。因为大家今天看ChatGPT，它其实里面中文的语料非常少。它中文语料按照GPT3的规模说，可能不到总数据的千分之一。所有的数据里可能千分之一是中文，但是你用中文和它聊，你发现它还是很聪明的。

26:35对，它可能是说明中文它可能和英语之间，它很多结构很多知识可能是有相关性的。对吧？它的什么叫做好的中文文章和什么叫做好的英文文章可能是差不多的。对，这个是它强大的地方，就是说它有很强的举一反三能力。就是它肯定是学过了很多优美的文章，也肯定是在指令学习，我们刚刚说的instruct的过程中，

26:57我们告诉它，哎。这个是骂脏话的不要，这个文字更优美，我把它留下来。但是至于它为什么有这个能力，是因为数据的原因多一点，还是我指令的原因多一点，还是因为模型结构够大，多一点，其实我们现在很难定量的去衡量它。

27:17对，我我觉得是这样的，就是他们肯定是相信这个方向是正确的。但是到底能有多好的效果，我觉得他们可能也没有完全想好。对对对对。

27:40OK，因为我我看到其实是说我觉得不只是OpenAI自己了，其实各个方面。第一个是说，呃，大家都在尝试做更大规模的模型，因为现在以及找更多的数据，因为现在的研究表明什么呢？模型规模越大，效果越好。数据越多效果越好，而且最好两个事情是同步增长的，那就意味着说我完全就是，就大家都在传嘛，

28:06GPT-4到底有多大，对吧？这个数字现在大家其实还不知道，我觉得坊间传闻可能也都是假的。但是有一个结论就是大家都知道这个大力出奇迹这件事情暂时还没到头。

28:17可以再大一点，所以我觉得这是第一个吧。第二个我觉得就是有很多人已经开始想要尝试回答那个问题，就是他为什么能有这些能力。因为模型规模大当然有一个更好的结果，但是这个也意味着大家其实用不起，对不对？其实今天比方说训练一个ChatGPT，你可能需要几千块这个A100，一块显卡，一万美元，对不对？

28:37你就是先拿一两亿美元出来买这个建机群，对吧？或者你训练或者说你用云的话，训练一次就几百万上千万美元。而且做一次这个，呃，推理对话可能就是一两美分。那你如果要很频繁的用，这个成本会很贵。所以大家又会去想说我能不能找出来，说它有推理能力的原因是什么？

28:57因为模型里有很多东西是知识，对不对？就像你直接问他，迈克尔·乔丹是谁，他是知道的。

29:04这个不是个逻辑，对不对？对对对对。我的这个这个NLP叫NLP reasoning吧，就是NLP的这个推理，就是逻辑推理的关系，我能不能用一个小一点的模型来表达。就是我看亚马逊今天，亚马逊的团队发了一个论文是说，哎，我在一个13亿的参数上，通过做指令微调，

29:25在一些特定的任务上能够打败175亿参数，1750亿参数的模型。那么，所以大家这是另外一个研究方向，就是说我能不能把这个里面的这个推理能力，或者说用一个更小的模型去表达，解决这个问题。那第三个呢方向就叫多模态，就是现在你理解的是以文字为主。

29:45第二个是，呃，他也换了很多代码嘛，对不对？那能不能把图像、视频，嗯，对吧？因为你去看一篇文章，很多时候文章里是有图表的。对。对不对？

29:57也有些有些是图表，有些是示意图，有些是插画。那你能不能理解？那比方说你你小说好像只有文字，但是如果我要看一个公司的报告，我要看一篇论文，图表可能是很重要的。这个叫多模态，对不对？能不能混在一起去解决？

30:12这也是，呃，第四个是说，呃，大家也在，就是Meta发了一篇论文，说研究说，哎，我能不能训练，现在不是ChatGPT算算数算得不准嘛，对吧？就是算数搞得复杂一点，算得不准。他说，哎，我能不能训练AI说，在特定情况下，我不是通过语言模型，而是我主动调用一个外部的API。

30:32他说，当你要我算算数的时候，我不是蹦出来语言模型，而是我自动会启用一个计算器，帮你把结果算出来。所以我觉得这个领域的发展，从即即即使从研究方向，我觉得也是很令人兴奋的。基本上就是第一个就是，呃，即能不能搞更大规模的模型。

30:50第二个是想把这个所谓的思维链、逻辑推理能力，能够摘出来。说，为什么？为什么为什么能不能用用小模型就有逻辑推理能力？能不能变成一个小的有推理能力的大脑，跟很多知识，对吧？把那么我就能用一个比较低成本的问题去解决很多垂直领域的问题。

31:09第三个是说，我能不能训练AI去理解更复杂的信息，不只是文字，还包括语音啊、视频啊、图像啊，都用一个模型来解决。嗯。第四个是我能不能训练AI去使用外部的工具，说我们以前讲人工智能就是讲就是讲机器学习嘛，对不对？在以前是讲符号主义，就是像什么Lisp啊，这个我们也叫它人工智能。

31:31那今天大家讲的比较多叫通用人工智能嘛，就那什么是通用人工智能？我觉得这个东西很难衡量。比方说以前我们讲，以前有个讲法叫图灵测试，对不对？嗯。你通过图灵测试可能没有那么远或者那么难了，但是我们好像也觉得，哎呀，好像它还不够通用。

31:49我觉得因为这个领域始终是一个，只要你做出来了，就是，但是人总有一天他现在还不能做的。好像它就还不是人工智能。但是我觉得至少这一次它至少体现出了什么呢？就是说你很难定义说这个模型能干什么，不能干什么。

32:07因为为什么今天会有那么多人做应用开发，哎？会试出来很多这种提示词，就是因为说大家发现说好像我们还没有挖掘透这个模型能干什么。即使我这个模型不说刚才学术上的那些进一步的研究，就用现在这个模型干更多的事情，大家其实已经发明出了很多很多的想法。

32:27这些想法可能都不是就是OpenAI内部的人提出来，大家只是在跟这个模型交互的过程中试出来。所以所以从这个角度来讲，我我觉得说大家觉得为什么大家说啊开始提说通用人工智能，因为大家觉得好像是能够看得见了，对吧？那至于什么是人工智能，我觉得这是个就比较大的问题，你可以说它都是，你也可以说它都不是，对吧？

33:07是的，其实他们的这个OpenAI的这个模型其实每天都在更新嘛。它其实它原来我觉得它模型下面还会说是我是哪一天的，因为就大家已经最早它可能是不能显示图片了，后来大家通过一些方式能够让它显示图片了。其实我们也不知道是说模型本来有这个能力没有被挖掘出来，还是他们已经更新了模型。

33:29第二个是他们自己前一阵的发表也说，哦，我的数据能力加强了。所以我我觉得这个很厉害的一点是说什么呢，就是呃现在的研究说呢，就是在GPT-3之后的什么InstructGPT啊，包括ChatGPT啊。它都不是从从零开始再去训练一个大模型。

33:47他说那我用的还是这个一千七百五十亿参数的模型，然后呢，我去对它去进行指令微调，四万条五万条指令，这个是什么概念？这个其实就跟你在家里教一个小孩子一样，对吧？你给你做，拿一本数学卷子给你，你做几道题，哎，这个对了，那个错了，我告诉你错在哪儿，对吧？

34:04然后你发现，哎，它就有了一些新的能力。就是大家现在的学术的研究认为，这些能力都不是在新的训练中获得的，通过训练把原来的模型的能力叫激发了出来。就是这个模型在原来的模型能力里就有，但它会的东西太多了，它使不明白。那你给它一些指导，告诉你这么使就能使出来。

34:25他可能就有这个能力了，所以我我觉得这个是特别厉害的一点。

34:38第一个是，这句话就没错，这这这部分对啊，就是如果你用所谓的OpenAI的GPT-3的模型，以及ChatGPT刚出来的时候，它的训练数据是截止到2021年。就训练数据是截止到2021年9月份吧，如果我没记错，9月份还是，所以它里面的知识都是有些过时的。

34:58比方你今天问它，比方说什么，特别是些一些新闻，新的人事的变动啊什么，它可能都不知道。对。那为什么没有更新的知识？我觉得是两个啊，第一个是这个训练一次成本还是很高的。就是对不对，训练一次我们刚才说，大家有各种有不同的评估嘛，有说训练一次需要一千万美元，有说训练一次要四百万美元。

35:18当然，OpenAI自己没有公开说这个数据了，但是公认的肯定是百万美元以上，这个成本训练一次。第二个是，当然他们内部还在训练更大的模型，就是说GPT-4嘛。对不对？所以我觉得他们可能不会花很多精力去重新训练GPT-3的模型。

35:36但是我我自己还没有试过这个体验，就是问最新的事实，因为我知道有些人说这个模型可能已经更新过了。就你问一些最新的事实，它是已经知道了的。对。第二个是说我觉得是说还是回到那个问题，就是大家其实想要解决的问题，因为知识不断的在更新嘛。

35:53你不可能说我今天像谷歌作为搜索引擎，我今天新爬了一些网页，我就得从零训练一遍模型。这个代价就算不是说一千万美元，就是一百，就算十万美元你也受不了，对不对？对对对。或者一百万美元你也受不了，你每天都得重新训练一遍，或者说你每爬一点网页都得重新训练一遍。

36:11所以更多的是说，就大家都在解决一个问题，就是说把工程上的一些事情，把知识放在模型之外，然后把知识作为一个输入，再和模型结合来回答你的问题。对。所以你看Bing的话，它的，呃，我我我虽然我排了很长时间队还没有拿到，我也不知道为什么，但是我看我周围朋友一些账号试了一下，

36:33就是说它新的信息其实都是有的。那我们看了一下，我们大家的推测，它的方式都是说我先通过搜索的方式找到一些相关的网页，把这个网页的内容也作为知识，跟你的搜索词一起灌给模型，然后让模型来回答。好。

37:32我觉得第一个是这样的，就是说我们它它第一个还是叫LLM，就大型语言模型。所以此时此刻它只能去，它更擅长的是去处理能用语言或者文本表达的。所以这个是我觉得是第一点，今天你要去做，你今天要是说我要去去画个图啊什么的，还是而而是完全独立的另一个模型，

37:54跟这个ChatGPT其实没有关系，对吧？第二个呢，我们会觉得说它虽然有一定的逻辑推理能力，但是呢，如果你没有专门训练过，它的一些特别精精确要求度高的这些推理，它是不太擅长的。复杂的推复杂的推理它也还不太擅长，就是它做数学题它不好。

38:13我记得前两天还看到有人说它做物理题更差。所以第三个呢，现在现在还有一个就是说，它还是一个没有那么可控的模型。就是他出什么东西你控制不了，对吧？就你1750对你来讲是个黑盒子，你输进去什么，它蹦出来什么就是什么。就跟那个Copilot那个插件的名字一样，我觉得它更合适的名字就是叫Copilot，叫副驾驶。

38:38对吧，是个助手。作为助手跟副驾驶非常好好用。然后在一些非关键性的任务，就是你今天说我让他做个客服，没什么问题。因为第一个是，呃，人也会出错，对不对？他可能会出错，但人也会出错，他出错概率比人低。

38:53对不对？第二个是说，那个出错了可能也无伤大雅。但是你今天说我让他去发射火箭，那可能还不太行。说我要你帮我写段程序发射火箭，那可能他能把那个程序写出来，但是你还需要人去仔细的审核、测试、研究。所以我觉得他此时此刻他的定位是副驾驶，对吧？

39:12或者是个优秀的助手。我这样讲，就是你觉得一个文字工作者，他可能也不是非常资深，但是可能读了个大学，刚毕业没有太多的经验，但是呢，他背后特别擅长去图书馆里立刻翻一些资料告诉你，或者语言文字这个知识也比较流畅。那么，你不能说把任务说就交给你干了，但是说，哎，你帮我想想这事儿怎么干，出出主意，然后我在这个基础上再靠人去做决策跟修改，

39:39我觉得可能是一个最适合的场景。

39:53我我觉得这个事受两个因素影响啊，第一个因素当然是跟他用的语料因素有关系。就是第一个是中文语料本身就比较少嘛，第二个是它公开的语料。第一个，刚才我们说了，它训练模型里头就千分之一是中文的语料。所以某种程度上，它其实是用这千分之一的中文的语料，加上这个从英语里学出来的这个文章应该怎么写。

40:17第二个我觉得一个挺重要的，就是大家需要善用提示词。你不是说你帮我写一篇什么文章，比如你可以要求它写得俏皮一点，你也可以要求它多举一些具体的例子，你也可以要求它说多引用一些名人名言，你也可以说你用一个什么样的风格，那你会发现它写出来内容就会有变化。

40:36嗯，

40:53据我所知啊，Copilot是一个独立的，大概二百亿参数的一个模型，也是GPT模型，你可以也是，就是模型结构是没有区别的。都是都是从同一个技术线出来的。第二个呢是，今天用ChatGPT，ChatGPT训练数据里现在也有很多代码。

41:11你用ChatGPT，你跟它说让它帮你写段代码，它也可以像模像样地把代码给写出来。嗯，对。而且我自己试过啊，就是说那个我把我比如说面试，去面试别人的一些面试题出给他，他答的都不错。啊，当然了，它现在能够解决的问题的跨度比较有限。

41:30比如说你让它写一个五十到一百行的代码，可能是OK的。你说我要去设计写一个复杂的大的系统，会比较难，肯定还做不到。还是你人把系统拆解完说，啊，你帮我写一个这个函数去干个这个，写个那个去干个那个，然后再把它们组合在一起来做这个事情。

41:48第二个呢，就我觉得还是那个定位吧，就是副驾驶的定位。就此时此刻你还不能，还不是无人驾驶，对吧？它还是个副驾驶，说能够帮你去做很多问题，解决很多问题。

42:18这个这个模型也是一个GPT的模型。也是OpenAI，是同一个公司。

42:26能能力是差不多的，就是我的理解能力是差不多的，只是交互形式不一样吧。一个是你先跟它聊天一下，你这样，一个是我在这个编辑器里打注释的时候，它会给我去补全，或者我打一行函数，它会整个去补全。但是我自己的体验是，它对代码的逻辑能力的处理是差不多的，交互方式有差别。

42:46嗯。

43:01有，呃，有非常大的代际之间的差别。我我举两个例子啊。第一个例子是说，大家可能每个公司都有自己的一些编码的风格，写代码的风格或者一些套路。如果你用JetBrains的话，它是没有的。你当然你可以说我去设一些模板，对不对？

43:16我把它编辑设定那个模板编辑或者一些规范。但是你用Copilot的话，其实你不需要做任何设置，它给你提示的这个代码就是自动的，就是跟这个公司里的你这个代码库的风格是比较一致的。我觉得这是第一个。第二个比较大的差别是说，JetBrains给的一些是一些固定搭配或者结构，对吧？

43:38就是你有一个变量名啊，我知道有这个变量名，我给你提示。但是Copilot最大的体验是经常是你打一段注释，然后一补全，整个的函数都给你写完了。所以所以这个其实体验的差别还是非常大的。JetBrains更多的是说啊，我好像少打了一些字，我不需要去记这些变量名，这些关键字是什么。

43:58Copilot更多的是说啊，我连这个函数库怎么调，有哪些参数，我也不需要记了。啊，我基本上只要说描述一下我要想要干什么，它啪就补全了，然后我看看这代码有没有问题就好了。嗯，嗯。

44:15呃，对。而且我觉得不只是增删改查了，就是一些简单的逻辑啊，一些简单的业务逻辑啊，它去处理也是没有问题。就，就是某种程度上来讲，今天你用Copilot写代码，我举个例子。因为我是个，我是个一直做数据的吧，一直做数据算法的。

44:32但是我如果有用Copilot的话，我觉得就是可能我也能差不多写个前端界面出来，很快，可能不需要说我再花几天时间去学习那个东西怎么用。

44:47对啊。不然的话，你是说它是有补全，但是该用什么关键字啊什么的，就就是你还是得一个个去，你还是得不停地翻开文档。第二个就是，有很多函数库，可能我用一个新的，比方说，我可能不熟悉，但是我知道这个可以干这个，我在Copilot里，我只要打个注释，它就自动会帮我补全，而且调用了正确的函数。

45:07嗯。

45:10对对对。

45:39其实我是非常乐观的，我觉得这个是个至少可以比肩移动互联网浪潮，对吧？但是它最后会走成什么样子，其实我我也不，我们也不知道。但是我觉得因为它很大的改变了一件事情，就是它让所有事情的这个做一个事情的成本都发生了变化。我觉得移动互联网是说，本来大家只有说坐在办，是每天我能够连上网的时间是非常短的，我必须坐到一个办公桌前工作的时候，

46:08或者我晚上回到家，我可能也不会摸着手机，我可能去看电视，所以我的联网时间是很短的，中午我可能也不会，它让很多东西变成了可能嘛。那我觉得ChatGPT也是的，就是原来做很多事情的成本是很高的。就假设我说我今天要开一个公司，那我说这个我要去画一个logo，对吧？

46:27但这不只是ChatGPT了，比如我我今天我所有的公众号的文章的图，大部分我想不出来画的时候，我就去Midjourney，让它帮我给我画一张。嗯，对。去解一个问题我不知道的时候，原来我搜索可能要花半个小时的时间，我今天在ChatGPT上问它一下，

46:43可能就一两分钟。嗯，对吧？原来比方说我，假设我今天说我要出来做电商，那我说商品文案怎么写，我想写得好一点，其实我不会写，我要么我有几个选择，一个是我自己慢慢学，一个是我得花很多钱雇一个很擅长的这个事情的人到你的公司里来干这个事情。

47:01但今天说我可能只要跟ChatGPT说，我希望它写的，呃，我只要会描述我的需求，它就能写个八十分给我了。我们肯定到，我们现在今天肯定到不了100分，你说最顶尖的，我说你让我帮你让它帮我写广告语，你可能就是一两秒钟，它就写出来了。

47:19所以我觉得很多事情，它的成本一下子发生了极大的变化。那它一定会造成，呃，各种各样的变化，可能有些工作会消失了，会多出来很多工作，同时也会多出来很多可能性，对吧？因为原来干一个事情只能这么干，大家不能产生颠覆的原因是因为门槛很高。

47:38今天比如说你说我要开个广，呃，做一个广告公司，我得非常会写文案，对不对？但是我又没有什么基础，我我我可能说怎么也开不起来，对不对？但今天你会发现说大部分广告公司里的能力，你去通过ChatGPT已经能够提供了。那么我要干的事情就变了，我可能说最顶尖的人他会有竞争的优势。

48:00那其他的人我觉得更多的是说我能不能利用好这个工具。

48:22对。因为我觉得是这样的，就是说我我觉得就是因为我是经历过移动互联网浪潮的，就互联网这个过程的人，就但是当时的感觉其实不明显。我觉得第一个是你做大模型一定要趁早，是因为这个事情你现在不做，过一两年就没有机会了。它是一个强者恒强，就是做得最好的人有最多的用户，然后他会有最多的数据，他的模型也就有机会调得更好。

48:49当然市场上需要的大模型不会特别多的，不会有一千个大模型，就是无论是从成本的角度，人才的角度，还是需求的角度。还是说竞争的过程中，不太可能到，呃，到很后面。所以我觉得是说做大模型，如果你觉得你有这个能力，你想明白，肯定是尽早做。

49:09我甚至可以这样说，我觉得两年之内，其实整个做大模型，无论是国内还是海外，就大模型的格局是相对比较，就就就就确定了。就两年之后，你说我我是第一梯队，当然还有希望。如果你不是第一梯队，其实这个游戏对这这个竞争对你来讲已经结束了。

49:27但是呢，我觉得做应用不会，是因为今天大家能够第一眼想到的应用，都是显而易见的。而且大家的核心竞争力不是我自己的产品带来的。其实都是大模型本身赋予的能力。今天市面上可能有一千个写作助手，其实背后都是OpenAI或者几家公司提供的这个能力，对不对？

49:49那你去说我去做个竞争，你第一个你能竞争过程中能赢吗？不一定。第二个是，这个需求未来是应该作为一个独立的产品出现，还是说是很多产品中的一个功能，对吧？微软说我把这个ChatGPT嵌入到Edge的浏览器，它已经能帮助你写邮件了，嵌入到Office，

50:09嵌入到Word里。那写写作助手可能是Word这样的文字编辑软件的一个功能。而不是一个独立需求，因为它太显而易见了。但是，呃，真正的应用的机会是因为我觉得是整个的这个这个成本结构发生变化，AI渗透进来之后，我们才会看到说它会是一个什么样子。

50:30今天想，我觉得说想出来的也是相对比较天马行空的。嗯，对不对？就是说，因为我们不知道它出来之后到底会发生什么变化。无论是你想移动互联网，我觉得就是我们看到几，我不知道大家还记不记得那个时候，就是那个时候有很火的一个词叫O2O嘛，

50:47因为我们移动互联网嘛，就online。对对对对对对。然后大家有什么什么家政的、美甲的、洗车的，呃，就各种各样，对不对？那到底哪一个成立哪一个不成立，其实当时大家都想，大家拉了很多维度，拉了什么客单价的维度，拉了什么忠诚度的维度，

51:05拉了什么这个服务难易的程度。那最后可能落到滴滴跟外卖，可能是在整个移动互联网O2O成立的。而且在这之后，移动互联网其实出现了另外两个现象级的产品，大家都很难想象，对吧？一个是拼多多，就我我待过的公司，对吧？大

51:23家很难想象说为什么会有这么一个，大家都觉得淘宝、京东、唯品会还不够用吗？对不对？第二个是出现了短视频嘛，当整个大家生活用户习惯彻底变了之后，冒出来的一些新的呃需求。甚至你说像短视频跟拼多多，它是一个移动互联网需求吗？它不完全是个移动互联网，它其实没有那么强的移动的特性。

51:45所以我是觉得说从应用的角度来讲，今天当然大家可以一股脑的冲进去说，我们也来做个写作助手，但是我觉得这个其实是就是是个血海吧，都不能叫红海。就是这个竞争极度充分，而且大家的能力其实都一样。就是背后就是OpenAI或者谁的大模型。

52:42壁垒壁垒不高，就直接接他的API就可以，而且OpenAI提供的API一共就两个API。这个API就是说你输一段文字，它吐一段文字。核心在于说你怎么用一个合适的自然语言跟那个机器去交互。

52:58所以说壁垒其实非常低，就是我觉得这个是另外一个为什么我说大家不着急，就是过去我们说机器学习，或者说说AI的创业者，其实我觉得分很多不同的梯度嘛，有人可能在做最顶尖的研究，对不对？有人说我就是做应用，对吧？我就是做个自然语言处理，帮一些，呃，做一个什么关键词过滤，或者做一个什么东西，或者我就是给我一个小的公司做，

53:23呃但是我也需要懂机器学习，懂一些东西。但是未来我觉得会差别会非常大，就是有一些人就是研究大模型就好了，或者我们叫研究通用人工智能。更多的人应用可能只需要非常少的，就是我是个工程师，啊，我大致有这么个概念。然后其他的这传统的机器学习里的很多知识你不需要。

53:43你跟那些有一定经验的机器学习工程师其实是互相竞争起来，在就是AI的效果层面是没有区别的。对，就是他而且他的API非常少。其实你可以认为今天你调OpenAI的那个GPT的API，你可以认为有用的就两个API。

54:21呃，我觉得是的，就是说现在就是当ChatGPT出来，就是所有我觉得称之为知识工作，或者是说你说软件也好，业务也好，流程也好，都可以基于AI再造一次。当然，我觉得这当中会有一个差别，就是说今天我们此时此刻啊，我觉得大家更多的看到的AI还是在效率层面的差别。

54:41对，对吧？这个在C端的用户体验，就C端它暂时还没有一个，除了画画，大家在画各种各样画之外，它没有一个就C端的用户说啊，我用了ChatGPT更多就是说我效率上获得了很多提升。但是移动互联网我觉得其实深入千家万户，它一方面是效率，一方面也是多了很多娱乐吧，对吧？

55:02手机游戏也好，视频也好，对吧？包括IM也好，就是说对C端的渗透会更强。现在看AI还是在B端的渗透更强。那在B端的话，我觉得很多事情值得重做一遍。当然这会面临一个挑战，就是说你用AI是只是这个我要做的事情里的一个功能，还是我能够彻底把整个行业颠覆掉。

55:22嗯，对不对？因为，比如写作助手，我举个例子，它就是个功能。对。对不对？我觉得其实写作助手AI做得很好，在ChatGPT出来之前，其实有些公司做得不错，比如我之前用一个叫Grammarly，

55:35对不对？就写英语吧，对对对，它语法错误这个重写。但是ChatGPT出来之后，我觉得对它的冲击就很大。

55:42因为你做的所有事情看起来都是写作的里面的一个功能。我是原来你有用是因为没有这个功能你做得特别好，所以你但是别人做不到，所以你自己能成独立的一个应用。今天这件事情一出来，所有人都能有这个功能了，对不对？甚至微软在Word里自带这个功能了，你可能就你可能就不能靠这个功能变成个独立的公司。

56:05我觉得在，因为在B端可能都会面临这个问题嘛，就是你要做的事情是一个feature还是一个product？它有没有可能成为一个独立的product，就独立的产品？还是说它应该是一个产品里加一个功能就好了？我觉得这个，当然我觉得这个当中还要回答第二个问题，就是如果是用AI来做，会跟原来比较像还是不太一样。

56:28比如说写作就是跟原来比较像，所以它更像个功能。那你有可能说不是的，就是说它完全可能是个独立性，比如画画现在其实就跟原来不一样。画画原来是我要拿个Photoshop，我在那里对不对，点啊什么。现在画画的时候我给他打字，他一下子变得不一样，他就更有可能变成一个新的产品，因为因为这个差异足够大嘛，

56:49你原来那个公司转到新的领域，不是说我加个功能就完了，你得把自己原来所有东西都给推翻掉。所以我觉得这个是一个比较大的差别。呃但是我觉得是说，无论是作为加工的提升效率，还是有一些行业会被推翻掉，还是说在推翻掉之后发生，但是我觉得这个当中蕴含着非常多的机会。

57:43有人做这个事儿，这个我看到有人就是hack了一下，就是把那个家里的那个小米还是小小爱吧，hack了一下就ChatGPT。当然现在，所以这个事情肯定是可以做的，因为第一个是语音识别的效果已经不错了。嗯，对。而且OpenAI也把他们的语音识别模型Whisper开源了嘛。

58:03它ChatGPT没有开源，但是它的语音识别那个模型Whisper它是开源的，就模型也放出来。它是能够听了这个东西，然后你再调OpenAI的接口，然后再拿到返回结果。然后也有人尝试把这个东西接到Siri里面，就用Siri调OpenAI的这个API，再拿到结果再去做处理。

58:20所以我觉得会有这个。当然这当中有一个比较大的挑战，就是现在的OpenAI那个模型还是个大模型，它不能部署在那个那个设备里面。所以它每一次都得网络去连那个很远的服务器，特别是你如果在国内你连那个就更麻烦。对吧？然后可能你调用一次要等个五秒钟，就还显得比较笨拙。

58:43这个也是为什么说大家想研究能不能用一个比较小的模型达到一个，如果说这个模型未来能够部署在音箱里面，对，那就很好了，对不对？它体验就会非常棒了。那现在的话，对，它可能语义识别能力很强，但是体验很糟糕的原因是你跟它说一句话，它要愣五秒钟。

59:07是是

59:40呃，我这有，就是第一个这个，我其实也多少，甚至去年我还比较持续地关注了一下Web3，甚至想过说要不要去做Web3的创业，或者说看，因为，但是，就是观察了一年也没有敢下手啊。我觉得有一个最大的差别是什么呢？最大的差别在于说，呃，你从结果来看是说那两个都缺少真实的C端的用户，对，我觉得这是个最大的差别。

1:00:06你说Web3，你或者说我就是做投入做研发，有真正的普通用户在用这个东西吗？就是我到现在其实没有看到。嗯。然后元宇宙周围也有些人买了VR的眼镜，但是这个的前提是，第一个是比如说Facebook也好，比如说包括字节收购了Pico也好，当然是某种程度上补贴硬件，而且它最后卖可能也就卖了几百万个，

1:00:30对不对？ChatGPT的数据是它可能上线两个月，已经有一亿个人用过了。而且大家想一想，就是那个是我贴钱卖设备给你，你用了一次，就我自己也有个VR的眼镜，基本上就只有逢年过节用一下。对，家里有孩子啊，或者有这个，而且可能时间比较长，会带来用一下。

1:00:47但ChatGPT大家去想一想，是不是有很多人就就前一阵就特别卡嘛，对不对？是不是很多人就虽然很卡，虽然排队还是要用。C端来讲，就ChatGPT大家直接感觉就的确有用。我想尽办法花钱，我也想把它用起来。那两个是，对不对？

1:01:06你倒贴我考虑一下。其实这个我觉得是个非常大的差别啊。

1:01:28对对对。

1:01:50我觉得是几个哈，第一个是第一个是多尝试。我觉得这个就跟Google搜索的第一个你要多尝试。第二个也在网上也有很多人分享这个技巧，对吧？就是第一个你就会去查一下，就是你这个叫提示词嘛，prompt嘛，PROMPT，

1:02:07这个在海外其实是个特别火的词，你去搜一下，你会看到有各种各样的GitHub公开的prompt库啊、文章啊、内容啊，甚至现在有人在海外做了个网站叫promptbase.com，它是干什么的呢？你可以说我把我写下来特别有效用的prompt，

1:02:24你说我可以用它来干个什么，我可以用它来干个什么，就是别人可以看到你的对话的那个效果，然后觉得诶这个东西我想要，但是我不知道你用的什么提示词，那我花两美元把它买下来。第三个就是包括OpenAI自己的官方的那个文档里，也会有一些就是最佳实践，说你应该怎么跟这个AI对话。

1:03:25就我觉得小应用的机会非常多，就小应用的机会非常多。因为原来很多你觉得很难做，或者说做起来投入成本特别高的事情，现在可能就是一个人一两千就能干的事情。

1:04:04对，我觉得就大家都很焦虑嘛。第一个是说，第一个是一定会替代你的一部分工作跟任务。就是因为我觉得大家在做这个工作中，其实是分成不同的不同的部分啊，但是有很多的事情，呃。原来门槛没有那么高的知识工作，对吧？就是比如说我今天去做个客服，用户问我说我的包裹怎么没到，我去查一下，然后我再回给客户。

1:04:27一方面是我觉得肯定本身就比较容易被替代，而且过去其实已经在ChatGPT已经被替代了一部分了。包括你说写一些增删改查的代码，那可能就是说现在还不是不能替代，但是它的效率一个人已经能比原来的很多人的效率会高了很多。所以我觉得这个结构化的冲击一定是在的。

1:04:47就不能我们不要就是不能说啊，就为了说好事儿，说这个结构化，就我觉得这个结构化的冲击就是客观存在的。那第二个呢，我是觉得说，毕竟你还会发现说有很多事情，它现在此时此刻它还做不了。第二个是说怎么用好它也是一个事情，对不对？就我我举个例子，就是大家可能以前我上大学或者上中学都学什么，学计算机要学什么，学怎么开机关机，

1:05:16学怎么打开浏览器。对对。在Word里打字，对不对？那你说今天这事情还有谁不会吗？这肯定没有，对吧？

1:05:24但是可能在二三十年前，你说我会拨号上网，这已经是个专业技能了，对吧？那未来你做的很多事情，我觉得是说ChatGPT能做，或者说是人人都能做，是你可以利用ChatGPT给做掉了。但是我觉得大家能做的第一个选择啊，我觉得是说先多用一用，先多去用用各种各样，不一定是ChatGPT，

1:05:46比如画画呀，像用用现在流行的各种各样的AI产品，你有一个感受，对吧？我周围有些朋友问我觉得，就是你没有办法选择说我能不能赢过ChatGPT，对不对？但你可以选择是说，我是在我们公司里最擅长使用这些工具的人，对吧？那这个你自然自然会让你有更多的可能性跟机会。

1:06:07也许你就就因为用得好，你自己可能有一些想法说我可以利用这个去做一个什么小产品。这个远比说哎呀，我老担心我就是不想变，然后它会把我替代掉。我觉得那不如去拥抱这个变化吧。嗯。

1:06:33有啊，有

1:06:36这个是这样的，你要用大模型其实有几种方式。第一种是，就是你有自己的属于自己的数据。第一个大模型它提供了，我因为我刚才说只有两个，其实还有第三个接口叫做fine-tune嘛，就是微调。你可以把数据灌给模型微调，出现一个新模型。

1:06:51这是一种把你的数据，但这个前提是你的数据量相对比较充分，数据量比较大，然后标注的比较好，然后给到它，这是一种方式。第二种方式呢，也是现在常见的方式叫做，我不是直接把这个数据变成模型的一部分，而是我把这个数据变成资料库。利用模型的能力，当有一个问题的时候，用模型算出来的数据跟我资料跟模型算出来资料库数据做对比，

1:07:18找到资料库里可能哪些是相关的，再交给模型去回答。我觉得这是常见的两种方式，所以你手上有数据的话，就是可以让模型专门来回答你的问题。而且我们也看到有很多产品现在就在干这个事情。比如说，我最近看资料就用一个叫SciSpace的一个产品。

1:07:37它里面就是说你可以把你要读的论文传上去。你也可以直接在搜它那些公开的论文。然后呢，你可以传上去之后你就可以针对论文提问了，说这篇论文讲了些什么呀，你给我总结一下。而且它英文的论文，你可以用中文问它，它给你中文答案。你觉得这段是什么意思呀？

1:07:55啊，这个名词我看不懂，在哪里论文有啊？对吧？这些都是基于说，基于模型的能力加资料库的能力组合，他做了一些研发工作，然后做到的。