Meta为什么要开源LLaMA？这样的模型有什么好处？

00:03然后又是Meta开，你又开源出来，对吧？代码也开源了，那个模型也开源了，那个论文也也讲了嘛，就是我们完全，他们是完全利用公开数据训练的嘛。就理论上讲，任何一个人其实是有可以复刻这个过程的。

00:20当时Meta其实过去半年发了巨多的，就开源了巨多的模型出来，对吧？至少在大语言模型上来讲，它开源了很长一段时间之后，直接到今天它还是最好的开源模型。Meta一定会觉得它的社交网络里，不管是Facebook呀，还是Instagram呀，还是WhatsApp呀，

00:44就是会有大量的这种以品牌、这种网红，或者说是这种KOL为核心的这种各种各样的人格化的AI出现。

00:58来，徐文浩讲一下，今天讲啥呀？

01:00今天讲啥，今天讲啥，今天就是闲聊为主嘛，因为其实前一阵刚看了那个，我准确说我不是听的，我是看的。我是看了那个Lex Fridman那个采访Mark Zuckerberg嘛，对吧？就是扎克伯格对吧，Facebook的founder跟CEO。

01:20然后我看还不是看的视频，我说的看是，准确说我读的。我是去了一个网站，他其实把整个的访谈的transcribe下来了嘛。然后我又把它用那个Immersive Translate翻译成了。

01:34不是不是，我有人是不是用Readwise，有一个网站叫什么，我我应该贴在博客里了，什么Stefano点AI，就是Lex Fridman的每一期访谈，他都那个这个这个变成了那个脚本吧，然后你再找个这种翻译插件，对吧？这样你可以把一个两个多小时的访谈在四十分钟左右看完嘛。

01:54Readwise

01:55好像你只要在那个YouTube，你是选的那个存它的话，它会自动的把它的。

02:00对对对，是的，是的。对，但呃，但是他他有时候会这样，就是说因为是如果是单个用户的话是没问题的。但如果是访谈的话，他有时候分不清楚speaker one跟speaker two，因为他没有做那个，对。就你要看他的访谈的那个字幕做得怎么样，他应该是直接提取的字幕文件，然后把它提取出来。

02:21但如果字幕文件里没有分是哪个speaker，他就会有这个，这个这个，就是你就会搞不清楚这句话是谁说的嘛。哦，

02:29了解了。那我去抄袭他一下。对对对对对。好，不好意思打断你了。

02:34没有没有没有，对，因为我觉得，因为挺有意思的，就是我觉得就是Meta这个公司其实之前没有去，就大家没有觉得它是第一波的那个大模型的那个公司嘛，对吧？甚至什么国会找人来找人来问询一下，没有邀请他们，只请了那个呃OpenAI、Anthropic跟这个Google嘛，

02:56对吧？他们觉得这个Meta是Tier Two的公司，对吧？或者是Tier One的公司，就前面那个是Tier Zero的公，Tier Zero的公司。但是实际上你会看过去半年，就是Google其实也没有开源什么东西。Google虽然发了一些新的文章，对吧，但是包括什么一些最近的很多新的模型，包括Google的那个Google自己版本的那个Stable Diffusion叫Imagen嘛。

03:19包括最近Google不还发了一个那个换装的那个，换装的那个那个fashion的一个模，一个一个双层的diffu，就两层UNet的diffusion model，其实都是只发了论文，没有发任何代码。但是Meta其实过去半年发了巨多的，就开源了巨多的模型出来，对吧？

03:38就是，就是所以而且，至少在大语言模型上来讲，它开源了很长一段时间之后，它至少还是最好的或者是最好的之一嘛，其实直到直直接到今天，它还是最好的开源模型，对吧？所以我觉得还是挺有意思的，就是说Facebook，呃，这个公司你不管怎么样，它其实转身很快，

03:59而且技术的实力的积累很雄厚嘛。所以哎，我想说那个Lex Fridman，因为Lex Fridman采访过很多很多人，我想他反正采访了Zackberg，又是最新放出来的。而且当时在网上看到一些新闻，说那个，呃，Meta说下一个版本的那个，呃，说说是Lex Fridman采访Zackberg的时候说他们可能会允许下一个版本的Llama的模型可以商用。

04:24但实际上我看完整个访谈，我实际上我看完整个访谈，我觉得他至少在访谈里并没有说这句话哈。并没有说我们要把让我们的模型可以商用，所以我觉得那个可能是个标题党，但是因为是那个标题党引诱我去读了这个原文，因为我想确认一下这到底是真的假的，对吧？

04:42因为如果能够商用，这这个意味着就是你做的很多技术研发的，特别是你做这种模型微调，不是说自己去研发基础大模型的人，你做的就是现在很多人其实是用Llama是在学习嘛，不是在做实际的开发嘛，因为授权的问题嘛，对吧？但如果是允许商用，那你基本上就有了一个比较明确的产品路径吧。

05:05所以就特地去看了一个。

05:07我我问一个我问一个小白一点的问题啊，就是，呃，因为因为我现在已经知道有一些还不是规模特别小的公司，其实他们已经在用Llama了。对。然后他们是商业商业公司，就是这个事情就是是是属于说他这个事情属于道义上不对，还是说他们以后比如说大了之后会被告，

05:28还是说以后会被哪里卡，技术上会卡住。

05:32不就现在人家就可以告他嘛，现在就现在就可以告嘛，现在你就是侵犯人家知识产权嘛，对吧？就是你如果用的是Llama的模型微调，只要有证据，别人是可以告你的嘛，对不对？这个就像说我我产品设计设计，我申请了专利。只是说我理解是第一个是它不是不太容易被抓，因为模型这个事情不太容易被抓，而且编瞎话说我就是自己微调的模型，

05:54我只是用因为你代码是开源的嘛，我只是模型结构跟你长得一样，对不对？对。但是这个实际事情我觉得对于很小的公司，什么几个人的公司可能问题不大。第一个是别人没有空告你，对吧？告你你也赔不了钱，对吧？

06:07第二个是说那个，其实对他也不会有什么影响吧，但是对于大一点的商业公司，我觉得还是挺严肃的一个事情吧，对吧？还是一个挺严肃的一个事情，就是因为挺简单的，就是说，呃，你很有可能就是你内部员工出来说，哎，告诉你其实是员工跟你闹不开心了，我离职了，我就说，呃，我就告诉你他们就是这么用的，他有很多证据。

06:29就像当年，对不对？中兴怎么被美国罚的嘛，不就是在美国开了一个高管不给不想赔钱嘛。对不对？人家就就找了很多证据，导致中兴被罚了嘛，被被美国这个就去罚了嘛，对不对？所以我觉得你如果是个比较大的公司，你用Llama要商用，我觉得不靠谱嘛。

06:48但有可以商用的模型，你没有必要去用这个，用Llama嘛，对吧？你没有必要去用Llama嘛，对不对？特别是说Llama虽然从效果上来说还不错，但是我相信大部分不是自己去建设基础模型的人，你基本上是以问答为主吧。那问答为主的，其实别的很多模型虽然可能不如Llama，但是差距并没有那么大。

07:11就是我的假设啦，就是说你你搞搞科研你用没问题，对不对？说只是说我内部先做一些实验，但是你真要把它转商用，我觉得你没有必要嘛，没有必要嘛。OK,

07:24了解了。了解了，了解了。OK。

07:26对。刚才说到哪啊，刚才说到就就特地去看了那个访谈。就就去看了那个Lex Fridman的跟Mark Zuckerberg的访谈，我觉得还挺有意思的。虽然当中也有很多很冠冕堂皇的PR的话，对不对？但我觉得也也讲了很多真话，或者说讲了很多这个呃，真实的代表，我觉得Facebook这个公司是怎么看AI的，

07:49Facebook这个公司是怎么去去就为什么要开源这个模型，包括一些我觉得更开放性的，就是如果开源模型未来应该怎么协作。我觉得这这我我我自己觉得是，他其实讲了四个点嘛。第一个点是呃，安全，就是说就是说为什么开源这个模型是，我觉得呃，我觉得哎，

08:12就是真的是，我不知道啊，是就是Meta这个公司特别实诚，还还是老外的公司有时候比较实诚。他们说开源的第一个原因是，因为他们觉得他们这个模型其实比那个Google的模型，比这个OpenAI的模型小。所以我们也不是什么最先进的模型。

08:30所以我们觉得放放出来非常之安全，就不会有人说，你别人要造假也没有必要用我的模型来造假，对吧？别人要用这个干坏事，我这模型智商其实也不是非常高。是吧？就是，就是，就，就我觉得，我觉得，我觉得中国人开源这个模型，肯定没有人敢说这句话，说，哎，我这模型质量一般，

08:48所以我把它开源出来。

08:50对吧？也没有所谓的人权。就就就这个。

08:54啊对对对，肯定说哎呀，我们觉得我们很厉害，肯定觉得哎呀，我们想得到外部的反馈，就是你肯定会说一堆冠冕堂皇的话吧，对不对？但是Meta我觉得它第一个说，它说第一个理由是，呃我觉得这也是mindset，就是中国国内很少有人谈模型的安，

09:08模型的安全性。对吧？大家还在谈这个模型的这个智能性，说我刷榜分数有多高，我做题能力有多强，我可以有个小模型就能跟别人大模型差不多效果，对不对？对不对？

09:21Meta上手第一个两个，第一个他觉得安全很重要，我觉得，对吧？第二个是他讲的就是说，哎，我们这模型其实也不是很大，所以呢放就放吧。

09:30就是很实在。

09:31我觉得这个是是蛮不一样的，对吧？就是国内你想，呃，虽然我们不是要喷谁或者做对比啊，就是国内其实大家的模型放出来，即使放个小模型出来，也是讲，哎，我们的分数刷的刷的多高，能跟别人的模型怎么对比，对不对？但是国内的模型其实我我们我现在围观了一圈，其实也面临一个比较大的问题，就是其实大家做的事情还是一个比较简单的事情。

09:56嗯。什么叫比较简单的事情呢？就是说大家做的还是那个类似于GPT-3的一个基础模型的训练。然后最多做了叫指令微调嘛，就是supervised fine-tuning。其实呢，我自己的观察，包括大家放出来这PR搞内容。

10:14除了MOS，比较明确的，它那个开源代码里也包括了安全啊，包括了这个，就是强化学习的人类反馈啊这样一个流程，对吧？我们先不讲它有没有效果，它至少把那些东西都开源出来了。它是告诉你我整个模型训练整个过程都是有的。就大部分人开源出来的那个模型，要么是给你个模型结构，对吧？

10:32然后但是基本上没有太太多的去讲，真正我觉得难的部分就是那个，就是我们叫alignment嘛。对，就对齐的那一部分嘛，对吧？这个是最大的一个差别，就是，呃，就是到底模型怎么搞安全，怎么能够跟人类的对齐，然后同时在这个过程中能够激发出它的智商。

10:55其实大家没有怎么聊嘛，大家还是说，啊，花了一段时间搞了很多数据，然后去微调，呃，去基础模型训练出来了，然后微调了一下，然后有了一个比较好的，就是说，哎，一些任务的话题上有一个比较好的效果，对吧？这个是我觉得，对，一个比较大的差别。

11:16这个也是我觉得Meta讲的第一点，它上手其实讲，它，我这模型挺安全的，没有什么不安全。我觉得这是第一个。对吧？

11:24第二个他们讲了第二个事情呢，我觉得是说，呃，呃，比较有意思的点。我觉得是说他们觉得说，哎，我们把模型开源出来呢，我觉得达到了大量的社区里面的想法跟反馈。嗯，

11:39也很实在

11:39啊。就是说，你可以看，对对对对，他是说，他们是说什么呢？他说这个模型呢，我们内部可能就只能有几个人，对吧？就是他包括后面他去想社区怎么协作，就是这些人来微调，从这个方向微调一下，那些人从那个方向微调一下，对不对？

11:54但是呢你扔到社区里，你就会发现，就是会来参与建设，因为你这个模型效果也还不错嘛，对不对？然后又是Meta开，你又开源出来了，对吧？你代码也开源了，那个模型也开源了，那个论文也也讲了嘛，就是我们完全，他们是完全利用公开数据训练的嘛。

12:12就理论上讲，任何一个人其实是有可以复刻这个过程的，对吧？当然你可能说他论文里写说我公开数据是怎么用的，你可能没有办法完全做到一比一的复刻，对不对？他最多说Common Crawl的数据啊，我写了百分之多少，我用了一个什么样的方式，但是很多肯定有很多细节不一样，

12:31但你基本上是可以复刻一遍的，对不对？同时这个造成了什么呢？这个造成了，我觉得就是，就是我们看其实Llama出来之后，市场上多了很多，一开始是阿尔帕卡，对吧？就斯坦福的人微调了一个模型。

12:43后来是Vicuna，Vicuna是普林斯顿的人还是CMU的人啊？哦，我忘了，微调了个更好的模型，对不对？然后后来又有人说，哎，我们机器很少有那个什么低秩LoRA，有什么QLoRA，对不对？再包括有很多人基于这个东西，比如说Vicuna就在这个里面引入了，呃，一些FlashAttention，

13:04引入了一些这种加速训练的这些东西。就是我觉得说，我猜啊，就是说Facebook可能它开放出来的时候，一开始也没有想那么多。就它可能没有想说，我啊，我是希望开源社区帮我来建设这个模型。但实际上它得到了一个好处，就是说这些idea它在内部都可以抄嘛。

13:23它看了有效，或者看了觉得这个东西效果比较好，哎。这个idea可以用，因为毕竟就即使是Facebook这样的公司，我相信在内部干这个事情的人也就是个几十人上百人的团队到头了。他也不会说我公司有有有几万个人，说我放一万个人上去，这不现实嘛。

13:42其实

13:42一些荒谬的点子肯定没办法试，荒谬的点子只能靠社区去试。

13:46对对对。所以他能试的，对，所以他试的idea肯定很有限，但是社区能试的idea会非常多嘛。所以我觉得他，所以他们说他们内部已经在训练V2了嘛，就是第二个版本的Llama。所以我觉得这个还挺挺有意思的。就是说也有朋友问我说，就是大家还是觉得，包括你看国内，其实大家有些把模型权重放出来了，但是真的把模型代码放出来的，

14:09其实还是高校比较多，对不对？高校比较多，或者有高校背景比较多。比如说那个MOSS，对吧？就复旦的那个开源的，包括GLM，它虽然开源了，但是它背后原来是清华嘛，对吧？就是高校的人，真的你看公司里把说，哎，我们训练了一个基础模型，你看百度啊、阿里呀，其实并没有说我把我的训练代码呀什么我这个东西给开源出来，

14:31只是给了大家一个东西可以玩嘛，对吧？也没有把原模型权重放。

14:36我再插插插一句问一下，你提到那个GLM，GLM上次你是说它的那个在中文的使用条件下，它不比Llama差，对吧？就是它大家也是可以考虑GLM，对吧？

14:49对，我觉得问答的场景下，我觉得几个前提嘛，因为我没有测过那么多事情。第一个我的感觉是，第一个是前提是大家都用小模型，就是大家都是用那个6B、7B或者13B的模型，对不对？不是拿最大的那个模型，最大的那个模型我也没有机器可以把它，没有足够的机器资源能够去微调或者跑起来，

15:07对吧？就是我现在最多也就去算力平台上租8块A100，就单机嘛。8块A100一个小时大概100块吧。

15:15对不对？

15:16你跑个几天，你花个几千块，这个钱就是说，哎，你咬咬牙也花得出去嘛。对不对？那你说啊，不是的，说我要微调一下Llama，Llama用多少卡训练？Llama是用了2048块训练了21天，对吧？我算了一算，一百万美金，对吧？

15:31那你你你哪，你哪来变出来这个钱啊，对不对？就是，所以我觉得在小模型，而且问答这样的场景下，我觉得像GLM啊，包括Llama，包括一些开源模型微调都是可以用的。小模型的情况下。因为大部分人，哎，对，不大模型能不能我不知道，因为我没有跑过。

15:50比如说Llama它有一个130B的模型，但是我其实没有，理论上130B的模型，260G显存嘛，8块A100也能跑起来。对。但我没有去跑过，就是我只是觉得说我只是为了试一下这个模型，花那么多钱好像有点，呃，没有必要。哪

16:08哪些，对，哪些是亲测，反正亲测有效的，就是就是小模型上确实GLM也还不错。大的还不知道，没测过。对对

16:17对，我觉得在，啊，对对对。对，没测过，就是，就有时候你想测测也挺烦的，要要开机器，要微调，要几个小时，一花几千块钱就出去了。对吧？就就你花一天时间就一千块钱就出去了嘛，那想想还是有点心疼的。还是有点心疼的啊。

16:35对。关键是你其实也只是，你也其实也只是测了一下，你也没干啥，对吧？就是把那个模型下载下来，能够跑通，然后自己找了点数据跑一下啊，大概有个感觉，那就觉得，对，对吧？就是说你让我租个机器，我一般还是去微调一下模型，我租点机器花个几天时间，这个钱咬咬牙，花了也就花了嘛。

16:53对对对。因为你你也没有，对，所以我觉得就是说他们从社区得到了这个大量的反馈嘛。就是说我觉得，所以我觉得从这个角度来讲，我觉得那个，而且某种程度上，就现在有很多人的模型是什么呢？就是不管我数据可能不一样或者怎么样，但是我的那个模型结构其实都基于Llama，对吧？

17:12现在社区就有什么Open Llama呀，有什么，就是我觉得也是带来一个好处。就是说它虽然还称不上事实上是一个标准嘛，就是说但是也带来一个好处，就大家会围绕你的生态去做很多事情。意味着你下次真的放一个开源的模型，或者你作为一个商业平台去提供API或者什么，就是比较容易被大家接受。

17:32三个核心观点呢就比较偏产品向了。我觉得，呃，也比较有意思，是什么呢？是它其实跟那个Facebook的业务很相关。就是我们今天去看这个，其实我们之前也聊过很多次次啊，包括我们播客，到底就是说大家心目中的AI是个什么样的东西，

17:50哎。OpenAI的那个ChatGPT也好，还是Google的Bard也好，其实是比较像一个我称之为叫全知全能的上帝嘛，对吧？全知全能的神嘛，就是我就是一个对话窗口，对吧？我的产品非常简单，我就是个对话聊天窗口。

18:04你最多说啊，我能够输入语音，我能够预设有一些prompts之类的东西。但本质上就是说，哎，我是个全知全能的巨牛逼的一个东西，你就向我提问，我给你答案就完了。然后但是Facebook他们当时的想法呢，是说它比较偏，就比较偏现在你看到的这种情感类的应用。

18:21就是他觉得是说，因为它是个社交网络平台嘛，他觉得是说会有很多这种KOL也好，或者我们叫网红也好，说，哎，我能够利用我，你未来可能不想只跟一个AI打交道，你可能想跟各种不同人格的AI打交道。比如说每个每个品牌有一个它的助理。

18:40每个品牌的性格肯定是不一样的，对不对？你买女装，你买这个这个这个，买一个这种，呃，Lululemon，对吧？这种瑜伽服，跟你买一个Gucci，跟你买一个什么快时尚的，呃。或者你去买一个什么，对吧？男装你去买一个这种定制西服，还是买一个Polo衫，肯定你背后那个助理的风格要不一样嘛。

19:04同样的，大量的这种你叫网红也好，或者KOL也好，它背后也要有这个人格嘛，对吧？就是今天的，就是说所以他的设想中是说，我觉得这也是为什么他会把模型开源的一个原因啊，他的设想肯定是说，呃，虽然虽然我觉得这个，这个，到那个AI鬼城那个Chirper，对不对？

19:24那个就是只有AI的社交网络可能有点夸张。但是我的假设是，就是Meta一定会觉得它的社交网络里，不管是Facebook呀，还是Instagram呀，还是WhatsApp呀，就是会有大量的这种以品牌、这种网红，或者说是这种KOL为核心的这种各种各样的人格化的AI出现。

19:46你你刚讲到那个，你刚讲到那个鬼城的话，我想到两个东西。一个是我最近看到了鬼城的一个真实应用，就鬼城是没有应用场景的嘛，鬼城现在有一个真实真实应用了。就Love Story，就就是你可以，你有任何的情感问题，你可以跑到Love Story上面去，

20:05把你的那个情感问题抛上去，然后你十秒钟就会得到十个鬼城里面的人给你的回复，就是他们说，哇。姐妹，我也是这样，布拉布拉布拉布拉跟你讲。然后说，哎呀，不是这种人就应该踢死他，布拉布拉布拉布拉跟你讲。就就就就变成了一个，

20:22因为大大部分人的你的问题是发到那个社交网络是没人搭理的嘛，这边你就会发现有好多人。

20:28对对对，

20:29顿时觉得，哇，

20:30啊，对对对对对对，我觉得我觉得这是个很真实的场景嘛，就是我我我们前两天不是聊过，我觉得这就是找AI炮炮群，对吧？就是你很多时候你心情需要抚慰，你心情需要抚慰，你当然可以找最好的朋友或者找朋友，但是也不一定所有的事情都适合找朋友或者怎么样。

20:49但每个人很多人，特别是现代人，对吧？大家可能从大学毕业来了个大城市，其实就是你的社交圈很小嘛，大家都很忙，996，对吧？就是大家又都是小透明，在网上发一个文章，会帮你点赞的人也很少，对不对？但是实际上有很多东西其实又是真的，我觉得，而且这个当中是一个真实的什么呢？

21:10我我我的假设它也不是瞎夸，它肯定也是根据每个人的人设，它背后是有一定的共情成分的，对吧？它背后是有很多共情成分的。可能是说他看说这个这个人背后可能过去也讲过类似的事情，那我就可以来来串联一下。就

21:25蛮蛮蛮蛮有意思的。而且那个我我我没有像你这样把它完整听完，因为我是在飞机上听的，然后我大部分时间睡着了。然后我还中间还听了一段，是那个，嗯，那个扎克伯格在讲说，其实现在就已经有超过人类智能的结构了。然后比如说公司，就人与人之间嘛。

21:48然后那个不是这周轮到我写稿子嘛，我写的就是那种关于agent以及agent simulation，就是agent和agent。如如果人类和人类之间组成的组织，可以产生超越单个人类的某种更另类的一种智能，比如说这集体智慧。

22:04那agent和agent之间的话，它其实可能也会产生一些奇奇怪怪的东西。就是你做了很多个不同的异质的东西，然后让它们之间再碰撞、再再协作，可能又会上面又长出一层很奇怪的，甚至是超越它们智能的东西。但最近几天不是说那个GPT-4，其实是八个GPT-4在吵架，八个GPT-3.5在吵架吵出来的嘛。

22:26对。所以，所以如果如果

22:28是，OK，对对对对。这个是江湖传闻。

22:31江湖传闻嘛，对。如果是这样的话，其实像你刚刚讲说，他那边如果说每一个品牌，每一个KOL，甚至于都有多个，那其实上面说不定还就存在一些演化出更多奇奇怪怪东西的可能性。就比如说大家都问一个神，对吧？拜神那个就不太一样，挺好玩的。

22:51对对对对对，就是这个就是，所以我觉得说这个也是跟他的业务形态有关嘛，也是就是他怎么尽快能够，就我觉得是，就是因为他，我觉得他自己不干这个事儿呢，其实最终也会有别人帮他把这个事儿干了，对吧？就是，就他自己不去做，说，哎，你这KOL，你这品牌，我可以帮助你去建设一个AI化的人设，这个事情大概率也会有第三方服务商帮那些KOL啊或者是品牌去做。

23:19甚至也有可能说有人自己去做，就就AI诡城这种公司有没有可能反向对他也造成冲击，我觉得其实都是有可能的，都是有可能的，对吧？这个呢我觉得就就也倒过来，其实是讲到什么呢？就是我觉得这个每一家大公司现有的业务呢，又高度地跟它对这个模型的世界观又绑定了，对吧？

23:40就是说大家其实很难抛开自己现有这个业务的这个智库，或者是现有业务的这个锁链，对吧？就是Google它为什么一直不推，就是因为它有搜索。OpenAI它推了，比方说现在就ChatGPT，你说让OpenAI去做这种人格化的或者怎么样，

24:05我觉得就很难，对吧？就很难。就回到国内，我觉得这些公司也是一样的，就是每个公司都在都得回答一个问题，就是说我这个东西技术上当然很厉害，需要投入研发做，但是他们肯定我觉得做出来的东西不会是一样的。就是我不觉得，比方说，比如说自己也会做一个，呃，呃，纯聊天窗口，说，哎——你们就进来问吧，我觉得就是跟它所有的现有的这个产品的那个逻辑就脱离开了嘛。

24:34对，脱离关系嘛。它大概率还是要围绕就是说它现有的业务逻辑，先去做各种各样场景的落地，对吧？就是我觉得每个公司都会有这个问题。这个就回到你上次聊的一个问题，就是说如果这事情一看就挺靠谱，而且大公司如果会做的话，这个事情就不太好搞，

24:55对吧？这个跟你技术有多先进，其实就没有太大关系，对吧？因为你技术很先进，你搞出来，别人也可以通过什么挖墙脚啊，这个这个投钱跟你在市场上打架呀之类的方式战胜你。最好还是你做的这个事，大家公司都想，这我干不了这个事情，或者说我跟我的核心业务关系离得有点远，

25:14我没有办法大投入来干这个事情。

25:16现在想法都是尽量不靠谱。

25:19当然你还有一个出路，就是说，啊，我干这个事情，我干这个事情就是瞄准某一个大公司，我觉得你们技术研发能力不行，我要卖给你，对吧？

25:28现在没这个，没这个，没这个。

25:29这个我觉得

25:31太难了，最近，现在这条路没有那么好走了，除了纯粹——

25:35就是没有，是是是是，没有，就就就是看价格嘛，对吧？你低价卖嘛，肯定有人接嘛。

25:41对。但是也要看，是不是有没有资本泡沫嘛。对。那个时候那个某个，就就我自己在大厂的时候，曾经就发生过，大家在讨论要不要买某家很有名的公司。然后然后当时就把他们公司财报看了一下，然后就就就就就所有的订单相当于是用两块钱买一块钱的订单。

26:04然后然后我说你给我三分之一的钱，我三个月做一个给你，赚钱我不会，但这个我可以亏得比他有效率。

26:13亏钱还不会。

26:14可以比他有效率。OK

26:16OK OK，嗯，

26:17亏的。但是那时候资本泡沫还是会想买。

26:19对，钱不好赚。没有泡沫，

26:21你不会花那么大，那么那么夸张的钱去买。

26:25那后一个点呢，我觉得也很有意思，这个点其实现在讨论的很少。就他就觉得就是说大模型的这个社区协作应该怎么做？因为现在大模型的就开源的社区协作啊，本质上协作方式跟原来的开源代码是一样的。就是因为我代码开源了，然后我有个模型权重，对吧？

26:42当然现在跟原来不一样，有多了一个东西叫做模型的权重，但那个东西相对还好，对吧？但第一个是说，就是说整个开源的过程，还是说大家各自想办法去搞自己的机器，搞自己的数据。而现在数据也有些人开源了，比较比较著名的，比如说Reddit，对吧？

26:57就是说，哎，我看你们论文说哪些数据，我把这些数据给整理出来，爬了、洗出来。能给大家来用，对吧？有有有，叫还好吧。因为比方说Llama的论文，它的逻辑说我这个数据其实本质上是通过公开数据训练的嘛。比如说我用的是Common Crawl，就是爬Reddit，然后洗完这个数据。

27:14那别人的做法就是说，啊，我根据这个论文，我也把这些数据想办法搞到，然后洗一份出来。他并没有去真的说花很多力气去爬很多专有数据。他并没有说因为你这个东西我去爬一遍，比如说亚马逊的商品评论，那个可能也你也叫公开的数据，或者亚马逊的商品描述，

27:32或者我去爬这个，呃，比如说Facebook或者Reddit的帖子，其实没有去干，呃，爬爬，或者Twitter里的内容，其实没有干这个事情嘛。因为那个Llama的论文里是主要是Common Crawl的数据为主嘛，那个是最大头的一个数据嘛，

27:46对吧？所以这个我觉得，啊，你当然可以叫菩萨，但是这个菩萨也还好吧，对吧？就是就是还不是活菩萨，对吧？就是还是就是，呃，大家比较讲道义的，把这个数据给公开出来。因为你不公开出来呢，其实大家也没有那么难拿到这个数据，对吧？

28:04然后但是呢，它还是面临一个问题，就是说比如说我们两个团队，我们自己去有一个方向，都是说，哎，你从从某一个方向想一个idea去微调一个自己的模型。他从那个角度的idea去微调一个自己自己的模型。然后你会发现，其实整个基础模型的训练，大家其实是完全还是等公司性质的人看出来，对吧？

28:24真真正开门出那个基础模型，先不说像GPT-3那么大嘛，就像Llama是FB开源出来的。前一阵还说效果比较好的那个Falcon也是一个公司开源出来的。就背后，但是实际上完全靠社区呢，它其实的确没有办法去训练一个基础模型，或者微调啊，它也没有，

28:43比较少。太烧钱了嘛。呃，我觉得两个，一个是太烧钱了。第二个呢是写作其实不太容易，就是说因为要花很多钱，就是甚至微调其实大家也是不写作。微调是我们一个小团队，我们有一个想法，我们搞一点自己的数据去微调。

28:58但是很，或者说那个人也有一个想法，可能第三个人说我把你们两个数据混一块儿，这种会有的。但是呢其实没有真正的叫集众人之力去搞一个真正的大模型出来，就是社区并没有拱中，对不对？可能之前唯一的一个勉强能算的叫BloomZ吧，它是一个之前应该是法国政府资助的整个社区，反正有几百号人参与。

29:21那效，但是效果就就也不是今年的了，就是去年还是前年的模型了。但是呢，就你真的想要说有一个真正好用的开源的大模型，最理想的大模型，其实合理的逻辑还是要集够众人之力，大家拱一个大模型出来，大家都能用嘛，对吧？这个特别是对那些中小公司是特别有有价值有意义的，对吧？

29:41就是我是个小公司，我只能寄托依托在你Llama上微调，我不可能比你Facebook的模型好嘛，因为我完全依赖于你嘛，对不对？就算你Facebook这个觉得自己的模型不如OpenAI，我会不断地把自己的模型开源出来。但是任何一个小公司，它其实拿不到它——他其实是没有办法参与这个竞争的，对吧？

30:03对吧？但是呢，就是马克·扎克伯格举了一个例子，是说比如说Wikipedia，对吧？Wikipedia就是个集众人之力出来的一个百科网站，对吧？它但是它做的事情其实并不是开源代码，它本质上是在做数据写作，对吧？对吧？

30:17就是说它它是每个人都可以去编辑这个内容。它虽然你可以，它那个跟开源代码还是不太一样，因为那个代码，那个你把Wikipedia爬到本地其实没有什么太大的实际意义。对，你只要联网能访问就好了。但是这个建设过程中是大家共同来编辑，是特别有意义的。

30:33对。那那在这个过程当中，主要的写作上的障碍是什么呢？因为我也知道说就是很多人现在其实也考虑说想要通过Web3的，因为Web3已经没有故事讲了，也只能讲AI嘛，对吧？然后AI，那那你现在这边AI，平时Web3也掺和不进去，Web3就是改生产关系嘛。

30:56那那你刚刚讲的这种写作感觉就特别适合，就是诶好像掉Web3那个坑里面去了，有结合的地方吗？

31:04呃，这个其实我没有仔细想过，但我觉得这个是一个很好的一个命题。就是因为大模型本身跟之前的开源运动其实还是不太一样，就是它最重要的已经不是那个代码了，对吧？就Facebook代码，Llama代码很早就GPL开源出来，结果就几百行嘛。

31:21因为当然它还依赖一些别的第三方库啊之类的，对吧？就是说自己代码其实就几百行嘛。甚至我们原来说啊数据很重要，但是你看数据其实也有人开源或者贡献出来，但是很多私有数据没有拿出来，我觉得是因为版权的敏感性嘛，对不对？你说我有很多自己的专有数据，我不可能贡献给社区，因为这个当中可能有其他人的呃隐私信息或者版权的信息嘛，

31:44对吧？但是数据其实也开源出来，但是现在没有开源，没有真正协作起来。就是说我们大家都觉得说，哎，我应该把什么样的数据放进去，我这个应该怎么协作，大家一起来做一个大模型这件事情。但是大模型当中最大的挑战其实不在那个foundation model的训练，其实是在alignment嘛，

32:02在那个reinforcement learning。比如说我应该怎么标这个数据，应该拿哪些数据出来标，对吧？这个数据大家公认这个结果是怎么样的？就这个事情其实，呃，怎么做，我觉得就是说没有协作起来。就是这个当中，我觉得会潜在有一个，呃，当然你刚才讲的Web3，其实我没有往Web3方向想啊，

32:21就是说因为我觉得Web3的很多协作的机制太，就是，就是太复杂了。就有要求太高了嘛，对吧？就是说，呃，对吧，就是，以及大家如果去协作这个事情呢，怎么能够把这个算力，因为说实话，这个算力的成本呢，我觉得对于开源社区还是有希望拿到的。

32:41因为这个算力的成本就是，我们算过嘛，就是，就是单次训练其实是百万美金这个级别吧。就是Llama 65B的话，就是从头到尾训练一次是大概一两百万美金吧，对吧？虽然开源社区是大家是用爱发电，但是背后也有像Apache Foundation这种基金会，还是有很多基金会背后几百万美金的钱还是有的，

33:02对吧？你你不是跟那些巨头，比如说我花一十亿美金买卡，但是你说我花个几百万美金跑一次训练，这个钱还是搞得到的。所以我觉得是说，但是呢，有没有更好的协作方式，或者说更高效，因为现在的这个协作方式，其实基本上你很难依赖开源社区去训练一个foundation model，

33:22对不对？就是或者说就是或者不像以前开源社区可以有几万几万个贡献者，几千个贡献者，几百个贡献者。现在的这个开源模型其实一般也就是说，我们学校里一个小的团队一个实验室，或者说有一些就是还是以单打独斗为主，就是五个人十个人。其实没有像传统的开源社区那样，就是这些工程化的，我们说这前端呀什么，这种Java呀，这种就有很多人都贡献了一点东西，

33:50其实还是没有的。还在至少在基础模型训练这个角度还是没有的。所以我觉得这个是一个

33:56这也不需要那么多人，对吧？就是其实就需要几个大神搞定。

34:02呃，对。但是但是我觉这当中其实有很多数据的事儿，其实是需要社区来，对不对？因为数据是很重要的一部分，特别是数据标注的部分。

34:13对不对？你说工程训练这部分就是传统，就是工程代码，可能传统的开源社区就能做。但是训练出一个跟人类对齐的好用的大模型这件事情，就是开源社区有什么好的协作方法？对吧？我觉得本质上其实是这是一个命题，就是这个命题，我觉得谁能够解决这个命题，其实也很有价值。

34:42那，嗯，两两件事，一个就是那个那个那个小朋友的那家公司，是叫Scale吗？他们是做这个的吗？

34:52Scale AI吗？那也不是小朋友啊。

34:54哦，他不，他长得很像小朋友。对。就那个那个长得比较小朋友。

34:59因为我是做数据标注的嘛。是是，

35:01就你说标注，是是是是这一类的公司的，你觉得很重要吗？然后另外一个就是现在如果我用GPT-4呢，就是用人来用用用GPT-4来代替人，不是说GPT-4在标注上已经比人做得好了嘛，可不可以这样拿GPT-4来标？

35:20呃这个我觉得不太现实，因为我的就是说我觉得这两个，第一个是一个商业公司来做标注当然是可以的，但是那比如说我，那那就是第二个问题是说他他本质上是社区只是说去筹了笔钱嘛，就是说我是个开源社区，我去筹了笔钱，我让他帮我做这个标注。

35:38这但中但当中还有很多问题，因为开源社区的协作，你还是相对松散的。还是相对松散的。但他那个标的数据，你怎么去验证它的好坏，怎么迭代，这其实都是问题嘛。这个跟一个公司说我有背后我有公司的KPI，有目标，甚至背后有投资人的考，对你的这个评评估。

35:59对市场对你的评估还是会有差别嘛。对吧，我觉得这是一个。第二个我是说用GPT-4去做这个事情，那你就不是永远就做不了比GPT-4在任何一方面好的事情嘛。对。这个就相当于说GPT-4是个高精度的车床，对不对？

36:14它能车到一丝说，那我的这个里的模具都用GPT-4来车，那你最好就是比它差一点点嘛。所以我觉得这个事情对于你说做垂直领域的数据标注，做做应用问题不大。你想好做的一个好的基础模型，我觉得还是不行的嘛。

36:31你刚讲这个，因为我刚好被送了一本书，是什么类似于什么开源社区，什么写作啊。管理啊什么的。就是那个那个译者，然后他好像就是搞这种的，我在想说是不是应该抓一下，就就我们过一个月如果还觉得这边是有一个很大的机会的话，可以抓他过来聊一下。

36:49就是想说那个如果有一个很大的商业机会。

36:51我觉得不一定叫商业机会啊，我觉得这是个需要解决的问，值得解决的问题。这是个值得解决的问题，就是说，因为我觉得是说整个，你知道互联网行业或者说我们觉得计算机科学行业的繁荣，其实开源我觉得是很重要的一个因素。如果是完全闭源的话，不会现在像现在这么繁荣的。

37:11对吧？开源其实是给了，让这个生态有了发展的更大的机会。那么我觉得大模型其实也是一样的。就是我不觉得说闭源它会带来，就是这么大的一个繁荣的市场。就是说我觉得，呃那么那么但是开源现在我觉得没有解决好的问题是，它在代码层面解决的不错。

37:30在数据层面解决的比代码层面差一点，但是也还凑合。对不对？但是这两者还不足以解决一个说我们能靠开源社区做出一个P1、GPT-3.5，甚至未来是4的这样的模型。这个我觉得是一个比较大的，比较大的，我觉得是个亟待解决的问题。它最后会不会变成一个商业公司，其实挺难讲。

37:52那个，所以正好，好像一周之后那个Lex Fridman就去采访了那个Jimmy Wales，就是维基百科的创始人。那个我还没看。啊，对。所以我觉得这个是个，这个是我看到就是我觉得扎克伯格这个访谈还是挺值得一看的，因为这个很显然就是至少从我们过去半年来看，

38:12就是觉得我Facebook或者Meta这个公司背后的技术实力还是很强的。他并不是来凑热闹，他原来就投入了很多研发，只是他没有找到一个呃落地的场景，或者说他的重点一直放在那个VR那个元宇宙那一带嘛，对吧？现在这个事也不那么提了。

38:31啊，对吧？不那么提了，这个。对，但是至少，呃，至少我觉得是说去想一想他们是怎么看待这个问题，我觉得对更多跟随者的公司是有意义的。对，因为大部分你大部分现在来做这个事情的时候你都是追随者嘛。你都不是，就包括国内去跟大模型的公司，就算我们觉得啊，什么腾讯、字节，这这又有数据，又又团队能力也很强，

38:56对吧？阿里百度也很快做，但是你还是你们大家毕竟还是追随者嘛。大家毕竟还是在这波热潮之后说，我开始跟上来干这个事情。那么你去看看最厉害的追随者现在是什么样子，我觉得还挺有价值的。还挺有价值的。

39:11对吧？而且而且Meta是个，对我是这样说了，就是至少从他们这个，我觉得他们讲的是真话嘛。就他不是来跟你PR一番。他当然他当中有有PR的部分，对不对？跟你讲什么安全很重要，跟你讲他也讲了一些什么Vision Pro出来，我觉得我们的Oculus 3更便宜，

39:28对不对？就是布拉布拉这些事情，但是其实是没有，没有就太多冠冕堂皇的话。我觉得还是讲得比较直接的，还是讲得比较直接的。所以我觉得，呃，值得看一看，值得看一看。大家有兴趣可以去看，对吧？

39:41反正现在有各种各样的这种字幕翻译工具啊什么，对吧？就是去看一下原文吧，比我听光听我们两个人吹水要效率高，对吧？是。

39:51没有，我是刚想听你讲的时候，我想到一个段子，是那个，你说他讲话讲得很直白，刚好我今天跟我太太吃饭的时候聊起来这事。就是我们在日本的一家店吃吃吃一个日料，然后是那个少东家他他做的。然后呢，就介绍说他们那个那个那个美当时的美国总统那个黑人去他们国家的时候，是他们他们负责的招待。

40:16然后我们就问他说，你为什么会选择你们？然后他说，选择这个是日本某某某某某某委员会选择的，家父是这个委员会的副主席。

40:28那没有没有，好歹只是副主席，好歹只是副主席，对不对？不是主席嘛，对吧？

40:34然后后面我看到我们笑，然后他就开始补充说，另外就是，呃，很多大臣都会到我们这里来吃饭，然后我们每年大概会会去登门，感谢他们照顾我们的生意，两到三次。然后我们就说，那更直接了。

40:47我听完之后就觉得这顿饭一定很贵。

40:50OK，不贵啊。他在中国有分店，是中国的分店的。

40:55这个我觉得好像是这样的，就是，呃，国内的这个饭馆儿，有时候你觉得它贵的，就是你完全不理解为什么，呃，主要还是太贫困了，对吧？主要是太贫困了。

41:06大家那个，那就拜拜吧，关关注各种账号，然后那个详细的内容都是在公众号上哈。然后我们就有的时候瞎瞎扯淡一下。

41:16不过要要跟大家提前预告，下周二我们到时候有一个重磅的直播，对吧？暂定下周二有个重磅的直播，请了一位大咖过来。对啊，这个大家可以重点关注一下。是是是，先保持一下神秘性。

41:30对。那大家待会儿，他粽子节快乐。拜拜，拜拜，拜拜，拜拜，拜拜。