大模型就是压缩器 ！？
- 发布
- 2023 年 11 月 8 日
- 时长
- 55 分
- 主播
- 徐文浩、任鑫
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
本期从「语言模型就是压缩器」这篇论文聊起：DeepMind 证明训练好的大模型配合算术编码可以做无损压缩，甚至用纯文本模型压缩图片、音频，压缩比远超 gzip，由此引发「压缩是否等于智能」「多模态是否没那么难」的讨论。接着聊到另一篇论文：在相同算力下，CNN 与 Transformer 效果基本持平，说明架构差异未必关键，能并行吃算力才是优势。最后回到现实：基础模型向头部收敛，但应用层仍是一片荒芜，出海与专家服务平民化都有机会。
- DeepMind 的论文证明训练好的大模型结合算术编码可做无损压缩，压缩比能到原数据量的 7%~8%
- 同一个纯文本语言模型也能压缩 PNG 图片和音频，且压缩比远高于 gzip，暗示不同模态数据在数学底层是相通的
- 无损压缩的成立前提是数据中存在规律与冗余，完全随机的数据无法被压缩
- 该论文也被拿来做模型智能的 benchmark：用压缩比衡量模型对某类知识内化的程度，比刷榜和人工评测更客观
- 另一篇论文显示相同算力下 CNN 与 Transformer 在 ImageNet 上准确率分别为 90.4% 与 90.2%，架构差异不如算力和并行性重要
- 如果「算力就是一切」成立，架构上计算量小就没有意义，只有便于并行化才有价值
- 基础模型正在收敛到少数几家公司，但应用层仍很草莽，传统企业连 ChatGPT 基本操作都没用起来
- 任鑫认为机会不只在重做 APP，还包括把昂贵的专家服务平民化
文稿
共 725 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:03不管什么应用，在有了AI之后，都值得被重新做一遍。我包括到一些，我觉得而且甚至是很多大家觉得理所当然的事情，可能都有因为有了AI之后，值得被重做一遍。
00:17世界的本相可能哲学一点，就这本背后其实首先是信息，信息展现为了这个东西。所以它其实这个图片和这堆文字其实在数学层面是无差的，它这里的规律直接它就在这边是管用的。
00:59哈喽，大家好，欢迎大家来到了非常之不稳定更新，说一期是一期的AI那期。OK，那又到了号称一周一度，实际两周一度的，我们徐文浩的聊天时间了。啊，今天啊，徐文浩终于交稿了。你打算聊点啥？聊那个压缩即智能吗？
02:03那差不多太烦了，一堆。嗯，那挺好的。
02:06对，对。这周的文章还没发，但是这其实也就刚刚昨天周末抽了点时间写了一下嘛。对。其实我也是大自然的搬运工，我其实也是在听一些别人的talk或者内容，听了之后哎觉得挺有意思的，其实包括有一些paper的话就仔细读。
02:43我觉得不是有什么变化了。这个idea刚出来的时候，那论文我也没去看，因为各种事情都很多嘛。正好上周符尧他们在群里嘛，组织了一个Zoom的分享，大概我就应该是上周日还是哪天，反正我上次听了两个小时。啊，我就我那因为paper没看，其实不知道什么内容啊，听完之后大概大概知道是什么内容，大概翻简单翻了一下，
03:06paper paper还没发完，对。然后正好昨天又看到，也不是昨天，就前两天又看到那个LeCun又在那个Twitter上讲，因为因为Language Modeling Is Compression，就是语言模型就是压缩器，那个论文也是DeepMind发的嘛。
03:22前两天DeepMind又发了一篇论文，当然那篇论文的标题其实没有没有很标题党，那篇论文的标题其实是对比这个就是传统的CNN模型跟这个Transformer类型的模型的性能的，但是那个LeCun在那个呃Twitter上起了个标题党，叫做Compute is all you need。初步结论，那篇论文的初步结论其实很简单。
03:44因为大家今天都知道说，我们用的都是现在大家都流行用的就是Transformer这种架构的模型嘛。而且它不只是用在语言模型里，包括我们用视觉的模型，很多人最新的这些，对吧？学术界叫做state of art，对吧？就是效果最好的模型，其实都是用所谓的Transformer的架构来训练的，对吧？
04:05但是呢，这个DeepMind就发了一篇论文说，这个并不是说明Transformer这个模型架构更好，只是说用新的模型它尺寸更大。他们呢用传统的这个CNN嘛，就是convolution，就是卷积神经网络，跟Transformers去做对比说，
04:22在同消耗同样的算力的情况下，消耗同样的算力的情况下，两个东西的效果是基本上是一样的。OK。对。所以这个就跟那个我觉得跟那个呃language modeling compressor我觉得其实类似啊，就是大家就是还是回到那个问题嘛，就是说大家不要把就是呃现在的这个AI神秘化嘛。
04:45就大家就会发现它其实就是个简单粗暴的，换句话说，就是你不要把智能这个事情神秘化。其实我或者说我们生活中的绝大部分的人体现出来的智能其实都很简单。其实就跟我觉得就跟当年AlphaGo出来一样，AlphaGo出来之前，大家觉得下围棋这个事情人下的很好嘛，
05:05就之前没有有电脑能够下得过人嘛。他就会就会把这个智能这个事情就哲学化或者神秘化了，这东西很，哎，人肯定有些不一样的地方，这个下围棋要讲，对，要讲直觉，对吧？它要要讲势，对吧？不光是一个计算，或者说哎你你搞个这个这个什么模型就能跑得下的。
05:27那现在下围棋这个事情，肯定已经被，就就现在大家都是，就是围棋，就是电脑教人怎么下围棋嘛。所有的所谓的国手，其实陪练都是拿着人工智能在陪练嘛。当OpenAI出来之后，一开始很多人，我觉得也有很多人说什么，哎呀...这个只是那个那个呃语言模型这东西不行，
05:48你看它只会说车轱辘话，或者说这个东西只是只能解决已有的知识，只能只是能重复已有的知识或者怎么样。但是实际上我觉得说，呃当这些更偏理论性的东西啊，我觉得它比较偏理论性的，有一些数学证明的东西出来之后呢，你倒过来想，我觉得就是你没有必要把这个智能神秘化。
06:09而且我觉得这个很有意思的是说，同一篇的论文，在相信不同结论的人眼里，都是自己的证据。我觉得这个是language model is a compressor这篇文章，我觉得很有你你仔细想一想会很有意思的一点啊。这个这个文章大概是讲什么呢？
06:25你可以认为就是我们不去讲任何数学公式啊，他就说我可以用我已经训练好的大语言模型，用来做一个无损压缩器。我我我我们得定一下什么叫做无损压，压缩器其实很理解，就第一个是它是它是压缩，无损这个事情怎么理解？无损这个事情怎么理解？
06:45就是说我假设输入一个数据给这个模型，对不对？它编码一下，这个数据就变，就就比如说我输了一篇文章，可能有一万字，我让这个模型编码一下，可以把它编码成一个，比方说一万字的话，比如说是二十K嘛，那我编码一下可能就只有五K。然后呢，我拿这个五K的数据，我用这个模型可以解码还原成原来二十K，就还原成一模一样的东西。
07:10这个叫做无损压缩，我不但压缩，而且我是能够完全还原的。这个区别于有损压缩。就是如果我们讲大语言模型是个有损压缩，大家其实很容易理解，对不对？你灌了很多很多数据给他嘛，我们今天你训练模型的时候灌了一个大概两T，两两个训练的token，
07:28对不对？你模型训练完其实只有一百几十G嘛，那这个其实就差了一个数量级嘛，你数据量。从这个角度来讲，它是压缩了，但是这个数据变小了，所以你认为压缩了。大家可能会认为是有损的，什么叫有损呢？我那么多信息量，它其实它去吐只能吐出来，你用这个模型去吐只能吐出来，原来一信息量中你综合归纳的东西，
07:52你没有办法完全还原原来的内容。是。对。但是呢，这个这个DeepMind这篇论文呢说它是个无损压缩器，那具体怎么实现我我我就先不去讲了，就是说它本质上来讲它还用了一个叫做arithmetic
08:05encoding，叫做这个算术编码的这个方式，它能够把一段数据最后变成一个呃无损压缩器，然后压缩比大概是多少呢？他们在那个那个一个模型叫Chinchilla模型上的一个比较大的模型上算的。但是压缩比能够压缩到就是原来数据量的百分之七到百分之八，它压缩比很很大嘛。
08:24就换句话说，它今天去压缩一个图片，以前大家最常接触的互联网接触的压缩往往是图片，对吧？你的图片你可以看，对对。但JPG是有损压缩哈，大家得理解JPG是个有损压缩，对吧？JPG不是无损压缩。比如说我们的PNG，它其实是可以压缩的，你拿个什么gzip之类，它都可以压缩的。
08:44那压缩完呢，一般的这种压缩比呢，也就是说，你比如说一兆能够压缩到三百K，对吧？但是呢，现在它其实有了一个更高的压缩比，对吧？第二个，他们我觉得他们也提出了一个很有意思，他说他发现呢，像我的模型尺寸越大，有的压缩比越高。模型越大，越高。
09:03这个其实很简单，那他说哎，那我是不是能得到得到这样一个结论，叫做说，那我能不能用我如果说，他当然这个模型越大，压缩比越高，指的是同样架构的模型。就你说我比如说我用Llama，Llama2有一个结构，或者Chinchilla有一个结构，对不对？
09:24那你说同样结构的这个模型，这个说你尺寸越大，我的压缩比会越高，对不对？那换一个结构可能就不一定了，我觉得就不一定了，当然他们当中没有做这实验的这个对比。
09:36我我插一下，我可不可以这样理解啊？比如说我们在中学的时候学牛顿力学，这其实就是一种比如说你可以说苹果怎么掉在地上呀，它最后会以什么速度呀，一个火车撞另外一个火车呀，什么的。我们把牛顿力学那些公式，假设我记在我脑子里了，其实所有的这一类的应用题，它的解法其实其实都是都是套公式嘛，
10:02对吧？那其实呢，我都不需要去把那些应用题的解法都背下来，是吧？因为有可能一万道题，我用牛顿力学的、我的几定律的那些公式的话，就可以把那些东西全部抽象成一个统一的model，我不需要去把那些东西都记下来了。如果我读到了大学，我又学了好多好多其他的公式之后的话，其实我对于这个世界的话就相当于拥有了很多压缩器嘛，
10:26这个套这个公式，那个套那个公式。那那那那个大学生他他压缩这个世界的知识的话，就会抽象的模型就更多，他就他就他就脑子里存，不需要把那些东西都死记硬背下来。但是如果一个人他不会这些语法，他就要死记硬背。
10:42我觉得你从哲学啊什么的，就但是我觉得尽量不要用，因为它本身是个严谨的科学论文，我们尽量不要从哲学的角度去理解它。呃，我
10:49是想从自己感性上怎么理解的这个事情。
11:33哎，那我好奇问一个问题啊，就假设它能够证明是无损压缩的话，这个跟那个，不，我跟那个……
12:18算术编码这个领域是无损压缩，但是不代表后面我们知识，不是，不是，不是，不
12:23是。任何数据，但是它跟我现在用模型做推理，你可以认为没有关系。不是说
12:37有学过的数据，没有学过数据也一样可以压缩。
12:39啊，不不。我是说它已经学进去的数据的话，我们现在不是很多时候调不出来吗？或者hallucination嘛，是调的方式不对。如果调的方式对，一定可以把它学过的数据调出来，是可以这样推理吗？
12:52我觉得，让我想一想啊。
12:54呃，假设它是个无损压缩。
12:56不能不能这样推理啊，不能这样推理。
13:01那凭什么说它是无损？
13:03它的情况下是我已经有一个训练好的模型，假如我已经有一个训练好的模型，我拿到一份数据，我通过这份数据，通过算术编码，加上这个模型本身，能够把它编码成另外一份数据。这份数据再通过模型
13:18解码，再通过算术编码解码，最后会能够还原出跟原来数据长得一模一样。能理解吧？这个这个是第一点。这个的通常的前提是什么？这个就跟我们传统用GPT之类的压缩是一样的。
13:32因为在你的这个信息里面有很多pattern或者冗余信息，在我的模型里已经被encode进去了。换句话说，你如果给一个完全随机的数据，如果你给一份完全随机生成的数据，那么它是不会被压缩的。你用随机生成器生成一份数据，那么这个意味着什么？
13:52这个数据用这个模型，你用我们刚刚说的方式压一遍，它的尺寸并不会变小。但同样的，你用其他的压缩算法，你用什么Gzip啊……用什么什么什么，呃呃，LZMA啊之类的，你可以给一份完全随机生成的数据序列。它也压缩不了。
14:12了解，那我我因为我还是想直观上理解一下的话，是不是那个，比如说，比如说我如果说什么，毫无，就一顿乱说，其实是没法压缩的。但是我说“白日依山尽，黄河入海流”，这个因为它它它已经有了嘛，这个套路。
14:28对，对，对，你看这样理解。就比方说，因为我，我就是说，呃，这有意思的一点我觉得是什么？我举个例子啊，就是说你当然能够，比方说你从只是看“白日依山尽，黄河入海流”，但你会觉得那是不是模型里已经编码了这样的信息嘛，对不对？但是如果说我拿一个Chinchilla这样的语言模型，我给它一张PNG的图片，它也能压缩。
14:52就它的训练集里面是没有图片的，对吧？那它为什么可以压缩？这是，我觉得不是，对啊。
15:56对，
15:57好，对，好，对。
16:39我觉得这个至少是数学规律，因为其实语言和那边要通用的话，就最后只能是数学了。
16:45对的对的。所以我觉得这个是有意思的地方。有意思的地方并不在于说我有一个大语言模型，我找到了一种方式，你给我一段文本，我给你能给你做压缩。说我的图片我也能做压缩。
16:56对，那……那一定是只能在数学上统一了。
16:59对，对。然后包括它有它那个数据集叫做LibriSpeech，我理我我没有，对吧？它……它也能做压缩，但是你给随机数据，LibriSpeech是一个音频的数据啊，就它用一个语言模型也能压缩。但这个其实更容易理解一点，因为音频其实我能够把它转译成语言嘛。
17:20这个其实更简单一点。但是能够压缩图片其实你不太容易理解，而且它比普通的一般的这种标准的压缩算法的压缩要高非常多。就就是它，你一个Gzip的话，压PNG大概能压掉一半。它比如说Gzip的话，能够压到大概一半到三分之一，就是你有一个一百兆的，它能压缩到三十兆或到五十兆之间。
17:41如果你用个Chinchilla 70B，这是一个纯粹的在文本数据上训练出来的大模型，它能够压缩到百分之八。
17:49而且我我我我我，因为因为因为技术实在是久等太久了，我现在只能假装自己是个文科生。
17:57对，这个其实很容易，这个没有那么难理解。从哲学或者逻辑上很容易理解，因为压缩本质上是信息论的范畴嘛。所以如果你回回，你你是学过计算机，如果回到我们本科学的这个，呃，组成原理里教过一个东西，叫做霍夫曼编码，Huffman encoding，对不对？
18:14说我有一堆数据，我就去看说，比如说一个连续出现的这种组合，如果出现了很多次，那我把这个组合给记录下来。比如出现的最多的那个组合，那个特别多的组合，我就用比如零来表示它，那我只要维护一个字典，加上这个这个码串，对不对？它还是个码本嘛，对不对？
18:33那我就能够把这个数据用一个更短的方式表示出来，这个是叫做霍夫曼编码，Huffman encoding嘛。那么本质上最后就回到了那个香农的信息论嘛，就是我一个数据里，它只要有规律，我就能压缩嘛，对不对？你认为智能是找规律的一个事情。
18:49假设我们说所谓的泛化能力嘛，我们今天大家讲智能叫泛化能力。什么叫泛化能力？就是举一反三的能力嘛，对不对？我
18:57我我可以get到，我现在是在脑子里面对这件事情相当于建了两个不同的来理解它的模型。我现在正在想说到底是哪一个。一个呢，其实就相当于说我培养了一个AI，它是个很聪明的脑子，它会去把比如说那个图片拆解成一串的数字，比如说1001啊什么的。
19:16然后它会去看里面的规律，找到从自己的那么大的一个脑子当中一瞬间看到它的规律，比如说找到了一个说，哎呀，其实是连续20个0什么什么，它去找到中间的规律，帮它相当于定制化再生成的一个压缩方法。这是我想到的一种一种理解这件事情的方式，就一个聪明的脑子，它还，然后这边还是一堆纯数据，它临时又又又发明了一个针对这个数据的一个更有效的压缩方法，
19:42比如说它是一后面跟了无数个零。这是我理解它的一种方式。理解它的另外一种方式呢，这个聪明的脑子它是一堆数据，然后它是文本造成的，它背后是一堆数1001。然后这个这个这个图片它背后也是一堆数据。那那那人世间的这个语言的表达的数据背后和这个……图片的数字背后，甚至于我们看到的光，
20:04甚至于看到的这个这个iPhone，它背后都是一堆数据。这堆数据本身是通的。世界世界的本相可能就就就哲学一点，世界本背后其实首先是信息，信息展现为了这个东西。所以它其实这个图片和这堆文字，其实在数学层面是无差的。它这里的规律直接直接它就在这边是管用的。
20:25这就是另外一种逻辑，就不是说它看看它跟人类一样啊，我找了一个规律，而是本身这边的规律在这边就通的，在底层。我
20:54如果是第二个的话，
20:55对，
21:36对，呃，对。但是你也不能说完全没有任何关系，对不对？对，就是说，
21:42就是说，树，树的那个层面有关系嘛，只能在那个层面了。
22:34个那个那个群的话，是一个闭门的群吗？还是一个公开的？啊，是个，是个
22:39已经五百人塞满的群，所以你也不要问我，也不是我开的群。所以，所以，所以，对，你你如果你你如果在在industry或者在这个里面，我觉得大概率你不会有人在这个群里吧。我看啊，这五百五百人已经拉满了，所以即使告诉你群名也没有啥用，对吧？
22:57如果不是技术大牛的话，反正也进不去，是吧？不
23:00是，你你你如果很早就像我这种，对吧？学术水平也没有任何，不能叫学术水平极低啊，就任何学术能力的人，不也在群里嘛，对吧？对，是的。你谦虚。所以，所以我觉得这个是个，这个是个比较有意思的话题啊。
23:17围绕这个话题，其实你可以看到，我觉得可以，当然，就这当中其实是有些投机取巧的部分的嘛。第一个，你得理解说，呃。呃，因为一般来讲说我们去讲这是个好的压缩器，那前提是说，比如说我跟你之间要传传，从信息论的角度说，我们要传输数据嘛。
23:34所谓压缩的能力是说我本来要跟你说这句话，结果我不说，我先压缩完了传给你，再解压缩，对不对？但是呢，这个解压缩它不像原来，比如说我只依赖一段代码，对不对？比如说机器，它这个算法其实很简单，你可能这个代码就几K，就几兆，对不对？
23:50它那个解压缩依赖一个，比如说70B的模型，对不对？所以它的解压缩其实依赖一个140B的数据预先要在两边传好。
23:58对。那你要传一个更大的才有意义。那个信息要……但是你比如说
24:31能理解吧？是，是，
25:03你直接训练，拿两个训练token训练一个模型，然后再把它拷贝过去一下，因为你你中间已经也也完成了这么多来来回回。
25:12这这这这，它它比传输两个训练token要小，因为第一次我传输给你是原始token，每当你学习一点点，我传给你的数据就因为压缩过了就小了一点点，它是一个，它是一个积分嘛。
25:28是，您说的对，是。
25:31就是我我我传，我传传完一个训练token，第二个训练token往里传的时候，可能其实那个一个训练token其实只要传一百G就够了。有道理，
25:41这是怎么想出来的？
26:12它这里面就相当于，它它它其实双方就回到了最基础的定义上，有人，那我直接把压缩定义成智能嘛，他们其实那一个隐含假设就是压缩不等于智能嘛。
27:24所以我我觉得这个还是蛮蛮有意思的，特别是说它其实换句话说，这篇论文也证明了多模态模型这个事情未必有大家想象中那么难。
27:35啊，对，
27:36对不对？就它就告诉你，音频也好，图片数据也好，你其实跟我语言数据内部一定是有内在联系的，对吧？我都
27:43说都没有。它
27:44都它都不是一个天生的多模态模型，它都不是说我像那种说我拿了图片以及图片对应的文字的标注，两个东西做了一个映射关系训练的这种，对吧？对比学习的模型来作为一个多模态的入口。它其实是告诉你说，其实你看我纯粹用语言模型训练出的东西，我一样的压缩图片，那就意味着图片跟语言的底层的信息里面就有共通的部分嘛。
28:20对。但它那个多模态还是稍微有点，它那个多模态还是说它不不太像，因为它的那个输出数据相当于是一段代码，然后放一个图片嘛，而不是直接输出一个图片给你嘛。
28:30这他没这个能力啊。当时，对，
28:33对。第二个呢，我觉得这篇论文其实又又带来一个很有意思的，第一就是说我能够用它一个模型对于数据的压缩能力来衡量它的智能。
28:43这个这个很好呀，这个至少就有一个标准的方法。
28:47就是你有一个benchmark，说我拿一个数据集过来，你用这个模型来压缩一下。同样的两个模型，因为你去评测，去评测这个模型的好坏，其实很不客观嘛。包括你现在这种数据集，我可以刷上去，数据集的效果我可以刷上去，这是一种。第二种是说，现在很多的评测方式是人工评测嘛，就我做AP测试。
29:07但是这个其实很很那个受限于评测人自己的knowledge，或者他的这个偏好。有些人天生就喜欢长的文章，哎。看长的文章就觉得这个人讲得好，有些人天生就喜欢说，哎。希望你这个当中有这个推理过程或者怎么样，对不对？但现在来讲说，它可以用另外一种方式说，如果我在训练集里没有出现过这样的数据，而这个数据又是世界上真实存在的，
29:30比如说代表一些知识的，你可以让这个模型去压缩，看它能不能，它的压缩比高和低，就代表了它在这个上，它对这个knowledge这个当中它内化的高和低。所以这个很，这个很一个philosophy，这个很，这个其实不严谨啊，这这个是一个很哲学化的想法啊。
29:47这个我们还是要声明，就我们我们又显得这个这个被被人喷，就你们又又异常无知开始对这个学术论文瞎编了，对吧？但是但是你你你如果哲学一点的角角度想，可以这样想哈。对不对？
30:01对对。第三个我觉得很有意思的，就是说之前大家说数据质量很重要，对不对？大家大家觉得说，哎，就是说模型的智能到底是从哪里来的？从侧面又回答了一个问题啊，又又可能要验证一个问题。就是说，如果我给模型的这个数据里，这个数据本身里的这种智能的部分、知识的部分高，是不是这个模型就应该更聪明？
30:24它什么
30:24叫智能的部分高？你先要定义这个。
30:27我我们很难，这个是个很哲学的、很主观很哲学的讲法嘛。比方说我拿更多的各种各样的教科书，有更多的knowledge进去，它就有更强的举一反三的能力。我如果我给它很多，我给它很多这种，因为模型训练的过程一定是去模拟我数据的生成的过程嘛。
30:45对，对不对？模型训练过程本质上说是说，我因为大语言模型是吧，成语接龙嘛，因为你前面跟着我说什么，我后面接什么嘛，我希望我接得尽量像嘛，所以我的模型参数会训练到我尽量接得像那个东西嘛。但是不是说因为我数据质量高，那或者说我的、同时我的数据多样性要多，我的模型就会有比较强的能力去压缩和还原各种不同形式的数据，
31:13以及代表比较聪明内容的数据。你跟它说扯一堆闲的，随机跟它喷一些东西，它其实压缩能力很差的，对吧？你给它一堆随机数，它是不压缩的。你给它一堆完全随机生成是不压缩的。你给它一些信息含量很低的数据，它可能也是不压缩的，对吧？
31:31或者说是一些胡胡说八道的数据，它可能也是压缩能力很弱的。但是你给它和它训练数据的这个知识相关的，或者它它就能压缩。反正有很多假设啊，就是很多假设。就是这个其实从侧面回过头来讲说，哎——是不是验证了一个说，哎，我们重视数据质量，或者说我想要有个高智商的AI，
31:53对不对？就是AI的智能到底是什么？AI的智能是它如果从压缩机的角度，那应该是它收集的所有的数据的平均嘛，对吧？均值嘛。是不是说那我把这个均值的数据质量本身提高、多样性提高，它就会强一点？
32:10我我
32:10我我有一个，人类这边呢我看过一些文献上的这方面的答案，就是在模型方面现在有论文有结论嘛。比如说有人会说是训练大量模型，或者是教科书，还是论文的比较厉害，还是比如说诗歌散文比较厉害。
33:57其实模型里也有类似的这种，说也有类似的理论，呃，叫工程研究结论。
34:02就是人类这边是整理出来这个
34:30估计大家不会去看那文本。通过那个，
34:33通过这个，而且说这两段文本如果比较相似的，那我会放在连续放在一起，去喂给模型，最终学出来的模型的效果会比较好。
34:44是相似的，有微小差异。那人类的话是这样。
35:15是是是，对不对？
35:17但是这是一种工程实践上，可能跟你刚才说的这个人类学习可以验证，其实也很容易理解啊，因为学习的过程中我是要梯度下降，对不对？相似的语料进去，梯度下降会是什么呢？我之前朝这个方向下降了一点点，我喂了一个相似的语料，你还会朝相同的方向继续下降一点点，对不对？
35:36那我给你一个，啊，但是如果我给你一个观点完全不一样，或者说这个方向完全是不相向的数据，有可能它啪就在一些别的参数上去调整方向了，或者说这个参数方向就可能就反了，那它可能收敛的就会比较慢。对，对吧？这这是一些很很很直观的一些假设了。
35:56你你当有人发现这个现象，你可以找到一些原因来解释它。大家有没有做过定量，甚至这种科学的研究？这个也算是大语言模型现在训练的，我觉得一个一个细分的方向吧。就现在细分方向当中有很多方向嘛，这个是其中之一嘛。
36:54OK，OK。
36:55就是人类这边经常拿来讲说要大量地给类似的，但是要马上及时反馈，然后他的学习效率高的话，经常举的是这样的例子。
37:04OK，OK，那那我觉得我觉得maybe这个idea也是这样这样想出来的。OK，
37:10抓小鸡的例子
37:11啊。对，我觉得maybe他也是这样想出来的。
37:14对，你刚说除了压缩之外的话，还有其他好玩的要聊一
37:19聊的吗？呃。第二篇有意思的论文就是，大家当大家测了一下之后，发现用卷积神经网络跟这个Transformer的架构在算力相同的情况下，它这个算力相同是指我用同样数量的GPU小时数，它不是说啊我参数相同，或者我跑多少epoch，
37:36说，哎——那我们就严格说使用的算力相同的话，他们跑出来的是这个在ImageNet上做分类的效果，一个是准确率90.2%，像Transformer架构；用CNN的话，可能用卷积神经网络的话是90.4%，所以基本上是一样的。
37:53他们画了一个曲线，也跟那个大语言模型那种scaling law一样嘛，你就可以基本上线性地预测出说它的准确率能够到多少。
38:01就是比钱了。就是说其实不是因为你东西好，就是钱多，
38:05烧得多。这对，所以这个就就回到一个解，回到一个很有意思的结论。是不是说我最后这个模型的效果好坏，最终其实架构的影响没有那么大，完全取决于，或者说有一些原来我们觉得说架构上可能不合理啊，或者说不够好，或者说其实也，啊，我觉得还是有差别的。
38:27我我为什么会就说，但如果你花的总的算力是一样的，其实可能差别可能是一样的，这个是为什么叫compute is all you need。但是还是会有差别的，就是说像Transformer它的架构比较容易并行训练，对吧？
38:39并行吃吃，它吃得下
38:42算力。就是就是就是它用的计算力可能一样，就是用的GPU，他们因为这是DeepMind发的文章嘛，所以它是在用TPU小时数算。但是说
38:53你如果用那个，呃，这个这个算力来算，它其实用的算力是一样的。这个意味着什么呢？意味着说如果我这个我这个模型更容易并行化，其实还是有优势的。就是说我可以用更多的卡在更短的时间内得到结论
39:10嘛。我可以用更多的卡在更短的时间内得到结论嘛。但如果你这个模型不是的，是那种就像以前的RNN那样，或者说LSTM那样，它不能并行化，不方便并行化。那么尽管它也能训出一个很好的效果，即使是最后证明它也能训出一个很好的效果，但是你不愿意等那么久，
39:27对不对？你可能就就只能用十块十六，对吧？十六块卡训练五十五年，对不对？人家可能用的是是五千块卡训练一年，对吧？对对
39:39对，有道理。这个还要考虑这个因素。是的，
40:14对。但是从逻从从从从逻辑上总觉得是有什么不对的地方。就就你这个跟跟讲说世界上没有聪明人，没有笨人一样，你要花时间读书，对吧？
41:03对。如果是那样的话，大家的优化重点就会去继续朝向并行上面去走，就是要快。
41:09对，就把它更加并行化，更多的数据，更多的算力，以及在同等算力下，我需要让这个的性能优化得更好。比方说像很多大家去现在大模型训练，大家或推理。大家都用FlashAttention，是因为它可以减少内存的读写次数，让GPU被更用得更满。
41:28那这个事情是有意义的。但是说你GPU用得同样满，我这个东西看起来算法简单，算得少一点，好像一开始也有点智能，这件事情可能就没有意义了。我
41:37靠，对不对？
41:38这个就是告诉你，对，对，它其实就是告诉你，这这个，这件事情我觉得有可能是成立的，为什么？你是想传统的机器学习，有这种线性的模型的，比如说线性回归，线性的回归是个线性模型，而且它是有解析解的。就是说，数字你是可以直接求个矩阵，把那个最最优的东西算出来的。
41:57但是它的缺点是，我的假设我只能学习线性相关的这个参数。你一旦是，那你其实是有，你不依赖线性回归，你要做更复杂的模型，你你你你其实就是需要把计算复杂度、计算量给弄上去的。对吧？这代表说，某种程度上代表就是，这就回过头来就是要就要就要回答一个问题，就是人的智能的复杂度到底有多高嘛。
42:21是，Transformer已经是正好跟我们思考的人的智能的能力的计算复杂度是差不多的，类似的需求。还是其实可以比它更低，还是需要比它更高？
42:33那行，我觉得搞AI之后，好多这种非常抽象的问题。
42:58搞个APP啊。招iOS的程序员，招产品经理，招海外的人啊，可以在后台给我们留言啊。对
43:07啊。对对对对
43:08对对对。徐文浩同学已经发过那个招聘帖了，反正只要iOS开发，是吧？我们还是要做成绩的，对吧？对。
43:50对。
43:51但当然这个这个的逻辑不是说你做应用啊，这个逻辑是说如果你奔着那个模型去，你奔着那个说我要做一个智能最强的东西去，那可能最后会收敛回算力数据。
44:31啊，对。对，我就我觉得我现在已经在做基础模型，我觉得已经有这个趋势了呀。年初各种各样的人都说要做，但是你明显看到现在市场上基础模型的声量已经收敛到少数几家公司了嘛。对，对吧？我我们举个例，就是虽然虽然这样，没有，就是我们同样看，比如说年初的时候，咱直接点，就直接讲公司名字吧，
44:55没关系。对对对，我举个例子。就今年之前可能是智谱跟MiniMax做得比较早嘛，对不对？就他们都是属于说在这一轮的热点之前，就已经开始在做一些这方面的工作了，对吧？特别是智谱。
45:09那现在就是说之后你会看见，其实我们听说过很多公司，包括各种各样，包括百度就投入很大，对吧？巨头我们不讲了，因为巨头肯定有充足的算力跟数据，对吧？其实然后就是比较早做的，比如智谱跟MiniMax，对吧？智谱可能更早，MiniMax稍微晚一点。
45:25但现在你看，剩下的可能就是像这种百川，对不对？我举两个公司，一个是百川，一个是出门问问。对不对？你现在明显看到，市场上百川的声量会大很多。对。
45:37出门问问就没有声音了。我当然可能是，也许人家在背道而驰，我们不知道啊，我们无知啊，这都有可能。但是至少你直观的感受上，它其实迅速地在向头部聚拢。就有很多三四月份融了资啊，或者也要说做大模型的公司，其实市场上就没有声音了嘛。
45:54有声音的公司其实收敛到少数几家了。
45:57因为因为历史负担也确实更重一点。
46:30那个老师这个名字也确实没有那么好记。
47:41对对对，
47:42对吧？所以我觉得你回到，但是回到基础模型，但是你今天回到云侧，回到水电煤的逻辑，你今天看能做云厂商的，基本上都是技术厂商嘛，甚至连阿里云、腾讯云可能都搞不过。当然这有很多别的因素啦，这种什么天翼云啊、华为云啊，越往基建，你可能越看，最后会变成一个资源消耗的比拼。
48:24对对对对，
49:11我才发现，可以啊。这个，
49:12对啊，这个ChatGPT最基本的功能，我这种号称在外面讲课的，然后说，哦，你们应该这样用那样用，好像自己很了不起的，然后都不知道。都都没用过这个功能，然后我最近一直在狂用这个功能，觉得哇，它实在太好用了。所以就是，即使现在就是大家还是很草莽的，很多大尾巴狼其实也很多东西还没有没有充分掌握。
49:33我也见到了一些创业者，他们做了一些应用，已经获得了一些成绩。但是呢，你仔细听下来就会发现，以我的技术水平，我现在已经大部分基础已经丢掉了。我大概听出了三四个他对于这个技术理解错误的地方，以及一两个他做没有做到位的地方。然后但是他的东西已经推出来了，好像现在卖得还可以。
49:54所以其实大家也不用那么说，我们要高精尖的理解什么这个事情的哲学本质，如果你做了应用了。现在大家都挺糙的，其实大家水平都都都挺烂的。其实我觉得现在还说不定还有还有还有机会。然后还有一个事情，因为也会跟一些传统企业碰嘛，就会发现说那就更更更那个，大家现在连ChatGPT一些基本操作都还没用起来呢。
50:19对对。非常非常之那个，所以在产产那个圣杯的那帮人是现在已经搞得非常之严严严重了，但是在应用层面的话，现在真的是还是一片荒芜之地，还还没有到说哪个应用有killer app，大家都觉得狂好用，哇。降本增效啊，怎么样那种时候。
50:41所以觉得，就也也大家听了一堆这种这种这种哲学讨论之后也不用太慌。对，还还好，我们大家做做应用是吧？做做应用。做做降本增效什么的，还就是还机会还多着呢，还时间还长着呢，也没有那么要思考本质，对对对。不一定。
50:58然后呢，徐文浩去思考本质。
51:41而且我我还有一个感觉，因为我们提到应用的话，想到的就是一个APP嘛。但是还有很多时候其实是呃不没有这个APP，但是有这个需求，或者说在真实世界已经有了这个供给，但是它是小规模的供给，因为比如说价格昂贵。但是有可能不存在这个APP形态，但是它在真实世界存在这个服务形态，只是它特别贵。
52:07但是但是但是它的需求其实是大众化的，也有可能不是APP重做，而是呃因为我们可以把某种专家服务把它把它把它平民化。可以直接做出一个在移动互联网世界不存在的一个应用，这可能也是一个一个大的机会，可以也从这个角度大家也可以想一想有什么事情可以做。反正想想其实其实我们是觉得超级多事情可以做，只是哪个靠谱也不知道。
52:36想想还是蛮多事情可以做。
52:38对，我觉得能做的事情还是挺多的。对吧？可以搞一
52:41搞。就是，呃有同学问说有没有回放，我们这个的回放是在那个AI炼金术，大家可以去喜马拉雅啊，苹果Podcast啊，小宇宙上就可以听到那个音频节目，所以可以去小宇宙上去听，去留言。然后我们也有那个那个公众号，公众号上像徐文浩刚刚讲的这些东西的话，那个公众号也会发，就会详细一点，
53:03上面还会带原文链接啊什么的，所以大家可以去公众号也是AI炼金术。如果然后这一期AI炼金术应该也会带一个小广告。我们想做一个小沙龙，邀请对于呃应用出海这方面有经验的同学，每个人来做一些内部的我们一个做一个闭门的分享。如果你在AI应用出海这个方面，你做过产品做过运营。
53:27有有这方面的沉淀的可以去报名，我们也会做一些我们的比如说商业啊技术上的分享，或者徐文浩还说他可以分享一些算力啥的。对，那个，那我们就可以讨论一下说AI的应用出海有没有什么机会什么之类的。大家可以进行一个交流，但是必须是有这方面经验和那个能够来分享的人，有一个审核机制，这样子保证一个高质量啊。
53:51所以大家到时候如果你是刚好有应用出海方面的经验的话，到时候我们可以有一个沙龙，我们可以线上和线下一起聚一聚，可以聊一聊。大概这么长一个情况。OK，好。好，那今天就到这里。
54:04欢迎大家转发关注，拜拜，拜拜，拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。