一个人也能独自开发大模型？对谈开源大模型 RWKV
- 发布
- 2023 年 7 月 28 日
- 时长
- 51 分
- 主播
- 任鑫、徐文浩
- 嘉宾
- 罗璇
- 收听
- 小宇宙（节目主页）Apple Podcasts喜马拉雅
任鑫与徐文浩对谈 RWKV 元智能联创罗璇。RWKV 是一套非 Transformer 的开源大模型架构，由彭博主导、三人小团队持续开发三年，训练时并行、推理时线性，复杂度从 N 方降到 N，14B 模型几十张 A100 即可训练，3060 显卡能跑 7B。团队靠 Stability AI 赞助算力与 1.7 万人开源社区做 infra，在匿名双盲榜上居开源可商用首位。罗璇认为 Transformer 不是终局，未来是开放分布式的生态，AI 三要素都还不是最优解。
- RWKV 架构由彭博一人主导训练，训练时可用并行、推理时退化成 RNN 线性计算，从复杂度上优于 Transformer 的平方级
- 团队全职仅七人，模型训练基本由彭博一人完成，分布式训练、CPU/TPU 加速、LoRA 微调等工程由开源社区贡献
- 算力由 Stability AI 赞助，拥有约一两千张 A100 使用权；14B 模型只需几十张卡，3060 的 8G 显存即可跑 7B 并微调
- 在 UC Berkeley Arena 匿名双盲榜与国内 SuperGLUE 榜上，RWKV 居开源可商用第一位；同参数、同数据量、不做微调时效果略优于同类模型
- 罗璇把 Transformer 比作燃油车、RWKV 比作电车，认为矩阵乘矢量的特性更适合未来 ASIC 专用芯片和端侧设备
- 策略是基底模型永久开源（Apache 2.0 可商用），另成立商业公司做商业化，目标是成为 AI 领域的 Linux 加安卓
- 适合的合作方是硬件厂商与 to C 产品开发者，手机、音箱、XR、机器人公司都在接触；to B 侧的优势是自主可控、本地部署和 state 的可解释性
- 罗璇认为算法、算力、数据三个要素目前都不是最优解，一切刚刚开始，不该因为 Llama 泄露就认为自己具备自主研发能力
目录
点击跳到对应位置
- 开场：把高中同学罗璇抓来问 RWKV00:00
- 罗璇的履历：腾讯、猎豹、阿里到机器人创业02:23
- RWKV 是什么：把 Transformer 的平方复杂度降成线性03:14
- Stability AI 为什么赞助一两千张 A10006:12
- 如果多快好省，为什么大家还在用 Transformer08:00
- 七个人怎么做出大模型：开源社区补工程10:08
- 算力账本：14B 模型只要几十张卡12:58
- 怎么跟不断升级的 GPT-4 竞争：燃油车与电车13:29
- 效果验证：匿名双盲榜与控制变量对比14:41
- 商业模式与开源理想：做 AI 的 Linux 和安卓16:38
- 徐文浩追问：经验科学下凭什么相信新架构19:06
- 生态差距：Hugging Face、GGML、DeepSpeed 与端侧部署23:18
- 拼钱拼不赢 OpenAI 怎么办：终局架构与 ASIC25:04
- 数据与清洗：靠社区还是商业公司29:27
- 克里斯滕森式低端颠覆：从终端市场切入30:42
- 什么样的公司该用 RWKV，怎么联系32:22
- RWKV 名字的由来：QKV 里的 Q 换成 RW34:34
- 举小黄旗的心态：如何坚信非共识36:03
- 落地成本：一台机器狗要接大模型怎么搞38:19
- 有没有同类新架构竞对与开发者生态40:44
文稿
共 721 句 · 点段首时间或句子从该处收听，双下划线是重点词条，其他词条悬停可见
00:10这个架构实际上是真正被验证了，能够降低算力的复杂度，同时能够保证非常好的一个效率的。
00:30这就是一个需要打破大家固有认知的点，并不需要那么多人，也不需要那么多钱。大家被Transformer封锁住了进入门槛。
00:41我要挑战整个Transformer大结构。我觉得中国需要更多的这种很酷的公司。大家好，欢迎大家来到AI炼金术的新一期。之所以不讲是第几期，是因为我自己也不知道。
00:58然后今天的话呢，我跟徐文浩请来了罗璇同学。他是RWKV的联合创始人啊，就是这个名字真的好难念啊。然后他也是我高中的同班同学啊，非常神奇的，就是我们都是那个湖南雅礼省理科实验班的。然后我是那个班的学渣，第一次进去就考倒数第二名，然后发现同学们都是脑子超好的天才，然后后来我就放弃学业了，
01:23大概是这么一个情况。然后最近呢，发现说，哎，他天天在发什么RWKV，本来我还没有特别上心，就是还是很很势利的。但是后来我自己看那个国外的各种榜单的时候，老看到这个名字，然后就觉得，啊？啊？他做的东西这么牛啊？
01:39然后又看到这个榜单，然后还排得很高。我我看到有些榜单，你们甚至于排在了那个智谱的那个ChatGLM上面，是吧？因为之前徐文浩老跟我说那个还不错，然后我就发现说你们的排名更高，然后就顿时动了好奇心，就想说去问问说，哎，你们到底是咋做出来的？
01:56因为好像人也很少嘛。那反正要问的话，不如干脆就可以水一期播客，是吧？公开地问，这不就就一期的内容就凑齐了嘛。我们天天我跟徐文浩在想说我们下一期要聊啥，所以呢，我们就把罗璇同学给那个抓过来了，我们就可以抓着他问问题。好。
02:12欢迎欢迎欢迎欢迎。
02:13谢谢两位老师，谢谢。我跟任鑫好久没见了。
02:16就是前面的话，你要不要讲一讲，说你是那个前面在干嘛？为什么现在来跑来做大模型了，怎么开始搞这事儿的？
02:23呃，是这样的，我我我是西安交大毕业的，西安交大软件工程。然后毕业以后就基本上在互联网行业吧。然后先是先是在一家金融公司做研发转产品，后来去了腾讯，腾讯待了三年，去了做，去猎豹移动。然后做工具，包括海外。
02:40一六年开始all in在了AI这个领域。阿里先是在阿里机器人，后来去了AI Lab。是是产品总监。一八年出来创业，做了一家公司，做AI机器人，叫Syrius炬星，也是红杉、真格、字节投的，我们刚close完C轮。我是最近刚从这家创业机器人公司出来。
03:02现在还是股东，all in在了大模型这个项目，就是跟彭博就小伙伴吧，那个那个小伙伴一起创业做大模型。我们现在总共七个人，全职的就七个人。
03:14然后我看你做的大模型跟别人不太一样嘛，就别人都是那个Transformer嘛，你们是这个很难念的RWKV。然后我把这个RWKV你们的那个论文，就是彭博那篇论文丢给，因为我看不懂嘛，我就丢给Claude问了一遍，然后丢给ChatGPT的那个Code Interpreter问了一遍，说到底是个啥。
03:34然后我大致上的感觉就是像拼多多版的ChatGPT，就就感觉多快好省。就是感觉你们说什么把复杂度从什么N方降成了N啊，什么空间复杂度也从N方降成了N啊，就感觉是多快好省。但一般多快好省就没好货嘛。然后你们的解释呢，我的理解就是那个其实它效率很好。
03:54因为它是什么定向遗忘啊什么的，然后各个排名又很高，就说明它也不是不并没有说是九块九包邮就不是好东西嘛。所以的话，那你你们这个东西这是怎么做到的呢？就是怎么可能说你搞一个莫名其妙的一个，就是好像独立一个模型，好像然后说又多又快又好又省，然后排名那么高，
04:13这这这排名是怎么那么高的呀？呃，
04:14是这样的，我我我解释一下。首先第一个，这个这个模型其实三年前就开始做了，可能跟国内呃很多做大模型的公司不太一样，我们是在ChatGPT出来之前两年就已经在做这个模型了。这个模型就是彭博一个人做出来的，呃这也是一个很很神奇的一个事情。
04:31对。打破了这个过去大家一直说的大模型必须是大公司，必须要砸一万块A100，呃才能才能上牌桌，对吧？其实我们就直接打破了这个所谓的神话。但这个模型本身是一个非常有意思的一个架构。首先第一个，Transformer这个架构，我们认为它不是一个最优架构。
04:51因为我们都学计算机的嘛，知道评判一个算法的核心就在于它的计算效率，那个时间复杂度、空间复杂度。而Transformer现在都是T的平方，明显不是一个好的一个一个算法。在第一性原理的角度来说，它就不是一个最优的。但就意味着未来肯定会有最优的。
05:08Sam Altman也最近呃一两个月也反复地在说，他不认为Transformer是一个最好的一个架构，他也在找新的架构。其实国外已经有研究了四五年，也在研究怎么样去把Transformer整个算力复杂度降下来。提升它的这个这个计算效率。
05:24应该来说RWKV，我们就要把念它叫软库啊。RWKV这个架构实际上是呃真正的呃被验证了，就是说能够降低算力复杂度，同时能够保证非常好的一个效率的。海外其实知名度会更高一些，包括Stability AI其实也一直在资助我们那个算力。
05:44我们的我们的，我们其实还没有融资。但是算力是一直是Stability AI，还有一些开源社区资助的。我们可以用一两千张
05:53A100的卡。我们有一两千张A100，然后算力是不要钱的。
05:57不是有，而是有它的使用权。
06:00你们可以用一两千张A100，但是不要钱。
06:03对对对。因为我们是开源的。
06:06这种好事是如何发生的？因为
06:08Stability AI就是在全球在赞助这些开源的项目。
06:12我先还问一下，我比较世俗，我先问一下钱的问题，就是你那个Stability为什么要给你一两千张A100用啊？就是现在其实国内能够拿得出一两千张的公司也不多，作为初创公司根本拿不到这个项目。
07:08哦，那很好。
07:09这是这是这个架构其实本质上最大的一个优势。为什么Stability AI要赞助？这是个很好的问题。其实Stability AI一开始就在赞助，他也不知道哪些项目能够跑出来。他也赞助了很多开源的项目，从很少的算力开始赞助起，谁跑出来他就可能给更多的算力，大概是这样的。
07:30这个，因为Stability前一段时间有一些丑闻嘛，就是就是我我脑子里面对于它来讲还是一个没有那么正面的形象，但是听你这么一说，感觉好好光辉伟大，它真的在赞助开源社区。
07:43实际上，呃，有很多的，比如说AI，包括海外很多的开源社区，都是它在赞助算力。
07:49了解了。诶，然后你说你们的那个东西的话，它其实就就比如说训练的时候用并行，然后那个就推理的时候又特别省，省钱又快嘛。那我的疑惑，因为我一直是做那个商业产品，我的疑惑就是怎么会有这么好的事情？因为如果真的多快好省都占齐了的话，然后你们又是开源的，我的理解现在就应该有一百个团队在抄你们。
08:13然后或者说不叫抄吧，就是开源，他们可以大家都走这条路嘛。但是现在新新看到的，不管是比如说王小川他们也在做，或者你那个你不是之前在猎豹嘛，可能可能比如说猎豹、傅盛他们也要做个做个小一点的大模型，就要垂直，没有用你们这套框架。
08:28大家好像都还是基于Transformer这些这些东西嘛。就如果你真的多快好省，不是应该大家都都走到这条路上来了吗？它是不是有哪些地方卡住了？
09:10那这样，那Transformer不是好架构的话，但是如果你这个又比又训练起来又省钱，然后又快推理起来，那为什么没有很多的人都在用你这个呢？就如果你这个比他的那个架构要好的话。
09:26呃，是这样的，现在我们开源了基底模型，其实有很多公司在用我们的基底模型去做fine-tune，是有的，有的公司还融到钱了。对。只是没对外公开而已。他没有公开说我用的是RWKV，对，他去做了一个，比如说，包括to B、to C的，其实都有在用的。
09:44而我们其实真正的对外公开也就三个多月时间吧。其实海外已经有很多人在研究我们了，包括OpenAI，包括Google Brain、Meta，他们都在研究我们这个架构。另外一方面就是，如果你要做预训练的话，其实是有一些trick在里面的。
10:01呃，你要去训练一个基底模型的话，可能要需要跟我们一起合作，才能才能练那个练那个那个预训练的模型。
10:08然后那个你这边的话训练这个模型，因为我刚听你讲说那个人也不多嘛，就就做出来这么一个东西的话，至少它在国际上我看到那个各个排名里面，你们都是排得比较前面嘛。然后那几个人是怎么把这件事情搞出来的？还是说其实搞这种事情根本不需要那么多人，其实一两个牛逼的人就搞就搞结束了。
10:30对。对，这就是一个需要打破大家固有认知的点。其实并不需要那么多人，也不需要那么多钱。大家被Transformer封锁住了，呃，进入门槛。本质上是这个意思。
10:44Transformer就意味着你假如要用Transformer架构的话，你就需要大量的算力。当然，本质上也不需要一万张A100，即使是Transformer。大家都做计算机的嘛，也知道，如果你的算法有更好的算法、更优的计算效率，它实际上是不需要那么多算力的。
11:22那关键的人到底是在做什么呢？因为我以为里面会有大量的，就是除了最牛逼的那个科学家需要想出来一些比如说伟大方向以外，中间有大量的工程的事情是需要人去试和调的。那在你看起来其实并不需要那么多工程上的人力投入吗？因为科学我知道肯定不需要。
11:55所以是开源社区在做工程上的一些优化。
12:08那这样，那那你们开源社区有多少人在帮你们一起贡献干活啊？
12:18平时就是你觉得能够算上，比如说算上一个完整人力的，如果换算成比如说公司的人力，那这一万七千人能够换算成多少人的贡献呢？换算成十七个人，还是一百七十个人，还是一千七百个人？
12:58那这样，哎，你刚说那个训练起来其实用不了多少卡，嗯。那我想具体问一下，你们到底要用多少卡呀？就就你是刚说别人给了你们一两千张给你们用嘛，对吧？但是你们实际要用多少卡才能把你们这事儿给做出来，做一个自己的模型？
13:14十四B的话，就一百四十亿的一个模型，几十张卡就可以了。
13:18几十张卡就可以了，不到
13:20一百张吧。
13:20就从从零开始吗？几十张A100。虽然我我问了这么多问题，但是其实我对那个搞得不是特别清楚，待会儿可能徐文浩再来问一些细一点。还有一个担心的地方，就是就是因为我最近在用那个Claude 2，然后觉得效果比Claude 1要好了很多，
13:35然后又用那个GPT-4的那个Code Interpreter，然后觉得也很爽。就感觉他们也在不断地往上升级嘛，就也不是坐在那里嘛，对吧？虽然它你说它底子不好，但是至少我从一个用户来看的话，就是它表现很好，而且越来越好。那那那你们在商业上的话，有没有是怎么想着说，那未来跟它竞争的话，人家也不能光看底子嘛，说你根骨清奇，
13:59对吧？但是可能你的武功没有打得它那么漂亮，这个会不会有问题？就是你们会怎么样来考虑这个竞争的问题？
14:05跟我们竞争的实际上是Transformer这个架构。所以我们把Transformer架构的模型看成是燃油车，其实我们是新能源车、电车。燃油车当然也可以做得很好啊，对吧？但是未来属于新电车，对吧？大家回归到第一性原理的话，一个一个计算效率更高的模型。
14:23当然是未来。
14:24对，那计算效率，因为效率这个词的话，它它有一个误解嘛。比如说你你打一亩地粮食要一年，我打要十年，你的效率比我高嘛。但是如果我那个十年打出来的那个粮食是黄金的，就就其实就未必了嘛。所以你那个效果怎么样？
15:24那些榜是怎么排出来的？
16:13嗯。那这样，所以，呃，你刚说的开源GPT是你们拿GPT-2去对比的吧？
16:20要Llama啊，再见。我觉得有公司有这么大的愿景，是一件很很酷的事情。
16:35我也我也听说过这个，听说。对。然后那个，那你们未来规划什么样呢？因为它如果是个开源项目的话，你们怎么赚钱呢？
17:14Linux那边是谁最后赚到了钱？红帽什么的。
17:17Linux没有赚到钱。Linux是养活了过去几十年的所有的开发者，它是最底层的东西。对，呃，大家所有的OS都是几乎都是基于Linux的。
17:28对。但感觉你刚刚这个比方里面的话，如果你把自己比喻成Linux的话，其实Linux没有赚到钱。
17:35但是我们会成立商业公司来赚钱。
17:37安卓的话，安卓其实是要背靠在那个谷歌那边，在在相当于在其他地方赚钱嘛，羊毛出在猪身上那一套赚钱嘛。
19:05啊，没有没有。我我我其实我有几个比较好奇啊，因为第一个是说，因为不管是Transformer，还是说现在的这些大语言模型的这个架构，我觉得我的感觉是是个经验科学嘛。就是Transformer效果为什么好？大家是没有一个理论推导说，呃，经过这个我们的理论推导说，所以它一定有效，对吧？
19:24都是凭一些我们叫做这个直觉，然后啊跑出来的数据的效果好嘛。但如果说大家在经验上选了Transformer，就是你，呃，为什么会说我们不是说效率上，就时间复杂度跟空间复杂度我能理解它的更更快嘛。但是就肯定是你的第一目标是把效果做好嘛。
19:43就是为什么在大家在效果上，从经验上，其实大家都选择Transformer，你们会相信RWKV这个架构会更好嘞？
19:49这样的，这个世界本身是RNN的，这个世界不会越运转越慢嘛，对吧？这个人也是RNN的嘛，人也不会说我每说一句话都会去把所有的内容都都遍历一遍，对吧？也不会越说越慢。呃，Transformer是不符合自然界规律的。呃，Transformer实际上是人脑的一种一种慢思考。
20:09对。然后还有另外一种叫快思考，这两种思考才组成了整个完整的人脑。然后其实我们认为，呃，未来也不单单会是，会仅仅是RNN，也也肯定会有attention机制。其实我们的架构也不是单纯的RNN，其实是兼容了RNN和attention。
20:30所以我刚刚也说了嘛，我们训练可以用并行，然后推理用用用线性。回到科学一点，其实就是算法的复杂度，对吧？算法复杂度就证明了它的效率。然后说效果的话呢，其实现在就是后验，无论是那个黑盒测试还是控制变量，我们其实都是GPT level的了。
20:50啊，对对。但效率这个事情我觉得其实比较难说服吧，因为我可以选一个更简单的架构，比如我选一个linear的架构，肯定是会比这个时间复杂度更低嘛，对不对？但它肯定效果，就是说因为我理解说，呃，GPT大家觉得是大力出奇迹的前提是因为它效果好，其实不是说因为它效率高嘛。
21:09GPT的效果是在于它闭源以后效果好。
21:12OK，OK。没有
21:14闭源前大家也不认为它效果好。后来现在暴露出来，其实大家是用的MOE。
21:19啊，对对对。最新的4是MOE嘛，但但是我们就只比3.5好了，至少大家现在认为3.5或者说3之后，呃，fine-tune跟RLHF之后，我们假设是3之后的那些，呃，RLHF的版本还是没有MOE的，它其实效果还是比现在的开源模型还是要好嘛。
21:384的确大家现在基本上判定是MOE了。是的。但是3.5其实还是会从效果上来说好，因为我理解GPT最大的价值其实不是效率嘛，对吧？效率肯定不是一个非常省钱的或者非常高效的，它的价值还是在那个效果嘛。因为我知道现在很多公司都在打榜，对吧？
21:55但是分数呢看着都不错，但其实如果说我们只是做一些这种简单的问答这种场景，其实都挺好的。但是当我因为我自己会经常试一些模型嘛，特别是我因为是个工程师，很多时候让他来写代码或者怎么样。但是一旦到要去写代码，对吧？或者说一些对复杂推理能力的要求，比如说最近大家流行讲那个Autonomous Agent，对不对？
22:16就自主智能体这种，需要有这种逻辑推理说，哎。你想一想我干嘛提取参数，操纵工具一步一步去做。一旦到这样的场景下，就是说很多打榜上看上去还行的模型立刻就不行了，就这写代码啊，或者说是这种呃复杂推理的情况下。就我我比较好奇，就是说RWKV有尝试专门测这样的场景吗？
22:38就是或者说这样专门做这样的场景对比吗？
22:41呃，我们最近有一个非常小的模型，它就呃可以针对加减法的复杂运算做得很好。
22:48OK。
23:18第二个我会比较好奇，就是他聊到社区嘛，就是说因为现在其实Transformer是有一堆的围绕它周围的社区，都不都是OpenAI的嘛。比方说你说现在大家用的库都是Hugging Face的Transformers，对吧？部署比如说用的是什么Text Generation Inference，就是Hugging Face它其实为了维护这个生态，
23:35提供了一堆。然后可能比如说分布式训练，因为呃之前都是Transformers，所以分布式训练上就就会有这种DeepSpeed呀、Megatron啊这种，呃微软或者Facebook主要投入了比较大的资源做Transformers的分布式训练。
23:50然后比方说说边缘计算，对吧，就是因为Llama火了，所以就有GGML这样的公司去做端上或者说CPU上的这种计算。就是说其实就现在看来，整个Transformers的生态其实是非常完善的，就是什么犄角旮旯的项目，你从部署啊到端上啊到分布式啊，其实呃就我比较好奇，就是RWKV现在生态上。
24:10如果说要进入RWKV生态，这些上面有有好的选择吗？就是还是说这个生态还是在一个建设过程中？
24:16我们实际上有很多开源帮我们在做这些事情，开源的社区的开发者，呃。国外的很知名的开发者在帮我们做。包括做了那个CPU加速的那个RWKV.cpp，他们也是做了llama.cpp，他们也给我们做了RWKV。
24:33理解理解，就GGML其实也帮你们做了。
25:04第二个是说因为最近反正GPT-4，反正算是泄露了吧。或者有人说我收集了很多情报，公布了很多跟模型的参数啊、架构啊，包括就是预计的数据量跟资金嘛。那其实从这个角度来讲，就是说我们如果看了一下那个报告，就是这个资金量其实需要需求是非常非常高的，
25:23对吧？说如果用A100训一个GPT-4，说训练成本大概是呃六千万美金以上吧。这个钱就是即使是你们有这个，如果我们完全从资金规模的角度考虑，就是即使是你们有Stability去赞助，但Stability它其实融资也就是几亿美金这个规模嘛。
25:41就是如果说完全拼钱。你觉得就是说跟就是比如说OpenAI，我就是砸钱一定要打赢这一场，你你们觉得会会担心说就是因为我的确就没有那么多钱，所以我就赢不了
25:50了？我觉得这个事情就跟当年的Windows是类似的。现在是有一家公司控制了软件，有一家公司控制了硬件。然后软件的公司叫OpenAI，硬件的公司叫英伟达。但这两者用的都不是最优解，一个是用的Transformer，一个是用的呃GPU。
26:05GPU也不是个最优解，最优解应该是呃ASIC的专用芯片。
26:10ASIC的专用芯片的前提是你的架构有一个稳定的最佳架构嘛。
26:22我我比较好奇的是这个信心是哪里来的，因为核心的原因是因为至少目前所有的deep learning的架构都是经验架构，对吧？都是说我们从经验中摸索出，哎。这样既可以并行，然后效果也还不错。就可以并行当然是理论上能够做到的，效果不错本质上是我们凭经验觉得大概是这样，因为不管是我们对于人脑，
26:42对于智能这个东西的抽象定义其实都没有出来。如果说是呃就是就专用芯片ASIC这种芯片的话，其实比较难确定说这是不是最佳架构，因为它不像是说我们以前的那种科学，对吧？说物理啊，说我公式推导，然后做实验验证了，对吧？就现在更多的是，我拿个数据集测一下，然后人感觉一下说，哎，这个东西效果不错。
27:03所以所以我会比较好奇说，你们会觉得说你们还会对架构做大改吗？还是说你们觉得说，哎，我们已经瞄准了这个方向，反正就是这个架构了。
27:12我觉得这个架构往下延伸还有空间，对。但是说我们肯定会比Transformer已经类似的，那个在一个level的情况下，我们的计算资源会比较更好嘛。所以所以我们是特别适合未来是在ASIC芯片上去跑的。因为我们是矩阵乘矢量。
27:30节约计算资源。
27:31对。现在的Transformer的模型其实不太适合在终端上跑。第一，它的算力肯定要求更高，高很多。另外一方面，它的显存占用是T的平方在涨的。啊，
27:43但是T平方这个事情，因为其实Transformer架构下，大家也已经做了很多优化嘛，不管像什么Reformer呀，什么FlashAttention呀。
27:51你那个是靠硬件优化去做的吗？呃，
27:54不完全是硬件优化，就是软，就是在CUDA上的一些实现上的优化嘛，对吧？就是大家其实做了一些优化，包括像Reformer这种，它其实相当于算法近似优化嘛，来减少我需要的计算量嘛。我理解说这个不完全是说，当然，当然你是在算法上本身这个层面就呃低了一个数量级吧，那个因为可能是说，
28:16哎，我用了一个近似算法，就牺牲了一定的质量，对吧？而且它也做不到N，它可能是说，呃，这个一个N log N，maybe是这样一个一个复杂度，对吧？就是最后如果到效果的话，因为会为什么刚才问那个商业公司的问题啊，就是说因为其实虽然OpenAI没有开源，
28:33对吧？但是就是decoder only或者Transformer这样的架构做大模型训练，对于巨头们来讲，其实工程上已经不难了嘛。对于创业公司或者甚至融了很多的钱的创业公司，你融了几亿美金的创业公司，这还很难。但对于真正的巨头，什么腾讯啊、字节啊、微软啊这种，一年利润几百亿几千亿美金的公司来讲，其实它要做基于Transformer做一个训练，
28:57其实并不难。但是很多挑战是在数据上的嘛，对吧？就是到底用了什么数据，怎么清理的数据，这个事情其实即使OpenAI把你的代码开源出来，可能大家也没有那么快能够解决。然后但这个呢又是特别耗人力的。就是可能搞算法，甚至搞infrastructure的时候就十个人二十个人。
29:16但是可能洗数据的人，对吧，就是内部可能有五十个人，外部可能有五百个人的外包团队。我会比较好奇，就是你们因为团队很小嘛，就是你们在这个事情上未来觉得你们会怎么做呢？就是说是靠商业公司来做，还是靠社区来做，还是靠什么来做？
29:31开源的部分肯定是更多的依靠呃开源社区来做。对。商业公司的话会有自己的资源，我们会单独融资。呃，
30:17所以如果有一天OpenAI想要买你们，如果他们还是close，你们不会卖，是吧？
30:21那说不定open的话，说不定可以合作嘛。
30:24那如果他close的话，其实他卖一个很高的价格，你们也不一定会卖，是吧？
30:28我们可以把商业公司看看有没有，我们生态上面有些商业公司，看看能不能合作，对吧？但是我们开源这块肯定会持续开源的。
30:42因为我最近不是在重看克里斯滕森那几本书嘛，然后我觉得他这个还蛮符合克里斯滕森定义的那种颠覆性的公司的。因为克里斯滕森认为颠覆性的公司就应该开始的时候就不靠谱一点，然后就应该便宜、就快，性能参数就应该比主流市场的差。但是呢你应该打到了一个特别的市场，比如说他刚刚说终端，终端上确实跑跑Transformer，
31:06比如说最近几年都不一定跑得起来。那如果它跑起来了，然后大家都在进步，哪怕比如说OpenAI比如说变成了超超级人类，然后我们比如说在手机上运行，变成了一个高中生水平，说不定也够。但是那个超级人类可能它进不了手机，然后你在一个细分市场再涨起来。
31:26所以从那个克里斯滕森那套结构上来看的话，这确实是一个低端颠覆的一个模型的存在，存在这么一个一个可能性。只要它的那个曲线的斜率大于上面那个斜率就好了。就刚刚螺旋一直在讲延长线嘛，如果你的那个曲线、那个你的性能增长的那个斜率比比它的要好。
31:46那就还是有可能的。
31:48基于Transformer的模型很难再scale up了，否则它也不会做MoE，对吧？
32:42是这样的，我们特别希望现在有做硬件和做C端产品的中小开发者、中小企业来用我们的模型。
32:53有一些做，呃，手机、音箱、XR、机器人的公司，呃，都在跟我们在聊，看怎么样落地到它的场景里面。因为市面上能够，呃，很好的跑的不多，几乎唯一选择吧。
33:09我们插一个广告时间的话，就是你希望什么公司来联系你，怎么联系你？假设说是适合你的公司，是什么公司，怎么来联系你？
33:19我觉得大家如果想用，呃，模型，然后给那个硬件提供那个大模型的能力，以及，呃，C端的客户，做最终的to C的产品的，我希望更多的客户来找我们。然后to B的其实我们也能够做得很好。to B当然我们我们第一个是自主可控，对吧？
33:39大家都喜欢提的。然后第二个我们可以在本地化部署。然后第三个就是我们的模型架构里面有一个很有意思的state，这个state其实是可以有有比较强的可解释性的，啊，这也是to B的公司非常喜欢的一个东西。to B我们也是有优势的，但是我们觉得to C的量可能会更大一些。
33:59可能对这个世界的影响会更多一些。其实我们的目标很简单啊，我们现阶段目标就是，嗯，希望大家抛弃掉Transformer来用我们的架构。
34:08有同学问说怎么找到你，你刚刚讲了这么半天，也不知道怎么找你。
34:18凡事亲力亲为，是吧？
34:20我们人比较少啊，对对对。
34:25他只负责练模型，别的事情都是交给其他人。
34:34RWKV其实是QKV，把那个Q改成了RW，诶，RW其实是两个参数。对。所以这样就可能大家更容易理解一点。
34:44QKV是Attention Model的三个矩阵嘛。突然
34:47想起来，我上李宏毅的课上学过这个，然后忘了，完全忘了。
34:51哎。那我我比较好奇，因为你们觉得是架构改嘛，那架构改就是说因为Transformer这个架构其实因为成了标准，就变成了Hugging Face把它做成了个库嘛，对吧？我记我记得我前一阵看到你们也在那个Hugging Face那个Transformers也有支持，
35:06但我我不记得是不是在你的朋友圈看到说你们又把它独立出来，做了一个codebase还是怎么样。如果是架构层面的一个变更，你们是觉得说你们会需要一个比方说自己变成一个Hugging Face这样的公司吗？还是说你们觉得，呃，Hugging Face需要专门给你们开一个，呃，这个RWKV库的一个库，
35:25然后各种基于RWKV架构的模型都可以在上面跑，可能现在是文本嘛，对吧？未来可能是视觉或者是音频，都都用RWKV库来跑。
36:03我好奇问你一个问题哦，就是就像你们这样子，其实是市场上已经有一个巨头，你们相当于在完全开另外一条路。从商业史上的理解的话，就是往往都是开另外一条路的人会赢，但是一百条开新路的人就会有一个人赢嘛，对吧？因为你要做的是改变世界的事情，成功率也不会太高。
36:21但是当整个世界其他的团队都是比如说都是举着绿旗子的时候，你一个人举着小黄旗，然后这个时候你你们是怎么保持团队觉得说，哎，我们就是对的，那一百个人都走错了。这个这个心态上你们是如何坚定下来的呢？就好像OpenAI他们当时其实他们说AGI的时候，也就是他们一家举着小黄旗嘛，其他人都说神经病嘛，
36:43然后其他人都做做什么BERT啊什么什么。这个心态，因为这是当下时嘛，OpenAI现在就开始回顾他们当时可能就有很多很多反光镜里面看讲故事了。那你现在你们你们团队是怎么建立这个共识的？或者
36:57你们怎么坚信这个非共识呢？
37:49呃，Llama是开源不可商用的。
37:56我们是开源可商用，所以跟Llama还不太一样。我们ChatGLM也是开源不可商用，我记得它商用的话，你要付费给它。
38:06那我用王小川那个，他那个可商用，是是跟他们类似的用法吗？
38:10对对对对对，王小川应该可以。
38:16因为我们看协议嘛，我们是阿帕奇2.0的。
39:10那我假设我只有一个三万块的程序员，然后一个月的时间三十万人民币，有可能用你这个东西吗？
40:02嗯，我们我们会有很多的集成商，嗯，对。有集成商，也有那个自己的个人开发者，其实有很多这个在这个生态上去赚钱的。因为你自己用它就可以直接去包装成产品去赚钱。
40:14有同学问说能介绍一下你们的开发者生态吗？
41:38所以其实暂时来讲，就是说你们没有看到一个就是跟你们接近的一个竞对，对吧？
41:46对对。接近的竞对，撇除
41:47主流最主流的transformer架构之外，对吧？
41:50没错没错没错。所以希望大家都来一起开源社区看，一方面贡献给开源社区做贡献，另一方面用开源社区的东西去赚钱。后续的话，我们会在我们会在国内会组织一些，呃，RWKV的一些hackathon，就专项的hackathon，如果大家感兴趣的话，也来也可以来参加。
42:09我们也会对接一些资源，包括云服务的算力，对，资本方的，我们都可以，我们都可以基于我们这个hackathon去对接。有人在问RWKV可以在非英伟达的硬件上跑吗？我们可以啊，我们可以在AMD上跑，可以在英特尔上跑，可以在天数、摩尔线程，现在都都可以在上面去做，
42:27呃，训练。推理的话，其实所有的卡都可以跑，因为我们最终CPU就可以跑推理。所以所以其实我们对硬件的适配性是是非常强的。消费端的这种显卡，3060的8个G的显存，就可以跑一个7B的模型，而且还可以在上面做微调。我
42:45记得还有一个跟，呃，RWKV没干，因为我看你一直在办hackathon嘛，这个事情是跟RWKV是强绑定的吗？还是说你自己个人的兴趣，对对？
42:54没有没有强绑定的，是我是我去年去年底的时候建了一个transformer的社群。基本上国内的很多的创业者，包括一些大厂的科学家，包括一些科研机构的科学家都在群里面。然后基于这个社群，我们搞了一些闭门会，发现闭门会没什么用，停留在交流，所以还是要搞hackathon，
43:13对吧？就跟以前互联网一样的，要把东西做出来。所以我们组织了第，现在是第十一场，我们有一百多个项目吧，在这上面有十个项目已经拿到，呃，总资本和天使轮的投资了。然后接下来，呃，也会基于RWKV去做专项的hackathon，大家来参赛的前提就是要用RWKV。
43:33挺好的。其实在湾区其实很多hackathon是这样的，某一个某一个大模型赞助的，就是你就必须要基于这个命题，你去给它开发应用，或者是开发infra。其实我我也我也看到很多很有意思的一些一些项目吧。我们我们我们上一季其实出了很多做硬件的项目。
43:50硬件加大模型的项目，这个可能也跟在深圳有关系啊，深圳是一个，呃，硬件生态非常好的一个一个一个地方。未来也说不定有Web3的项目，对，国内只有香港能做Web3嘛。其实香港那边也在邀请我要不要过去搞大模型加Web3的hackathon。
44:07我们也在考虑这个事情。
44:08Web3搞个hackathon是很常见的一件事情啊，大家都是各自赞助。你你说好玩的项目，就跟那刚好再再聊两句，就是有没有什么觉得，哎，特别稀奇古怪的，然后特别耳目一新的项目啊？因为我现在脑子都已经僵掉了，看太多，就已经觉得就这么点，这么点东西了。
44:31啊。啊，你们是从哪哪个hackathon里面出来的？
45:08但有意思在哪里啊？因为我用过那些text to video，现在都还好糙啊。
45:27现在效果已经达到了吗？
45:29对对对对，现在的效果已经可以发抖音了。对。叫
45:33什么名字啊？我待会儿过去看看。
45:53一个绘本，这为什么要硬件呢？这这不就对着手机，然后我给你寄一本绘本过来。
46:20所以你们这边相当于来初赛一下，然后再去到那那边再去打另外一个比赛。
46:48对。那你们hackathon的要给要这些场地啊，什么都要钱的嘛，你们钱是哪来的？
49:02就是就大家看可能觉得这事儿已经差不多定了，从你这里看，就这件事儿才刚刚开始。
49:08对对对，一切都刚刚开始。我觉得AI可能会超出大家想象，现在真的是刚刚开始。
49:33谢谢大家。
49:34好，谢谢各位，谢谢各位。下次再约。
49:36好，谢谢，拜拜。
49:38拜拜拜拜，拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念，按出现顺序。
本期还提到
常见名词，文稿里悬停可见，右侧数字是本期提到的次数。
- Transformer35
- OpenAI19
- GPT16
- fine-tune10
- 彭博9
- Hugging Face9
- Llama8
- RNN6
- Stability AI5
- 罗璇3
- GLM3
- ChatGPT3
- Discord3
- 克里斯坦森3
- Web33
- 猎豹移动2
- Claude2
- Code Interpreter2
- 预训练2
- LMSYS Chatbot Arena2
- RLHF2
- DeepSpeed2
- 微软2
- GGML2
- CUDA2
- 英伟达2
- Runway2
- 抖音2
- 侯昊文2
- 智谱1
- 阿里巴巴1
- 红杉资本1
- 拼多多1
- Sam Altman1
- 傅盛1
- Google Brain1
- Meta1
- TPU1
- SuperCLUE1
- 李沐1
- Red Hat1
- Ubuntu1
- 斯坦福大学1
- Ilya Sutskever1
- FlashAttention1
- MoE1
- 传音1
- BERT1
- OpenLlama1
- GitHub1
- LoRA1
- 卷积神经网络1
- 摩尔线程1
- 天数智芯1
- AMD1
- AWS1
- 小红书1