参与的节目
共 1 期
- 一个人也能独自开发大模型？对谈开源大模型 RWKV
任鑫与徐文浩对谈 RWKV 元智能联创罗璇。RWKV 是一套非 Transformer 的开源大模型架构，由彭博主导、三人小团队持续开发三年，训练时并行、推理时线性，复杂度从 N 方降到 N，14B 模型几十张 A100 即可训练，3060 显卡能跑 7B。团队靠 Stability AI 赞助算力与 1.7 万人开源社区做 infra，在匿名双盲榜上居开源可商用首位。罗璇认为 Transformer 不是终局，未来是开放分布式的生态，AI 三要素都还不是最优解。