AI炼金术徐文浩 × 任鑫 Mars · 聊 AI 如何真实地改变生意和组织

打脸还是神预测?看看去年都被我猜中了啥

AI炼金术节目封面
发布
2024 年 2 月 17 日
时长
1 小时 34 分
主播
徐文浩、任鑫
收听
小宇宙(节目主页)Apple Podcasts喜马拉雅

徐文浩与任鑫回顾一年前对 AI 的预测:当初判断「套壳没价值」被打脸,Monica、沉浸式翻译、Perplexity、Arc 这类从简单封装起步的产品,靠持续迭代做成了有壁垒的产品;「六到九个月追上 GPT-3.5」的预测则基本命中。两人还讨论了垂直大模型与微调的价值、AI 会缩小还是扩大公司边界、生产力赛道该不该碰,并对 2024 年做出新预测:全球会有约十个团队达到 GPT-4 水平、出现更大体量的 AI 应用、中国团队出海与卷大模型都有机会。

  • 套壳产品的价值被低估:Monica、沉浸式翻译、Perplexity、Arc 都是从简单封装起步,靠持续迭代长成有壁垒的产品
  • 六到九个月追上 GPT-3.5 的预测基本准确,说明大模型技术扩散快、没有代差级别的秘密
  • 反直觉的是 Google 追 GPT-4 的速度慢于预期,供应链、团队磨合和历史包袱都是成本
  • 垂直大模型应改叫「垂直场景的微调模型」:从零预训练不值得,但用特定场景数据做 alignment 和微调仍有价值
  • 微调成本远低于想象,70B 模型用三台 A100 训两三天,大概一两万块钱
  • 判断一个场景是宽还是窄,要看该场景的数据分布与基座模型训练数据的相似度和占比
  • 任鑫坚持远离生产力赛道:把人类当工具不划算,且主战场巨头已经 all in
  • 关于 AI 让公司变大还是变小:有个观点认为管理边界会因 AI 变得无限,组织反而可以更大

文稿

共 1247 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见

徐文浩

00:05实际上从产品侧我看到,当简单的套壳吸引了用户逐步延伸之后,它现在就是一个有价值、有壁垒的产品。你如果只看它第一天的产品形态,你也很容易觉得这不就套个壳嘛。但如果你看它今天的产品形态,它并不是说我收割了一波流量,然后我完全做了一个完全不一样的产品,

00:23而是它在原来那个产品上不断迭代起来的。我是说从这个视角的判断上,我觉得是说套壳仍然有价值。

任鑫

00:33所有的之前存在人类的知识服务的领域可能都可以重做,因为原来的人类知识服务会把客单价拉到比如说时薪至少是两百人民币嘛。假如说你可以把它打到比如说五毛钱人民币,至少是以前是被这个价格卡在那里了,那现在可能可以扩大一千倍。所以无数的细分市场现在我看到确实正在炸出来。

徐文浩

00:57觉得OpenAI的优势是在于先发,在于人才上有一定的优势,但是并没有太多的说,我知道了一个保密的一个trick,能够守住这个优势特别长长时间,别人没法知道。这目前来讲不存在代差级别的秘密。那其实就是比谁聪明,谁迭代快,谁的这个数量多,可能瓶颈真的最后会变成在卡上。

任鑫

01:24呃,我们这个非常不定时,不规律,然后不不勤勉的更新,终于又到了新的一期。哎,不知道上一期什么时候了。Hello,hello.你是说这一期我们就聊回顾这一年吗?还是聊啥?

徐文浩

01:36对对对,我之前说我们可以聊一聊说,因为其实去年年初大家对这个东西都有很多预测嘛,我们也有一些预测,对吧?然后我相信外部也有各种各样的预测,其实大家过去一年前对于这个AI的这个预测或者观点其实差别还是千差万别的嘛。今年下来我觉得是说其实跑了一年,有些事情其实是我们可以来回顾一下,对吧?

02:01就看我们当时预测对不对,对吧?然后也可以对新的一年做点新的预测,因为我也是有有一些感触嘛,因为最近也跟一些朋友聊了一下,包括在一些产品方向上,其实看了那个一些东西之后,我觉得说我们当时想做的一些事情或者看好不看好的一些项目,今天重新复盘来看,

02:22也也是错的。那么那么那么其实这个事情就会比较有价值。

任鑫

02:26OK,那挺好的呀。对,我最近也是聊了比较多的人,然后,对,但是我我脑子里面现在还是一团浆糊,就是属于没有说什么已经复盘说我之前哪里对哪里错的阶段,所以今天那就你你多说点啦。啊,没有

徐文浩

02:43没有问题,对对对。因为因为我也是,因为我觉得有些预测肯定,包括有些项目的观点,我们一年前肯定都聊过,只是你可能已经忘记了对吧。或者你可能没有想起来说这个事情,因为我最近在下下海干活对吧?然后就在看自己在尝试做各种项目的时候,我觉得是说也会有一些反思嘛,你就会觉得说,有些事情你当时觉得不应该做,

03:04或者觉得这个项目就这一类型的产品或者项目价值不高,但是现在如果回过头来看的话,结论可能不太一样。

任鑫

03:14比如说你当时觉得不应该做套壳是吧,后来觉得其实套壳攒攒数据挺好的。对

徐文浩

03:20对对对,我而且我觉得这个观点一直在变哈,就是说从套壳这个逻辑开始,我觉得我当初最早认为不应该套壳,后来中间有一段时间诶。发现做套壳的这些人不管他干了什么对吧。他至少收到了一波数据,对吧?然后这个数据可能对于你去做一个自己的场景或者调一个效果好一点的模型是有价值的。

03:41再后来其实我又观察到一个现象,我就觉得说现在其实很多累积了很多用户的产品,数据也还不错,也拿了融资,关键是说它做套壳其实也解决了普通用户跟这一个GPT-4这样一个纯粹的聊天窗口之间的这样一个gap。它变成了一个有场景、有用户、有实用价值的产品,而且后面的想象空间其实是很大的。

04:07所以从这个视角来讲,我觉得说就是而你也很难在第一天就下一个很大的投入。就能想到说我第一天推出的产品就是它今天这个形态甚至半年以后的形态。我我们我举几个例子吧,我觉得还是举几个例子,就是说就最简粗浅的套壳的确没有看到太大的价值啊。

04:25就是说你套壳只是为了解决呃中国用户访问不了GPT-4这个事情,就是我做了个跟GPT-4一样的界面这件事情,除了纯粹的你是说为了赚一波快钱当时我觉得可能是有价值的。大部分这样的产品的确也就消失了。但是我觉得当时其实我们看了几类套壳的产品。

04:44第一类是一些浏览器插件,我觉得这个是比较典型的一些产品。包括当时有人做了叫Chat for Google。当时我们看他,

任鑫

04:51对,被Monica买了嘛。

徐文浩

04:53对对对,而且他们做的决策是很快就卖掉了。就我理解,当founder决定很快把它卖掉的时候,意味着他的判断是说,这个东西其实也没有太大的价值。但有团队愿意花一个不错的价格去买,肯定是觉得这个东西比较有长远的价值,对吧?就当这个交易发生的时候,其实已经是两个观念在对撞了,对吧?

05:14所以我觉得这是个特别有意思的案例,但是如果我们今天就,我不知道大家今天有没有在用Monica,或者说有没有尝试用一下Monica,它其实已经是一个比较复杂的产品了。是,啥都有。它已经不是一个最简单的一层的套壳,不是最早的那种Chat for Google的形式。

05:30我再讲一个套壳,我觉得比较典型的是那个Immersive Translate,就是说这个呃沉浸式的翻译,包括当时有很多人做这种什么YouTube的summarize的插件。其实总的来讲,我当时的感觉是说这些产品有价值。就我觉得去年年初的时候,我觉得是这这些产品有价值。

05:47但是价值可能没有那么大,或者说竞争也很就,不管因为什么原因不想做,你肯定找了一堆理由,你觉得它哎可能价值就是个套个壳。你觉得竞争也很激烈,商业化的上限也很有限。但是到今天如果我去反思这个逻辑,我觉得其实是它空间其实是非常非常大的。

06:05甚至是说我觉得有两个,一个是这这个产产品中包括我们刚才说的这些,再包括我再举两个产品,我不知道大家可能也很最近新闻也很多,大家也比较关注,一个是Perplexity。Perplexity不就是我把Chat for Google做成了个网站嘛,对吧?

06:21就我们我们如果说用用一个这个倚老卖老,诶待会你不就是把Chat for Google做成个网站嘛,你就是用搜索的结果拿回来,然后大家会觉得这不是Google自己做或者Bing自己做就就完事了嘛。

任鑫

06:33所以那个贾扬清不是搞了五百行代码复刻Perplexity,然后还被Perplexity给怼了。五百行代码搞定。

徐文浩

06:41对。当然我相信那个那个可能更多更多的是为了秀一下肌肉,更多的是为了显示我能快速做一个demo。你真的说在产品技术体验上要做好的,就从六十分做到八九十分,那个投入可能要大很多啊。但是你的直观感受是说,这事也没有什么深入,对吧?

06:59那第三个我觉得比较典型的是Arc嘛,就是现在很火的那个浏览器嘛。那你回到Arc浏览器本质上它还是在套壳。就这些公司第一个它没有做没有做太多的底层模型的事情,我们客观来讲啊。第二个是说它更多的用的,它的模型技术其实用的就是开源或者说是别人的商业模型的API,我觉得这个是它的第一个决策。

07:24但是

任鑫

07:25Arc不以AI为中心吧,所以Arc好像还好吧。

徐文浩

07:29我觉得Arc现在明显地在转向逐步以呃AI为中心。

任鑫

07:34啊,这样行哦,

徐文浩

07:35我。我的感受啊,我的感受,或者说,他现在又一波新的流量是通过以AI为中心,

任鑫

07:41AI来的。OK,了解。对,我

徐文浩

07:43我觉得这样这样去描述,对吧?第二个是说这些公司其实解决的是把现有的模型的能力,在现有的所有的应用产品上改变了交互形式。它不是说我利用现有的这个AI技术我去做了一个新的业务。跟移动互联网的时候我去做外卖打车的逻辑还不太一样。

08:03它比方说大家去做这些插件,那个内容,那个消费的内容其实还是原来的那些网站,我还是去YouTube上看视频。去比如说你想看科技类的,你可能去什么Wired,去什么各种各样的blog上去看,你还是去那些地方看,你只是说它帮你去做了一些summarize。

08:23做了一些能问答的交互或者这样的这个形式。从这个角度来讲,其实交互形式本身的改变,我觉得我觉得就已经极大的提供了价值。这个是我我的一个一个体会,就是说你可能同时这些产品也证明了说这个是有机会的。这个机会不在于说大厂不会做,我我在想Arc做的这些事情,或者Monica做的这些事情,未来Google是不是有可能也会做,

08:50或者其他大厂的浏览器厂商也会做。我觉得仍然是有可能的,因为它跟大厂的这些产品线并不矛盾。它不是大厂的这个,你叫做这个反关节,或者说是一个它很难内部很难自洽的。就是说内部会阻力很大的产品,对吧?就好像说当淘宝要做消费升级的时候,他去做一个跟拼多多比价的这个逻辑,他很难做这样的产品。

09:12但是他是完全,呃,Chrome说我去加一些AI能力,其实其实是很自然的一个能力。

任鑫

09:17一定会加。

徐文浩

09:19对。但是实际上这些产品仍然跑得很很好,我觉得也是说某种程度上这样证明了呃创业公司找到了一个需求点,做得快一点,仍然至少可以很快地涨很大。特别我觉得是在海外,即使是它没有独立IPO,面临跟大厂竞争的时候,从商业上它被收购的价值现在也已经不小了。

09:40当你有每天有个几百万DAU的时候,你其实光从这个流量的角度,你被收购的价值都已经有了。对。这个是我我觉得就第一个复盘啊,就是说回过头来讲,就是你还是得到一线把这个东西动手做出来。就像我们这样坐而论道是不行的。就是说光吹牛不下场,这个事情是有问题的,对吧?

任鑫

10:01下场了下场了,我们不是分投都已经开工了吗?

徐文浩

10:05对。但是我觉得从从这个视角来讲呢,太慢了是吧?稍微,哎,其实动作有点慢。因为我去年聊的时候,我去年年初跟别的朋友聊,也是一个原来做VC的朋友聊。当时我跟他的讲法就是说,其实不用着急,可以看一年再说,对吧?

10:18这个结论我觉得不能算全错,但也不能算全对。就是说早一些下场并没有什么坏处,只是说你在心理上要做好准备,是说这不一定是说必须在一年决胜负嘛,不是说我必须一年燃烧自己,对吧?呃。什么十二十二期可能没有必要这么干,但是你早一点下场其实没有什么坏处。

10:39因为它也有从先发做迭代快的角度,它也吸引了大量的早期的核心用户。

任鑫

10:45你刚讲这个我会想到几层啊。第一层就是那个早期下场其实会比较有流量的红利。比如说你刚刚说ChatGPT for Google,就没什么技术含量嘛,但是它只要抢到那个点,甚至于后来我用像比如说GPTs Hunter之类的,这个其实就是很敏锐很快地出了一个东西。

11:04你说出这个东西,等到GPT Store官方store出来之后,它还有多大价值?不一定,它有可能会像早期的什么APP推荐站一样。但是其实它也可以,就就你在做下一件事情,你就有了一个基础嘛。所以其实吃一波流量红利也挺好的,这是第一点。

11:20然后第二个的话,我我想到的是呃,因为我最近也自己在看很多项目嘛,然后现在在换换了一个视角。那会发现说其实用户侧的那个技术扩散是很慢的。就我们在这边天天讲,比如说比如说我们聊的时候会觉得比如说arc是一个大家都听得懂的词汇,但实际上我估计比如说现在直播间90%的人不知道arc是什么。

11:43所以那个技术扩散比我们想象中要慢很多。就不是最近接触了,就是一直在跟一些传统企业有一些合作嘛,就是他们已经过去好几个月的一些事情的话,就进步非常的非常的慢,甚至于年轻的小朋友们也没有我们想象当中的,就是说好像大家都已经很嗨啊,

12:01都已经会用了。没有的,不是的。百分之九十九的人不会用的。谁先把它封装成一个大家感兴趣的那个就就能够理解的形态,然后到他面前,这这这件事情是最重要的。这样这样就是早期套壳做简单应用确实是过去可以做的。

12:17而且我我我还想到一个就是跟这件事情相关的一个更极端的例子是,你刚才讲说其实很难有人想象到最终的形形态嘛。我我反过来其实就是想到了也没什么用。最近就意识到了有一位同学的那个天才之处,就是王建硕。就现在出的比如说GPTs的这套的那个呃理论会怎么做。

12:41甚至于包括说at一下的这种这个交互方式,在大半年前百姓网就已经做了。大半年前讲的理论已经理论基础全有,甚至于他们当时用的是那个and的那个符号,就是整个的打法就是就是比三猫他们要早。但是好像也想想到就是就就就能够看见未来,就是你有深刻的洞察能够预见未来,和当下这个抓得到的机会这两件事情其实很很难匹配。

13:10当下其实有可能我们的能力更匹配在比如说流量红利啊,或者说什么一个应用啊,或者但是你真的看到什么很本质很未来其实那个东西需要的那个资源和那个能力太大了。所以有可能就是不一定是你看到了就看到又怎么样呢?就就也挺难的。我现在就在感叹说太天才了,现在一看每件事情发生就感觉说,哇,就就就就在感叹人与人之间差距很大,

13:38有些人就是跨越周期的眼光,但是其实那个眼光你要把它变现,其实难度也是蛮高的。那做投资嘛。

徐文浩

13:45对啊。做投资做孵化器就是就是现在你这个逻辑嘛,就是说我有这个idea,但我能不能做到?那我其实只要对人的判断能力比较强,对这个事情的判断能力比较强。就是因为我觉得这个事情是这样的,就是有人擅长做执行,有人擅长想idea,做预测未来嘛。

14:02有人擅长卷,有人擅长说我们就在既定赛场上跟人打打架。有人擅长有vision,看未来是怎么样的,有人能够做这个冷板凳一直坐下去,有有人不行。所以我觉得这个事情还是回到自己呃擅长的这个战场上得打一下嘛。那换句话上来说就是说,因为从预测的角度说,我们自己不做套壳,我觉得没啥问题。

14:25因为其实我们并不最擅长干这个事情。但是我们预测说套壳价值不大这句逻辑呢,我觉得是错的。我觉得错还不不是说错在说它短期内能不能收割流量,而是我们现在实际上从产品侧我看到,当简单的套壳吸引了用户逐步延伸之后,它现在就是一个有价值有壁垒的产品。

14:46就我觉得不管是Monica也好,不管是Emotion Translate也好,不管是像比如说像Recast这样的launcher也好。对你如果真的看它的AI能力,它其实都没有多复杂。你如果只看它第一天的产品形态,你也很容易觉得这不就套个壳嘛。

15:02但如果你看它今天的产品形态,对吧?它也并不是说,它并不是说我收割了一波流量,然后我完全做了一个完全不一样的产品,扩大了点基数,而是它在原来那个产品上不断迭代起来的。我是说从这个视角的判断上,我觉得是说套壳仍然有价值,我觉得这个是比较打脸的。

15:20就比如我们自己没去做套壳,或者说是说我觉得倒还好。就包括我觉得,就像你说王建硕,我觉得他们去做那个事情,本质上也不发挥他们的优势。就是说他们可能并不是最擅长去赶流量红利,或者说是从零去摸一个小产品的这么一个团队。我我这是假设啊,因为我我对他们不够了解,所以我我觉得这是这是这是从两个角度去想这个事情了。

15:44那这样,

任鑫

15:44我是觉得像套壳这一类的应用的话,他们其实,因为我们有的时候会把比如说AI现在能力还不够当做一个缺点在讨论嘛,但它可能不是一个缺点,它是一个feature。那基于这个feature,你套完壳之后,就必然对于你的用户场景,其实你还有各种各样不能完全满足和没有不够爽的地方。

16:05你在补这些补这些坑的时候,其实你就你就在把自己做厚嘛,就在做各种奇奇怪怪的事情。其实他就把自己给做起来了。

徐文浩

16:13这个就是回到那个下场的时间的这个问题嘛,就其实也许我们不应该,我们不应该做套壳,但是其实我们应该更早下场去做一些东西。

任鑫

16:21对吧?对对对。啊,我们下场做了

徐文浩

16:24做了AI炼金术了哈。

任鑫

16:27吆喝也很重要的,就不吆喝的话对对对对对对对。那很多其他的奇奇怪怪的机会嘛,所以大家就是你你哪怕啥都不干,你至少得吆喝一嗓子。而且你套壳的话,就是因为那个那个我不是受你刺激,我也去了一趟硅谷嘛对吧。

16:44虽然我我到了硅谷,我都不知道我到底是去干嘛的,就是就是就就纯纯纯的受你刺激。但

徐文浩

16:49你聊完之后是什么感觉,觉得去该不该去?

任鑫

16:53我觉得挺该去的,我现在在想说我夏天的时候,如果比如说给娃,如果能够找了一个夏令营的话,我应该在那边待两个月,就是待一周确实是太太短了,因为他总是人传人要不断介绍嘛,你至少要待两个月才能混到那个圈子里面去。当然我聊了两类公司啊,一类是有黑科技的,那个是就是那那一类其实也很鬼扯,就你其实也不敢怎么样,

17:14因为那些黑科技你也没有能力判断,你也看不懂。那还有一类其实本质上来讲就都是套壳,就但是那些套壳套得理直气壮的,他们就在一个个细分品类里面做得非常的精专,然后呢你看着就是一个小功能,你有的时候跟他们聊几句说那这件事情GPT不是以后也可以做吗?

17:34他们好像也不是很关心这个问题,就觉得说那就先做呀。整体上来讲,我觉得美国的创业者们洋溢着一股非常之天真而乐观的态度。

徐文浩

17:45革命乐观主义精神。

任鑫

17:47然后你你聊几个之后你自己都不好意思问这个什么壁垒之类的问题,就觉得说好像你们都不是很关心这个问题。

徐文浩

17:55我自己最近在反思啊,我觉得这个的核心逻辑是什么样呢?就是中老年人在这个时候的历史有一堆历史包袱,其实在竞争中没有什么优势,就真的是背了一堆历史包袱,你老觉得机会成本很高。但是其实没有什么机会成本,因为你现在也没什么特别有价值正经的事情要做。

任鑫

18:14太扎心了,你说得对。

徐文浩

18:17就是就是当我们做这个事情的时候,为什么总觉得哎呀不该做,是因为你觉得你干了这个就干不了别的嘛,对吧?或者你觉得干这个东西看起来它不会变得特别大,所以我甚至就是大家会觉得说好像干这个事情不值当。我觉得更多的心态不是说这个东西不值值不值得试一试,但是可能觉得不值当,可能觉得说哎呀花很多时间做了可能也大概率没结果。

18:39但年轻人没有这个包袱。他可能也第一次创业,他也不觉得有什么,那就先做了再说嘛。

任鑫

18:44哦,而且结合你讲的第一点来看的话,就是嗯,确实现在就是做东西的成本也很低,不光是不光是我们的机会成本,就是做东西的成本。然后而且需求又非常的刚。我刚想到一个例子就是嗯,最近有一些嗯宗教人士,包括活佛啊什么的,会找我打听,说AI怎么样干嘛干嘛。

19:06然后有的时候就会聊起来,我说其实可以做个什么,他们就会说那这个,我我就说这个比如说我们可以先出个demo再怎么样,他们就会问出demo多少钱。我一边开会就一边帮你们免费做了就好了。就就就一边聊,我就一边帮他们再搭一个比如说跟那个GPTs嘛,对吧?

19:23然后我就说哎,你给我一些什么东西,然后你要什么,然后就比如说花个二十分钟就帮他搭完了,人家就觉得说,啊天哪,你们技术能力好强啊,你们背后的AI好强。然后我就在想,这不就搭了个GPTs嘛。就是你你做一个东西的成本和需求方的这个信息差现在还是真的是蛮大的。

19:40所以也确实会有很多小朋友会马上接收到正反馈就可以扑进来嘛。确实是一个机会,我们有的时候就嗯,确实也是就嗯,年年年年纪大了是吧。

徐文浩

19:49不不。我觉得是说这个是这个很难了,因为我觉得很多是客观历史规律,就是就就就跟任鑫老师跟你,就你今天出来创业,你觉得这个东西出来只能比如说融个五十万美金就能起步,你可能会觉得太小了,

20:03对吧?但是对很多很多就fresh graduates干了一两年,他就融个千十万、五十万美金就真的起步了嘛,他觉得这很正常。

任鑫

20:09对对对对。对,我现在做这个孵化器,打算就是五十万美金一个,五十万美金一个。然后,没有,这要多的钱也没有了,就这样吧。但是

徐文浩

20:17我觉得这这个逻辑其实是这样,就是可能道哥十十五年前,你让你给我五十万美金,对吧?就是包括我第一次创业的时候,可能就拿着这个融资就开始跑了嘛。你没有那么多包袱,但是现在你可能会觉得说,当你年纪上来了,对吧?这这我觉得有客观因素啊,什么,一方面是客观因素,就是你有家庭啊,有就你的责任更多了嘛,以前快乐的单身汉,

20:37对吧?就一人吃饱全家不饿。那另外一方面也是说,哎,你总觉得说你自己出去,如果你去个公司上班,能挣多少钱,对吧?你很不自觉的,你会拿这个东西跟一个创业的这个事情的规模去做比较。当然,这个比较其实在这一这一轮,一个完全新时代的浪潮下,其实是没有意义的。

20:57你做这个事情更多的,你可以把它当成一个bargaining power,就在融资的时候,通过这个bargaining power去融更多的钱。就是,但是你不能把它太当真了,就是说觉得我必须得做个特别大的事情,因为还是得从一个小的事情能够切进去先动手。因为我觉得大部分像我,大部分就是见了某位同学,某位同学说,哎呀——终于意识到我们自己是个平凡的人,

21:18我想大哥你还平凡吗?对吧?

任鑫

21:21我知道你在说谁了。我们分头见了两个我们的牛逼的同学,是吧?

徐文浩

21:27啊,对对对。我说大哥,你还平凡吗?对吧?但是实际上这个心态就是,我觉得像,就是我们更多的原来年轻的时候,也是说因为自己敢为天下先嘛,就愿意去创业公司,愿意去试,并不是说真的说我就比别人聪明十倍、厉害十倍,所以获得了一些机会。

21:44个别人,我觉得那个时代有些人是比较厉害,是真的是能做敢为天下后,或者说是说能战略思考比较清楚的。但是我觉得其实说,至少我们即使今天有了很多的经验,这个能力也没有到说的那么厉害的地步。就就我这个是我自己的判断啊,就你你可能比我还在厉害一点,在这方面,就是在idea、在脑洞、在这个思考上,

22:06对吧?但我自己想想,我其实现在比较擅长的还是立刻动手把它去干了。

任鑫

22:10最后最后要需要搭配,需要有人胡思乱想,需要有人干活。

徐文浩

22:14对对对。我想了想说,即使我到四十岁,我最擅长的事情,当然坑可能踩得比别人多一点。就是说你是个稍微,但这个也谈不上有多大优势,比较擅长。就就真正你回归到你原点,你更更擅长的事情,还是愿意去做新的东西,敢为天下先嘛,就是愿意去试新的东西。

22:31而不是说那个说我就是想想得比别人多,我比别人聪明,我我能够,别人只能想出一个值一百万美金的事情,我能想出一个一千万美金的事情。

任鑫

22:41你刚刚讲,我突然想到一个一个搞笑的角度,就是你刚刚提到一个你你去见的那个同学嘛,然后我不是同期在硅谷见另外一个同学嘛。我在想说,光光我们班的这些同学的话,假设说能够拼起来的话,这就是世界级的大模型团队。你想想,如果就——假设他们两个,假设他们两个拼出来,我们在下面打个打个杂什么的,对吧?

23:05绝对是世界级的,

徐文浩

23:08就超过……这至少牌面上是这样吧,看上去牌面上肯定是这样的。

任鑫

23:12牌面上直直接超过那一线。太吓人了,想想。对

徐文浩

23:17对对。但实际上我觉得就是真打起来,就是就即使是大家能磨合得很好,就这是另外一个,倒不是预测啦。就是我跟那个某同学沟通完之后,他就他的结论就是他危机感很强烈嘛,虽然他的结论还是说

任鑫

23:32就是要靠年轻人嘛,江

徐文浩

23:33山代有人才出,对吧?就是长江后浪拍前浪,前浪死在沙滩上嘛。

任鑫

23:37其实上一代的那个成绩和这一代的AI基本上没什么关系嘛,对吧?所以其实就要看新的牛人嘛。我这次也过去看了很多有黑科技的一群华人的牛的牛的PhD,真的是很吓人,就很吓人。

徐文浩

23:55这个我相信,相信。

任鑫

23:57就每一个的那个课题的话,都是属于说就就感觉应该被美国美国盯起来的那种,就美国不不想让他们回国的那种。然后你就会觉得啊,这帮小朋友就一个个也很爱玩,还是小朋友,估计里面十个项目最后也就能成一个,但是那一个就会是改变世,就就就真的能够对世界产生改变的那种科技嘛。

24:18然后就觉得,哇,小朋友们太强了,哇,这,哇。为什么我年轻的时候就就离离他们好远啊,感觉。然后另外一个角度就是你刚刚讲到,我我也会想到说现在我也见了一些项目的话,AI的项目,他们跟我们当时,因为你刚刚讲的很多时候你还提到一个词叫融资嘛,什么五十万、五百万美金啊什么的。

24:36但是现在我见到很多项目是上来就赚钱的,所以这确实也是更好。

徐文浩

24:41那那那更理想了。

任鑫

24:43对对。更更美好的一种情况,他们做的那个切口就特别小,但是那个切口就特别特别疼,然后的话这个切口就直接上来赚钱。我我虚构一个例子啊,就是类比一下,我不能说那个案子,就是嗯,就比如说一个教你学习的学习机,你可能为它付钱,可能就付愿意付比如说两百美金。

25:05但是呢,假设你做一个叫做考试作弊器,它就是在你考试的时候给你给你当场答那个卷子。

徐文浩

25:12哦,我已经知道你要说什么例子了。对

任鑫

25:14对对对。对,他就是我我讲的就是这,把它把它换了一个场景的例子,然后那那这个的话,他他当场就可以赚钱。

徐文浩

25:21是。是的是的是的,这付费意愿非常强烈嘛。

任鑫

25:25对。我发现有一些公司就可以打到这种点,马上赚钱。

徐文浩

25:28我知道就就不是你说的不是真实的案例,但真的比如说考试作弊题你做了啊,这个当然道德上或者法律上有各种各样的问题。但是假设不考虑这些因素,你今天做了,你想,我觉得好几类人群嘛,因为现在也因为远程,很多人是机考,对不对?可能是可以在家机考,或者说包括有很多家庭的学生是参加各种比赛,因为疫情嘛,也是机考。

25:51但现在比较严格,比如说他要你拿两个手机摄像头对,就是正面跟侧面都有手机照着,对吧?但是如果你说你那个电脑有个software,在底层其实就hack了,能够把你这个答案在屏幕上提示你,然后你读出来。我相信一定有很多人为了说我想得到这个结果,我愿意付费,而且付费能力肯定非常强。

26:09那你去换一个换一个类似的这种,就是我考过了跟没考过能够拿结果的这个场景,其实都可以做一遍嘛。

任鑫

26:17这种地方都可以做,然后都是强刚需嘛。或者说所有的之前存在人类的知识服务的领域,然后可能都可以重做。不仅仅是重做,因为原来的人类知识服务会把客单价拉到比如说时薪至少是两百人民币嘛。假如说你可以把它打到比如说五毛钱人民币,那可能这个市场,市场是以前是被这个价格卡在那里了,那现在可能可以扩大一千倍。

26:43所以无数的细分市场现在我看到确实正在炸出来。只是以前就确实像你讲的就是会critical一点,就是会觉得哎,你这个在主战场,你这个马上就会被覆盖掉。那现在觉得先不要想那么多。就是先干吧,就这样吧,想了也没啥用。

徐文浩

27:02我们聊了第二个预测,我猜也有很多,特别是媒体特别关注,在年初的时候,就是说,哎,中国人什么时候能做出一个GPT-3.5?中国人什么时候能做出一个GPT-4?然后开源什么时候能做出GPT-3.5?开源什么时候能做出GPT-4?

27:15但我觉得这个当时,我我我当时的预测是六到九个月嘛,就基本上到2023年年底吧,我当时两三月份的时候预测。对吧?但我觉得这个预测基本准确吧。

任鑫

27:25你预测的是六到九个月到三点五还是到

徐文浩

27:27四啊?三点五三点五三点五。

任鑫

27:29那那那你预测完全正确,三点五还是到了的。

徐文浩

27:32我觉得基本准确吧,到了年底基本上大家都有三点五的这个能力了。然后这个这个我觉得也侧面印证了一点,就是说这个技术还是扩散的很快的,然后也没有太多的秘密。其实大家想象中的这个,就换句话说,我觉得OpenAI的优势是在于先发,在于人才上有一定的优势,

27:52但是并没有太多的说,我知道了一个保密的一个trick,能够守住这个优势特别长长时间。别人没法知道。

任鑫

28:00你这个我有一半同意哦,就是到三点五我是同意的。但是有一件事情其实想象的比我比我之前拍脑袋想的时间要长,就是Google追上的速度。虽然我还去了一趟Google,然后他们的人就是很很自豪,觉得Gemini还是远远超过GPT-4。

28:17但是从我从一个用户的角度,我真心觉得还没有追上。你不管什么你的底层模型什么多么原生多么太多,这是你从供给侧,就我就纯用户的角度觉得,Google追这么久还没追上,然后这件事情是远远超过我想象的。我以为到今年年底Google应该是产品级的GPT-4就出啦。

28:36然后Google这么久没追上这件事情。其实是我我会以为觉得说他那个GPT-4那个难度超过了我我之前的那个想象,因为Google都追不上,我就对其他人追上就信心就往下跌了一层。

徐文浩

28:49就这个是我反正聊完之后,我觉得至少我接触下来,包括我们现在看开源模型的进展,我的结论就是说,这真的只是个时间问题,就是Google追谁追,都需要一定的时间。这个就我觉得这第一个强假设,就是谁追都需要一定的时间。第二个我觉得强假设是说,那个算力跟数据的累积,或者这这个摸索它本身是需要时间的,但是它本身来讲,

29:15就没有太多秘密。第三个是说,大语言模型它是个实验科学,不是个理论科学。我我我这样来讲,我相信Google下来也会越追越快。就是这是一个角一方面啊。第二个是说,为什么我觉得就没有那么难。

29:28是说,我们去看所有的这些国内的各种各样的开源模型,其实做到三点五水平的并不只是一家,对吧?是好几家。就从这个视角来讲,我觉得说那个同时并没有哪一家,因为,对吧?因为跟某同学聊了,就是结论就是说他们虽然投入了几倍的人力物力,对吧?

29:48但是你的确你看市场上并没有看到某一家,因为说我的财力更雄厚,我就跟就国内你同样去对比啊,头部的大厂,字节、百度、阿里,并没有拉开,呃,百川。呃,什么月之暗面这类公司的距离。所以你从从这两个现象观察,我的结论是说,呃。当然这当中有人的因素,有各种各样的因素啊,就是说,但是我觉得两个视角嘛,就是这个带来一个视角是说,

30:14它这个实,你这个实验,特别是第一年,它的追赶周期就是你逃不掉的。因为你组团队、买卡、搭基建,初始做实验可能就三四个月就过去了。真正你能够发力去追的这个周期,团队磨合它其实都是需要时间的。这个越是大厂,在这个磨合上的成本可能比一个创业公司反而要大。

30:34所以我我觉得,从国内的大厂跟头部的startup没有拉开差距来看,这只是就大厂第一年追的并没有比startup快。是挺正常的。

任鑫

30:45就就模模糊糊地理解了你的意思,但是为什么一个实验科学的话,那理论上来讲,我我有能力可以同期开十个实验室,不是比那种资源少的人只能开两个实验室,理论上我的突破会更快吗?

徐文浩

30:59呃,我觉得会更快,就是我觉得未来就会更快。一开始第一年你会面临两个问题,是说你先要把实验室给搭起来,你要把实验室的这个日常的生产流程给搭起来。你要让团队之间内不打架,就决定,就你团队内先要决定是说我到底应该很多人一起做个大实验,还是十个人一起做各做一个小实验。

31:20我到底应该找什么样人进来做实验。这件事情上,startup天然的比大厂有优势。第二个是说,毕竟我们生活在一个物理世界。就是你有很多的条件,比如说你要买,你要拿卡,它是有时间的。你要这个搭团队把人转过来,这个人之前不是做大模型,他熟悉大模型是需要有时间的。

31:39这位可能原来做搜索跟推荐的特别厉害。当然你让他转过来做大模型,他还是会带很多旧的mindset。他自己的转变或者说他他一定是要得到一些负反馈才会改变。就跟我们看了一年,说最近很多的预测或者判断是错的是一样的嘛。

任鑫

31:56对。那个最最极端的那个说法,以前物理学上是说物理学的进步有赖于一代科学家的死掉。

徐文浩

32:03对,我我觉得这个是客观历史规律啊。这个是就是说从某种程度上讲,我觉得我觉得Google也许会追追得快,但也未必它就是真正能追上那个人。但是我的感觉是,就是已经做出来的,比如GPT-4,它可能是22年底可能已经有了吧,22年底,

32:22现在24年初吧。我觉得在

任鑫

32:23二,对,至少二二年吧。

徐文浩

32:2524年底,我觉得至少我接触下来,我聊下来,包括我自己看到,因为今天大家知道不知道有没有看到一个新闻,就AI2,就Allen Institute for AI,呃。Artificial Intelligence也是美国的头部的研究中心嘛,就是Paul Allen建的这个AI的research,

32:43AI2,他们说做了一个真正开源的模型。就原来的模型是,对对,只给你,比如说训完的模型参数你可以用嘛,对吧?然后推理代码可以给你嘛,你通过模型结构你基本上也能推出,倒推出来训练代码大概应该怎么写。但他这次是把全过程公开了嘛。

33:00就从训练代码到什么中间用了什么数据什么,就就基本上就是说,就脱光了给你看,就就长就长这样。就是说从这个视角来看,就是我觉得是说接下来竞争会加速嘛。追上GPT-4我觉得应该没有太大的不确定性。就大家应该都会追上。

任鑫

33:17但你你刚刚讲的这个的话,因为也跟一些这种模型团队聊天嘛,就纯粹你感性上也会觉得这个战场非常的血腥。你每天睡一觉醒来的话,就感觉海平面又往上提高。就是你辛辛苦苦搞了几个月的事情,说不定海海平面要提高了。我辛辛苦苦六个月搞的事情,结果海平面嘣又上去了,太可怕了。

33:39哦,对。这个这个印象是来自于那个昨天看的那个关于那个那个那个人叫什么,季逸超吗?就以前那个少年天才写那个魔法浏览器的。他好像之前就一直在做那个相当于用语义的那个网络在做一个,其实很有点像GPT的东西,就相当于一个新时代的搜索嘛。

33:58但是GPT出来的话,那整个摧枯拉朽是吧?你就你就彻底拜拜嘛。这就很可怕嘛。所以按照你的就是去年你预测基本上是对的,那你预测2024年,2024年大家能到GPT-4吗?

徐文浩

34:12我觉得能啊,我觉得2024年可能全球会有10个团队到GPT-4。话就放这了,就等来打脸了。

任鑫

34:17那就应该七个美国三个中国了嘛,对吧?或者是五个中国。五个美国。

徐文浩

34:22啊,差不多,差不多。还会有个欧洲的嘛,就是Mistral嘛。

任鑫

34:25对对对对对对。

徐文浩

34:26Mistral也我觉得也挺也应该挺有希望的。

任鑫

34:29我昨天看一张图在讽刺那个Gemini,然后和Mistral,然后就把那个,就是一个叫做说,做,一个叫说,然后就把那个Google放在了说好多好多,然后做一点点那个上面。然后把那个Mistral放在说不怎么说,但是做了好多好多那个上面。

34:44笑死了。就讽刺Gemini。

徐文浩

34:47我觉得是两边的策略不太一样嘛,就是我觉得Google其实压力挺大的,因为原来大家觉得你遥遥领先嘛,对吧?特别是AlphaGo、AlphaZero之后那个阶段,就Google收了DeepMind,做了AlphaZero那个阶段,

35:00大家会觉得就是说什么叫打着望远镜也找不到竞争对手,对吧?就有点像阿里这个电商做着做着,突然发现诶,拼多多市值超过了那种感觉,对不对?其实这些一样的嘛,就是说就是我觉得他压力一定会特别特别大,然后这个压力也会导致有些事情未必进展会变快。

35:18就内部也会人心思动,有很多人就觉得那当很多内部的优秀的人才,在一个大的体制下觉得你动作比较慢的时候就会考虑出去。Google。

任鑫

35:27我我我晃悠了一圈,就是觉得氛围上也非常的非常的舒适。就过去蹭了个饭,蹭了杯咖啡,就整个就感觉大家都拖家带口的在那边带着一帮小孩什么在那边吃饭啊。然后工作时间的话,足球场上面全是人在踢球啊。然后全就一副一派安宁祥和的气氛。

徐文浩

35:48对,这个我觉得就很难嘛,就是我觉得说有些氛围你能改变,比方说你说工作场上在球场上踢球,也许你能掰得回来。就这个公司二十多年的公司嘛,它差不多九七年还是九九年成立,二十多年的公司,它的核心的年纪都不轻了,都一定是拖家带口的。

36:05而且这些人很多人其中是战功赫赫的。对吧?可能这个人原来做Chrome的,那个人原来做YouTube的,这个人原来做AdSense的,那个人原来做Google Maps的,对吧?这个人是曾经怎么怎么把广告收入提高了多少,这个人是怎么怎么把搜索的某一个,那这些人肯定现在都拖家带口的。

36:24那你回避回避也免不了嘛。所以他不可能来跟你卷九九九九六。

任鑫

36:28而且他就算去卷的话,他已经老了嘛,他们的的知识结构和mindset是上一个时代嘛,对吧?他们说不定是上上个时代,我们两个是上一个时代,年轻人在现在这样一个时代。

徐文浩

36:42对,你不一定有劣势,但你肯定没有什么优势。

任鑫

36:45就确实不好做。

徐文浩

36:46就是所以我觉得是说大家是他要去追上GPT-4我觉得不难。就是你本质上是跟随或者复现不难,他要超越变重新变成领先者,我觉得还是非常难的。就是有很多笑话嘛,就是我记得Gemini那个文章发出来之后,那个时候我正好在硅谷,然后当然也看了很多新闻,

37:05就是有很多人说就Google就是做了非常严重的cherry pick嘛,就是他当比各种指标的时候,都是挑各种细用各种刁钻的角度比出来,在这个情况下我比别人好。

任鑫

37:16对,那些图有些是三十二个里面挑出一个最好的图,说什么鬼啊,打一行小字。

徐文浩

37:24对对,他是说我我做什么,做什么chain of thought,他说我给5k example,给1k,zero shot,five shot,32 shot,他说这个这个对比下我选32 shot,那个对比下我选zero shot。

37:37但是Google肯定不能发一个说,啊,我们好不容易推出了个东西,比别人稍微都差一点。第二个我觉得很典型的,我我我当然我觉得也是个笑话了,就就是当时Google发了说,Google发那个Gemini,他其实没有发太细的算法跟数据层面的东西,但他发了大量的infrastructure层面的东西,

37:55就是说他们有跨,他们用TPU,TPU能跨数据中心通信,然后他们说有有整整九页写的是infrastructure。我在网上就看到一哥们评论说,那不杰夫·迪恩最爱嘛,对吧?就是因为Google的核心原来最强的其实不是算法,是infra嘛,是基础设施嘛。

38:12就是Jeff Dean的成名作嘛,就是大家这个是所有我们这些做工程的人以前都会看Jeff Dean说说你需要关注的整个infra,说说比方说内存L1缓存是多少微多少纳秒的访问速度,什么L这个内存是多少多少微秒的访问速度,什么磁盘是多少毫秒的访问速度。

38:33那这个也是包袱,就是你的团队的核心,你所有的历史经验,你最擅长的事情还是那个事情,对吧?而不是现在可能大家关注的那个事情。就这个可能是我觉得说就大厂在这个竞争上未必是优势嘛。我觉得追随很容易,但要领先,你就去探索未知,但是探索未知你拿老的经验就不一定有效了。

38:54就是我相信Google今年追上GPT-4,我觉得没有任何难度。包括我觉得国内的大厂,国内花很多钱大家去追随,你其实是追别人两年前的一个效果嘛。对。

任鑫

39:03OpenAI就出GPT-5了嘛,你们追得上吗?

徐文浩

39:06对,对吧?但是做GPT-5呢,我觉得就不一定了,就不是说大厂一定有优势了。

任鑫

39:12你刚讲这个关于历史包袱的问题的话,就是我觉得你前两天就是你分享我的一段话的话,我觉得蛮有蛮有启发的。就是我们现在其实应该更多的就是我们年纪也大了,对。就就更多的应该把自己往HR的角度定义,就是如何去发现优秀的年轻人,如何帮助他们。

徐文浩

39:32这是某同学指导我的。

任鑫

39:34对对对。规避错误,但是不要以为自己了不起,我撸起袖子我就干得比你好,就还是得让年轻人冲在前面。对。然后挑挑出好的年轻人,给他们资源,配资源,然后给他们好机会,规避一些明显的就是跨越式周期性的错误。

徐文浩

39:51对的对的,而且我自己也在反思啊,就是我我自己其实过去一年我自己hands on的时间还挺多的,就自己动手写了很多代码嘛。这还挺开心的。从从另外一个角度,就是说我觉得你又回到了一个自己每天干这个事情以后,挺开心很舒服的一个状态。

40:06包括我现在跟就我们自己做一些招聘,包括跟朋友聊,就是你也会发现是说真的你四五年不碰这个东西,你就没有手感。就跟你如果离一线时间短一点,离一线时间远一点,问题不大,你觉得半年一年可能问题还好,真的三年四年,我觉得对那个就是手感、动手、迭代速度影响还是挺大的。

40:25包括我觉得我是花了一年时间,我才调回来。就我其实也有一段时间不太动手了。去年底之前我有一段时间,你创业杂事也很多嘛,你很快招了一些人,你就十几二十个人。你你总觉得说要做一个ROI最大的事情嘛。但是我在想,就是说之前OpenAI内部不是就去年Sam Altman那个被罢免那个闹剧的时候,

40:47不是传了很多新闻出来嘛,包括说内部很多人都很尊重Greg Brockman,说那个他们training。

任鑫

40:53你是说代码百分之八十是他写的吗?

徐文浩

40:55啊,对。说他们training的infra中的百分之七八十的代码是他写的。我就在想,也许就是因为说他是OpenAI的总裁哈,对吧?他不是OpenAI的什么CTO,对吧?都不是什么就这样的头衔,都不是什么科学,他是OpenAI的总裁。

41:10就是是不是就是因为他一直在一线,一直hands on,所以他们比较有信心,相信这个东西能做出来。所以他们比较有信心,能组织一个团队,把这个东西快速地迭代出来。对。就我我我其实是在想这个事儿,就是就是不能也不能完全真的只做技术HR,对吧?

41:27就是说,你还是得在一线一线干干活,对吧?就是毕竟这个时代在变化嘛。

任鑫

41:32要不然你也不知道要挑什么样的人,但就很很尴尬。就是这个时候你怎么知道什么时候我们是一个asset,什么时候我们是那个瓶颈呢?

徐文浩

41:42呃,对。就是我觉得就摆放低姿态,我称之为叫放低姿态嘛。说你不要觉得你一定能做正确的决策,你还是要把更多的决策的尝试的权限给到一线动手在做这个事情的人身上,对吧?你也参与去一线干活儿,你跟大家一样有些权限,然后你靠经验帮大家稍微避点坑。

42:01我最近反正在调整心态跟姿态嘛,就是说到底自己该干嘛。

任鑫

42:05我现在也是,就规避那些就是人类的坑,因为这个是不变的嘛。而是但是那些那些创新的,就是探索性的那个未来的东西,尽量就是不要以为自己比人家看得好。但是人人人类会犯的错误的这这这种亘古不变的事情的话,就可以帮忙在旁边指指哪一下,规避一下。

42:25所以第一个是说我们早期那个那个那个其实可以做点套壳啊什么的,这种就早点动手其实挺好的。第二个,这个预期预测算对了一半。

徐文浩

42:35我觉得算错错了大半吧。我们当时的预测是说,不要做套壳,做啥套壳。

任鑫

42:40第二个预测基本上是对了,你预测就一年,反正GPT-3.5是可以追上的,应该没有那么难。现在看起来都追上3.5了嘛,四你反正觉得今年也差不多嘛。对。

徐文浩

42:51所以这里又放了一个新的预测,就看年到时候年底会不会打脸,对吧?

任鑫

42:55对对对。今年如果Llama 3出来又有一个很大的进步的话,大家应该也会进步更快一点吧。只要有有开源的话,然后各个上市公司就可以自主研发了,是吧?对。

徐文浩

43:05不过你看那个AI2发布的那个叫OLMo嘛,我觉得那个出来,这个接下来自主研发就要大放异彩了,对吧?

任鑫

43:12但是现在其实也没有人谁关心那些莫名其妙的公司出的那些东西,大家还是关心几个头部的,也不会想到真的要去用一个莫名其妙公司出的模型嘛,太奇怪了。好的呀。那你第三个你还做过什么预测?做过

徐文浩

43:25一个预测,就是垂直领域的大模型到底有没有价值?

任鑫

43:29好像一直在讨论,我们有结论吗?

徐文浩

43:31我就一直在讨论,但是我觉得就因为我们也没把话说太死嘛,就我心里的预测,我觉得不同阶段的想法是不一样的。早期偏向于认为很有价值,然后到了偏中后期,我偏向于不太有价值。现在我处于就是说我觉得这个名字要换一换的这个状态。

任鑫

43:48换成什么?叫垂直行业应用吗?

徐文浩

43:51我觉得叫垂直场景的微调模型。那就没有

任鑫

43:55垂直模型了呀。就

徐文浩

43:56原来,因为我我记得最早很多人讲这个的逻辑还是说,我还是要预训练的,我要做一个很大的模型。然后但是我是做这个行业的,比如说我们就要做个医疗的,做个法律的,然后用这个名义去融更多的钱。但实际上他在做一个微调的事儿,我们也不确定他是不是真的会去做这个预训练,对吧?

44:17就是我觉得年初很多团队本质上在干这么个事儿,对吧?但年底来看呢,就是也没有真的有人做了很大的投入去做这个预训练。就是就是还是做了微调,很多人做了微调,做了项目。那我现在自己的观察呢是说微调是很有价值的。就还是回到那个东西,就是现在都做的通用模型,本质上还是把这个通用模型要变成个人嘛,对吧?

44:38尽量变成一个人。但是变成一个人呢,就是说他还是会面临说,你就会有目标嘛。但是这个目标在一些特定的场景领域下,它其实就是不合适的。我觉得还不是模型的知识跟数据的这个问题。就是我包括前一阵跟一些朋友,就是也是跟一些大厂他们交流,他们说他们的通用模型能力迭代了三版。

44:59就是说通用模型能力的确变得更强了,但是在一些特定子领域能力反而变更弱了。他们原来呢在一些场景,比如教育的场景是,呃,是教育还是什么场景,我也忘了。是微调他们早,因为早期他的模型能力比较弱,所以他们用自己的数据微调了一版,哎,效果很好。

45:15往后呢,说他们公司里说要集中资源嘛,就不要再不要弄出微调模型,尽量用基座大模型写一些prompt,对不对?然后的确基座大模型能力也变强了,但是他们发现不管在基座大模型上用prompt,还是去用一些数据微调,还不如早期的那个比较差的大模型微调的结果。

任鑫

45:32所以还是可以做垂直。

徐文浩

45:34所以我觉得从这个视角来讲,还是说垂直细分领域还是有价值。因为垂直细分领域的追求,跟你做一个通用人工智能,做一个啊,跟一个普通比较聪明的人的能力,可能差别还挺大的。

任鑫

45:45但是你你说的这个它是一个比如说未来两三年都会有的一个一个机会的可能性,还是仅仅是因为比如说大家现在的基座,比如说如果我们不讨论GPT-4,平均的市场水平还只在3.5嘛,那还是因为它太弱了。假设平均的水平到4.5,OpenAI出5的时候,比如说一年之内,假设完成这个,是不是你这个假设就不成立了?

徐文浩

46:12我觉得不是,讲一点偏技术。就是现在的模型一般大家拿出来用的是两种模型,一个叫做基座模型,就没有做过微调,就是预训练训练完的那个模型,其实不能用来做聊天机器人的。那个模型就是你输点什么,它回点什么。然后呢,一般都会做一层叫alignment,跟做微调,跟alignment变成一个聊天机器人。

46:32然后它再会开放一个模型出来,比如Llama就有Llama跟Llama Chat,对吧?Mistral就会有Mistral跟Mistral Instruct。Chat的模型啊,我我我自己观我们观测下来有一个比较大的特点是什么呢?

46:44就是它align得很好,因为它们其实不只是做微调,有对话能力,还要让它符合人类价值观。它变乖了呢,就导致什么呢?就是这个世界上,你先不,咱不讲做违法乱纪的事情,就算你做一个普通人,你在公司打工,你也或者你要干什么,你也会有谦和的一面跟aggressive的一面。

47:03你的生活中会有很多个角色,就有些场景你不能是个特别谦和的,也不能太客气,有时候太客气,你最后发现这事反而办不成。

任鑫

47:12就那个微软的那个测试就很明显嘛,就是他们拿到的那个没有alignment的比那个后来alignment的要好很多,聪明好多。

徐文浩

47:21这个是我觉得说,那回到这个逻辑上,但是你要用又不能不不得不做alignment。就你不能把原始的模型包直接用,那又会出很多别的问题,就是它会可能会会跑偏,对吧?教唆你违法犯罪,那也不合适。所以我觉得从这从从目前的这个gap来看,就如果说我们的模型,因为我们的预训练的原理决定了它就是一个接龙的模型嘛,

47:44就你说什么我跟什么的模型嘛。然后alignment它的确又做了这种,你要要在一定的数据下让它这个既有保持一定的能力,但是又得让它比较安全。所以我的感觉是说,可能很有可能这个不同的领域需要根据它的特定的场景去做alignment,这件事情可能是逃不掉的。

任鑫

48:03你你说的有道理。而且最极端情况下,我还不再想alignment。最极端情况下就是特定领域可以放弃alignment。但是我用就是特定场景下,我把一切无关的话直接就不回答了。就是或者不用回答的模型,不用回答那个方式嘛。

48:21因为你来我这里,比如说你就是银行柜台,对吧?那凡是跟存取钱没有关系的事情的话,什么李白是谁啊,就就你去死,不知道。对,就结束了。所以其实也可以很粗暴的应用场景里面,就干脆不过了这个界的,所有的一切就说我不知道,结束了。不不用不用去嘛。

徐文浩

48:39我我觉得是是这么一个逻辑。因为我们因为实际上我也跟外部交流下来,就是说我觉得大部分团队其实真的在应用场景里做,都还是做了微调的。大部分的各种各样的厂吧,大厂小厂,你真的说想要做这个场景,还是都做了微调的。就是就不是to C的产品,to B的场景其实都干了这个事情。

任鑫

49:00我如果要拿一个Llama 2微调,就是比如说拿我的是一千本书的历史数据微调一个模型,大概成本要多少钱?就拿Llama 2调的话。

徐文浩

49:10不高。就是假设Llama 2,因为你还有大模型还是小模型嘛,你是70B的大模型还是7B的小模型?啊,

任鑫

49:16大的那个,大的那个。

徐文浩

49:17大的那个你基本上拿三台,比方说拿个三台的A100,调个两三天,可能一般也就够了。再再多数据也未必效果更好。一台机器一天可能一千五,三台就五千块钱吧,两三天,一两万块钱吧。调一次这么便宜。对对对对对,调一次嘛。

49:37当然你如果没有经验,你可能数据啊什么的,可能要多试几次,或者你在小的上调两次之后,再到大的上调。取决于你的数据量啊,就是你的你的数据量。对,我觉得这是几个级别,一个是这个领域知识,它那个基础模型里没有,那你要做持续预训练,那个成本会高一个数量级,

49:54但比预训练肯定要小非常非常多。如果你只是做这种指令微调,只是做指令微调,你可能几万块钱肯定可以干。

任鑫

50:01了解了。所以哪怕是高一个数量级的话,反正也就是百万人民币以内嘛。那其实听起来,听起来就是一个一个很affordable的一个一个一个事情嘛。好的。所以第三件事情就是垂直大模型。

50:14那你现在是啥想法?2024年垂直大模型会起来吗?我觉

徐文浩

50:18得在特定的领域会的。

任鑫

50:19但是是微调的是吧,拿着公开的基座模型微调的。

徐文浩

50:23拿着好的基座大模型再去调的,而不是从零开始训的。因为基座大模型的训练成本实在太高了。

任鑫

50:30或者那如果从这个角度上来讲的话,就是我们说没有没有门槛的那些套壳应用,它如果比如说内部也有几个搞AI的人的话,他就应该说我基于这个场景的话,假设发现OpenAI或者什么不能完全符合的时候,我就应该自己去微调一个,成本的考虑也是那个性能的考虑。

50:52我觉

徐文浩

50:52得是这样

任鑫

50:52的。那这样子就稍微有点壁垒了,对吧?

徐文浩

50:55但会有一些挑战,因为因为这些套壳的一般都是to C嘛。你希望你的用户基数大,因为你覆盖的领域会很广。就比方说我们说做immersive translate,你肯定不是说我这个immersive translate只翻律,

51:07比如说法律文书跟医学资料。你肯定说我都能翻译,我才能吸引很多用户。那你不可能说我每个领域给你去调一个模型,对吧?这个事情其实是个有trade-off,就是你得自己去考虑。就我觉得最终还是会比拼到说,你得想明白你的用户是谁,是一个什么样的场景,所以我选一个什么样的技术路线。

任鑫

51:25刚好问一下,你刚说的这种领域感觉就是知识领域嘛,比如说呃immersive translate就做不了,但是比如说我做一个兽医APP,应该就可以做对吧?那我如果做一个专门用来帮你做总结,啊,它别的啥事都不能干,它只能帮你做总结,那这事它到底应该用一个宽,

51:45它算宽的还是它其实是一个垂直,帮你做总结。我觉

徐文浩

51:50得偏宽的吧。

任鑫

51:51所以它的知识因为还是宽的。到

徐文浩

51:53今年大家国内那么多人摸过之后,我我觉得一个结论其实是说,虽然这个东西看起来像magic,但是从大家实验的体感来讲,它跟上一代的AI有一点上本质上是一样的。上一代叫有多少人工有多少智能,稍微改一改就是有多少数据就有多少智能。

52:11就你要让这个模型有这个能力,你就要去找相关的数据,你得琢磨用哪里能找到这样的数据,它就能学出来。

任鑫

52:18是啊。我还聊了个人专门搞数据的。那我问你,问再问一个,就谈恋爱这事的话,就是情感陪伴这事,或者说什么心理顾问啊,这事算宽还是算窄啊?

徐文浩

52:28我觉得算窄

任鑫

52:29诶。为什么为什么总结算宽,但是因为谈恋爱不是也会谈到各种各样奇奇怪怪的事情嘛,或者心理心理咨询。

徐文浩

52:37我觉得不是事情,而是这个场景下的pattern是不是跟日常的pattern,或者说基座模型的数据的pattern差异特别大。就总结我觉得是说,其实是你个你在你的你的基座模型的数据里,你可以大量看到这种总结评论相关的这种描述。但是我在相信基座模型的数据里,比如说谈恋爱,真实生活中跟谈恋爱相关的内容跟文本,特别是真实的这种对话式的文本是很少的。

53:04如果回归技术角度,你还是去想说

任鑫

53:06你还是从数据来角度在考虑,其实它是什么数据长出什么智能。就

徐文浩

53:10你看基座模型里那么多数据,到底说在我这个问题上,它的数据是数多还是少,质量是高还是低?因为日常生人类日常生活中的大量的数据,现在没有体现,基座模型里其实并没有捕捉到。你如果是搞娱乐娱乐八卦,我相信基座模型里数据肯定是充足的。

53:29你你如果是说教别人什么谈恋爱的这种书可能有,但是谈恋爱的核心是两个人真实的日常互动的这个过程,这种口语化的这个聊天怎么,这个这个素材真的很多吗?我觉得可能,我的假设是,那个数据很少。如果你能搞到很大一份这个数据,你的确能训出一个很好的这样的模型。

任鑫

53:49可能只有微信有这个数据。然后,哎,你刚刚讲这个,就是上一期的那个我们的那个AI炼金术的那个,其实里面就有一篇我反正看了非常嗨的那篇文章,它其实有一个,就就就就非常之妖怪的观点,就是认为说智能是数据的一个feature。

徐文浩

54:07那篇文章的评价我没有你那么高啦,我就觉得嗯看了我也不知道他在到底想表达啥。我觉得他不知道他想要表达啥,或者说他给了很多论断,但是我觉得没有什么依据。

任鑫

54:16呃我我是觉得他给了我完全不同的视角,因为我之前从来没有想过说叫做,就就以前觉得智能是一个东西嘛,对吧?但是他把它智能当做数据的一个属性嘛。然后你刚刚在解答我的问题的时候,其实我感觉有一点点那个味道,就是你你其实不是在说,对对对,你是在说其实是看这坨数据在不在它里面是,

54:38还是它是专有的一坨数据。

徐文浩

54:40以及跟他那个整体的数据的分布像不像?对对对对对。就比如说我理解总结这个事情跟我们日你能够收集大到的大量高质文高质量文本的数据可能是高度相似的。但是谈恋爱就咱两个人打情骂俏的这个数据跟那个是高度不相似的。同时它的占比肯定也不会很多,它的量也不会很多。

54:59所以我觉得说你今天拿现有的基座大模型想搞一个很好的谈恋爱的模型的效果,跟别人说我真的能够搞到这个数据的人,可能是有差距的。

任鑫

55:08很有道理。所以还是有可能有,但是应该是基座上面做微调,不应该自己做预训练。预训练一个垂类大模型有点有点傻。

徐文浩

55:17对。或者你最多做一些增量训练,你可能没有办法去做预训练,因为预训练的门槛一定会越拉越高嘛,就是说,而且那个模型的智能跟数据质量,别人肯定是做了投入了大量的实验来做,因为它不只是说训练一次的成本。

任鑫

55:34那你第四个预测是啥?

徐文浩

55:35我觉得我们本质上是想说,你可能没做预测,但你心里是这么想,你有哪些观点跟更加坚定了,有哪些观点是彻底反转了。

任鑫

55:44我有一个观点,也不是说那个反转还是不反转吧,就是好像我目前正在朝这条路上滑过去。就是我一开始就觉得说我要远离生产力。我会觉得productivity其实就是把人类当工具嘛。因为你要讲你是人类是生产资料的时候你才会想讲生产力嘛,但是我会觉得有两个问题,一个就是你把人类当工具的时候,

56:11我会觉得人类作为工具它真的没有机器好使。所以我觉得反正过两年它就打不过工具了,你为什么要为为一个工具人做工具呢?第二个是觉得这个主战场的话,它其实就是巨头都看到了。它还不像我们做移动互联网的时候,其实当时真的是还在吵架的。

56:29甚至包括云的时候,你还可以看到李彦宏和马云啊什么的还在就发表不同的观点嘛。现在没有谁发表不同的观点,现在都是说要all in AI。所以现在这么明确的一件事。我又不觉得靠谱,而且又觉得所有的巨头都在做,所以我的第一第一判断就是我一定是尽可能地远离生产力。

56:50然后做的事情都是不把人类当工具而是当目的的事情。所以现在,嗯,我我自己最近要孵化嘛,也在看的都是这种。哪怕是吃吃喝喝啊,嗯,算个命啊,什么感恩啊,什么响应宇宙的能量啊,对吧?我会更倾向于这种,就就就会觉得这种可能是不一定靠谱,但是它不在那个主赛道上面,所以我的脑子会很多的往这个方向偏。

57:14那现在其实还是会往这个方向偏,因为其他方向上我还是觉得人山人海的。你聊,你你你类似的项目你可以看到十个,然后就会觉得,嗯,咋说哪个好哪个不好,但是那些奇奇怪怪的领域确实还少很多。对。所以会觉得方面还是蛮有蛮有可能性的,所以我会觉得这个倒是一直没变。

57:36但是对于那个大模型本身的一个进展的话,其实我本来也没没什么观点,因为我确实没有怎么看明白。我的论文都是只是听了李沐同学在YouTube讲解了一下,对吧?论文我都看不进去的,就没有没有能力做判断。对。只是刚刚讲的,我就是对Google追上的速度让我稍微的稍微的震惊了一下,说啊,这么久还没搞搞出来吗?

58:00以前可能会觉得说他应该去年怎么都追上了,但是从我的一个消费者的角度,他去年是没追上的,所以就会觉得这事可能比我想象当中难。

徐文浩

58:10我觉得这除了Google内部的PR可能,包括我相信过了这一两个月,一开始可能Gemini刚发布的时候,Google内部的员工可能还挺有信心的。但是我相信过了这一两个月,大家也能够感受到,至少我觉得跟GPT-4比还是有些差距的吧。

58:26不过我

任鑫

58:26刚刚觉得你刚刚有一句话讲得还蛮有道理,就是如果你是觉得说自己眼光比较好,然后看得比较透的话,就应该来做投资嘛,对吧?你你比我更早啊,你不是录了个课嘛,对吧?然后我也录了一个关于商业的课嘛,就是AI商业的,在混沌大学讲那个课。

58:42我现在觉得那个课讲得还蛮好的。因为我会觉得后来的很多的那个发展都是按照我的课纲,就是后面会说哎。其实是怎么样,它的本质逻辑是什么,后面确实没有,AI日新月异嘛,但是其实那个东西没有过时。

徐文浩

58:56历史规律跟客观规律现在并没有变嘛,对吧?这个商业规律其实没有变嘛。

任鑫

59:00所以从这个角度上来讲就是后来讲的还挺好的,就现在看也不过时的话,那我从这个角度上来讲就是我应该去做投资。就是你既然看到了,但是其实有些机会不一定是自己有能力抓到的话,那么其实就可以,就可以那个,那个搞起来。哦,我还有一个观点上的变化的话,会,就是就是越来越深的一个观点吧。

59:24就是早期的时候,虽然我也觉得说那个技术扩散是要时间的,但是我会觉得说在生产力方面,因为,呃,资本家都是无情的嘛,对吧?所以就理论上来讲,应该一个东西它能显著降本增效这件事情,应该它会不会那么慢,会挺快的。因为它它不是C端的一个好玩的东西。

59:46但是这件事情发展的比我想象中要慢。就是比如说用一个东西可以明显的让你开掉十个人这件事情,它的企业to企业之间的这个感染的速度比我想象中要慢很多。

徐文浩

1:00:01我我觉得这很容易理解,因为现有现代企业就是个很复杂的层级制,就大部分企业的所有权在各种股东手里。对,就就现代企业就是个是非常复杂的架构,对吧?你可能是说某一个贝莱德是你的最大股东,但贝莱德的那个投你的那个人,他其实也不是贝莱德的这个,

1:00:20对吧?黑石,他们也不是那个钱的所有人。所以每个人在这个当中都有一堆复杂的利益,其实生产力并不符合那个人的,就是身在中的每一个人的利益。这个利益其实特别复杂。

任鑫

1:00:33所以就会慢嘛,而且因为这件事情它又哪怕它有一个实控人,因为这一次他发的东西不像是氢弹嘛,氢弹就是哪个国家领导人搞出原子弹,他牛逼嘛。但是这次是先发到了个体手里的AK47嘛。那这样子其实它是自下而上的,很多人我觉得也有可能是小朋友们会把它藏起来,他让我可以早点下班挺好的,

1:00:59但是他也不要让整个公司改了,知道我就已经这个科技,整建制的来配AK47怎么样来训练啊什么的。很多聪明的小朋友就会自己开始用,但是也不会把它变成一个公司行为。

徐文浩

1:01:12对。但是回到这个事情,我正好想起来,这也不是个预测啊,是另外最近听到一个比较厉害的产品经理的一个观点。就是说我们去年大家都在聊说AI那么有生产力了,对吧?那带来了大家,当时我觉得大家都有一个预测,就是公司会变小嘛,我几个人就可以做一个startup,

1:01:30或者做一个比较厉害公司。如果我们去美国看那些创业公司,的确有这个趋势。对。就是现在startup都很小,就两三个人反正就干了。但这个朋友有一个观点啊,我觉得特别有意思,是说他说能不能反过来,有没有可能最终结果是反过来的。

1:01:45就是当AI变得特别强大之后,使得公司的管理边界变成无限了。它跟一个特别聪明的超级大脑来管你们每天干什么就完了,而不是变成一个很多个小公司。这

任鑫

1:01:57件事情其实已经发生了。就在我们刚毕业的时候,不是就比如说互联网发展之后,然后就会有很多什么互联网去做实体创业,然后就失败的例子嘛。但是你在那个新消费那一波的时候,就是比如说我就会见到一个九五后小朋友小姑娘,然后她就说,哦,我上个月刚开三百家店,然后你就会心里砰一下,然后觉得你是怎么开出三百家店的,就很猛嘛。

1:02:22但后来我就慢慢意识到,这个过程当中就是因为AI和数字化技术。原来的话,其实你是每一家店就相当于一个诸侯,你需要有一个小皇帝才能管好,然后怎么样。但是现在的话,他们已经就比如说这瓶水应该放到第二个货架第三格,对吧?已经就是一个iPad在管理了,相当于就雇佣人的手嘛,已经不太需要店。

1:02:44就传统的店长真的是一个全方位经营型人才。现在就对这个人才的要求显著的下降,你就真的可以一次性开三百家店了。但是以前是真的做不到的,你三百家店是需要三百个会动脑子的人。但是如果你中央大脑足够强可以赋能的话,三百个店你要请三百个,比如说搬货的人,以及还有一个机器人在检查他货,

1:03:07对不对?那这个时候确实就组织的话其实是可以变得更大的,不不光是可以变得更小。而且另外一个角度的话,就是我其实觉得因为我们经常会讲AI可以替代什么嘛,经常讲的是它替代写字儿的,替代画画儿的。但是我觉得其实它最应该替代的反倒是管理者。

1:03:28因为管理者往往是你其实是一个收信息、分信息和协调的这个工作,它的信息吞吐量很大。然后但是其实我们的带宽又特别小。它其实如果它把管理这个给取代掉的话,其实可以管更多的人。人的那个管服,比如说不是说最终只有七个人向你汇报,你就已经疯了嘛,对吧?

1:03:47超过七个人。但是他可以七百个人啊,那这样子确实像你讲的,就是组织是可以变得更大的,是可以做到的。

徐文浩

1:03:55那这是一个,这是别人的观点啦。就是我也在想这个事情,就是这个结论到底是对还是错。因为你刚才举的这个东西,我其实想到了,我觉得有好几种不同啊。第一种是说新消费开几百家店这件事情靠谱不靠谱?我觉得其实在很多场景下最终是不靠谱的。

1:04:14就是因为它的过程中,新消费不是又偃旗息鼓了吗?现在,

任鑫

1:04:18啊不不不,他能开出那些店和那些店赚不赚钱,这是两件事。以前开都开不出来,就你完全不可能

徐文浩

1:04:25啊。我我我理解,但是我的理解是说,如果验证最后是这样,这个模式是不挣钱的,只是做了一个失败的社会实验呢。但是我觉得这是有成功的例子,我觉得比较典型的像瑞幸咖啡。就是我在想,就是说因为我每天早上正好到公司一杯九块九嘛,它的这个店你需要很强的管理能力吗?

1:04:42的确也不太需要。对啊,它可我我相信它的内部肯定还是有店长或者副店长的区别,但的确它对这个管理能力的要求肯定是大幅度下降了。因为它靠数字化,靠这个东西,把大量的问题已经不需要现场那个人解决了。现场可能只要处理极少数的意外情况,什么我送过来东西漏了、坏了、洒了这些情况,或者有人要换班啊什么的。

1:05:05但是大部分情况,人有紧急情况的换班,但大部分情况的确是能够做到了,

任鑫

1:05:11全部数字化了嘛。对。

徐文浩

1:05:12但是我也在想说,其实我们这个时代有两类组织,至少之前我们认为这两类组织是不一样的。就是我们以前认为瑞幸跟字节跳动是两类公司,对吧?瑞幸跟阿里,阿里比如说不不不说它收购的大润发,或者瑞幸跟腾讯,就是腾讯我们甚至以前我们叫知识工作者嘛。

1:05:30就是字节也有十万以上的员工,阿里也有十万以上的员工,对吧?瑞幸可能也就它开个一万家店吧,可能也就十万个员工。一般来讲,我们觉得能替代的是,就是我们来讲靠数字化管控,讲的都是瑞幸这种嘛,对吧?你觉得它的那个事情比较简单,机器的确能够把它非常流程化。

1:05:49我们会觉得像阿里、字节这个事情其实没有那么容易,包括大家在文化上宣传的时候,对吧?就大家觉得阿里跟拼多多的文化差别是很大的。很多人觉得拼多多是一个偏执行的文化,对吧?就字节是一个偏偏,就是你自发,你自己给你一个目标,你自己去想怎么解决的这个文化。

1:06:06我的问题就是说,那是不是说是这两个在回到这个场景下,这两种工作到底有没有本质上有没有区别嘛?当然这是个很抽象,没有,也许是很抽象没有意义的话题啊,对吧?但是我觉得倒过来,假设真的它能扩大公司的边界,那从投资的角度意义上来讲,也许你应该买大公司股票,

1:06:25对吧?

任鑫

1:06:26对。其实我我会觉得没有那么大的区别啊,只是说你的工作是否标准化,它是一个光谱,它不是一个非黑即白。那如果是光谱的话,比如说我们拿字节为例,字节比较经典的外面广为传颂的其实是它的OKR。那你仔细想想,OKR其实也就是部分是为了大家方便协作方面对齐的一个工具嘛,那做到文档里面。

1:06:49那另外的话,比如说飞书,飞书它会自动的根据比如说谁,然后给谁安排了什么任务,谁应该看得到,然后它的时间窗什么什么。这个时候其实它也是把大家之间的协作把它数字化。那如果我们反过来因为我们现在的思考还是说,嗯,我们现在人类的默认的思考是人在使用工具嘛。

1:07:10比如说我在用飞书文档,但是如果你极端的思考,假设是以飞书文档为主呢?飞书文档上面写了我的OKR,写了我这周要干嘛,写了我应该怎么做,上面甚至于飞书还流行写一个个人说明使用说明书嘛,对吧?就是应该怎么调用我啊什么什么的。那这个时候其实是应该文档和文档之间他们来聊天,然后来协调工作,因为他们知道彼此怎么对齐。

1:07:33然后他们做不了的事情,他们来安排自己的主人去把这个事给干了。所以如果你换成这个角度的话,其实它跟瑞幸和那个比如说外卖小哥就没什么差别了。但是如果你是人去使用飞书文档,那就有很大差别。但是如果我们是以比如说飞书文档为主体,OKR和使用说明书和我的我的什么日程表和什么它为主体,

1:07:55然后它来安排这个主人的工作,以及主人应该什么时候跟谁开一个会,你要记得会后告诉我说这件事到底往左走往右走。那如果是这样的话,就被派单的区别就不大了。应该往这个角度走的话,效率会提高很多。因为人类就不适合一起干活。

徐文浩

1:08:12就是我我还在琢磨这个事儿啊,就是虽然这个就就瞎琢磨一下,因为我觉得跟实际立刻能动手干活还差别比较大。就是那个可以无限扩张的边界并不是立刻就能做到嘛。就像你说的这个文档,就是我们的工作即使都文档化了,它其实有大量的隐信息其实在文档里没有没有体现嘛。

1:08:31此时此刻,跟那个瑞幸里说它主要的工作其实通过一个标准的流程手册已经体现了,是还是有差别的吧。但是的确有有你说的这个可能性。我是在想说,说实话,当你在一个巨型公司里的时候,大家每天在干的事情的确是就比较数字。就比较KPI或者OKR,我甚至认为叫KPI驱动。

1:08:54因为很多OKR里也是为了一个数字,而不是为了那个,而不是真的说有一个抽象的,越是大越是越是确定性成熟的业务越是这样嘛。

任鑫

1:09:04我觉得如果是按照这种推论下去的话,其实无所谓啦。其实我们还是基于静态的,就假设说我们先不不讨论这个问题的话,假设今年可以出GPT-5,我们认为说智能的这次迭代的话,因为它无非就是算力和数据嘛。假设数据是可以用合成数据,然后算力无非就造嘛。

1:09:26数据

徐文浩

1:09:27不用合成数据,只要我用数据它产生的价值,人去写数据的成本低于它能够产生的价值,你理论上讲你也可以无限投入,不停地去干这个事儿嘛。

任鑫

1:09:37所以最后就我会觉得说,假设是这样的话,其实就是就就就我们现在讨论还什么文档啊什么东西。但是如果真的是以GPT-3.5到4的这个水平,每年进步一次的话,每年进步百分之乘以乘以两倍,这真是太吓人了。这就三五年后的世界,理论上来讲,就是我们完全没法想象的世界。

徐文浩

1:09:58呃,物理世界还是很慢的,物理世界很还是很慢的。你飞到美国那十几个小时,对吧?这个短期内还加速不了,所以这个事情的速度它还是有一个上限的。

任鑫

1:10:08我昨天才知道一个数据,就是中国去中跟中东的来往的航班,大幅度地超过中美。

徐文浩

1:10:15否则这是因为中美现在航班特别少吧。这个

任鑫

1:10:17好像也超过了,就中东好像跟疫情前中美的航线已经差不多了,但是中美还还掉了一,比如说掉了一半嘛。我觉得啊,这个世界现在是这样的,那机会在哪里呢?假如说我们真的是,那你对2024年有什么有什么判断吗?

徐文浩

1:10:35那我我觉得第一个预测我们前面已经做了嘛,我觉得GPT-4,就大家都会追上GPT-4。我甚至愿意做一个更激进的预测,就是会有开源的模型追上GPT-4。就不一定到Ollama那种开源的地步啊,就是可能Llama这种开源的地步,就maybe Llama 3或者年底的什么Mistral whatever,

1:10:53或者国内的某一个开源的模型,差不多会到GPT-4的水平。这个是比较激进的预测啊。

任鑫

1:10:58那到GPT-4,那不就市面上会出现一百家的GPT-4。

徐文浩

1:11:01这这个这个是激进的预测,这个预测其实打脸就打脸了。但是我觉得不太会打脸的。我个人的判断是,国年底会有十,全世界除了OpenAI,会有十家公司能够做到GPT-4水准的模型,并且让大家可以用。对,我觉得这是一个预测。

1:11:17第二个我觉得预测是,短期内从AI会进入一个呃稍稍微微消停一点,就是不会像去年那么热。因为的确去年从最终的渗透跟就从这个商业是不是立刻起飞、能够赚钱来讲,没有那么好。但是我觉得这也是个短期的回调而已。这个如果我更愿意预测,2025年它会变得更厉害。

任鑫

1:11:38那你预测2024年会有一个,就是那个排头兵,就是会有一个至少到从3.5到4的这样一个进步吗?

徐文浩

1:11:46会不会有GPT-5啊?这个可难预测了。我想一想,

任鑫

1:11:50不一定是我,我的意思就是,行业最高水平会不会出现一个从4上面再长出一个3.5到4的那个,那个叫什么,那个叫迭代?对,

徐文浩

1:11:59我觉得会,我觉得会,而且就基本上就是OpenAI,我觉得会。因为毕竟GPT-4是一年半以前的东西了,你再给它一年两年半做一个做一个迭代发布出来,我觉得既应该有这个能力,而且也有这个必要,对吧?就是如果大家都赶上了,它如果再不出来,那不就黄了,那这公司不就危险了吗?

1:12:20对吧?所以我觉得他们既有这个动力,也有这个能力干这个事。因为至少我觉得理解说,就是无论是从数据的角度,从模型规模的角度。其实还是都有空间的。了

任鑫

1:12:31解。所以那今年的话,那,呃,因为Sam Altman其实已经讲了嘛,就是你要基于一个有一个上帝般的厉害的AI来做工具了嘛。对。

徐文浩

1:12:40但是我觉得4.5没有到真正理想中的AGI那个地步。就是大家对4的判断是,我觉得对4的判断是类似的。如果你觉得它跟一个普通的人比,它能力已经非常强,你也可以说它是AGI。但是你如果真的又深入用一用,你又觉得它其实没有到那个,就是因为AGI本身很难定义啊。

1:12:58但是所以我觉得说,至少今年我们还看不到有一个上帝般的AI。哦,这个这是这是一个上下限的一个判断吧。

任鑫

1:13:07对,我期待比较低啦。我期待就是它只要有一个3.5到4的进步,我就已经非常觉得非常牛啦,就非常棒了。就相当于那个引擎已经又升级了乘以二了嘛,就很牛啦。还有啥判断吗?

徐文浩

1:13:20但但是我我不知道,因为我用的很重度嘛,还经常用它写一些代码,写一些,就是它有时候也骗我,就是4经常还是会骗骗我的,就是给了我一个幻觉,一个完全不存在、不不不成功的东西。从这个视角来讲,我觉得它其实离那个4还是,呃,离AGI还差距挺远。

1:13:36就是我如果去问朋友,比如说我认为问某一个领域,我有一个技术的问题,如果我觉得这个人是专家的话,他一定是,他如果不知道,他一定会告诉我不知道。他如果要查一下资料才知道,他肯定会查一下资料,告诉我一个准确的信息。他如果知道给我东西,基本上八九不离十的。

1:13:53但是GPT-4至少目前还是一个时不时会瞎编一下的状态。

任鑫

1:13:58那你觉得今年会出现killer app吗?不管这个killer app定义是像比如说愤怒的小鸟,还是定义成TikTok。

徐文浩

1:14:06呃,就什么样的规模算killer app?就比如说Arc或者Perplexity算killer app吗?现在比方说,

任鑫

1:14:12还不算吧。就是老百姓没用啊,就是愤怒的小鸟是老百姓也会用啊,就我们两个的太太会用的工具叫做killer app。

徐文浩

1:14:19我的我太太现在偶尔也有用一下ChatGPT的需求。对,

任鑫

1:14:24我太太也有,而且我就就就不小心帮她又买了一个账号,然后觉得好亏。

徐文浩

1:14:30准备追这个级别算killer app了吗?

任鑫

1:14:32还是还没有到那个,还没有到愤怒的小鸟。我觉得愤怒的小鸟算算移动互联网的killer app吧,或者水果忍者。对。这是第一波嘛,然后后面你再说什么TikTok啊,这种算原生的killer app嘛,微信嘛。

徐文浩

1:14:45呃,妙鸭相机算吗?

任鑫

1:14:47它也没啊,现在已经快快快破圈了,但是其实如果我,我们两个太太没有自己用嘛,对吧?我们会帮她用嘛,对吧?

徐文浩

1:14:56我这样讲吧,因为我觉得killer app这太难了,但是我觉得今年有机会出现比妙鸭相机用户体量规模更大、粘性更强的AI。

任鑫

1:15:05就大一个数量级算大,对吧?

徐文浩

1:15:07就明显大几倍吧,我觉得这不一定能到一个数量级,比如说三倍。对啊,我们瞎胡说。对。就大个几倍,就是明显它能够再上一个台阶,能不能到一个数量级,我觉得不好说。然后粘性也能够做到更长,就是它不是一个,我相信今年会有。

任鑫

1:15:23那然后你相信的这个killer app。

徐文浩

1:15:26而且我希望我们能做出来。

任鑫

1:15:28你加油。

徐文浩

1:15:29不,我这没有,我希望我们能奔着这个目标,能做出这样的应用来。

任鑫

1:15:33是是是。我今年期待可以做二十个,看能不能赌中一个。按照我们之前花钱的那种尿性的话,现在做二十个大概也就是原来做一个大的钱。那你觉得今年会出现的这个大的killer app的话,它会是那个那个已有的巨头的一个,比如说比如说微软Copilot这种,Canvas AI这种,Notion AI这种,还是会是像妙鸭这种凭空产生的一个新应用?

徐文浩

1:16:02所以就第一个,我认为从产品跟品牌的角度来讲,应该是凭空产生一个新的。但是它背后也有可能是大公司,因为妙鸭其实就是阿里孵化,阿里内的一个项目嘛,对吧?所以,但是从外部来看,可能就是或者刚出来的时候,大家会以为是个新的,我我去倾向于是个新的产品,

1:16:19而且是偏娱乐性的。而不是功能性的。

任鑫

1:16:22那你会觉得说这个这个应用的话,是会在海外还是在国内?我觉得

徐文浩

1:16:26国内的概率大于海外。为什么?我觉得中国人在娱乐性上的愿意花的时间精力比海外要大很多。对。这这这个是预测吧,预测吧。

1:16:36就是说我自己在反思,在我自己在思考,我觉得这件事情在国内的概率可能高于海外。当然这个可能是因为我对海外的C端市场还是不够了解。

任鑫

1:16:46哎,好呀。那我们就2024年年底的时候再看一下,看看预测对没有。对,你还好,你还有一些判断。我现在脑子就是一团浆糊,就忽左忽右的,跟你聊会儿有的时候觉得这样是对的,跟别人聊会儿又觉得那样是对的。

徐文浩

1:17:02这个我的建议是说,哎呀,不管对不对,就下海了,下海了。就是用用不同的方式嘛。就是我觉得下海了还是得去看,就是实际产品做的过程跟反馈是什么样子的。而不能是说,就是因为我觉得已经过,因为再再去反复去做哲学命题讨论,我觉得意义已经不是特别大。

1:17:21毕竟我们不是哲学家,就是我们以那个为本职,我们本质上还是个喜欢折腾点新东西的普通人,对吧?

任鑫

1:17:28我这边孵化一些,自己做做一点。嗯,可以,可以用你们的模型来做。

徐文浩

1:17:34可以可以可以可以,甚至可以考虑一下,是不是比如说什么需要一些算力啊,然后什么什么互相做一些交流啊,这个都我们都很欢迎。

任鑫

1:17:44算力。你们那边可以送算力?

徐文浩

1:17:46不是送嘛,就是比方说我们,我们因为我们肯定会买一些算力做新应用,但是不可能保持,就是我们毕竟不在训练基础大模型,所以你也很难做到24小时把算力用满,对吧,对吧?就是说比方说我们在训练上,有些场景它的确相对闲一点。但是我如果完全on demand用的话,是比我买断的要贵三五倍。

1:18:06所以理论上讲,我只要用满一半我就划得来。但是我也,而且我要完全能用满,其实是有难度的,对吧?就是就是因为你还是得跟着业务节奏来嘛,你也不能,对吧?就早期我们一开始拿这些时候,我们说,哎呀,不能浪费算力,多做一些实验吧。你的很多消融实,就你很多对比实验做完了之后,你也没有必要不停地说,愣派一个人,不停地把那个卡给跑起来。

任鑫

1:18:29有道理,好的。以后可以过去蹭蹭卡,嗯,知道了。

徐文浩

1:18:32对对对。这个我觉得可以做,可以做一些交流,用用一些什么样的方式来合作嘛,我觉得这都不是太大的问题。

任鑫

1:18:38其实也可以考虑说,你们如果要大规模的探索应用的方向的话,这边外面可以孵化一些。然后但是他们他们稍微探索出来了,比如说PMF探索出来了,然后就跟你们开始合作,说后面要不要微调个模型啥的,然后要不要做点壁垒,对吧?但是前面的那部分其实是纯粹一个碰运气的事情嘛,就是小朋友是先去前面去冲嘛,你们没有必要一帮科学家去冲冲冲冲冲,

1:19:06去投丢骰子。

徐文浩

1:19:07我们现在团队虽然也有很多博士,但是我们都觉得自己就是动手干活的,谈不上科学家。

任鑫

1:19:13我们搞一帮小朋友去丢骰子,然后丢中了哪个的话,来来来来来,然后开始布布防。

徐文浩

1:19:20我觉得其实也是因为软件这个问题,因为开源的存在,因为这个迭代协同很容易。我是觉得说,其实技术的壁垒远比大家想象的要浅,就特别是对行,对对。越是离技术越远的人,越是觉得这当中很神秘。但是你越深入进去,我相信很很深入的,你做,大家在冲GPT-4,就大家在追随GPT-4,探索GPT-5,

1:19:42这个可能不同的团队的能力差距会非常大。但如果大家是今天去追赶,使用GPT-3.5,微调一下,使用GPT-4,这个门槛其实并没有那么高。所以我是觉得说,还是说要不停地去尝试。新的场景,新的应用,这个当中会有很大的机会。

任鑫

1:19:59好的呀。还有什么要给我们一年之后打脸留留资料的吗?

徐文浩

1:20:03我觉得没有预测,呃,就我想请你预测一下一个事情。就是其实今年AI还有一个趋势,就大家都在讲中国的团队出海嘛。就是你预测这件事情在2024年是会成为一个会有什么比较成功的案例吗?就新的成功案例。

任鑫

1:20:19我觉得会有,对。嗯,因为我我我现在自己做孵化的路径的话,现在当下拍脑袋想,其实就是走这条路嘛,就是把中国的好的团队的话往海外做嘛。我聊下来的话,会感觉还是蛮有优势的。还不是因为什么便宜啊什么的,而是因为中国的团队迭代快。

1:20:41别人一个月迭代一版,中国团队可以一个月迭代四版。那如果是在一个高度不确定性去摸机会的环境下的话,迭代快,你转身快的话,你你你去抓到机会,以及快速把,比如说做十个项目,可能才一两个PMF了。但PMF之后马上把它放大的能力,我觉得都是中国团队比较擅长的。

1:21:04我我觉得中国团队出海会非常强。本来还有一些壁垒在嘛,当然你可能会遇到,可能会遇到一些那个比如说国际政治方面的壁垒的话,就是没有办法嘛。但是你真的遇到那个时候,你已经做做起来了,就已经对于我们来讲已经已经挺好的了。但是在那之前,你遇到的其实是文化壁垒。

1:21:25就比如说你你做的APP的长相,虽然你比老美做了好多了,但是其实不好用嘛。但是这一波因为它AI化了之后,我觉得这就不是个问题。因为对于我们来讲,和对于老美的产品经理来讲,其实都是新的。大家都在拍脑袋,重新来定义我们的交互范式。

1:21:46所以其实其实就被迫拉到了同一起跑线。甚至于可能会因为我们对于比如说去做海外市场,因为是外国人,所以可能还会更谦卑一点。就是因为,因为确实确实你可以说我不懂嘛,对吧?根据AI来重新设计交互形态,甚至于包括说有可能重新设计硬件。

1:22:05因为中国的硬件能力也很强嘛,就你做个做个小收音机什么的。对。所以我我会觉得中国团队出海是蛮有机会的一件事情。所以我现在其实看的也都是这方面的团队,对。希望可以孵出来一个,也会也会夹带私货,把自己的几个idea放进去,孵几个。

1:22:25对对对。希望,对,但是也不一定是我我我想的就靠谱嘛。对。如果有别人想的,然后我在旁边就就就就添油加醋把它给加出来的话,那至少以后也可以吹牛说这个是我搞出来的,对吧?

1:22:38也也是很自豪的嘛。孵化器的好处就是量可以大一点嘛,那总归有一两个出来的就可以号称是自己搞出来的,好像好像很强的样子嘛。希望如此,而且我确实觉得应该如此,因为真的是long Chinese,Chinese太强了。我之前不是,我在2007、08年,我是在美国上班嘛,就确实

1:22:59你比较一下,确实会发现中国人还真的是蛮拼的,而且又脑子确实也蛮好的。然后这样子没有理由去打全国全球市场打不过,而且我们又是在这么卷的环境下被磨练出来的一批产品经理和研发,对吧?你要说卷大模型,卷不过是有可能的,就是老美在那个……

徐文浩

1:23:21我觉得卷大模型也卷得过。我我跟我同学聊完之后,我们我我听他聊完之后,我觉得卷大模型也卷得过,一定卷得过。为

任鑫

1:23:28什么?你是觉得就就就就人家出五的时候,我们出六吗?或者人家出九的时候,我们出十的水平。

徐文浩

1:23:35我觉得很有可能就是人家出五的时候,我们出五点五,或者人家出到六的时候,我们出六点五的水平。这

任鑫

1:23:41么牛逼吗?为什么?因为

徐文浩

1:23:42我觉得就是就是这位同学有一个逻辑,我觉得是对的。因为就这个事情就是个软件的事情,这个观点我是认同的,就是一个software的事情。对。第一个是至少目前这两代人的人口基数、聪明才智、卷的程度,都是深受了我们传统文化的熏陶的。

1:24:01所以这个事情也没有那么多秘密。这个事情就目前来讲不存在代差级别的秘密。那其实就是比谁聪明,谁迭代快,谁的这个数量多。可能的瓶颈真的最后会变成在卡上。

任鑫

1:24:15我刚想说,难道卡?那那假设卡不是问题的话,现在其实觉得说它就是堆人才,大家都是在炼金术去试,并不存在着一个基础科学方面的东西。这基础科学其实老美老美也没想出来,是吧?

徐文浩

1:24:29对。就是我或者这样说,这的确比方说OpenAI有一个更强的vision。但是这个大的方向确定了之后,这个当中很多是需要聪明才智的。它不只是说简单地试,它还需要聪明才智去琢磨说我怎么去试这个事情。但是从这个视角上来讲,就是中国不缺这样的有聪明才智的人。

1:24:48就是我其实不太同意之前那个广密还是谁的,他们做了一个基金,他们的判断是说啊,就是三分之二的头部人才都在OpenAI。

任鑫

1:24:58对,石像他们的判断。

徐文浩

1:25:00啊,石像,对,就石像嘛,就广密他们嘛。就是我的看下来的,我的感觉就是我我偏向于跟那个朱同学的想法是类似的,就是全球现在有一万个聪明人在干这个事情。然后你OpenAI也只有一千个人而已。那个人的结果更好,并不是因为那个人更聪明,也许是因为那个人更lucky。

1:25:17很多事情都是大家同时在探索很多方向,你最后在你这里卷出来,未必是因为你更聪明,是因为你更幸运,就你最早做出来。我我觉得至少从我过去,我是不太相信决定论的

任鑫

1:25:28吧。这个话可以分两个角度,两个完全相反的方向理解啊。一个就是如果是因为lucky的话,因为我们比如说人多嘛,就可以卷的人多嘛,我们未来可能卷过去概率提高。但是还有一个理解,就是说因为OpenAI足够lucky,他们比如说在一千张彩票里面抽到了一张,

1:25:46然后他们已经跨过了这个坎儿。但是后面的人要追的时候,你要在比如说抽一张十亿美金,十亿美金买一张彩票,十亿美金买一张,他可能抽三张抽中了,后面的人其实很崩溃的,你你抽不起一万亿美金去抽嘛。如果大家觉得这个东西是核武器。

1:26:03就按照万亿美金去抽了,对吧?

徐文浩

1:26:05我就会倾家荡产的干这个事情。但是现在很明显,我觉得有很多人,甚至从国家层面,大家都觉得这是核武器。

任鑫

1:26:13这肯定是核武器啊,这个这个这个现在比核武器还……

徐文浩

1:26:15那那就那就完事了,那你第一个抽出来没问题。

任鑫

1:26:19就是这一千张我老子也会抽,十亿美金一张,一万亿啊,也是可以的。对,你说得对。然后人才的话,确实,你们的判断是其实没有那么夸张。就是我觉得

徐文浩

1:26:30是这样的,就是说这个事情是不是一个天才的vision,也许是。但是它是不是需要天才到都是天才才能执行,我觉得不是。一样的,就跟我觉得就跟比如说二三十年代这个量子物理是一样的,对吧?可能是爱因斯坦是个天才,他想出了狭义相对论和广义相对论。

1:26:49波尔是天才,他想出了呃量子力学或者什么。但是当很多聪明人看到这个方向正确之后,会有无穷多的聪明人进来卷这个事情。当在这个程度下,我要卷出一个怎么做原子弹啊,或者做这个做那个,会有很多人都能做出来。那

任鑫

1:27:07就更更有意思了。

徐文浩

1:27:10对对。这这个是我对这个事情的长期的一个预测啊。

任鑫

1:27:13那如果激烈这么激烈的话,其实它也会加快这件事情的进展。就是跟那个,我讲两个我想到的相关的事情,一个就是摩尔定律。摩尔定律其实它的从从硬件上来讲的话,就是每过一两年都会觉得它支持不下去了嘛。但是其实只要足够多的,这里面经济利益足够大,就会有无数的聪明人想出一个奇旁门左道的事情,把那个原有的瓶颈给破掉。

1:27:40那这边的话,如果真的是跟摩尔定律对应的话,那其实它就是比如说每年翻倍的进展的话,其实就毫不夸张嘛,对吧?十八个月什么智能翻倍,这个就就就哪怕不是OpenAI做出来,只要大家都信这件事情。然后第二个是那个那个我不是去硅谷也聊了另外一个科学家同学嘛,对吧?

1:27:59然后我问他说觉得十年之内AGI能不能出来,然后他说不确定。但是我们后来聊着就感觉就是,但是在我们有生之年大概率应该是可以看到。对。我们还能活几十年嘛,对吧?那如果是这样的话,真的就是好科幻啊。

徐文浩

1:28:17对,你就想他原来也不是做大语言模型的,他原来其实是偏向于做reinforcement learning,做那种A,就偏agent的,偏这个这个智能,对吧?但是他其实现在也来卷,卷来干这个事儿。

任鑫

1:28:28对的。现在卷大模型了。

徐文浩

1:28:30想一想,这个其实就很简单,就是说,那他原来卷的那个方向就一定比Transformer这个这个,就是他选择了那个方向跟另外一个人选择Transformer或者做语言模型这个方向,这个谁先卷出来有智能,我觉得就是lucky的差别。

1:28:43当然,也许他不一定是呃Ilya或者谁那个级别的,还没,他比那个还有点距离,但是我理解说也一定会有很多人像他一样在卷一些别的方向,在卷,有些人在卷视觉的diffusion,有些人在卷这个别的。但是现在可能很多聪明人都来干这个了。

任鑫

1:28:59至少他是Ilya会亲自挖的那个级别的。

徐文浩

1:29:03对对对对对对。

任鑫

1:29:04了解,所以那那那更好玩了呀。我是觉得说那如果这样的话,中国这边其实机会就更大了嘛,就是你不会受限于模型嘛。现在我的技术假设其实是在国内做的话,你还会受限于模型的能力。

徐文浩

1:29:18我觉得现在观察,我我觉得至少现在这个点,我觉得不会。我觉得国内现在的一个风险是卡,但是卡这个事情,除非发生极端战争风险。我觉得总有是用各种歪门邪道的人会想办法帮你解决的。

任鑫

1:29:31这是个钱的问题是吧?

徐文浩

1:29:33这个也是基本上今年的,今年英伟达的出货量会是去年的三倍嘛。那那就就就意味着卡的数量会,市场的供给会大幅提升。当然消耗也会大幅提升嘛,肯定有更多的公司想去冲刺,要买更多的卡。我

任鑫

1:29:47问一个技术上的问题啊,就刚好聊到这里,就是,呃,因为之前的话,英伟达的卡是因为它很通用嘛。那如果我们都确定了大家都是卷Transformer这个方向的话,是不是其实华为啊,各家其实也都能造出来inference,或者说训练的卡?

1:30:04其实就假设我们只做这一件事情,就就就通用性追它可能要追二十年嘛。那是不是其实有可能十八个月也就追到了,就就我们的卡相当于A100,相当于H100就都能用了。

徐文浩

1:30:16对,第一个硬件我也不太懂,所以我觉得我没法回答你这个问题。就是至少从目前来看,我觉得说其他家不会,就没有人会放任英伟达高利润收大家钱嘛,对吧?就大家去想是不是这么回事儿,不管它的竞对AMD,不管是被卡脖子的像中国的什么华为啊什么,还是云厂商,

1:30:37其实都在想各种办法说能不能不用英伟达,对不对?或者说我能减少对英伟达的依赖嘛,对吧?所以无论是软件、技术上,其实大家各种各样都有人在做这个事情。所以我觉得依赖降低是一定会发生的。但是到底,因为毕竟英伟达做这个事情,我觉得英伟达跟OpenAI的情况类似,就它很早有一个vision,

1:30:59下了重注做了一个事情,最后也吃了很多,也做了很多年冷板凳或者不赚钱的事情。现在到了回报期,这个回报期有多长不知道,但不可能是永远,也不可能是特别长,对吧?但是硬件的周期比软件长,因为软件这个周期迭代更短嘛,就是对吧?Google说他们一个礼拜就能训一版模型,现在,对吧?

1:31:21那个那个Gemini的paper里说他们一个礼拜就能训一版模型。我相信中国人搞足够多的卡,可能也许也能迭代到比如两个礼拜训一版模型。但是硬件它毕竟有一个流片投产,整个周期可能就是两年,对吧?即使你能缩短两年,你缩到一年是可能的,但你没法短期内缩到一个礼拜,这不现实嘛。

1:31:40所以我觉得从那个角度来讲,它肯定是时间会更慢一些。就是如果你觉得华为已经能够替代英伟达的H100了,那中国的模型能力肯定已经赶上四了。我觉得你这样去,我会这样来思考这个问题。挺好的,

任鑫

1:31:55反正都还有希望。然后赶紧把这些东西搞出来,搞出这种奇奇怪怪的东西出来,世界也会更和平一点吧。人类统一看到一个像妖怪一样的AI出来了之后,人类自己那些小事情就不要吵来吵去了。好的呀。那我们差不多了,感谢感谢各位的支持啊,就是这种这么随机的一个混出文章,随机的出连麦,随机的发播客的一个,

1:32:20感谢大家厚爱。谢谢谢谢谢谢。嗯。可以各个平台关注我AI炼金术啊,祝大家新年快乐,新年快乐。

徐文浩

1:32:29哎,对。祝大家新年快乐,提前给大家拜个年。好

任鑫

1:32:32啊,好,好,拜拜,拜拜,拜拜,拜拜,拜拜,拜拜。

本期词条

选择一期节目开始收听00:00 / 00:00