打脸还是神预测?看看去年都被我猜中了啥

- 发布
- 2024 年 2 月 17 日
- 时长
- 1 小时 34 分
- 主播
- 徐文浩、任鑫
- 收听
- 小宇宙(节目主页)Apple Podcasts喜马拉雅
徐文浩与任鑫回顾一年前对 AI 的预测:当初判断「套壳没价值」被打脸,Monica、沉浸式翻译、Perplexity、Arc 这类从简单封装起步的产品,靠持续迭代做成了有壁垒的产品;「六到九个月追上 GPT-3.5」的预测则基本命中。两人还讨论了垂直大模型与微调的价值、AI 会缩小还是扩大公司边界、生产力赛道该不该碰,并对 2024 年做出新预测:全球会有约十个团队达到 GPT-4 水平、出现更大体量的 AI 应用、中国团队出海与卷大模型都有机会。
- 套壳产品的价值被低估:Monica、沉浸式翻译、Perplexity、Arc 都是从简单封装起步,靠持续迭代长成有壁垒的产品
- 六到九个月追上 GPT-3.5 的预测基本准确,说明大模型技术扩散快、没有代差级别的秘密
- 反直觉的是 Google 追 GPT-4 的速度慢于预期,供应链、团队磨合和历史包袱都是成本
- 垂直大模型应改叫「垂直场景的微调模型」:从零预训练不值得,但用特定场景数据做 alignment 和微调仍有价值
- 微调成本远低于想象,70B 模型用三台 A100 训两三天,大概一两万块钱
- 判断一个场景是宽还是窄,要看该场景的数据分布与基座模型训练数据的相似度和占比
- 任鑫坚持远离生产力赛道:把人类当工具不划算,且主战场巨头已经 all in
- 关于 AI 让公司变大还是变小:有个观点认为管理边界会因 AI 变得无限,组织反而可以更大
目录
点击跳到对应位置
- 开场:来复盘去年那些预测00:00
- 复盘一:套壳到底有没有价值03:20
- 早下场还是再等一年10:09
- 看得见未来,未必抓得住机会12:30
- 硅谷见闻:天真乐观的套壳创业者16:38
- 年龄、包袱与机会成本19:49
- 小切口上来就赚钱的 AI 项目24:25
- 复盘二:六到九个月追上 GPT-3.527:02
- Google 为什么追得这么慢28:00
- 新预测:2024 年十个团队到 GPT-434:12
- 放下包袱:既要 hands-on,也要做 tech HR39:12
- 复盘三:垂直大模型有没有价值43:25
- 微调一次到底要花多少钱49:00
- 从数据分布看「宽」与「窄」51:25
- 任鑫的观点:远离生产力55:44
- 降本增效为什么扩散得比想象慢59:18
- AI 会让公司变大还是变小1:01:12
- 对 2024 年的几点新预测1:10:30
- 今年会出现 killer app 吗1:13:58
- 合作与算力:孵化器模式的想象1:17:28
文稿
共 1247 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见
00:33所有的之前存在人类的知识服务的领域可能都可以重做,因为原来的人类知识服务会把客单价拉到比如说时薪至少是两百人民币嘛。假如说你可以把它打到比如说五毛钱人民币,至少是以前是被这个价格卡在那里了,那现在可能可以扩大一千倍。所以无数的细分市场现在我看到确实正在炸出来。
01:24呃,我们这个非常不定时,不规律,然后不不勤勉的更新,终于又到了新的一期。哎,不知道上一期什么时候了。Hello,hello.你是说这一期我们就聊回顾这一年吗?还是聊啥?
01:36对对对,我之前说我们可以聊一聊说,因为其实去年年初大家对这个东西都有很多预测嘛,我们也有一些预测,对吧?然后我相信外部也有各种各样的预测,其实大家过去一年前对于这个AI的这个预测或者观点其实差别还是千差万别的嘛。今年下来我觉得是说其实跑了一年,有些事情其实是我们可以来回顾一下,对吧?
02:01就看我们当时预测对不对,对吧?然后也可以对新的一年做点新的预测,因为我也是有有一些感触嘛,因为最近也跟一些朋友聊了一下,包括在一些产品方向上,其实看了那个一些东西之后,我觉得说我们当时想做的一些事情或者看好不看好的一些项目,今天重新复盘来看,
02:22也也是错的。那么那么那么其实这个事情就会比较有价值。
02:26OK,那挺好的呀。对,我最近也是聊了比较多的人,然后,对,但是我我脑子里面现在还是一团浆糊,就是属于没有说什么已经复盘说我之前哪里对哪里错的阶段,所以今天那就你你多说点啦。啊,没有
03:20对对对,我而且我觉得这个观点一直在变哈,就是说从套壳这个逻辑开始,我觉得我当初最早认为不应该套壳,后来中间有一段时间诶。发现做套壳的这些人不管他干了什么对吧。他至少收到了一波数据,对吧?然后这个数据可能对于你去做一个自己的场景或者调一个效果好一点的模型是有价值的。
03:41再后来其实我又观察到一个现象,我就觉得说现在其实很多累积了很多用户的产品,数据也还不错,也拿了融资,关键是说它做套壳其实也解决了普通用户跟这一个GPT-4这样一个纯粹的聊天窗口之间的这样一个gap。它变成了一个有场景、有用户、有实用价值的产品,而且后面的想象空间其实是很大的。
04:07所以从这个视角来讲,我觉得说就是而你也很难在第一天就下一个很大的投入。就能想到说我第一天推出的产品就是它今天这个形态甚至半年以后的形态。我我们我举几个例子吧,我觉得还是举几个例子,就是说就最简粗浅的套壳的确没有看到太大的价值啊。
04:25就是说你套壳只是为了解决呃中国用户访问不了GPT-4这个事情,就是我做了个跟GPT-4一样的界面这件事情,除了纯粹的你是说为了赚一波快钱当时我觉得可能是有价值的。大部分这样的产品的确也就消失了。但是我觉得当时其实我们看了几类套壳的产品。
04:44第一类是一些浏览器插件,我觉得这个是比较典型的一些产品。包括当时有人做了叫Chat for Google。当时我们看他,
04:53对对对,而且他们做的决策是很快就卖掉了。就我理解,当founder决定很快把它卖掉的时候,意味着他的判断是说,这个东西其实也没有太大的价值。但有团队愿意花一个不错的价格去买,肯定是觉得这个东西比较有长远的价值,对吧?就当这个交易发生的时候,其实已经是两个观念在对撞了,对吧?
05:14所以我觉得这是个特别有意思的案例,但是如果我们今天就,我不知道大家今天有没有在用Monica,或者说有没有尝试用一下Monica,它其实已经是一个比较复杂的产品了。是,啥都有。它已经不是一个最简单的一层的套壳,不是最早的那种Chat for Google的形式。
05:30我再讲一个套壳,我觉得比较典型的是那个Immersive Translate,就是说这个呃沉浸式的翻译,包括当时有很多人做这种什么YouTube的summarize的插件。其实总的来讲,我当时的感觉是说这些产品有价值。就我觉得去年年初的时候,我觉得是这这些产品有价值。
05:47但是价值可能没有那么大,或者说竞争也很就,不管因为什么原因不想做,你肯定找了一堆理由,你觉得它哎可能价值就是个套个壳。你觉得竞争也很激烈,商业化的上限也很有限。但是到今天如果我去反思这个逻辑,我觉得其实是它空间其实是非常非常大的。
06:05甚至是说我觉得有两个,一个是这这个产产品中包括我们刚才说的这些,再包括我再举两个产品,我不知道大家可能也很最近新闻也很多,大家也比较关注,一个是Perplexity。Perplexity不就是我把Chat for Google做成了个网站嘛,对吧?
06:21就我们我们如果说用用一个这个倚老卖老,诶待会你不就是把Chat for Google做成个网站嘛,你就是用搜索的结果拿回来,然后大家会觉得这不是Google自己做或者Bing自己做就就完事了嘛。
07:25Arc不以AI为中心吧,所以Arc好像还好吧。
07:29我觉得Arc现在明显地在转向逐步以呃AI为中心。
07:34啊,这样行哦,
07:35我。我的感受啊,我的感受,或者说,他现在又一波新的流量是通过以AI为中心,
07:41AI来的。OK,了解。对,我
07:43我觉得这样这样去描述,对吧?第二个是说这些公司其实解决的是把现有的模型的能力,在现有的所有的应用产品上改变了交互形式。它不是说我利用现有的这个AI技术我去做了一个新的业务。跟移动互联网的时候我去做外卖打车的逻辑还不太一样。
08:03它比方说大家去做这些插件,那个内容,那个消费的内容其实还是原来的那些网站,我还是去YouTube上看视频。去比如说你想看科技类的,你可能去什么Wired,去什么各种各样的blog上去看,你还是去那些地方看,你只是说它帮你去做了一些summarize。
08:23做了一些能问答的交互或者这样的这个形式。从这个角度来讲,其实交互形式本身的改变,我觉得我觉得就已经极大的提供了价值。这个是我我的一个一个体会,就是说你可能同时这些产品也证明了说这个是有机会的。这个机会不在于说大厂不会做,我我在想Arc做的这些事情,或者Monica做的这些事情,未来Google是不是有可能也会做,
08:50或者其他大厂的浏览器厂商也会做。我觉得仍然是有可能的,因为它跟大厂的这些产品线并不矛盾。它不是大厂的这个,你叫做这个反关节,或者说是一个它很难内部很难自洽的。就是说内部会阻力很大的产品,对吧?就好像说当淘宝要做消费升级的时候,他去做一个跟拼多多比价的这个逻辑,他很难做这样的产品。
09:12但是他是完全,呃,Chrome说我去加一些AI能力,其实其实是很自然的一个能力。
09:17一定会加。
10:01下场了下场了,我们不是分投都已经开工了吗?
10:45你刚讲这个我会想到几层啊。第一层就是那个早期下场其实会比较有流量的红利。比如说你刚刚说ChatGPT for Google,就没什么技术含量嘛,但是它只要抢到那个点,甚至于后来我用像比如说GPTs Hunter之类的,这个其实就是很敏锐很快地出了一个东西。
11:04你说出这个东西,等到GPT Store官方store出来之后,它还有多大价值?不一定,它有可能会像早期的什么APP推荐站一样。但是其实它也可以,就就你在做下一件事情,你就有了一个基础嘛。所以其实吃一波流量红利也挺好的,这是第一点。
11:20然后第二个的话,我我想到的是呃,因为我最近也自己在看很多项目嘛,然后现在在换换了一个视角。那会发现说其实用户侧的那个技术扩散是很慢的。就我们在这边天天讲,比如说比如说我们聊的时候会觉得比如说arc是一个大家都听得懂的词汇,但实际上我估计比如说现在直播间90%的人不知道arc是什么。
11:43所以那个技术扩散比我们想象中要慢很多。就不是最近接触了,就是一直在跟一些传统企业有一些合作嘛,就是他们已经过去好几个月的一些事情的话,就进步非常的非常的慢,甚至于年轻的小朋友们也没有我们想象当中的,就是说好像大家都已经很嗨啊,
12:01都已经会用了。没有的,不是的。百分之九十九的人不会用的。谁先把它封装成一个大家感兴趣的那个就就能够理解的形态,然后到他面前,这这这件事情是最重要的。这样这样就是早期套壳做简单应用确实是过去可以做的。
12:17而且我我我还想到一个就是跟这件事情相关的一个更极端的例子是,你刚才讲说其实很难有人想象到最终的形形态嘛。我我反过来其实就是想到了也没什么用。最近就意识到了有一位同学的那个天才之处,就是王建硕。就现在出的比如说GPTs的这套的那个呃理论会怎么做。
12:41甚至于包括说at一下的这种这个交互方式,在大半年前百姓网就已经做了。大半年前讲的理论已经理论基础全有,甚至于他们当时用的是那个and的那个符号,就是整个的打法就是就是比三猫他们要早。但是好像也想想到就是就就就能够看见未来,就是你有深刻的洞察能够预见未来,和当下这个抓得到的机会这两件事情其实很很难匹配。
13:10当下其实有可能我们的能力更匹配在比如说流量红利啊,或者说什么一个应用啊,或者但是你真的看到什么很本质很未来其实那个东西需要的那个资源和那个能力太大了。所以有可能就是不一定是你看到了就看到又怎么样呢?就就也挺难的。我现在就在感叹说太天才了,现在一看每件事情发生就感觉说,哇,就就就就在感叹人与人之间差距很大,
13:38有些人就是跨越周期的眼光,但是其实那个眼光你要把它变现,其实难度也是蛮高的。那做投资嘛。
13:45对啊。做投资做孵化器就是就是现在你这个逻辑嘛,就是说我有这个idea,但我能不能做到?那我其实只要对人的判断能力比较强,对这个事情的判断能力比较强。就是因为我觉得这个事情是这样的,就是有人擅长做执行,有人擅长想idea,做预测未来嘛。
14:02有人擅长卷,有人擅长说我们就在既定赛场上跟人打打架。有人擅长有vision,看未来是怎么样的,有人能够做这个冷板凳一直坐下去,有有人不行。所以我觉得这个事情还是回到自己呃擅长的这个战场上得打一下嘛。那换句话上来说就是说,因为从预测的角度说,我们自己不做套壳,我觉得没啥问题。
14:25因为其实我们并不最擅长干这个事情。但是我们预测说套壳价值不大这句逻辑呢,我觉得是错的。我觉得错还不不是说错在说它短期内能不能收割流量,而是我们现在实际上从产品侧我看到,当简单的套壳吸引了用户逐步延伸之后,它现在就是一个有价值有壁垒的产品。
14:46就我觉得不管是Monica也好,不管是Emotion Translate也好,不管是像比如说像Recast这样的launcher也好。对你如果真的看它的AI能力,它其实都没有多复杂。你如果只看它第一天的产品形态,你也很容易觉得这不就套个壳嘛。
15:02但如果你看它今天的产品形态,对吧?它也并不是说,它并不是说我收割了一波流量,然后我完全做了一个完全不一样的产品,扩大了点基数,而是它在原来那个产品上不断迭代起来的。我是说从这个视角的判断上,我觉得是说套壳仍然有价值,我觉得这个是比较打脸的。
15:20就比如我们自己没去做套壳,或者说是说我觉得倒还好。就包括我觉得,就像你说王建硕,我觉得他们去做那个事情,本质上也不发挥他们的优势。就是说他们可能并不是最擅长去赶流量红利,或者说是从零去摸一个小产品的这么一个团队。我我这是假设啊,因为我我对他们不够了解,所以我我觉得这是这是这是从两个角度去想这个事情了。
15:44那这样,
16:21对吧?对对对。啊,我们下场做了
16:24做了AI炼金术了哈。
16:49你聊完之后是什么感觉,觉得去该不该去?
16:53我觉得挺该去的,我现在在想说我夏天的时候,如果比如说给娃,如果能够找了一个夏令营的话,我应该在那边待两个月,就是待一周确实是太太短了,因为他总是人传人要不断介绍嘛,你至少要待两个月才能混到那个圈子里面去。当然我聊了两类公司啊,一类是有黑科技的,那个是就是那那一类其实也很鬼扯,就你其实也不敢怎么样,
17:14因为那些黑科技你也没有能力判断,你也看不懂。那还有一类其实本质上来讲就都是套壳,就但是那些套壳套得理直气壮的,他们就在一个个细分品类里面做得非常的精专,然后呢你看着就是一个小功能,你有的时候跟他们聊几句说那这件事情GPT不是以后也可以做吗?
17:34他们好像也不是很关心这个问题,就觉得说那就先做呀。整体上来讲,我觉得美国的创业者们洋溢着一股非常之天真而乐观的态度。
17:45革命乐观主义精神。
17:47然后你你聊几个之后你自己都不好意思问这个什么壁垒之类的问题,就觉得说好像你们都不是很关心这个问题。
17:55我自己最近在反思啊,我觉得这个的核心逻辑是什么样呢?就是中老年人在这个时候的历史有一堆历史包袱,其实在竞争中没有什么优势,就真的是背了一堆历史包袱,你老觉得机会成本很高。但是其实没有什么机会成本,因为你现在也没什么特别有价值正经的事情要做。
18:14太扎心了,你说得对。
18:44哦,而且结合你讲的第一点来看的话,就是嗯,确实现在就是做东西的成本也很低,不光是不光是我们的机会成本,就是做东西的成本。然后而且需求又非常的刚。我刚想到一个例子就是嗯,最近有一些嗯宗教人士,包括活佛啊什么的,会找我打听,说AI怎么样干嘛干嘛。
19:06然后有的时候就会聊起来,我说其实可以做个什么,他们就会说那这个,我我就说这个比如说我们可以先出个demo再怎么样,他们就会问出demo多少钱。我一边开会就一边帮你们免费做了就好了。就就就一边聊,我就一边帮他们再搭一个比如说跟那个GPTs嘛,对吧?
19:23然后我就说哎,你给我一些什么东西,然后你要什么,然后就比如说花个二十分钟就帮他搭完了,人家就觉得说,啊天哪,你们技术能力好强啊,你们背后的AI好强。然后我就在想,这不就搭了个GPTs嘛。就是你你做一个东西的成本和需求方的这个信息差现在还是真的是蛮大的。
19:40所以也确实会有很多小朋友会马上接收到正反馈就可以扑进来嘛。确实是一个机会,我们有的时候就嗯,确实也是就嗯,年年年年纪大了是吧。
20:09对对对对。对,我现在做这个孵化器,打算就是五十万美金一个,五十万美金一个。然后,没有,这要多的钱也没有了,就这样吧。但是
20:17我觉得这这个逻辑其实是这样,就是可能道哥十十五年前,你让你给我五十万美金,对吧?就是包括我第一次创业的时候,可能就拿着这个融资就开始跑了嘛。你没有那么多包袱,但是现在你可能会觉得说,当你年纪上来了,对吧?这这我觉得有客观因素啊,什么,一方面是客观因素,就是你有家庭啊,有就你的责任更多了嘛,以前快乐的单身汉,
20:37对吧?就一人吃饱全家不饿。那另外一方面也是说,哎,你总觉得说你自己出去,如果你去个公司上班,能挣多少钱,对吧?你很不自觉的,你会拿这个东西跟一个创业的这个事情的规模去做比较。当然,这个比较其实在这一这一轮,一个完全新时代的浪潮下,其实是没有意义的。
20:57你做这个事情更多的,你可以把它当成一个bargaining power,就在融资的时候,通过这个bargaining power去融更多的钱。就是,但是你不能把它太当真了,就是说觉得我必须得做个特别大的事情,因为还是得从一个小的事情能够切进去先动手。因为我觉得大部分像我,大部分就是见了某位同学,某位同学说,哎呀——终于意识到我们自己是个平凡的人,
21:18我想大哥你还平凡吗?对吧?
21:21我知道你在说谁了。我们分头见了两个我们的牛逼的同学,是吧?
21:27啊,对对对。我说大哥,你还平凡吗?对吧?但是实际上这个心态就是,我觉得像,就是我们更多的原来年轻的时候,也是说因为自己敢为天下先嘛,就愿意去创业公司,愿意去试,并不是说真的说我就比别人聪明十倍、厉害十倍,所以获得了一些机会。
21:44个别人,我觉得那个时代有些人是比较厉害,是真的是能做敢为天下后,或者说是说能战略思考比较清楚的。但是我觉得其实说,至少我们即使今天有了很多的经验,这个能力也没有到说的那么厉害的地步。就就我这个是我自己的判断啊,就你你可能比我还在厉害一点,在这方面,就是在idea、在脑洞、在这个思考上,
22:06对吧?但我自己想想,我其实现在比较擅长的还是立刻动手把它去干了。
22:10最后最后要需要搭配,需要有人胡思乱想,需要有人干活。
23:08就超过……这至少牌面上是这样吧,看上去牌面上肯定是这样的。
23:12牌面上直直接超过那一线。太吓人了,想想。对
23:17对对。但实际上我觉得就是真打起来,就是就即使是大家能磨合得很好,就这是另外一个,倒不是预测啦。就是我跟那个某同学沟通完之后,他就他的结论就是他危机感很强烈嘛,虽然他的结论还是说
23:32就是要靠年轻人嘛,江
23:33山代有人才出,对吧?就是长江后浪拍前浪,前浪死在沙滩上嘛。
23:37其实上一代的那个成绩和这一代的AI基本上没什么关系嘛,对吧?所以其实就要看新的牛人嘛。我这次也过去看了很多有黑科技的一群华人的牛的牛的PhD,真的是很吓人,就很吓人。
23:55这个我相信,相信。
23:57就每一个的那个课题的话,都是属于说就就感觉应该被美国美国盯起来的那种,就美国不不想让他们回国的那种。然后你就会觉得啊,这帮小朋友就一个个也很爱玩,还是小朋友,估计里面十个项目最后也就能成一个,但是那一个就会是改变世,就就就真的能够对世界产生改变的那种科技嘛。
24:18然后就觉得,哇,小朋友们太强了,哇,这,哇。为什么我年轻的时候就就离离他们好远啊,感觉。然后另外一个角度就是你刚刚讲到,我我也会想到说现在我也见了一些项目的话,AI的项目,他们跟我们当时,因为你刚刚讲的很多时候你还提到一个词叫融资嘛,什么五十万、五百万美金啊什么的。
24:36但是现在我见到很多项目是上来就赚钱的,所以这确实也是更好。
24:41那那那更理想了。
25:12哦,我已经知道你要说什么例子了。对
25:14对对对。对,他就是我我讲的就是这,把它把它换了一个场景的例子,然后那那这个的话,他他当场就可以赚钱。
25:21是。是的是的是的,这付费意愿非常强烈嘛。
25:25对。我发现有一些公司就可以打到这种点,马上赚钱。
25:28我知道就就不是你说的不是真实的案例,但真的比如说考试作弊题你做了啊,这个当然道德上或者法律上有各种各样的问题。但是假设不考虑这些因素,你今天做了,你想,我觉得好几类人群嘛,因为现在也因为远程,很多人是机考,对不对?可能是可以在家机考,或者说包括有很多家庭的学生是参加各种比赛,因为疫情嘛,也是机考。
25:51但现在比较严格,比如说他要你拿两个手机摄像头对,就是正面跟侧面都有手机照着,对吧?但是如果你说你那个电脑有个software,在底层其实就hack了,能够把你这个答案在屏幕上提示你,然后你读出来。我相信一定有很多人为了说我想得到这个结果,我愿意付费,而且付费能力肯定非常强。
26:09那你去换一个换一个类似的这种,就是我考过了跟没考过能够拿结果的这个场景,其实都可以做一遍嘛。
27:25你预测的是六到九个月到三点五还是到
27:27四啊?三点五三点五三点五。
27:29那那那你预测完全正确,三点五还是到了的。
28:00你这个我有一半同意哦,就是到三点五我是同意的。但是有一件事情其实想象的比我比我之前拍脑袋想的时间要长,就是Google追上的速度。虽然我还去了一趟Google,然后他们的人就是很很自豪,觉得Gemini还是远远超过GPT-4。
28:17但是从我从一个用户的角度,我真心觉得还没有追上。你不管什么你的底层模型什么多么原生多么太多,这是你从供给侧,就我就纯用户的角度觉得,Google追这么久还没追上,然后这件事情是远远超过我想象的。我以为到今年年底Google应该是产品级的GPT-4就出啦。
28:36然后Google这么久没追上这件事情。其实是我我会以为觉得说他那个GPT-4那个难度超过了我我之前的那个想象,因为Google都追不上,我就对其他人追上就信心就往下跌了一层。
28:49就这个是我反正聊完之后,我觉得至少我接触下来,包括我们现在看开源模型的进展,我的结论就是说,这真的只是个时间问题,就是Google追谁追,都需要一定的时间。这个就我觉得这第一个强假设,就是谁追都需要一定的时间。第二个我觉得强假设是说,那个算力跟数据的累积,或者这这个摸索它本身是需要时间的,但是它本身来讲,
29:15就没有太多秘密。第三个是说,大语言模型它是个实验科学,不是个理论科学。我我我这样来讲,我相信Google下来也会越追越快。就是这是一个角一方面啊。第二个是说,为什么我觉得就没有那么难。
29:28是说,我们去看所有的这些国内的各种各样的开源模型,其实做到三点五水平的并不只是一家,对吧?是好几家。就从这个视角来讲,我觉得说那个同时并没有哪一家,因为,对吧?因为跟某同学聊了,就是结论就是说他们虽然投入了几倍的人力物力,对吧?
29:48但是你的确你看市场上并没有看到某一家,因为说我的财力更雄厚,我就跟就国内你同样去对比啊,头部的大厂,字节、百度、阿里,并没有拉开,呃,百川。呃,什么月之暗面这类公司的距离。所以你从从这两个现象观察,我的结论是说,呃。当然这当中有人的因素,有各种各样的因素啊,就是说,但是我觉得两个视角嘛,就是这个带来一个视角是说,
30:14它这个实,你这个实验,特别是第一年,它的追赶周期就是你逃不掉的。因为你组团队、买卡、搭基建,初始做实验可能就三四个月就过去了。真正你能够发力去追的这个周期,团队磨合它其实都是需要时间的。这个越是大厂,在这个磨合上的成本可能比一个创业公司反而要大。
30:34所以我我觉得,从国内的大厂跟头部的startup没有拉开差距来看,这只是就大厂第一年追的并没有比startup快。是挺正常的。
30:45就就模模糊糊地理解了你的意思,但是为什么一个实验科学的话,那理论上来讲,我我有能力可以同期开十个实验室,不是比那种资源少的人只能开两个实验室,理论上我的突破会更快吗?
30:59呃,我觉得会更快,就是我觉得未来就会更快。一开始第一年你会面临两个问题,是说你先要把实验室给搭起来,你要把实验室的这个日常的生产流程给搭起来。你要让团队之间内不打架,就决定,就你团队内先要决定是说我到底应该很多人一起做个大实验,还是十个人一起做各做一个小实验。
31:20我到底应该找什么样人进来做实验。这件事情上,startup天然的比大厂有优势。第二个是说,毕竟我们生活在一个物理世界。就是你有很多的条件,比如说你要买,你要拿卡,它是有时间的。你要这个搭团队把人转过来,这个人之前不是做大模型,他熟悉大模型是需要有时间的。
31:39这位可能原来做搜索跟推荐的特别厉害。当然你让他转过来做大模型,他还是会带很多旧的mindset。他自己的转变或者说他他一定是要得到一些负反馈才会改变。就跟我们看了一年,说最近很多的预测或者判断是错的是一样的嘛。
31:56对。那个最最极端的那个说法,以前物理学上是说物理学的进步有赖于一代科学家的死掉。
32:23二,对,至少二二年吧。
32:2524年底,我觉得至少我接触下来,我聊下来,包括我自己看到,因为今天大家知道不知道有没有看到一个新闻,就AI2,就Allen Institute for AI,呃。Artificial Intelligence也是美国的头部的研究中心嘛,就是Paul Allen建的这个AI的research,
32:43AI2,他们说做了一个真正开源的模型。就原来的模型是,对对,只给你,比如说训完的模型参数你可以用嘛,对吧?然后推理代码可以给你嘛,你通过模型结构你基本上也能推出,倒推出来训练代码大概应该怎么写。但他这次是把全过程公开了嘛。
33:00就从训练代码到什么中间用了什么数据什么,就就基本上就是说,就脱光了给你看,就就长就长这样。就是说从这个视角来看,就是我觉得是说接下来竞争会加速嘛。追上GPT-4我觉得应该没有太大的不确定性。就大家应该都会追上。
33:17但你你刚刚讲的这个的话,因为也跟一些这种模型团队聊天嘛,就纯粹你感性上也会觉得这个战场非常的血腥。你每天睡一觉醒来的话,就感觉海平面又往上提高。就是你辛辛苦苦搞了几个月的事情,说不定海海平面要提高了。我辛辛苦苦六个月搞的事情,结果海平面嘣又上去了,太可怕了。
33:39哦,对。这个这个印象是来自于那个昨天看的那个关于那个那个那个人叫什么,季逸超吗?就以前那个少年天才写那个魔法浏览器的。他好像之前就一直在做那个相当于用语义的那个网络在做一个,其实很有点像GPT的东西,就相当于一个新时代的搜索嘛。
33:58但是GPT出来的话,那整个摧枯拉朽是吧?你就你就彻底拜拜嘛。这就很可怕嘛。所以按照你的就是去年你预测基本上是对的,那你预测2024年,2024年大家能到GPT-4吗?
34:17那就应该七个美国三个中国了嘛,对吧?或者是五个中国。五个美国。
34:25对对对对对对。
34:26Mistral也我觉得也挺也应该挺有希望的。
34:47我觉得是两边的策略不太一样嘛,就是我觉得Google其实压力挺大的,因为原来大家觉得你遥遥领先嘛,对吧?特别是AlphaGo、AlphaZero之后那个阶段,就Google收了DeepMind,做了AlphaZero那个阶段,
35:00大家会觉得就是说什么叫打着望远镜也找不到竞争对手,对吧?就有点像阿里这个电商做着做着,突然发现诶,拼多多市值超过了那种感觉,对不对?其实这些一样的嘛,就是说就是我觉得他压力一定会特别特别大,然后这个压力也会导致有些事情未必进展会变快。
35:18就内部也会人心思动,有很多人就觉得那当很多内部的优秀的人才,在一个大的体制下觉得你动作比较慢的时候就会考虑出去。Google。
35:27我我我晃悠了一圈,就是觉得氛围上也非常的非常的舒适。就过去蹭了个饭,蹭了杯咖啡,就整个就感觉大家都拖家带口的在那边带着一帮小孩什么在那边吃饭啊。然后工作时间的话,足球场上面全是人在踢球啊。然后全就一副一派安宁祥和的气氛。
36:28而且他就算去卷的话,他已经老了嘛,他们的的知识结构和mindset是上一个时代嘛,对吧?他们说不定是上上个时代,我们两个是上一个时代,年轻人在现在这样一个时代。
36:42对,你不一定有劣势,但你肯定没有什么优势。
36:45就确实不好做。
37:16对,那些图有些是三十二个里面挑出一个最好的图,说什么鬼啊,打一行小字。
37:24对对,他是说我我做什么,做什么chain of thought,他说我给5k example,给1k,zero shot,five shot,32 shot,他说这个这个对比下我选32 shot,那个对比下我选zero shot。
37:37但是Google肯定不能发一个说,啊,我们好不容易推出了个东西,比别人稍微都差一点。第二个我觉得很典型的,我我我当然我觉得也是个笑话了,就就是当时Google发了说,Google发那个Gemini,他其实没有发太细的算法跟数据层面的东西,但他发了大量的infrastructure层面的东西,
37:55就是说他们有跨,他们用TPU,TPU能跨数据中心通信,然后他们说有有整整九页写的是infrastructure。我在网上就看到一哥们评论说,那不杰夫·迪恩最爱嘛,对吧?就是因为Google的核心原来最强的其实不是算法,是infra嘛,是基础设施嘛。
38:12就是Jeff Dean的成名作嘛,就是大家这个是所有我们这些做工程的人以前都会看Jeff Dean说说你需要关注的整个infra,说说比方说内存L1缓存是多少微多少纳秒的访问速度,什么L这个内存是多少多少微秒的访问速度,什么磁盘是多少毫秒的访问速度。
38:33那这个也是包袱,就是你的团队的核心,你所有的历史经验,你最擅长的事情还是那个事情,对吧?而不是现在可能大家关注的那个事情。就这个可能是我觉得说就大厂在这个竞争上未必是优势嘛。我觉得追随很容易,但要领先,你就去探索未知,但是探索未知你拿老的经验就不一定有效了。
38:54就是我相信Google今年追上GPT-4,我觉得没有任何难度。包括我觉得国内的大厂,国内花很多钱大家去追随,你其实是追别人两年前的一个效果嘛。对。
39:06对,对吧?但是做GPT-5呢,我觉得就不一定了,就不是说大厂一定有优势了。
39:12你刚讲这个关于历史包袱的问题的话,就是我觉得你前两天就是你分享我的一段话的话,我觉得蛮有蛮有启发的。就是我们现在其实应该更多的就是我们年纪也大了,对。就就更多的应该把自己往HR的角度定义,就是如何去发现优秀的年轻人,如何帮助他们。
39:32这是某同学指导我的。
39:34对对对。规避错误,但是不要以为自己了不起,我撸起袖子我就干得比你好,就还是得让年轻人冲在前面。对。然后挑挑出好的年轻人,给他们资源,配资源,然后给他们好机会,规避一些明显的就是跨越式周期性的错误。
39:51对的对的,而且我自己也在反思啊,就是我我自己其实过去一年我自己hands on的时间还挺多的,就自己动手写了很多代码嘛。这还挺开心的。从从另外一个角度,就是说我觉得你又回到了一个自己每天干这个事情以后,挺开心很舒服的一个状态。
40:06包括我现在跟就我们自己做一些招聘,包括跟朋友聊,就是你也会发现是说真的你四五年不碰这个东西,你就没有手感。就跟你如果离一线时间短一点,离一线时间远一点,问题不大,你觉得半年一年可能问题还好,真的三年四年,我觉得对那个就是手感、动手、迭代速度影响还是挺大的。
40:25包括我觉得我是花了一年时间,我才调回来。就我其实也有一段时间不太动手了。去年底之前我有一段时间,你创业杂事也很多嘛,你很快招了一些人,你就十几二十个人。你你总觉得说要做一个ROI最大的事情嘛。但是我在想,就是说之前OpenAI内部不是就去年Sam Altman那个被罢免那个闹剧的时候,
40:47不是传了很多新闻出来嘛,包括说内部很多人都很尊重Greg Brockman,说那个他们training。
40:53你是说代码百分之八十是他写的吗?
41:32要不然你也不知道要挑什么样的人,但就很很尴尬。就是这个时候你怎么知道什么时候我们是一个asset,什么时候我们是那个瓶颈呢?
42:35我觉得算错错了大半吧。我们当时的预测是说,不要做套壳,做啥套壳。
42:51所以这里又放了一个新的预测,就看年到时候年底会不会打脸,对吧?
43:12但是现在其实也没有人谁关心那些莫名其妙的公司出的那些东西,大家还是关心几个头部的,也不会想到真的要去用一个莫名其妙公司出的模型嘛,太奇怪了。好的呀。那你第三个你还做过什么预测?做过
43:25一个预测,就是垂直领域的大模型到底有没有价值?
43:29好像一直在讨论,我们有结论吗?
43:31我就一直在讨论,但是我觉得就因为我们也没把话说太死嘛,就我心里的预测,我觉得不同阶段的想法是不一样的。早期偏向于认为很有价值,然后到了偏中后期,我偏向于不太有价值。现在我处于就是说我觉得这个名字要换一换的这个状态。
43:48换成什么?叫垂直行业应用吗?
43:55垂直模型了呀。就
43:56原来,因为我我记得最早很多人讲这个的逻辑还是说,我还是要预训练的,我要做一个很大的模型。然后但是我是做这个行业的,比如说我们就要做个医疗的,做个法律的,然后用这个名义去融更多的钱。但实际上他在做一个微调的事儿,我们也不确定他是不是真的会去做这个预训练,对吧?
44:17就是我觉得年初很多团队本质上在干这么个事儿,对吧?但年底来看呢,就是也没有真的有人做了很大的投入去做这个预训练。就是就是还是做了微调,很多人做了微调,做了项目。那我现在自己的观察呢是说微调是很有价值的。就还是回到那个东西,就是现在都做的通用模型,本质上还是把这个通用模型要变成个人嘛,对吧?
44:38尽量变成一个人。但是变成一个人呢,就是说他还是会面临说,你就会有目标嘛。但是这个目标在一些特定的场景领域下,它其实就是不合适的。我觉得还不是模型的知识跟数据的这个问题。就是我包括前一阵跟一些朋友,就是也是跟一些大厂他们交流,他们说他们的通用模型能力迭代了三版。
44:59就是说通用模型能力的确变得更强了,但是在一些特定子领域能力反而变更弱了。他们原来呢在一些场景,比如教育的场景是,呃,是教育还是什么场景,我也忘了。是微调他们早,因为早期他的模型能力比较弱,所以他们用自己的数据微调了一版,哎,效果很好。
45:15往后呢,说他们公司里说要集中资源嘛,就不要再不要弄出微调模型,尽量用基座大模型写一些prompt,对不对?然后的确基座大模型能力也变强了,但是他们发现不管在基座大模型上用prompt,还是去用一些数据微调,还不如早期的那个比较差的大模型微调的结果。
45:32所以还是可以做垂直。
45:34所以我觉得从这个视角来讲,还是说垂直细分领域还是有价值。因为垂直细分领域的追求,跟你做一个通用人工智能,做一个啊,跟一个普通比较聪明的人的能力,可能差别还挺大的。
46:12我觉得不是,讲一点偏技术。就是现在的模型一般大家拿出来用的是两种模型,一个叫做基座模型,就没有做过微调,就是预训练训练完的那个模型,其实不能用来做聊天机器人的。那个模型就是你输点什么,它回点什么。然后呢,一般都会做一层叫alignment,跟做微调,跟alignment变成一个聊天机器人。
46:32然后它再会开放一个模型出来,比如Llama就有Llama跟Llama Chat,对吧?Mistral就会有Mistral跟Mistral Instruct。Chat的模型啊,我我我自己观我们观测下来有一个比较大的特点是什么呢?
46:44就是它align得很好,因为它们其实不只是做微调,有对话能力,还要让它符合人类价值观。它变乖了呢,就导致什么呢?就是这个世界上,你先不,咱不讲做违法乱纪的事情,就算你做一个普通人,你在公司打工,你也或者你要干什么,你也会有谦和的一面跟aggressive的一面。
47:03你的生活中会有很多个角色,就有些场景你不能是个特别谦和的,也不能太客气,有时候太客气,你最后发现这事反而办不成。
49:10不高。就是假设Llama 2,因为你还有大模型还是小模型嘛,你是70B的大模型还是7B的小模型?啊,
49:16大的那个,大的那个。
50:18得在特定的领域会的。
50:23拿着好的基座大模型再去调的,而不是从零开始训的。因为基座大模型的训练成本实在太高了。
50:52得是这样
50:52的。那这样子就稍微有点壁垒了,对吧?
51:50得偏宽的吧。
51:51所以它的知识因为还是宽的。到
52:18是啊。我还聊了个人专门搞数据的。那我问你,问再问一个,就谈恋爱这事的话,就是情感陪伴这事,或者说什么心理顾问啊,这事算宽还是算窄啊?
52:28我觉得算窄
52:29诶。为什么为什么总结算宽,但是因为谈恋爱不是也会谈到各种各样奇奇怪怪的事情嘛,或者心理心理咨询。
53:06你还是从数据来角度在考虑,其实它是什么数据长出什么智能。就
53:49可能只有微信有这个数据。然后,哎,你刚刚讲这个,就是上一期的那个我们的那个AI炼金术的那个,其实里面就有一篇我反正看了非常嗨的那篇文章,它其实有一个,就就就就非常之妖怪的观点,就是认为说智能是数据的一个feature。
54:07那篇文章的评价我没有你那么高啦,我就觉得嗯看了我也不知道他在到底想表达啥。我觉得他不知道他想要表达啥,或者说他给了很多论断,但是我觉得没有什么依据。
55:17对。或者你最多做一些增量训练,你可能没有办法去做预训练,因为预训练的门槛一定会越拉越高嘛,就是说,而且那个模型的智能跟数据质量,别人肯定是做了投入了大量的实验来做,因为它不只是说训练一次的成本。
55:34那你第四个预测是啥?
55:35我觉得我们本质上是想说,你可能没做预测,但你心里是这么想,你有哪些观点跟更加坚定了,有哪些观点是彻底反转了。
55:44我有一个观点,也不是说那个反转还是不反转吧,就是好像我目前正在朝这条路上滑过去。就是我一开始就觉得说我要远离生产力。我会觉得productivity其实就是把人类当工具嘛。因为你要讲你是人类是生产资料的时候你才会想讲生产力嘛,但是我会觉得有两个问题,一个就是你把人类当工具的时候,
56:11我会觉得人类作为工具它真的没有机器好使。所以我觉得反正过两年它就打不过工具了,你为什么要为为一个工具人做工具呢?第二个是觉得这个主战场的话,它其实就是巨头都看到了。它还不像我们做移动互联网的时候,其实当时真的是还在吵架的。
56:29甚至包括云的时候,你还可以看到李彦宏和马云啊什么的还在就发表不同的观点嘛。现在没有谁发表不同的观点,现在都是说要all in AI。所以现在这么明确的一件事。我又不觉得靠谱,而且又觉得所有的巨头都在做,所以我的第一第一判断就是我一定是尽可能地远离生产力。
56:50然后做的事情都是不把人类当工具而是当目的的事情。所以现在,嗯,我我自己最近要孵化嘛,也在看的都是这种。哪怕是吃吃喝喝啊,嗯,算个命啊,什么感恩啊,什么响应宇宙的能量啊,对吧?我会更倾向于这种,就就就会觉得这种可能是不一定靠谱,但是它不在那个主赛道上面,所以我的脑子会很多的往这个方向偏。
57:14那现在其实还是会往这个方向偏,因为其他方向上我还是觉得人山人海的。你聊,你你你类似的项目你可以看到十个,然后就会觉得,嗯,咋说哪个好哪个不好,但是那些奇奇怪怪的领域确实还少很多。对。所以会觉得方面还是蛮有蛮有可能性的,所以我会觉得这个倒是一直没变。
57:36但是对于那个大模型本身的一个进展的话,其实我本来也没没什么观点,因为我确实没有怎么看明白。我的论文都是只是听了李沐同学在YouTube讲解了一下,对吧?论文我都看不进去的,就没有没有能力做判断。对。只是刚刚讲的,我就是对Google追上的速度让我稍微的稍微的震惊了一下,说啊,这么久还没搞搞出来吗?
58:00以前可能会觉得说他应该去年怎么都追上了,但是从我的一个消费者的角度,他去年是没追上的,所以就会觉得这事可能比我想象当中难。
58:56历史规律跟客观规律现在并没有变嘛,对吧?这个商业规律其实没有变嘛。
59:00所以从这个角度上来讲就是后来讲的还挺好的,就现在看也不过时的话,那我从这个角度上来讲就是我应该去做投资。就是你既然看到了,但是其实有些机会不一定是自己有能力抓到的话,那么其实就可以,就可以那个,那个搞起来。哦,我还有一个观点上的变化的话,会,就是就是越来越深的一个观点吧。
59:24就是早期的时候,虽然我也觉得说那个技术扩散是要时间的,但是我会觉得说在生产力方面,因为,呃,资本家都是无情的嘛,对吧?所以就理论上来讲,应该一个东西它能显著降本增效这件事情,应该它会不会那么慢,会挺快的。因为它它不是C端的一个好玩的东西。
59:46但是这件事情发展的比我想象中要慢。就是比如说用一个东西可以明显的让你开掉十个人这件事情,它的企业to企业之间的这个感染的速度比我想象中要慢很多。
1:01:12对。但是回到这个事情,我正好想起来,这也不是个预测啊,是另外最近听到一个比较厉害的产品经理的一个观点。就是说我们去年大家都在聊说AI那么有生产力了,对吧?那带来了大家,当时我觉得大家都有一个预测,就是公司会变小嘛,我几个人就可以做一个startup,
1:01:30或者做一个比较厉害公司。如果我们去美国看那些创业公司,的确有这个趋势。对。就是现在startup都很小,就两三个人反正就干了。但这个朋友有一个观点啊,我觉得特别有意思,是说他说能不能反过来,有没有可能最终结果是反过来的。
1:01:45就是当AI变得特别强大之后,使得公司的管理边界变成无限了。它跟一个特别聪明的超级大脑来管你们每天干什么就完了,而不是变成一个很多个小公司。这
1:01:57件事情其实已经发生了。就在我们刚毕业的时候,不是就比如说互联网发展之后,然后就会有很多什么互联网去做实体创业,然后就失败的例子嘛。但是你在那个新消费那一波的时候,就是比如说我就会见到一个九五后小朋友小姑娘,然后她就说,哦,我上个月刚开三百家店,然后你就会心里砰一下,然后觉得你是怎么开出三百家店的,就很猛嘛。
1:02:22但后来我就慢慢意识到,这个过程当中就是因为AI和数字化技术。原来的话,其实你是每一家店就相当于一个诸侯,你需要有一个小皇帝才能管好,然后怎么样。但是现在的话,他们已经就比如说这瓶水应该放到第二个货架第三格,对吧?已经就是一个iPad在管理了,相当于就雇佣人的手嘛,已经不太需要店。
1:02:44就传统的店长真的是一个全方位经营型人才。现在就对这个人才的要求显著的下降,你就真的可以一次性开三百家店了。但是以前是真的做不到的,你三百家店是需要三百个会动脑子的人。但是如果你中央大脑足够强可以赋能的话,三百个店你要请三百个,比如说搬货的人,以及还有一个机器人在检查他货,
1:03:07对不对?那这个时候确实就组织的话其实是可以变得更大的,不不光是可以变得更小。而且另外一个角度的话,就是我其实觉得因为我们经常会讲AI可以替代什么嘛,经常讲的是它替代写字儿的,替代画画儿的。但是我觉得其实它最应该替代的反倒是管理者。
1:03:28因为管理者往往是你其实是一个收信息、分信息和协调的这个工作,它的信息吞吐量很大。然后但是其实我们的带宽又特别小。它其实如果它把管理这个给取代掉的话,其实可以管更多的人。人的那个管服,比如说不是说最终只有七个人向你汇报,你就已经疯了嘛,对吧?
1:03:47超过七个人。但是他可以七百个人啊,那这样子确实像你讲的,就是组织是可以变得更大的,是可以做到的。
1:04:18啊不不不,他能开出那些店和那些店赚不赚钱,这是两件事。以前开都开不出来,就你完全不可能
1:04:25啊。我我我理解,但是我的理解是说,如果验证最后是这样,这个模式是不挣钱的,只是做了一个失败的社会实验呢。但是我觉得这是有成功的例子,我觉得比较典型的像瑞幸咖啡。就是我在想,就是说因为我每天早上正好到公司一杯九块九嘛,它的这个店你需要很强的管理能力吗?
1:04:42的确也不太需要。对啊,它可我我相信它的内部肯定还是有店长或者副店长的区别,但的确它对这个管理能力的要求肯定是大幅度下降了。因为它靠数字化,靠这个东西,把大量的问题已经不需要现场那个人解决了。现场可能只要处理极少数的意外情况,什么我送过来东西漏了、坏了、洒了这些情况,或者有人要换班啊什么的。
1:05:05但是大部分情况,人有紧急情况的换班,但大部分情况的确是能够做到了,
1:05:11全部数字化了嘛。对。
1:05:12但是我也在想说,其实我们这个时代有两类组织,至少之前我们认为这两类组织是不一样的。就是我们以前认为瑞幸跟字节跳动是两类公司,对吧?瑞幸跟阿里,阿里比如说不不不说它收购的大润发,或者瑞幸跟腾讯,就是腾讯我们甚至以前我们叫知识工作者嘛。
1:05:30就是字节也有十万以上的员工,阿里也有十万以上的员工,对吧?瑞幸可能也就它开个一万家店吧,可能也就十万个员工。一般来讲,我们觉得能替代的是,就是我们来讲靠数字化管控,讲的都是瑞幸这种嘛,对吧?你觉得它的那个事情比较简单,机器的确能够把它非常流程化。
1:05:49我们会觉得像阿里、字节这个事情其实没有那么容易,包括大家在文化上宣传的时候,对吧?就大家觉得阿里跟拼多多的文化差别是很大的。很多人觉得拼多多是一个偏执行的文化,对吧?就字节是一个偏偏,就是你自发,你自己给你一个目标,你自己去想怎么解决的这个文化。
1:06:06我的问题就是说,那是不是说是这两个在回到这个场景下,这两种工作到底有没有本质上有没有区别嘛?当然这是个很抽象,没有,也许是很抽象没有意义的话题啊,对吧?但是我觉得倒过来,假设真的它能扩大公司的边界,那从投资的角度意义上来讲,也许你应该买大公司股票,
1:06:25对吧?
1:06:26对。其实我我会觉得没有那么大的区别啊,只是说你的工作是否标准化,它是一个光谱,它不是一个非黑即白。那如果是光谱的话,比如说我们拿字节为例,字节比较经典的外面广为传颂的其实是它的OKR。那你仔细想想,OKR其实也就是部分是为了大家方便协作方面对齐的一个工具嘛,那做到文档里面。
1:06:49那另外的话,比如说飞书,飞书它会自动的根据比如说谁,然后给谁安排了什么任务,谁应该看得到,然后它的时间窗什么什么。这个时候其实它也是把大家之间的协作把它数字化。那如果我们反过来因为我们现在的思考还是说,嗯,我们现在人类的默认的思考是人在使用工具嘛。
1:07:10比如说我在用飞书文档,但是如果你极端的思考,假设是以飞书文档为主呢?飞书文档上面写了我的OKR,写了我这周要干嘛,写了我应该怎么做,上面甚至于飞书还流行写一个个人说明使用说明书嘛,对吧?就是应该怎么调用我啊什么什么的。那这个时候其实是应该文档和文档之间他们来聊天,然后来协调工作,因为他们知道彼此怎么对齐。
1:07:33然后他们做不了的事情,他们来安排自己的主人去把这个事给干了。所以如果你换成这个角度的话,其实它跟瑞幸和那个比如说外卖小哥就没什么差别了。但是如果你是人去使用飞书文档,那就有很大差别。但是如果我们是以比如说飞书文档为主体,OKR和使用说明书和我的我的什么日程表和什么它为主体,
1:07:55然后它来安排这个主人的工作,以及主人应该什么时候跟谁开一个会,你要记得会后告诉我说这件事到底往左走往右走。那如果是这样的话,就被派单的区别就不大了。应该往这个角度走的话,效率会提高很多。因为人类就不适合一起干活。
1:08:12就是我我还在琢磨这个事儿啊,就是虽然这个就就瞎琢磨一下,因为我觉得跟实际立刻能动手干活还差别比较大。就是那个可以无限扩张的边界并不是立刻就能做到嘛。就像你说的这个文档,就是我们的工作即使都文档化了,它其实有大量的隐信息其实在文档里没有没有体现嘛。
1:08:31此时此刻,跟那个瑞幸里说它主要的工作其实通过一个标准的流程手册已经体现了,是还是有差别的吧。但是的确有有你说的这个可能性。我是在想说,说实话,当你在一个巨型公司里的时候,大家每天在干的事情的确是就比较数字。就比较KPI或者OKR,我甚至认为叫KPI驱动。
1:08:54因为很多OKR里也是为了一个数字,而不是为了那个,而不是真的说有一个抽象的,越是大越是越是确定性成熟的业务越是这样嘛。
1:09:27不用合成数据,只要我用数据它产生的价值,人去写数据的成本低于它能够产生的价值,你理论上讲你也可以无限投入,不停地去干这个事儿嘛。
1:09:37所以最后就我会觉得说,假设是这样的话,其实就是就就就我们现在讨论还什么文档啊什么东西。但是如果真的是以GPT-3.5到4的这个水平,每年进步一次的话,每年进步百分之乘以乘以两倍,这真是太吓人了。这就三五年后的世界,理论上来讲,就是我们完全没法想象的世界。
1:09:58呃,物理世界还是很慢的,物理世界很还是很慢的。你飞到美国那十几个小时,对吧?这个短期内还加速不了,所以这个事情的速度它还是有一个上限的。
1:10:08我昨天才知道一个数据,就是中国去中跟中东的来往的航班,大幅度地超过中美。
1:10:15否则这是因为中美现在航班特别少吧。这个
1:10:17好像也超过了,就中东好像跟疫情前中美的航线已经差不多了,但是中美还还掉了一,比如说掉了一半嘛。我觉得啊,这个世界现在是这样的,那机会在哪里呢?假如说我们真的是,那你对2024年有什么有什么判断吗?
1:10:58那到GPT-4,那不就市面上会出现一百家的GPT-4。
1:11:38那你预测2024年会有一个,就是那个排头兵,就是会有一个至少到从3.5到4的这样一个进步吗?
1:11:50不一定是我,我的意思就是,行业最高水平会不会出现一个从4上面再长出一个3.5到4的那个,那个叫什么,那个叫迭代?对,
1:12:31解。所以那今年的话,那,呃,因为Sam Altman其实已经讲了嘛,就是你要基于一个有一个上帝般的厉害的AI来做工具了嘛。对。
1:13:07对,我期待比较低啦。我期待就是它只要有一个3.5到4的进步,我就已经非常觉得非常牛啦,就非常棒了。就相当于那个引擎已经又升级了乘以二了嘛,就很牛啦。还有啥判断吗?
1:14:06呃,就什么样的规模算killer app?就比如说Arc或者Perplexity算killer app吗?现在比方说,
1:14:12还不算吧。就是老百姓没用啊,就是愤怒的小鸟是老百姓也会用啊,就我们两个的太太会用的工具叫做killer app。
1:14:24我太太也有,而且我就就就不小心帮她又买了一个账号,然后觉得好亏。
1:14:30准备追这个级别算killer app了吗?
1:14:47它也没啊,现在已经快快快破圈了,但是其实如果我,我们两个太太没有自己用嘛,对吧?我们会帮她用嘛,对吧?
1:14:56我这样讲吧,因为我觉得killer app这太难了,但是我觉得今年有机会出现比妙鸭相机用户体量规模更大、粘性更强的AI。
1:15:05就大一个数量级算大,对吧?
1:15:07就明显大几倍吧,我觉得这不一定能到一个数量级,比如说三倍。对啊,我们瞎胡说。对。就大个几倍,就是明显它能够再上一个台阶,能不能到一个数量级,我觉得不好说。然后粘性也能够做到更长,就是它不是一个,我相信今年会有。
1:15:23那然后你相信的这个killer app。
1:15:26而且我希望我们能做出来。
1:15:28你加油。
1:15:29不,我这没有,我希望我们能奔着这个目标,能做出这样的应用来。
1:16:22那你会觉得说这个这个应用的话,是会在海外还是在国内?我觉得
1:16:46哎,好呀。那我们就2024年年底的时候再看一下,看看预测对没有。对,你还好,你还有一些判断。我现在脑子就是一团浆糊,就忽左忽右的,跟你聊会儿有的时候觉得这样是对的,跟别人聊会儿又觉得那样是对的。
1:17:28我这边孵化一些,自己做做一点。嗯,可以,可以用你们的模型来做。
1:17:34可以可以可以可以,甚至可以考虑一下,是不是比如说什么需要一些算力啊,然后什么什么互相做一些交流啊,这个都我们都很欢迎。
1:17:44算力。你们那边可以送算力?
1:17:46不是送嘛,就是比方说我们,我们因为我们肯定会买一些算力做新应用,但是不可能保持,就是我们毕竟不在训练基础大模型,所以你也很难做到24小时把算力用满,对吧,对吧?就是说比方说我们在训练上,有些场景它的确相对闲一点。但是我如果完全on demand用的话,是比我买断的要贵三五倍。
1:18:06所以理论上讲,我只要用满一半我就划得来。但是我也,而且我要完全能用满,其实是有难度的,对吧?就是就是因为你还是得跟着业务节奏来嘛,你也不能,对吧?就早期我们一开始拿这些时候,我们说,哎呀,不能浪费算力,多做一些实验吧。你的很多消融实,就你很多对比实验做完了之后,你也没有必要不停地说,愣派一个人,不停地把那个卡给跑起来。
1:18:29有道理,好的。以后可以过去蹭蹭卡,嗯,知道了。
1:18:32对对对。这个我觉得可以做,可以做一些交流,用用一些什么样的方式来合作嘛,我觉得这都不是太大的问题。
1:19:07我们现在团队虽然也有很多博士,但是我们都觉得自己就是动手干活的,谈不上科学家。
1:19:13我们搞一帮小朋友去丢骰子,然后丢中了哪个的话,来来来来来,然后开始布布防。
1:19:59好的呀。还有什么要给我们一年之后打脸留留资料的吗?
1:20:03我觉得没有预测,呃,就我想请你预测一下一个事情。就是其实今年AI还有一个趋势,就大家都在讲中国的团队出海嘛。就是你预测这件事情在2024年是会成为一个会有什么比较成功的案例吗?就新的成功案例。
1:20:19我觉得会有,对。嗯,因为我我我现在自己做孵化的路径的话,现在当下拍脑袋想,其实就是走这条路嘛,就是把中国的好的团队的话往海外做嘛。我聊下来的话,会感觉还是蛮有优势的。还不是因为什么便宜啊什么的,而是因为中国的团队迭代快。
1:20:41别人一个月迭代一版,中国团队可以一个月迭代四版。那如果是在一个高度不确定性去摸机会的环境下的话,迭代快,你转身快的话,你你你去抓到机会,以及快速把,比如说做十个项目,可能才一两个PMF了。但PMF之后马上把它放大的能力,我觉得都是中国团队比较擅长的。
1:21:04我我觉得中国团队出海会非常强。本来还有一些壁垒在嘛,当然你可能会遇到,可能会遇到一些那个比如说国际政治方面的壁垒的话,就是没有办法嘛。但是你真的遇到那个时候,你已经做做起来了,就已经对于我们来讲已经已经挺好的了。但是在那之前,你遇到的其实是文化壁垒。
1:21:25就比如说你你做的APP的长相,虽然你比老美做了好多了,但是其实不好用嘛。但是这一波因为它AI化了之后,我觉得这就不是个问题。因为对于我们来讲,和对于老美的产品经理来讲,其实都是新的。大家都在拍脑袋,重新来定义我们的交互范式。
1:21:46所以其实其实就被迫拉到了同一起跑线。甚至于可能会因为我们对于比如说去做海外市场,因为是外国人,所以可能还会更谦卑一点。就是因为,因为确实确实你可以说我不懂嘛,对吧?根据AI来重新设计交互形态,甚至于包括说有可能重新设计硬件。
1:22:05因为中国的硬件能力也很强嘛,就你做个做个小收音机什么的。对。所以我我会觉得中国团队出海是蛮有机会的一件事情。所以我现在其实看的也都是这方面的团队,对。希望可以孵出来一个,也会也会夹带私货,把自己的几个idea放进去,孵几个。
1:22:25对对对。希望,对,但是也不一定是我我我想的就靠谱嘛。对。如果有别人想的,然后我在旁边就就就就添油加醋把它给加出来的话,那至少以后也可以吹牛说这个是我搞出来的,对吧?
1:22:38也也是很自豪的嘛。孵化器的好处就是量可以大一点嘛,那总归有一两个出来的就可以号称是自己搞出来的,好像好像很强的样子嘛。希望如此,而且我确实觉得应该如此,因为真的是long Chinese,Chinese太强了。我之前不是,我在2007、08年,我是在美国上班嘛,就确实
1:22:59你比较一下,确实会发现中国人还真的是蛮拼的,而且又脑子确实也蛮好的。然后这样子没有理由去打全国全球市场打不过,而且我们又是在这么卷的环境下被磨练出来的一批产品经理和研发,对吧?你要说卷大模型,卷不过是有可能的,就是老美在那个……
1:23:21我觉得卷大模型也卷得过。我我跟我同学聊完之后,我们我我听他聊完之后,我觉得卷大模型也卷得过,一定卷得过。为
1:23:28什么?你是觉得就就就就人家出五的时候,我们出六吗?或者人家出九的时候,我们出十的水平。
1:23:35我觉得很有可能就是人家出五的时候,我们出五点五,或者人家出到六的时候,我们出六点五的水平。这
1:23:41么牛逼吗?为什么?因为
1:24:15我刚想说,难道卡?那那假设卡不是问题的话,现在其实觉得说它就是堆人才,大家都是在炼金术去试,并不存在着一个基础科学方面的东西。这基础科学其实老美老美也没想出来,是吧?
1:24:58对,石像他们的判断。
1:26:05我就会倾家荡产的干这个事情。但是现在很明显,我觉得有很多人,甚至从国家层面,大家都觉得这是核武器。
1:26:13这肯定是核武器啊,这个这个这个现在比核武器还……
1:26:15那那就那就完事了,那你第一个抽出来没问题。
1:26:19就是这一千张我老子也会抽,十亿美金一张,一万亿啊,也是可以的。对,你说得对。然后人才的话,确实,你们的判断是其实没有那么夸张。就是我觉得
1:27:07就更更有意思了。
1:27:10对对。这这个是我对这个事情的长期的一个预测啊。
1:27:13那如果激烈这么激烈的话,其实它也会加快这件事情的进展。就是跟那个,我讲两个我想到的相关的事情,一个就是摩尔定律。摩尔定律其实它的从从硬件上来讲的话,就是每过一两年都会觉得它支持不下去了嘛。但是其实只要足够多的,这里面经济利益足够大,就会有无数的聪明人想出一个奇旁门左道的事情,把那个原有的瓶颈给破掉。
1:27:40那这边的话,如果真的是跟摩尔定律对应的话,那其实它就是比如说每年翻倍的进展的话,其实就毫不夸张嘛,对吧?十八个月什么智能翻倍,这个就就就哪怕不是OpenAI做出来,只要大家都信这件事情。然后第二个是那个那个我不是去硅谷也聊了另外一个科学家同学嘛,对吧?
1:27:59然后我问他说觉得十年之内AGI能不能出来,然后他说不确定。但是我们后来聊着就感觉就是,但是在我们有生之年大概率应该是可以看到。对。我们还能活几十年嘛,对吧?那如果是这样的话,真的就是好科幻啊。
1:28:17对,你就想他原来也不是做大语言模型的,他原来其实是偏向于做reinforcement learning,做那种A,就偏agent的,偏这个这个智能,对吧?但是他其实现在也来卷,卷来干这个事儿。
1:28:28对的。现在卷大模型了。
1:28:30想一想,这个其实就很简单,就是说,那他原来卷的那个方向就一定比Transformer这个这个,就是他选择了那个方向跟另外一个人选择Transformer或者做语言模型这个方向,这个谁先卷出来有智能,我觉得就是lucky的差别。
1:28:43当然,也许他不一定是呃Ilya或者谁那个级别的,还没,他比那个还有点距离,但是我理解说也一定会有很多人像他一样在卷一些别的方向,在卷,有些人在卷视觉的diffusion,有些人在卷这个别的。但是现在可能很多聪明人都来干这个了。
1:28:59至少他是Ilya会亲自挖的那个级别的。
1:29:03对对对对对对。
1:29:04了解,所以那那那更好玩了呀。我是觉得说那如果这样的话,中国这边其实机会就更大了嘛,就是你不会受限于模型嘛。现在我的技术假设其实是在国内做的话,你还会受限于模型的能力。
1:29:18我觉得现在观察,我我觉得至少现在这个点,我觉得不会。我觉得国内现在的一个风险是卡,但是卡这个事情,除非发生极端战争风险。我觉得总有是用各种歪门邪道的人会想办法帮你解决的。
1:29:31这是个钱的问题是吧?
1:29:47问一个技术上的问题啊,就刚好聊到这里,就是,呃,因为之前的话,英伟达的卡是因为它很通用嘛。那如果我们都确定了大家都是卷Transformer这个方向的话,是不是其实华为啊,各家其实也都能造出来inference,或者说训练的卡?
1:30:04其实就假设我们只做这一件事情,就就就通用性追它可能要追二十年嘛。那是不是其实有可能十八个月也就追到了,就就我们的卡相当于A100,相当于H100就都能用了。
1:30:16对,第一个硬件我也不太懂,所以我觉得我没法回答你这个问题。就是至少从目前来看,我觉得说其他家不会,就没有人会放任英伟达高利润收大家钱嘛,对吧?就大家去想是不是这么回事儿,不管它的竞对AMD,不管是被卡脖子的像中国的什么华为啊什么,还是云厂商,
1:30:37其实都在想各种办法说能不能不用英伟达,对不对?或者说我能减少对英伟达的依赖嘛,对吧?所以无论是软件、技术上,其实大家各种各样都有人在做这个事情。所以我觉得依赖降低是一定会发生的。但是到底,因为毕竟英伟达做这个事情,我觉得英伟达跟OpenAI的情况类似,就它很早有一个vision,
1:30:59下了重注做了一个事情,最后也吃了很多,也做了很多年冷板凳或者不赚钱的事情。现在到了回报期,这个回报期有多长不知道,但不可能是永远,也不可能是特别长,对吧?但是硬件的周期比软件长,因为软件这个周期迭代更短嘛,就是对吧?Google说他们一个礼拜就能训一版模型,现在,对吧?
1:31:21那个那个Gemini的paper里说他们一个礼拜就能训一版模型。我相信中国人搞足够多的卡,可能也许也能迭代到比如两个礼拜训一版模型。但是硬件它毕竟有一个流片投产,整个周期可能就是两年,对吧?即使你能缩短两年,你缩到一年是可能的,但你没法短期内缩到一个礼拜,这不现实嘛。
1:31:40所以我觉得从那个角度来讲,它肯定是时间会更慢一些。就是如果你觉得华为已经能够替代英伟达的H100了,那中国的模型能力肯定已经赶上四了。我觉得你这样去,我会这样来思考这个问题。挺好的,
1:32:29哎,对。祝大家新年快乐,提前给大家拜个年。好
1:32:32啊,好,好,拜拜,拜拜,拜拜,拜拜,拜拜,拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念,按出现顺序。
本期还提到
常见名词,文稿里悬停可见,右侧数字是本期提到的次数。
- GPT36
- Google29
- GPT Wrapper26
- fine-tune19
- OpenAI17
- 预训练10
- Gemini7
- 阿里巴巴7
- 英伟达7
- Mistral6
- Llama6
- OKR6
- Monica5
- Perplexity4
- 拼多多4
- 飞书文档4
- 妙鸭相机4
- GPTs3
- AI23
- PMF3
- 摩尔定律3
- Transformer3
- 华为3
- Sam Altman2
- 微软2
- 飞书2
- TikTok2
- Ilya Sutskever2
- Immersive Translate1
- 贾扬清1
- 淘宝1
- ChatGPT for Google1
- GPTs Hunter1
- 百姓网1
- 百川智能1
- 百度1
- 月之暗面1
- 季逸超1
- AlphaGo1
- TPU1
- Greg Brockman1
- SFT1
- 李彦宏1
- 李沐1
- 混沌学园1
- Ollama1
- ChatGPT1
- Copilot1
- Notion1
- AMD1
