从Q*模型聊到 AI 产品经理的第一性原理

- 发布
- 2023 年 12 月 8 日
- 时长
- 1 小时 51 分
- 主播
- 徐文浩、任鑫
- 收听
- 小宇宙(节目主页)Apple Podcasts喜马拉雅
本期从 OpenAI 董事会风波与传说中的 Q* 模型聊起,讨论垂直模型是不是「中国特色的拧巴故事」,并回顾 PC、移动互联网时代巨头兴衰与新旧公司机会对比。后半段转向 AI 产品设计:互联网生态中的约束如何制造假机会,为什么新一波应用应该「从零开始想」;借 Alan Kay、Bret Victor、AI Engineer 大会的案例谈 AI 原生交互、向量空间中的可揉合性,以及如何寻找做不完的需求。
- OpenAI 董事会风波对吃瓜群众意义有限,普通人更该关心自己能被什么影响,真正能做的事很少
- 所谓垂直领域大模型多是中国特殊生态下的拧巴产物,简单微调做知识问答门槛和价值都不高
- 微调与从零预训练之间差两三个算力数量级,中间态(半吊子垂直模型)在海外市场不可取
- 巨头会拿走新浪潮中的大部分份额是必然,但头部公司名单本身在换;新公司机会在于没有内部包袱
- 做应用要么用别人的 API,要么下决心做模型,中间态往往只是 PPT 上的一页
- 国内创业常是看到 constraint 后的应激反应,容易做出短期合理、长期不合理的决策,机会变成资源与牌照竞争
- AI 让团队人数需求大幅下降,一个应用的核心代码可能两个半人就够了
- 换个视角比增加知识更重要:不要把现有世界当理所当然,要有一套自己的理念去发现「不对」的地方
目录
点击跳到对应位置
- 巨头为什么能成为巨头00:00
- 开场:徐文浩生病与流感01:31
- OpenAI 董事会风波吃瓜02:24
- Q* 模型传说与「关我屁事」09:24
- GPTs 出现后,垂直模型还走得通吗13:02
- 什么样的垂直模型还有价值17:18
- 垂直模型是中国特色的拧巴故事20:09
- 有能力做基础模型的值得做,用 iPhone 类比25:05
- 移动互联网的增值被谁吃掉了28:02
- 科技界头部公司更替:惠普、IBM、微软、苹果33:22
- 落地做产品的体会:GPT-4 好但贵37:10
- 建议去硅谷看看:不拧巴的生态46:47
- 应用机会还有很多,人少也能做很多事50:16
- 模型到底是技术还是产品55:28
- 要做做不完的事情,才不会被模型吃掉1:04:27
- Alan Kay 演讲:世界是被构建出来的1:06:00
- Bret Victor:用理念而非机会去发现问题1:13:06
- AI Engineer 大会:感知-思考-反应的交互1:20:04
- Linus Lee 与嵌入空间的生命力1:25:39
- 谁来做个英文播客转中文的应用1:37:34
文稿
共 1460 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见
00:05巨头能够成为巨头是一定有原因的,是一定因为它原来就能打。所以有巨头会衰落,但也有巨头能打,它虽然遇到一些平台期或者衰落,它又有机会重新翻身。你不管今天大家喷这个公司喷那个公司,你得承认绝大部分的头部人才还是在巨头里。AI一定会起一波新公司,也一定会有很大的份额仍然牢牢地被原来的巨头把控在手里。
00:30在国内始终是个拧巴的生态,你很容易做出很多看似短期合理、长期其实不合理的决策。你做的所有决策都是因为有各种奇怪的限制,导致你说我不得不这样做,不是第一性原理。你都是因为在此时此刻的一个constraint下去做的一个判断,其实是很怪的。
00:48因为我们这里很多机会,我觉得会变成一个假机会,因为那个constraint有可能会变。基于那个constraint做的竞争,可能不是市场跟产品的竞争,变成一个资源跟牌照的竞争。
01:40对对对。上上周流感了,甲流,所以大家注意身体啊,最近生病的人可多了,什么支原体肺炎啊,什么甲流乙流啊。
01:48那个,对,所以我现在决定说,我最近先窝着,好像身边人无数都开始感冒了。
01:55对,流感还好,流感因为有特效药嘛,你吃了药就好的还比较快,肺炎就比较麻烦。
02:01但现在好像小朋友啊什么的,已经一片一片的倒下了。
02:04对,我们家已经倒,已经都倒下完了,已经都恢复了。甲流这东西它短期内应该有抗体吧,应该短期内不会再感染了。
02:11我之前也这么想的,他今年倒下了两次了。结果,结果,因为估计是因为不同的病毒,哎。真真真好头疼。
02:19所以大家现在跟以前一样,我觉得出门戴口罩,对吧?然后回家要洗手。
02:31吃了呀。对。就是每天早上到公司先吃一下瓜,然后中午吃饭的时候,大家聊天都在吃瓜吧。
02:37这个节奏比美剧还快啊,就是哪有这么快节奏的,biu biu biu。
02:44对对对,我我就记得是上个周末吧,上个周末开始的,对吧?
02:48嗯,对。
02:49那个,因为我记得周日看的时候,已经说是什么Sam Altman跟那个Greg,有可能就是要回去了嘛。然后我以为这事儿就结束了嘛,就周末就觉得啊,这很快就结束了。没想到周一一到早上来看,就又是当时是一个巨大的反转吧。就当时是说那个什么,OpenAI请了一个新的那个CEO,就原来Twitch的founder,
03:11对吧?然后说那个Sam Altman跟Greg要加入微软,对吧?然后当时就就惊呆了,说啊,不是昨天我以为说这事情已经结束了。后来反正又连续折腾了几天嘛,对吧?反正现在是这事儿算告一段落了吧。
03:27但是大家,我觉得这个当中肯定也不是那么简单的,就说啊,这个就就跟这个事情没发生之前,我觉得还是不一样的吧。
03:35但对于微软来说,其实提前暴露出有这么大的治理的问题,其实是好事儿,总比之后再暴露好。现在还可以再插,董事会还可以插一脚什么的,就总比过过一段时间再暴露。
04:27我觉得还有一个原因是因为,就比如说如果从我一个吃瓜群众来看的话,其实我对Ilya是很有感情的。我甚至于对那个Andrej Karpathy都有感情,就是会觉得,哇,这些人好牛啊。对。就假设比如说是他们两个想把比如说Sam干掉,其实对于我来讲就是说这是你们内部的事情嘛,对吧?
04:46都是神嘛,神神打架。但是从我一个吃瓜群众,就是那董事会那几个人确实也不咋熟,是吧?根本不知道他们是干嘛的,然后就觉得说你们几个莫名其妙,你们来掺和,就Ilya要把比如说要把Sam打死,我都会觉得说就是不关我事嘛,只是你们几个人在吵嘛。
05:50我我记得没错,当时不是有人,是哪个媒体啊?是
05:54Information有一个场次。
05:55Information报说,就是说是Ilya,对,Ilya先给先打电话约了那个Greg,然后Ilya打电话约了,就是Google Meetings嘛,就是约了,就是说并不是整个董事会去找Sam Altman或者那个Greg去通知这个事情的嘛。所以具体这个事情是,第一个是这个事情到底是因为什么内部矛盾,对吧?
06:17它肯定是有矛盾的,不是对吧?导致了这个事情其实大家都不知道,对吧?到底是一个真的是一个道路上理念上的分歧,还是这个说只是有人小人之心了,还是怎么样,对吧?但是我我觉得吃瓜群众中有很多的这个猜测,我觉得是不靠谱的。
06:38对,就是比方说有人说是因为,呃,那个Adam D'Angelo是他因为做了POE Store,所以那个说,哎呀,所以他觉得是说他要毁了OpenAI,然后就是为了,就或者说是因为Adam D'Angelo并不是一个说这个这个小透明嘛,人家是Facebook早期的CTO,对吧?
06:57但是后来自己做了Quora,Quora你虽然说它没有变成一个大公司,对吧?但是本质上来讲,他也是在这个湾区也好,在整个就就在有头有脸的人,就是说没有必要干这个事情。就POE,你说POE Store的这整个研发的投入,说实话也没多大。
07:16对,也没多大。对他来讲,我觉得肯定不会是因为这种原因去去干这个事儿。我记得包括这个消息刚爆出来,有很多吃瓜群众说,哎呀。会不会是微软是幕后黑手,目的就是要什么?我记得最早最早就是这个事情出来第一天,我在很多群里也有很多人说是微软搞的。
07:34为什么呢?这样微软就可以控制OpenAI了。
07:37对他有什么好处?
08:15对,我是比较相信理念之争的。因为之前,因为之前在美国工作过几年嘛,然后你是真的能够感受到身边有非常多的美国的同事的非常之赤子之心。就是或者说你你从中国人的角度看,就会觉得这个人完全还是个小孩子,他们就就真的是非常的那个小小孩子、大孩子那种感觉。
08:40然后那个后来后来也去看过一些美国的那个孵化器的那个demo day啊什么的。然后里面一半的项目,从我一个非常就就比较功利的一个创业者的角度,会觉得匪夷所思,就都是理念型的。就都是都是都是解放人类吧,什么让让碳排放少啊,或者救哪边的企鹅之类的。
09:00然后就会觉得说,这这个项目它的商业价值怎么做出来?就就就听下来就满脸问号,但是就会觉得,可能仓廪实而知礼节,就是那边还是会这种理念争吵可能会比较多。那个,但是我也问一下,就是因为对于我们这种外部吃瓜来讲的话,其实它理不理念跟我们关系不大嘛。
09:21但是因为反正我们也没有决定权,也投不了票。但是呢,有一种传说是说里面因为是有了Q*那个新模型出来了,然后因为那个太太牛了,可以做小学的那个,可以做小学的数学题了。然后而且是就是有有一定智商了,然后说这个Q星是四个四个研究员给那个董事会写信嘛,说有有这么件事儿是吧?
09:43那那那那这事儿可能我们就会就会比较关注,是不是我们的基于对这个世界,比如说要做模型做产品啊什么的。应该基于说,很快可能会有,比如说一年之后可能会有一个颠覆性的,比如说。有3.5的,至少是3.5到4的那个进步水平的一个模型出来。
10:02如果是这样的话,那做模做产品的时候思路会有点变化嘛。你是觉得里面是不是已经有了更好的一个模型了?呃。
10:09我我我我觉得是两个啊。第一个是我相信OpenAI手上一定有更好的模型。今天看到所有的用API调用的模型,都是本质上是一年以前的模型。GPT-4 Vision的这个版本,按照半年以前微软发的那个,就是讲那个Sparks of AGI,
10:27对吧?应该讲,就是说AGI的火花嘛,对吧?来讲说是他们去年看到的,所以不可能OpenAI这一年之内说技术没有进步,对吧?那所以他我觉得他手上一定有一个更好的模型。但是我觉得Q星这个事情,大家不能因为有个人说了一句话里面带了一个关键词,就开始各种去脑补。
10:50我觉得这也是一个不太理性的,或者这个这个处理问题的方式,对吧?就你当然你如果有比较,比如说你在湾区,你跟一些内部的人比较熟,如果你真的有比较credible的source,当然欢迎告诉我们,对吧?但或者你相信,但我觉得对大部分人来讲,就是说,就我觉得这就处于还处于扯的没边没影的事情,大家就先不要着急。
11:10换句话说,如果你没有一个足够credible的source,知道Q星是什么,你就别去想这事儿。或者说你觉得你有办法approach拿到这个信息,你就想办法去拿。
11:20你这个挺好的,就我早两天看一个朋友的微博,他就说,呃,是有两句话可以让我们节省百分之八十的脑力。第一句话叫做关关你屁事,第二句话是关我屁事。对,这事反正还不可笑,是吧?
11:36对。很多问题都是答答答案都是so what嘛,对不对?啊,是不是这样,你就是,就不是也好,不是也好,就so what吧,就是你你其实没有真正能干的事情非常少,对吧?其实你你能做的选择跟能参与的部分其实非常非常少。
11:51不管你是说,对吧,你是在在做什么,你是在做应用也好,你拿了大融资在做大模型也好,就是就算你知道,那除非你是,对吧,你是百川啊,你是呃字节啊,说哎,听说有个厉害的新模型,你要做的事情肯定是要想办法去找内部的人聊聊,知道一个大致的方向,因为你一边在追赶嘛,你在疯狂追赶。
12:13但同时你在追赶的时候,你总希望说不要你好不容易追上了,别人啪一个完全的新方向,你又要从零开始追。对于其他大部分人来讲,如果你是做应用的,我的感觉是说如果你人在湾区,那你可以去想办法去approach一下。因为可能去做一个美国市场的应用抢时间,当比如说他有个新的API出来,或者因为他这个模型的能力有可能性,
12:34那可能有价值。如果你在国内,我觉得其实啊你说我在做什么垂直领域大模型,我觉得说实话,或者你在做面向国内市场的应用,或者to B的应用,Q星这个事情跟你没没多大关系。再极端一点讲,就算告诉你,别人把paper都发给你,对不对?
12:48把代码都给你,你都没有算力把它跑起来,你想那么多干啥嘞?
13:12有,我觉得第一个是说这个当中不存在专业,因为这是个新东西,大家都是猜测,包括大家都推演或者对这个东西理解,包括因为模型现在为什么那么厉害,到底它的能力边界在哪些,哪些是弱项,哪些弱项能解决,其实大家都回答不了。所以我觉得,我个人觉得所谓的垂直领域的大模型,呃。
13:31如果说是我们半年前大家在国内说,哎。我们搞不了这个基础大模型,我搞一个垂直领域的模型,我有些语料,做一些数据微调。那从技术上来讲,它已经走通了。门槛跟价值来讲,经过过去半年其实论证,它的门槛跟价值其实不高,对吧?就是微调一个模型,在半年前可能是说,哎呀,你能把这个,你能很快的微调一个模型,是一个感觉你很厉害。
13:57今天你干这个事情感觉是你找个,对吧,随便找个稍微像样一点学校的这个在读PhD,把扔个开源项目给他,说我给你点数据,你微调一个模型看看效果。他一个人,一个一两个月就能搞。
14:10我我昨天聊了一个人,他们跟我讲说他们已经帮一百多家搞过了。我就说,他们为什么要建一百,那一百多家为什么要自己自由化搞一个啊?神经病。
14:48对。那所以这个事情和GPTs我觉得没啥关系啊。我我觉得是这样的,就是说随着大家对模型使用的深入,不断地去挖掘模型的能力,其实我们自己在做,包括我们自己做产品,我觉得观察到的一个现象就是很多情况下你也不需要微调模型。当然国内有有一个特殊的一个问题啊,就是说你用不了GPT嘛,对吧?
15:07就你从合规的角度来讲,你面向To C你用不了GPT。所以我你可能说,哎,包括一些特定的领域,我有这种数据私有化或者需求,那你有微调模型。假设我们叫这个微调模型是个垂直模型,对吧?从你做一般的知识类应用的角度,的确你有GPTs之后,你大部分人就对大部分人来讲,所谓的微调,
15:29你未必也比GPTs也好,或者比那个assistant API也好,或者说你用这些开源项目自己去搭embedding跟问答也好,并没有什么多大的优势。大家还是回到回到这个逻辑啊,这个模型厉害不是因为它讲话通顺,还是因为它的推理能力强,
15:48对不对?那推理能力强的逻辑的理论就是我只要把垂直领域的知识放给他,他能推理出回答出问题嘛。我觉得GPTs其实是带来了带来了另外一个问题,就是很多我原来的简单的对GPT的封装,就用了一些知识库或者简单的写了一些prompt,
16:06然后我去包装做产品,甚至包装做平台的价值变小了,对吧?我觉得这个是是,所以我觉得这个是对这个的冲击,因为有很多人做产品一开始说,哎。我其实就是写了个prompt,套了个壳,我就做了个小工具。
16:25对对对。就是原来是对这,GPTs其实对这些东西冲击最大。因为别人没有必要用你,别人可能不会写代码的人,原来你做这个东西还是有一点点门槛,因为你得封一个API,对不对?然后收集点数据封个API,然后做个小应用,啊,你就能用了。
16:41现在其实你不会写代码的人,会写点prompt,有点数据,你去用GPTs上传一个知识库,然后那个写两个prompt,封装个GPTs就能发出来了,对吧?当然那个GPTs有GPTs的问题啊,就是它现在也不太方便商业化,对吧?也没有账号,就是本质上你今天做了个GPTs,你拿出来,有多你你你在它的你作为一个GPTs的这个创作者,
17:04你在后台只能看见说,这个GPTs一共发生过多少次对话,对吧?用户实际问了什么,回答什么,效果好坏其实你都不知道嘛,对吧?但这个是作为一个平台,我觉得商业化后续是是是怎么走的这个问题。那回到我说垂直领域的大模型,我觉得还是我们说简单的微调,做一些知识问答这个事情,我觉得是不靠谱或者没有价值。
17:25但是我觉得还是有很多事情是有价值的呀。一个比较典型的,比方说你会看到今天有很多人,就因为我是工程师嘛,那其实你会关注说其实有很多人在做这个写代码领域的小模型。就是Copilot类型的这个专属的模型。其实大家而且大家也会去跟GPT-4啊,就有些是专门写代码的,写Python的。
17:47也有人专门写SQL的,就是做数据出数据报表的。那这些垂直领域的模型。从我的视角来看,他就就至少到今天,如果他做得好,对很多企业他还是有价值的。就这个是垂直嘛,然后又真的有用
18:00嘛。对,它的确是一个垂直领域。第二个,在这个垂直领域,GPT-4做的也不错。但是呢,也未必是说你在这个细分领域未必就做不过GPT-4。对吧?
18:10比如我出一些数据报表,就我们用过GPT-4,就是它还是,它的那个训练数据里我相信有很多这种Python的这种pandas啊,就DataFrame的代码,但是真的深入数据分析的代码未必有非常多啊。那个,所以你会发现让它去写一些这种数据分析的,它有时候写的也很扯,经常出错。
18:27然后第二个是说像这类的应用又不太方便说,我把示例数据甚至我的数据表发到外部去通过API调用。就假设我是个公司,我内部有很多数据仓库,我想要用这个东西,对吧?你让他帮你写点代码,但是你想把它做成个系统,任何一个请求都发给GPT-4,让他帮你转译成一个你内部的SQL,
18:47从数据安全合规的角度会有很多问题,对吧?所以我觉得从这个视角来看,我觉得垂直领域的模型,在很多垂直领域,我相信还是会有价值的。
18:55然后那个之前不是那个,对,跟大家讲之前我也想过一个垂直的一个模型,然后跟那个徐文浩讲过,我说藏语这边就是你要垂直。但是又不要被覆盖。藏语就没有被覆盖。然后藏语的话呢,那其实现在比如说像信藏传佛教的有一两千万人嘛。
19:16然后其实只要把藏语和古藏语搞了,然后这边可以拿到大量的经文的那个那个数据嘛。经文数据肯定OpenAI没有没有心力去搞这些事情,他们连数字化都还没做。但是如果搞下来的话,其实就可以在至少在佛教圈或者藏传佛教圈立住嘛。但是缺点呢就是在于说他他顶天了也就可能一一千万人。
19:38然后呢,这里面还有很多在什么尼泊尔啊什么的,其实就是商业价值也很有限。那这样子的话。那个上次就问徐文浩,然后徐文浩说,能做这件事情的人都会想做一件更大的事情。你这个顶了天就是一个应用层的一个事情。就是也也也挺挺尴尬的,有的时候垂直是能垂,但是呢。
19:58他就人才现在还不会进来,有些时候呢,他就大,比如说你说你做做一个教育垂直,教育垂直简直是一片一片腥风血雨,就所有的人才都在那儿搞,就很尴尬嘛。
20:09因为你今天你人在中国在国内做这些业务,你的这个视角其实稍微有点歪的,或者说稍微有点变形的。为什么呢?如果你今天是个,假设你是个美国人,在美国做美国市场,你会有两个选择:你要么我能力很强,我就要做一个大的模型,要么我就去做应用。
20:27它其实不太有那个中间态,就是说我能力一般,我搞不了那个大模型,所以我要做个模型微调或者小模型。对,你大家去想是不是这个逻辑?就是如果我要做产品,因为为什么呢?是说对他来讲说我是个美国人,我依赖OpenAI的API去做一些业务,这很正常。
20:43对。其实你想想是不是一个很正常的事情,我为什么要做那个模型呢?我我就做我做好我的这个,本质上是我利用AI把应用做好就好了,我就做我擅长我能干的这个事情嘛。然后我完全没有必要去说我需要一定要搞一个垂直模型。我觉得大家都特别喜欢讨论垂直模型,我觉得是中国的特殊情况。
21:04既做不出OpenAI,又不甘心只做个App,或者说我做App我也我也用不了OpenAI,我好像就必须得自己做个引擎。
21:15对,对对对对对,我觉得是这个,是这个导致国内特别喜欢聊这个什么垂直模型啊,这件事情。你看到了OpenAI,但是你又没法用。然后呢,但是呢,你又做不了,你又没有本事,我们又没有本事去做一个基础模型,做一个什么,不不说什么GPT-4这么大的,
21:33就做个比如说170B、100B的这个级别的,就GPT-3级别的垂直模型,从零开始做,你又做不了。你觉得我钱也不够或者怎么也不够。所以呢,你就搞了个半吊子,说我们微调做个垂直模型。我觉得这个是在这个这个拧巴的状态下讲的一个故事。
21:49是对吧?因为GPTs出来的时候,我不知道大家有没有注意到,就是OpenAI在网上,在他们官网上还放了一个东西,就是说他们在招募合作伙伴,做垂直领域的模型。他说,对,让你填表嘛,而且他给你设了预期,预期是说,就两到三个million dollars起步,
22:08预计时间要几个月。但是你去想一想说,如果我是一个传统的,比如说我是一个美国最好的律所,我可以跟OpenAI合作,然后把这个知识产权拿过来我就做了。我相信他们去跟OpenAI合作做,比你一个二流的团队从零开始去微调一个Llama,可能效果要好,
22:25对吧?而且它的成本也不高,它就两到三个million嘛,对吧?再再多一点,四五个million。你其实你今天很多所谓要做微调、做大模型或者不做基础模型的公司,他要的钱并不少。对,他肯定不是说我要一个million USD,我一个million就一百万美金,对吧?
22:41五六百万人民币我这事儿就做了。然后大部分不还是在吹一个更大的故事嘛。所以垂直模型我觉得是个是个中国特色的拧巴的事情。但它也有可能成功啊,对吧?就是说因为我自有国情在此,的确你就没法用,这也合理嘛。
22:56你从安全的角度,你就不应该,你从数据安全,你从更多因素,你的确在目前这个,对吧,国际关系下,你也不太可能说我把数据都灌给GPT-4,让它帮我微调一个模型。可能说我就依赖它的API来干这个事情。但是呢,这个事情我觉得还是个存疑的事情,是如果国内有一家能做出一个GPT-4 level的模型,
23:18而且我觉得这是这是一个迟早的事情,对吧?sooner or later,对不对?那你所谓的很多垂直模型上的事情,就是我们所说的,就是啊,我一个专有领域有知识性的微调的这种垂直模型,我认为是没有机会的,或者说是没有价值的。
23:31是,
24:15现在肯定大部分人做不了了。
24:17然后你要做pretrain这个事情的第一个问题都不是你有没有技术团队的问题,是你有没有钱买搞那么多算力的问题,对吧?这两个的算力数量差不是差一个数量级,这两个算力数的需求数量差是差两到三个数量级。
24:30大家如果对这个感兴趣的话,最近两天那个菩萨,就是Andrej Karpathy做了一个一个小时的演讲,专门把比如说每个阶段到底要用到多少算力,多少天,然后有多少数据,怎么做的,做一个小时的那个演讲,好像叫做Introduction to LLM什么什么for busy people,给给大忙人的那个简单介绍,
24:54讲得那可清楚了。你刚刚讲的这个的话,我让,对对对对对,我就觉得说,对对对,我刚听完,然后再听你讲就非常清楚了。大家可以去搜一下Andrej Karpathy。
25:04对。但是如果你是真的有能力做基础模型啊,我们觉得就是说从我们自己观察的视角,我觉得还是值得的,或者是有机会的。
25:12为什么有机会呢?
25:24是后面那个能力牛逼。
26:18也不会是白痴。
26:19极极端一点吧,然后但是我的意思是,GPT再升一个级会不会把你在这边,比如说你现在数学可以考一百五十分,GPT考一百二十分,它但是GPT语文啊什么都比你高嘛,无非就是一个专才和通才嘛。但是但是通才再升一次级会不会把你干掉?
26:37我觉得是这样啊,就是因为大家之前不是暴露,呃,反正GPT-4说是MOE嘛,对吧?MOE就是很多专才组合在一起嘛。
26:45啊,行行行,我知道你意思了。啊,
26:48对不对?对,MOE其实本质上是,反正我们去理解是很多专才组,但是它的MOE它也我记得是24个head还是16个head,我忘记了啊。它做的这个模型最终其实还面临一个问题,就是说我做这么大一个模型能支持所有的事情,我的成本一定是高的。
27:03就无论是推理成本还是训练成本。你前提是你这个团队本身就有很强的做模型的能力啊,我觉得你还是有很多另辟蹊径去做很多具体的模型。你要么就是做应用,做应用本质上是因为AI出现了,你有很多做应用的机会。要么你就应该去做模型,因为做模型也是一个很大的机会,对吧?
27:25就还是回到拿iPhone类比嘛。就是OpenAI做出了iPhone,直到今天iPhone还是比安卓手机好用,对吧?就是你当然可以说很多,但是overall直观的消费者普遍的认识或者业界普业界普遍的认识就是iPhone比安卓好用。
27:41但但是仍然有很多安卓手机是吧?
28:02想到另外一件事情啊,就是早几天看了一张图,就是他把PC互联网、移动互联网和AI画了三条线,然后把那些估值的公司都画出来了,就是他们的估值。最后发现移动互联网这一波其实没有什么创造增量价值,虽然我们看着像TikTok啊什么很大嘛,对吧?
28:22但是你把所有的大盘子全部数出来按钱算,会发现移动互联网最大的受益者是PC互联网几大巨头。然后然后什么Facebook啊什么的。然后在在移动互联网纯粹的就只有TikTok几家拼起来的话,比那边要少了一个数量级还是两个数量级。
28:39就按钱算,按对方的钱。就是以前的巨头在移动互联网当中得到的增值远远大于移动互联网native的兴起来的东西。我就突然想到这么一件事情。就然后他们就在讨论说到底到底这一波会不会又搞成这个鬼样子,好像大家很热闹的样子,结果全部又又又又被上一代人吃掉了。
28:58我觉得这是两两个,第一个是有可能,但是字节的不是上周爆出来季度收入已经超过腾讯了嘛。
29:06就字节太牛逼了嘛,字节就是相当于一个outlier。
29:24啊,你说的对,在那张图里面,他把它算作了income,income本成那个。对对对对对,按照你这样想,对对对对对。
29:30但是我觉得不太一样,我觉得不太一样,因为Apple在iPhone之前,就在整个业界不已经不算是一个最头部的公司了。就就你我们极端一点讲,在有这个iPhone。他是个卖MP3的。他就是卖MP3的嘛,当然MP3也卖得很好,对吧?
29:47它的Mac虽然有一定的出货量,但是跟今天的地位也不能比。对吧?那个时候Mac的出货量其实是还是一个很niche。niche的是非常细分的市场,而且它还不是那种说我原来是巨头,所以我获得了更多增量,跟所谓的比如淘宝有了手淘,
30:05跟所谓的这个腾讯有了QQ、有了微信的逻辑,我觉得还不太一样。它完全是从零翻出来的,就从一个它的一个新业务,完全是从一个没有什么基础翻出来的一个公司。
30:30没没没没,我我只是在觉,我只是觉得是说,就是巨头能够成为巨头,是一定有原因的,是一定因为它原来就能打。所以有巨头会衰落,但也有巨头能打,它虽然遇到一些平台期或者衰落,它又有机会重新翻身。因为巨头里,你不管今天大家喷这个公司喷那个公司,你得承认绝大部分的头部人才还是在巨头里。
30:52就今天人人都说,哎。Google这公司什么战略,对吧?就就是,反正是个人从Google里出来的,还在Google的,对吧?从来没在Google待过的,今天都可以喷Google,对吧?今天都会去喷Google,但是你得承认,最头部的服务,无论是工程师人才,还是这个research的人才,
31:11有很大一部分今天还在Google里面。对吧?你当然可以说它战略不战略不好或者怎么样,就跟大家十年前喷微软一样。但是你说不准,它哪天摆正了,它这个调过来了就翻身了嘛。然后但是它翻身的这个过程,很有可能跟所谓的存量是没有关系的。
31:28比如说AI这一波或者云计算这一波,AI是微软翻身了。但是在所谓的PC互联网跟移动互联网这两个战场,跟微软一毛钱关系也没有。
33:22对啊。对,我觉得这个很点,就大家去看历史,就是比方说我们讲我们的科技界,对不对?科技界最老牌的公司,硅谷,硅谷最老牌的公司叫惠普,对不对?就是乔布斯都是去找那个惠普的那个founder,那个帕卡特还是谁,说去问他去要零件,对吧?
33:38打电话问他要零件,那个都是五十年前,五十年前可能夸夸张了一点,四十年前的事吧。八十年代,七十年代末八十年代初,四十多年前的事情。那惠普今天在业界还是重要的公司吗?呃,可能已经不早,已经不是最头部了,对吧?但是你倒数三十年,你倒数三十年,九十年代惠普还是非常重要的公司。
33:58惠普并购了康柏,是最大的PC出货商。就是你去想,我们大学毕业的那个时候,如果你找一个技术类的工作,这个时候中国互联网公司还没有起来,Google还没有进中国。我们毕业的那一年,最好就是最厉害的人去哪里?去两个公司,去两个地方,就是说你的技术水平最高的人,一个是MSRA,我们说的你在国内啊,不是说你出国读研,
34:21MSRA,中国微软亚洲研究院。第二个叫做IBMCRL,China Research Lab,就是IBM的中国研究院。我相信很多时候那个人选工,最厉害的人选工作,就在这两个当中是随机选的maybe。但是你去MSRA的话,你可能今天在业界,MSRA还是还是一个top的研究机构,对吧?
34:42就是你从那个时代,你从PC这个互联网时代,你说那个时候觉得IBM还很厉害啊,我记得以前还有一本书,就是讲那个九十年代IBM的CEO那个郭士纳,对吧?是谁说大象不能跳舞,对吧?你可能到2005年、2008年,大家觉得IBM还是个很厉害的公司,但是它PC没赶上,移动也没赶上,
35:00云计算也没搞起来,对吧?AI现在看来,它搞那个沃森也基本上被头部的就拉开了。所以IBM现在,你知道从今天看,已经翻身的机会已经非常非常小了,对吧?就是说我们从一个吃瓜群众的角度,对吧?可以会会讲这个话,但是也有前车之鉴,你像苹果不就翻身了嘛。
35:23对啊。但是呢,你你会看到这很多公司中有一些,就像PC时代的公司,今天真正活得好的,其实我们想一想就是微软、Adobe,对吧?我觉得是其实是是这样一个过程。但是同样的,你去看PC互联网时代的这些公司,那些门户网站也衰落了呀。
35:40大家都说PC到移动,是说还是巨头,但是PC的巨头不只是你今天看到的百度、阿里、淘宝,那时候还有新浪呢,还有搜狐呢。我们做移动互联网的时候,刚我刚开始开始做广告科技的时候,最重要的资源是新浪首页啊,包一个广告位可贵了呢。你今天还有谁会去新浪首页看新闻吗?
35:59对不对?而且新浪还不算失败的那个,新浪好歹孵化出了微博。那你看,同样跟新浪同时期的,比如搜狐呢?你想,当时所有的这些PC时代的巨头,都做了微博、微信类的产品。对,腾讯也做了。
36:13新浪也做了,搜狐也做了,所以还是会有巨头会下来,有一些巨头会延续辉煌,同时会有很多新的公司出来。你今天看搜狐这个公司跟陌陌这个公司,可能陌陌这个公司市值还大。
36:24所以反正就是不管你是新的老的的话,新的浪来了的话,你肯定,新的浪来了的话,你肯定要抓,不抓反正你也死,就大家都要抓新浪。
36:34对,所以所以我觉得还好,我觉得这AI一定会起一波新公司,也一定会有很大的份额,仍然牢牢地被原来的巨头把控在手里。
37:38就是在微信,呃,他们转到那个以语音为为首之前,有一另外一个我认识的一个朋友的话,他做了一个就是比微信更早做了一个微信,而且比微信感觉其实可能打得更准一点,然后他迅速的就搞了,因为他认识很多什么美帅哥美女啊什么的,迅速就把那个量给做起来了。
37:59但是,一旦用户量过多之后,什么丢包啊,然后就是那个什么什么发错啊,bug啊。一堆问题就出来了,然后那个东西就极其不稳。但是微信出来了一段时间之后就可以做到说在地铁没有信号的地方,你居然可以收到微信。就是那个基建层的那个威力就就你上面奇技淫巧方面,我觉得它甚至于做得比微信还好。
38:23但是你稍微碰到那些具体的活,比如说如何不丢包,如何在信号弱的时候怎么样怎么样,然后就彻底乱掉了。然后但是腾讯那个底子就是只要你东西对了,那个底子一扎,哐就炸了。所以有个知识,你知道吗?我亲眼看到这么一场战争,当时看到特别可怕。
38:40其实我你会发现说,你真当你真的落地要开始做产品,你还是有大量的基础工作要做。就是说这个是我最近的一个体会啊,就是我最近其实都没有看新的paper,都在干干活,对吧?当然有有了GPT-4这种擅长写代码的AI,对吧?这干活效率是大幅度提升了,但是你会发现还是有很多具体的工作要做,而且这个工作的确需要一个experience的。
39:03在传统的互联网,现在移动互联网说做过很多这种在大的流量下,大的说你才能哎,就想的很明白,很快能会把它做出来。所以我觉得这个是也是回到那个老的这些公司未必没有竞争机会,特别是在这个把这个东西做出来这个这个。因为我觉得大大厂面临的这个挑战还是说大家是不是能有一个,这这这是我觉得本质上的区别并不在于说机会是只属于新公司,
39:30而是在于新公司它没有各种内部的包袱。这是第一个。第二个是说新公司有很多,一千家里面跑出来了一家。大厂的成功率还是比新公司高的。大厂的成功率可能是百分之三十。
39:42十个大厂在一个新的时代,有三家更牛逼了,有两家其实跟原来差不多,有五家就就被淘汰了。你觉得哎呀,大厂好像这个失败率很高。但新公司其实一千家里就跑出来三家。对的,
39:53只是新公司多啊,你扛不住人多。
40:25确实厉害。
40:47贵的话,因为成本会下降的话,我觉得倒是以后不见得这是个问题。它再降个十倍,可能就好多了,是吧?
40:54所以我说做应用的话,就是说我觉得大家还得想明白,就是说就回到我们一开始那个话题,我自己的体会是说,我觉得你大家得想明白,就是你到底做的是一个什么事情。这个事情是需要你有底层的模型,就是自己做一个属于自己的,因为你的这个场景,我必须要有个自己的模型。
41:10那你本质上你就应该去做一个模型的公司。因为除了个模型之外的那些所有互联网产品应用,其实是花钱很容易可以解决的。如果你觉得是因为AI有了能力去做一个应用,当然国内比较拧巴,这是另外,你你在海外你就不要去想模型的事情,你就调API。
41:27对,我觉得中间态不可取。海外市场啊,国内市场我觉得那是另外一个故事。国内市场我觉得我不知道怎么才是可取的。
41:35我现在的思维框架是,第一步是需求探索,然后就是搞清楚到底要什么,先先不做。第二步的话呢,就是就是出原型,全用GPT-4出。就其实相当于你就做了一堆GPT,GPTs的最大好处是出MVP。然后它用它出完MVP之后呢,看看去测国内模型可行性,看看能不能用国内模型把那个GPT-4的效果给,
41:59就相当于搭一些工程性或者框架性或者多agent的方法,把那个硬把那个GPT-4能够做出来的效果给做出来,因为你前面已经验证了做出来有用嘛,那就是再去搭嘛。搭完之后,如果发现说可仍然可用,再相当于这个就是内测了嘛。第一个就是小规模,只是测测通嘛,那然后再考虑要不要做产品,就就切很多很多很多段,每一段的每一段每一段,
42:23甚至于实现方法都完全不一样。对。所以,这个国内国内就先先这么搞,然后完全不考虑模型,自己做就是要下很大决心的。我觉得
42:32就是自己做是这样的,就是就是你下了决心做也就做了嘛。其实这是个选择问题,我觉得不是对错问题。
42:38没有,对于你这种有选择的人是个选择问题,对于普通人这哪是个选择问题啊?能看得懂开源开源东西的人都不多,好吧。
43:58不就拿到权重
43:59了吗?不是啊,我觉得这个就特别难受,因为假设这个OpenAI这一次不是以团队完整回归保留了,不管是什么,一波人去微软,一定有很多人不愿意去微软的,一定会有很多人说,那我就去Anthropic,我就去Google,或者我自己出来搞个startup拉一笔钱,对不对?
44:16它不就分裂了嘛。分裂了完了之后,但同时微软因为那边是个nonprofit,下面又是这个东西。微软你现在虽然有先手,但是长期的这个先手就没了。然后你内部又不让大家做这个研究,有很多人才可能也走了。真的想做这个事情就跳槽走了嘛。
44:33就很多决策自私的,我觉得都会面临一个问题,就是它到底在多长周期是对的。就跟OpenAI的治理结构一样。反正在这一个,在两个礼拜之前,但谁要聊OpenAI的治理结构,对吧?大家大家都是事后诸葛亮,都是看后视镜的。大家夸的原因是因为他牛逼,不是因为他正确。
44:53我觉得很有意思,就是我在推特上看那个Jeremy Howard,就是Fast.ai的那个founder,他就很有,我觉得他还是蛮有insight的。为什么呢?就是说他其实在这个事件之前,就是当那个Sam Altman发了那个GPTs,他就在他就评论嘛,
45:09他就他的当时的评论觉得叫,他缩写叫做NGMI,他觉得OpenAI not going to make it,就是AGI这个事情。你们的这个董事会的理念不是要去奔向AGI吗?对吧?
45:22你这是写在董事会章程里面的。对吧,就写在你这个公司的这个章程里面,写在你是董事,你的board的mission就是这个。但你做GPTs这个事情和这件事情没有任何关系。它完全是个纯商业的决策。
45:35也可以说是来收数据嘛。
45:36我觉得存疑吧。就第二个呢,他不觉得董事会把Sam Altman开除是一个非常好的决定。但是呢,他觉得董事会没有问题。如果董事会的理由是像他们说的那样,是不因为你的goal不是在走向AGI,他觉得董事会去行使自己的职责是非常合理的。
45:57因为你董事会你的你从法律上你背负的义务就是要去围绕这个mission去做决策。
46:28对对。对,我我只是说,我我说的其实是是另外一个视角嘛。
46:32那你讲讲还有什么你最近做产品或者做什么的心得吗?我们分享一些心心得,就是大家跟大家有关系的,就是你可以建议大家可以怎么样呢?
46:41跟大家有关系的,就是我第二个心得是因为我们内部其实也有很多idea,但我有些很多idea我也不能讲哈。我觉得我其实给大家两个建议,第一个呢,如果你有有机会,呃去湾区找一些朋友看一看聊一圈,对吧?就是因为我们团队里有人去去我没去了,我我在写code忙着写code了。
46:59但是呢,我觉得是说包括他们回来我们内部做一些交流,我觉得这个事情还是有价值的。因为回到那个话题,就是说呢,美国现在的这个围绕AI的创业生态,我觉得是个不拧巴的生态。你在国内始终是个拧巴的生态。对。在一个拧巴的生态下呢,你很容易做出很多看似短期合理,长期其实不合理的决策。
47:19就是你做的所有决策都是因为有各种奇怪的限制,导致你说我不得不这样做。但是不得不这样做的你所有的限制都是,你都是不不是第一性原理,你都是因为在此时此刻的一个constraint下去做的一个判断,其实是很怪的。就是为什么就是你会发现跟美国人,跟美国的团队或者包括一些人去聊,哎。
47:39你会发现突然发现他们思考想这些问题或者这个的确跟我们出发角度不一样。我觉得那是因为他的确是一个相对比较正常,有一个公司做出了一个很牛逼的东西,但大家都没有。也有很多公司在尝试用各种角度说我要做个模型,我也没有什么禁运不禁运之类的这个问题,对吧?
47:55我是个美国人,我在美国我要搞算力只有有没有钱的问题。它是一个更健康的生态。
48:00他是一个看到了机会或者看到了目标然后去plan,我们是看到了一个constraint,看到了一个限制去react。
48:09对,我觉得你这个说得非常好。国内大家很多动作我觉得在做应激反应,对不对?就是包括要不要拿卡呀,要不要做模型呀,都是个应激反应,对不对?就是哎呀,又中美之间又有这个那个的这个矛盾呀,OpenAI又不能用呀,就有很多是应激反应。
48:24但是在美国呢,我觉得是说它是一个更健康的生态,那你能看出说,一个完全就没有这些constraint,就不考虑这些奇奇怪怪的constraint,我要想做一个好的产品,做一个市场,是应该是看什么样的机会。对吧?那个机会会比我们这里的,因为我们这里的很多机会,我觉得会变成一个假机会。
48:44为什么呢?因为那个constraint有可能会变,最后在基于那个constraint做的竞争,可能不是市场跟产品的竞争,变成一个资源跟牌照的竞争。就是说,哎,我拿不拿得到卡,最后是说,哎,我只有这么多卡,能不能变成说我能不能通过一些渠道能够得到一些补贴呀,
49:01能不能得到一些资源呀,所以我能干这个事,你不能干。我能不能因为我能够去去lobby这个政府啊,所以我能有这个牌照,你没有,对吧?那那那就很容易变成一个非是,就是那你最后你会发现你做出你看到的头部的产品,有些时候不是因为这个产品好嘛,
49:19是因为它的资源充足。这个是我我的第一个建议啊,就是特别是说有很多人说我要出海,要做出海的业务,那我觉得你应该跑到美国的创业者圈子里去看一看,他们是怎么想的,他们在干什么。因为你待在国内,这我觉得这个,我觉得不由自主的,包括我自己也是,哎呀。
49:35他们一聊,我觉得有道理。不聊,我觉得哎呀,我就整天在想这个卡从哪里搞啊?什么?就是就是就是就是你很拧,就很拧巴嘛。
49:44你们明年明明年明年一块儿去硅谷逛逛,找个时间。我觉得今年没戏了。
50:14那这样,所以第一个去硅谷还有别的吗?
50:16第二个呢,我是觉得说其实有很多产品机会,而且很多产品机会都值得一做。就是当然因为我们有很多内部讨论的idea,我也没办法在这里讲。但是我觉得大家都是可以看看你自己所在的industry。就是当我埋头写代码,或者说我在搞机器搞模型的时候,我意识不到。
50:34但当我们自己去开放式的,比如团队内部去讨论各种产品机会的时候,我们其实是看到了很多机会点。我觉得很多机会点对于很多startup来说都已经足够大了,或者对于早期来说都已经足够大了。我们自己觉得是个选择问题,就是你要不要做这件事情。
50:50就明明你看到一个机会,你可能也会放掉,对吧?因为你可能看到八个不同的机会,你说我也不可能都做,对吧?都做必然失败的。就是因为我之前我觉得是说,有和很多朋友聊呢,我觉得大家的这个机会就觉得不是机会。就是我觉得大家的思维还是限制太多了。
51:06大家没有想到,大家想到的还是说什么围绕AI做个GPTs,这是最多的人想到的,对吧?围绕AI做个垂直领域的模型,围绕AI给企业做个效率优化。但是我觉得还是有很多这个面向C端的,利用AI能做出有意思的产品的这种小机会,其实还挺多的。
52:19挺好的。所以要去一趟硅谷,然后多看看,应用的机会还有很多。
52:25对,我觉得这种机会还有很多。我觉得特别是第三个,我呃我觉得这个,当然我是觉得说,其实这个因为AI的存在,我自己的体会是说,你对团队人数的要求的确大幅度下降。OK,
52:38就很少的人可以干很多的事儿。
52:39对对对。大幅度下降了。就是我们现在在做的应用,当然我们团队人其实并不能算也不多了,现在团队人也不多了,就具体多少,反正就就是一个小小的startup的这个人数。但其实比如我们做的第一个应用,可能就是主要代码就是用了两个半人。
52:57因为大量的,我自己的体会就是大量我不知道的,就是包括很多工程师,他原来没有接触过很多programming language,他今天上手,他看一遍官方文档就立刻可以开始干活了,有不懂的就问ChatGPT,其实效率我觉得是非常非常高的。就是所以我觉得现在做应用,又和我觉得这个又是反的,就是跟现有的头部大厂的逻辑是反的。
53:19头部大厂的逻辑还是分工的逻辑,还是说我找一个专才能写后端,找一个专才他写DevOps,找一个专才他写前端应用,找一个专才做产品经理出PRD。找一个专才设计师出所有的设计稿,特别是在国内,原来大厂某种程度上还有效率优势,就每个人都是熟手,
53:38然后我的infra又搭得比较好。因为海外人比较贵,所以其实还还没有那么明显。但是我现在组,至少我这轮做应用,就是因为我号称全栈哈,对吧?但其实也有擅长不擅长的东西。比方说我还是比较擅长搞数据啊,搞这种后端的这种东西,对吧?
53:54然后搞搞点算法,会搞点算法,前端,所以说你们前端运维这种东西,因为你创业了,你这都得搞。原来呢,其实当你的团队稍微大一点,我们原来创业的时候,当团队有二十来十来个工程师的时候,DevOps也是专门有人搞的,就分工。但这次其实我就自己搞,对吧?
54:18因为很多原来的时间其实是协作和沟通会很大的损耗嘛,现在都自己搞。
54:23对,我认为是两个,一个是原来的协作沟通,互相等来等去,很耗时间。对。这是第一个问题。第二个问题呢是,原来很多的knowledge,只是你很多senior的工程师,是他的概念、他的方法论、他的工作习惯都没有问题。但是呢,每一个地方他的这个技术栈都有很多知识性的问题。
54:46OK,都有这个命令参数是什么,然后它的效率低是什么。每次当他开始干活,他要先读一遍文档,因为他干的又少,他每次都得去查文档。对,所以它效率就显得好像不高。但当你有GPT-4的时候,你只要描述,对于一个senior的工人,你只要描述清楚需求,然后它生成一条命令,
55:03然后你让他说解释一下命令的每个参数,对吧?它只要解释的是对的,你运行,你就不需要再去看那个文档。其实就跟你跟一个运维工程师说,你帮我部署一下,我提这个需求,花的时间是一样的。这是我自己的一个体会。现在做一个新的产品,其实需要的人会比原来少很多,从产能上来讲并不会变少。
55:28第三个就是我觉得一个结论,就是我觉得这个是一个值得大家思考的问题啊,就是在这一轮的这个AI当中,就是我们所谓的模型这个东西,它到底是一个技术还是一个产品?模型这个东西到底是像iPhone那样的一个完整的产品?还是说模型这个东西是iPhone里的某一个芯片?
55:49这个我觉得是所有来做大模型,特别是做底层模型的人,其实是想要思考的一个问题啊。那到底是应该说我要做一个模型,但是在模型上我要再做很多事情才能做出一个应用,还是我的这个应用的核心就是模型本身。因为今天如果我们去看GPT-4的话,它的应用其实做得非常轻。
56:09你假设你自己有一个GPT-4的部署的模型,你要把GPT的那个APP给做了,对吧?它那个网页做了,甚至GPT-4这些东西做了,并不需要很多人。就我觉得抛一个问题啊,这个问题也是有人在提出来的,但是我我觉得还是在需要思考。就是说在ChatGPT这个时代,大模型本身它到底是一个技术,还是已经是一个产品?
56:34这个今天我们看到ChatGPT这个产品,其实它外围的这个产品那个壳是非常非常非常薄的。它的核心的东西就是那个模型,甚至想来讲,这个模型本身就是那个产品。所以在这个时代,是不是模型本身就是产品?你做一个垂直的模型,是不是模型那个本身就是产品?
56:52如果你要做的事情是说,你要外围做大量的复杂的除了那种我们简单的说界面啊,增删改查的之外,你要做大量的复杂的适配的工作,对吧?你说就用模型能力不足,我要做非常复杂的各种workflow,它到底有没有竞争力?因为是不是就说明你这个产品本身,就是你最关键这个产品本身做不好?
57:14这个
57:15这个朝两个方向走都有可能。一个就是如果你在外面有更多的杂活需要做的话,有可能是你的壁垒,就就说明这事儿不太容易被吃掉。但我反过来想,就是有可能你你没有正确地定义这个问题,你把它做成了一个不适合用大模型来解决的那个样子,而没有充分发挥大模型的能力。
57:36对。因为但我觉得这当中就会,你会看到,就是又拿移动互联网来打比方,你会看到不同的产品形态就是不一样的。比如说美团,它的这个产品其实很大一部分是依托于我线下这个骑手网络的,对不对?你不能说那个APP是产品,那个APP说实话要做一个比那个骑手网络要容易多了。
57:55但是你换一些别的产品,它那个产品本身,比如说iPhone,它产品本身就是那个手机。你说什么富士康,你本质上也是外包的嘛,或者说我们再看比如说TikTok,它其实就不像美团有依托于。那么它说我,我当然了,它它因为那么大,它也有各种运营团队要去接达人或者怎么样。
58:13但是我们用更抽象的理念看,它还是它本身那个app就是自己这个产品嘛。甚至我极端一点讲说,TikTok你还有这个问题,像微信本身那就更极端了。微信的核心功能就是我就是个纯线上的一个产品。我觉得大家都要回答一个问题,就今天大家做AI,做模型也好,不做模型也好,到底你做那个产品,它的整个产品中包含哪些东西?
58:35是说我只要做一个模型就已经是一个好的产品吗?就我觉得比如说只要做一个模型就是一个好的产品,我觉得ChatGPT现在是但我们去看看Character AI这种,看上去也有可能它模型做得足够好,它可能也就是模型本身就是个产品了。
58:49但是你去想一想啊,就是假设你今天就是喜欢这些角色同人,它也给你做成多模态的,它的效果做得更好,你真的需要更复杂的产品吗?这其实是个问,这是个问题啊,这我我没有答案,就是我觉得这是个问题啊。就就是maybe你说需要产品的,你看最后还是要搞各种复杂的游戏化运营手段,你才能挣到钱。
59:08大家对这个事情,我觉得TikTok跟Character AI本质上是在大模型的产品的世界观上有分歧。有有可能,有可能是TikTok是对的,这个东西本质上它就是个游戏,那个模型能力虽然很重要,但没有那么重要。对。
59:42我又要说回来,我我觉得我的想法又稍微有一点点不一样。我的想法是,如果你今天去看,说搞一个自己搞一个模型不靠谱,那三年以后呢?
1:00:45我记得你那时候跟我讲说,你有一个晚上在处理什么浮点数溢出的问题,运算多少次GPU会出现一个什么什么什么错误。
1:00:53那你就要反转的问题,就是我们买了一批机器,当时用的那个内存不是ECC的,就没有做,没有那个,没有自动做校验。你因为你的机器一直在跑嘛,数据量又很大嘛,然后有一批内存的质量不太好。哇,全
1:01:06牵涉到硬件,挺好的,为现在做准备。
1:01:09对。的确,你说为现在做准备,因为你如果不经历那个阶段,你今天让我,我如果一直做应用,你今天让我说我们来搞大模型,我肯定心里说,这我哪搞得动。
1:01:18挺好的呀,就反手作弊,留下痕迹。
1:02:34呃,对。对啊,所以我的,所以你还是回到那个从交互的角度来讲,可能它也能在模型里解决掉啊。Maybe你的所有的这种,比如说你做个手势,也是模型的一个输入,也是一个signal的输入。那你把
1:02:45这个都包进去的话,那当然是啊,你把眼耳鼻舌身意都归到脑子,那就那就对啊,那就是脑子搞定一切
1:02:52啊。我的问题是,未来几年之后,技术会不会就变成这样?就大家会因为在做多模态模型,多模态模型就是语言、声音,就是你把所有的signal都能作为输入,所有的signal都作为作为输出。
1:03:05你如果把to use啊,像什么sense啊,这些东西都归到模型里面的话,那那确实就是模型搞定一切。
1:03:21天哪,你们真的是,哦,这个这个还是蛮蛮开脑洞的啊,我我最近为什么每天感觉我的思考都在变啊?有道理。
1:03:30对,就是,就我们再极端一点,今天你用一个app,这个app它就是个模型。就是你的所有跟它的互动,都是一个模型在背后产生,它没有代码了。后面那个什么图、出的什么东西都是模型。你点任何一个地方,你点了一下,它都是模型。对。
1:03:43应该是这,应该是这样的。就哪怕是比如说,因为因为UI这个东西是可以是生成的嘛,就是给你的UI应该是你当下最适合这个人的UI,也不应该是固定UI嘛。UI本身在我的设想里面也是generative的嘛。那如果是这样的话,那UI就是模型的一部分。
1:04:25确实会朝这个方向发展。所以我最近还有一个思考,就是如果要做应用的话,就是当然短期就是最好能够赚钱嘛,就是它要活着。然后长期的话,我希望这是一件做不完的事情,就是它不能是一个对外界,比如说你倒杯水这种任务是可以被做完的,可以被做完的,我就觉得它会被模型吃掉。
1:04:47因为模型的速度,我先假设它会以我想象不到的一个速度发展。但是它如果是一个做不完的事情,比如说让我开心,那那这事儿就是一个没完没了的事情。但它它它得定位在一个没完没了的事情上面。如果按照你这个想法的话,那那我更加应该定位在一个就是更难客观解决的问题上面,不能是倒杯水,
1:05:10或者帮我剪头发,或者帮我写完今天周报,而必须是一个类似于你的,比如说你要赚更多钱,这也是个没完没了的事情。对。或者你的自我提升,然后什么灵性觉醒,所以要做没完没了的事情。哦,挺好挺好挺好挺好。呃,我待会儿把这句话记下来。
1:05:26你这个之前其实我们也讨论过好几次,但是没被你这么狠地讲出来过。
1:05:31大家都容易什么呢?就是带着上一个,所以我们这种老年人嘛,带着上一个时代的经验去做,对未来的设想。对对对,我们也不是,就是我觉得你可能脑洞还大一点,我就,我觉得我就很容易陷入说,这东西我具体可以怎么做,把这个东西做了。你脑
1:05:45洞已经很大了。
1:05:47然后呢,但是你就会发现说,这就是更有哲学,或者或者说更有insight的人聊呢,你就会发现,嗯,我想的这些事情都太低级,太低俗了。
1:06:00刚好大家可以关注AI炼金术的公众号,我把这周公众号几篇文章跟大家介绍一下,也是比较有启发的。那第一个讲的其实就是徐文浩刚刚讲的,就是我们这些老人家的话会有很多历史的负担嘛。但是其实是因为我们会不由自主地把我们看到的这个世界理解为是一个约束条件,
1:06:22理解为是一个现实。但是它其实也可能是一种构建,就是它其实是被发明出来的。就比如说为什么一张纸是一块钱,是吧?这其实是个发明。为什么那个那个,为什么国家政府啊、制度啊,这其实都是发明创造。
1:06:38或者在,甚至于这个发明创造不见得是最优的。就比如说大家最广为人知的那个例子,就是这个键盘嘛,对吧?之所以这个键盘这么鬼扯,是因为当时的打字机怕你打太快了,那个相互之间交织起来,所以的话它要故意设计得差一点。那我们现在就流传下来了,我们现在也不好改它。
1:06:59但是默认的话,就是没有听过这个段子的时候,其实很难想到说你要去改这个键盘。当然键盘这个故事是听过这个段子啊,但是我看那个Alan Kay的那个演讲的时候,其实他举的例子是“所见即所得”。然后他给的是,一九七十年代的话,其实你去打字就已经所见即所得了嘛。
1:07:18但是后面的话,其实你搞互联网的时候,其实就因为互联网的创始人,然后自己找了一套,叫做mode吧。就就更奇怪的一个思路,然后就不“所见即所得”了。你写个HTML,还要在另外一个地方再渲染一下,它才能够展示出来,还有CSS这些鬼。
1:07:35然后他就会觉得说为什么?然后他的演讲里面其实是提到说,后面他才知道说前面其实在那个,呃,哪个实验室我忘了,好像是乔布斯去偷东西的那个实验室,就其实他们有一个更优雅的方案的,但是整体上已经往这个方向歪过去了,然后后面的人就彻底歪过去了。
1:07:51但是其实这不是天经地义,这就是某年某月某个创始人往这个方向说,来,我们朝这个方向做吧,然后大家觉得挺好用的就做了。但是其实可能有一个整个科技树或者整个UI的树,其实是有可能点点错了。然后他就说,那你既然现在有了一个新科技的话,其实你你至少可以回到原点去想一想,或者理解一下说这些东西都是怎么来的。
1:08:14不要把它当做是当做一个现实来接受,而是把它当做说这也是别人的一个构建。你可以承认这个construct,也可以不承认这个construct。一切就好像你刚刚讲的第一性原理嘛,我们从零开始想嘛,就不是说我们一定要随着那个大流开始想。
1:08:31所以大家如果要给自己洗脑的话,我觉得就是可以去看一下我AI炼金术上面那个Alan Kay那个演讲,我真的觉得非常的非常打动我吧。就是他他讲的很多都是在于说如何换一个思路,就可以让整件事情变得完全不一样。里面比较偏那个鸡汤的一个例子,讲的其实是一个挑战赛,说那个怎么样造一个飞行器,可以那个仅靠人力飞行,
1:08:57飞行多远啊什么的。然后说大家都失败了,直到有一个人他那个换了一个脑子,他不去创造最好的飞行器,他只是想说把这道题定义成说,如何用人力实现这次飞行,而不是造出更好的飞行器。因为造出更好的飞行器,你就在不停地研究怎么样的飞行器更好嘛。
1:09:16人力实现这个飞行,他就开始大量的测试,全部用轻质材料开始测试,然后摔了一下,然后再飞。然后看看怎么调一下,它可以飞得更远一点,所以整个的那个那个走的路径就完全不一样。所以这样子最后它就搞成了,就变成那种滑翔翼的那个前身,就变成那个东西,但是跟飞行器就几乎不沾边了。
1:09:34就有的时候换个脑子嘛。呃,讲到飞机的话,其实这个演讲里面没有提,但是我之前看到的一个例子,其实就是人类之前像中国那个是叫什么万户,还是叫什么,那个那个第一个去造飞机的,就很想去扇翅膀嘛,因为看到鸟飞起来是扇翅膀嘛。所以早期其实很多人花过很多的精力,就是去扇翅膀。
1:09:54然后就删啊删啊,反正也删不起来。对。就就就都都砸了,最后发现说不用删翅膀,人类可以走跟鸟完全不同的路径。但是你其实就换了一个视角嘛,说其实人可以走那个鹰,比如说滑翔的时候的那个那个那个路径,而不走那个小小小小麻雀在那边扑闪翅膀那条路径。
1:10:12这样子的话,换一个视角,有可能整件事情就会变得很容易。或者说我现在脑子里面冒出来另外一个例子,就是那个地心说日心说嘛。就之前不是拿那个算那个什么什么什么各种轮。对,你如果把把地球放在中间,你就算起来很麻烦嘛。啊,然后如果把太阳摆在中间,当时算起来也巨麻烦,发现说那些星球都算不对。
1:10:32最后发现其实脑子里面还有一个框,把自己框住了。叫做说天体运行一定是圆形。其实椭圆的嘛,你换成椭圆就一切都解决了。但是但是当时的人不莫名其妙觉得天体是上帝创造的,一定是完美的圆形。就这件事情过了好久才才换一个角角度说,有没有可能它不是圆形呢?
1:10:50然后就就就通了。所以我觉得换一个思路,它整体讲的就是说,不要把这个世界当做理所当然的。其实很多我们也是被我们的我们的理念框住的嘛。换了一个角度之后,整个就发现说,需要做的事情大概减少百分之八十吧。
1:11:08就换换视角比较有用。他整个的比较鸡汤的那个道理其实是在讲说,呃,他觉得知识比智慧重要,然后视角比知识重要。他举的例子是那个说达芬奇,你看发明了那么多东西,啥都造不出来。但是亨利福特就造得出来,为什么呢?因为亨利福特他当时准备的那个整个社会准备的知识足够多了,他造车就能造出来了。
1:11:30你看达芬奇那个时候社会生产力没有那么多相应知识,他造不出来,所以他只能画出来。然后但是呢,知识有一个缺点,就是你不知道哪个知识是对的,哪个知识是错的。比如说我不是上次我要去给那个就是阿里的一帮P10讲那个AI。我不是提前跟你讲了,讲了一下我对技术的理解嘛,然后你跟我讲说,嗯。
1:11:50其实你的理解不太对,然后我就把那PPT都删了,对吧?我现在经常听一些人跟我讲,我会觉得你有没有常识啊,就是这个东西你理解错了。对。但你想连我其实也有一半的东西可能我理解是错的嘛,但是如果我去外面演讲,大家肯定觉得我是对的嘛。
1:12:06所以他的理解就是你你掌握的知识可能有一半是错的,但是你也不知道,所以你知识变多的时候未必对你是好事。但是你视角多一个,你多一个perspective,再去看一下,哎。这个角度啊,这个角度,你说不定就找到了一条更好的路。所以知识的增加,因为你不一定是对的,但视角,哪怕这个视角是,因为视角没有对错,视角只有视角,
1:12:27对吧?你你可以多换一个视角去看问题,你总归产生了信息增量,让你看得更透彻了。所以我觉得这个也挺好的,就让我们从零开始想,然后换视角可以开始想。主要是AI它太颠覆了,如果我全部陷在原来的脑子里面,可能就把自己框住了。所以我现在就觉得,诶,这个好有道理。
1:12:44对对对。我要照着这个去做,然后也也让GPT再帮我说,来帮让我换个视角,让我换个视角,让我换个视角。对。所以这个是这样的,跟你刚刚讲那个那个第一性原理有点像,就回到第一性原理嘛,怎么来弄这件事情。然后这是第一个啊,就跟大家介绍一下,大家去关注啊,推荐朋友关注啊,AI炼金术。
1:13:06然后第二篇是那个Bret Victor,我后面呃因为我现在在思考的一个东西,我受到他很大的影响。就是他对于那个产品的定义啊什么的,我就觉得简直是把我整个人震震震撼到。对。所以他有一篇演讲我也看了,觉得很很受震撼,就是他是会讲说你如何可以做到说不被传统的这些观念所框住。
1:13:29比如说你刚刚讲的,就就就我们会把比如说AI,把那个模型用作一个引擎嘛,然后上面再给它加手加脚嘛。但你刚刚其实就是另外一个想法嘛,就说那可能这些手脚也是引擎的一部分嘛,对吧?也是脑子的一部分,有点像或者说我们现在比如说认为呃眼睛是一个感官,然后脑子是脑子,但是其实眼睛里面有很多神经和处理处理computation它们在里面。
1:13:51所以这个其实就是换换思路。他会讲说人类其实没有很少有办法去看到真正的问题,因为我们都已经习惯了。就比如说在假设在两百年前,呃。你看,我们看到说,呃,身边的女性在裹小脚。这个时候其实我们不会觉得这是个问题。
1:14:10因为我们从小就觉得裹小脚是应该的。对,所以你不会觉得这是个问题,你也不会觉得这是个机会。所以我们被框住的时候,我们是看不见这个框的。所以他的他的观念就是,你如果真的要希望世界变好的话,你应该对世界有一些你自己的理念和原则,比如说你认为人生而平等,
1:14:29比如说你认为人不应该自残。然后他里面就认为说,所有的创作者在跟产品交互的时候,就应该所见即所得。他认为你看,你应该看得见你的动作产生的影响。他认为世界这样的世界比你看不见你的动作产生的影响要更好,这是他的principle。
1:14:46他只要看到不符合这个原则的,他就觉得很不舒服。然后他这个他不叫做机会,他叫做不叫做你看到一个机会去抓,而是说你看到了这个世界不对的地方,你想去改。然后换成这样思路。
1:14:59这个动力更强大。对
1:15:01对对。而且你就会看得见,就是以前你会觉得这不应该就是这样嘛,比如说,比如说HTML代码你不能所见即所得,这不是应该的嘛,对吧?或者说写代码不能所见即所得,这不也是应该的嘛。就好像比如说他他他他的那个演示做的极其牛,都是十年前的演示,现在都看得我一愣一愣的。
1:15:20就是他那个演示就是比如说哪怕你写代码,写写一个那个比如说二分排序,他会让二他会让旁边有那个二分排序,就你不停的改那个代码的时候,旁边有就有一个那个相当于一个测试用例在实时的在根据你代码在变。然后你在这边调那个数啊什么东西的时候,旁边就直接看得到效果,就是他觉得人类应该直观的看到自己行为的反馈,
1:15:43这样子的话你才能够激发你的创造,然后你才能够明白这件事情。他认为世界这样更好。所以所有的一切都可以重做,只要不符合这个原则的,你就不对。你就像不尊重女性一样,不会基于现状去找机会的话,你就只会还是会被框在我们原有的那个社会的那些我们脑子里的东西。
1:16:03但是当你脑子里面有了一个奇怪的理念的时候,你拿这个理念去套,你会发现很多东西套不进去,你就会很难受。然后这个时候你就会看到很多可以改的地方。我就觉得,哦,好有道理。就就有点像,比如说我跟大家说,你不要想一个红色的大象,然后大家就就必然脑子里会想到红色的大象。
1:16:21那如果如果什么时候可以不想红色的大象呢?就是你在比如说忙着打游戏的时候,或者你忙着在那边搞GPU的时候,或者忙着在在在在干嘛的时候就不会想。你必须要有一个另外的事情,我们不能想说我不能走老路,而是你必须要有一个新新新的视角,
1:16:39我沿着这个方向猛烈地走下去,你才能够真的不走老路。
1:16:42你要给它抹黑色的大象。对对对
1:16:45对对。猛想黑色大象,这样子才能够不看到那个红色大象。它里面举的例子还有一个是那个画电路图。因为如果我们是把比如说传统到digital的时候,你要把电路图画上去,我们就会想的是比如说怎么电容啊电电电阻啊什么的,你可以拖嘛对吧,拖上去之后它可以比如说连线连得很方便,我们就会觉得满足了。
1:17:07但是他就会说不对呀,你你连上去你所见即所得,你其实是希望知道说这个电路的效果呀。那为什么看不见那个电流在哪里流成什么样呢?然后他就会发现哦,那我其实可以让它电路直接连上去,那个电流怎么样就可以出来的。那如果电流要看到怎么样出来的时候的话。
1:17:25那电容和电阻画成原来那个样子就不对,因为它它它它它挡住东西了。它就应该电容和电阻画成那个里面的电流的那个样子。他就会说以前电容和电阻那个图标长成那样是为了方便用一张纸用用笔画在纸上。那现在既然已经到了这里了,那其实就应该完全用新的方法设计。
1:17:44那用什么叫新的方法?这个时候其实没有道理的。这个时候就必须要有你觉得什么是一个更好的世界,比如说叫做一定要让他看到他的动作所产生的影响,他值得实时反馈,他可以调。那什么叫影响?
1:17:57应该他是看到整个电的流动。那这个时候的话,那电容和电阻的图标应该重新设计。然后这个时候就就全部开始往回往回推,我觉得啊好有道理。要不然就是一个空的讲说什么叫做更好嘛,他就会提哪些理念是更好,比如说所见即所得就更好。
1:18:49哎,你说得对。小朋友还不知道为什么电话要这样子呢?电话不应该这样子吗?
1:18:54对对对对对,就其实其实我觉得都都是,其实都是这一类的问题吧。我们把过去的某一个长期的既定事实,我们就觉得应该是这样了。所以你今天所有人都都叫拨电话,但你问他如果为什么不叫拨电话,他为什么不叫按电话,或者叫摸电话。
1:19:11所以我们还是有那个过去,但是我们自己这样讲一下,大家就觉得一目了然,但是不讲的时候其实就会就会认识不到。但是假设我们有一个理念,叫做用词必须和你的动动词必须和你动作一模一样。然后那你有这样一个理念的时候,你就会发现说,哎,我明明是那个按了一下电话,为什么我叫拨电话?
1:19:36那这个时候你就会发现不对,然后你就会开始要么改说你那个动作要拨一下,要不然就改那个说话说我以后叫做按电话。那这个时候的话,你更容易发现说时代变了,但是其实有什么东西。我们因为呃历史遗留问题我们没有变,这个时候找到的机会可能会更原生一点,而不仅仅是找到一个。
1:19:56机会,因为国家奖这种机会你就看不到嘛,对吧?因为这不是机会,这是理念,所以我觉得这也是挺有意思的。然后还有一个就是你刚刚不是说要多看硅谷嘛,我最近看到比较有启发的一个东西。因为大部分看的是我看的东西,都是看什么Andrej Karpathy啊,这些东西其实其实大佬们就是在反反复复做科普,
1:20:16以及跟你讲人类的未来嘛,对吧?那个Andrej为什么他就又出了又出了一套教程,反正就反反复复在讲。然后反正我,嗯,出于尊敬我也得听,但是但是其实对于直接的工作没有什么用嘛。但是最近觉得比较有用的,就是那个AI Engineer那个大会,里面有一半的演讲我都觉得说,
1:20:35哦,好有启发,对。应该这样,就是很有启发。给大家介绍了两个,其实里面还有三四个演讲都蛮有启发,值得看一下。而且里面有一些技术部分其实我看不懂。对,我看到了就硬生生地把它看了一遍,说,嗯,大概有个感觉了,但是你在说什么其实我还没有特别明白。
1:20:53对。但是他的那些非技术的部分讲得真的很好,而且里面的人也不是瞎讲,他里面一半的非技术的人都是带了demo去的,而且还有很多demo在现场crash掉了。对。那个那个叫AI Engineer,就是AI的工程师,大家在YouTube上去搜有这么一个频道。
1:21:11然后他最近开了一个大会,然后请的人都还蛮强的。反正我看到的几个做产品的人都还蛮强的,就是做AI产品,就讲得很好。第一个比较有意思的演讲,但这个演讲没有那么深度,但是比较有意思的演讲是那个Sam Whitmore和Jason Yuan的那个演讲,
1:21:26他们是New Computer的co-founders,然后穿的一身那种花里胡哨的,就是就是反正很很卡哇伊的那种衣服上去。不,很卡哇伊和SM那种衣服,就很扯。然后上去之后他就会去说,说电脑的话,大家现在认为,呃,一个model就应该是输出、输入、推理和输出。
1:21:45这是我们以前的认为的一个big language model的一个范式嘛,但是他们觉得说范式应该是感知、思考和反应。其实如果是这样就更偏向于你刚刚讲的那个了,它应该是sense,然后那个那个reason and react,不是输入、推理、输出。
1:22:02那如果是这样的话呢,他们就演示了无数的那个奇奇怪怪的那个奇奇怪怪的demo,比如说他们走到电脑面前,电脑就会默认跟他打字,他只要走开了,电脑就开始跟他说话,然后就把麦克风打开了,他只要打回到面前,麦克风又关掉了。
1:22:17这个我觉得非常合理,就是它的交互形式是adaptive的嘛。
1:22:20对对对,非常合理。非常非常神奇。然后他的意思还是说,还要借助大量的人类的已知的隐喻来跟机器发生交互。比如说接到一个电话,然后接到这个电话的时候的话呢,那个这个人是你不想接的,然后它里面举的例子非常扯。对,不想接的,然后他就直接直接竖了一个中指。
1:22:41然后然后那边就帮他把那个电话挂掉了。他还有接到一个电话,他那边就,咳咳,我现在有点不舒服。然后那边帮他把电话挂掉了。就是他说这种叫做social norm,AI Engineer这个会讲social norm啊什么的也可以用。
1:22:56还有很多的我们这个现实世界上的隐喻都可以用到。比如说现实世界它它它会把两张图片拼起来,这个这个其实是那个那个在在向量空间,呃我最近看这个东西也比较多,就是我们现在习惯了比如说一个手机和一个这个只能连接,但是其实它是没有办法拼起来的嘛,对吧?
1:23:17不能把一个那个耳机跟一个手机合并的,但是在向量空间它反正都是几个矩阵嘛,它有啥不能合并的,对吧?都能合并。所以他就说,我们把这两张图拼起来。好,拼起来之后,他觉得融合得不够好。他说如果在人类世界里面,你觉得两个东西融合得不够好,那应该怎么办呢?
1:23:34我们摇它,然后就照着摇,然后就摇得这个混合得就更均匀了。我觉得,嗯,对,我也会想摇它。就反正它的那个交互上面就是设计的都都挺有意思的,包括说用VR的时候去看那个,比如说你在看报纸的时候说,哎,这个这个发型不不,这个衣服不错啊,然后你就点一下,然后它就照着你要这个衣服,点错了的话,
1:23:55拿手刷刷刷刷刷抹,就跟小朋友的动作一样。然后就没了。所以我就觉得它里面提供的就是说,还是进一步的不需要人类去适应机器。因为人类很多时候也不不光是通过语言来表达我们的intention的,其实很多时候是各种社会惯例,各种隐喻,比如说竖中指啊什么的,各种抹一抹、擦一擦、摇一摇,把那个,把这些东西我们可以sense到,
1:24:19然后再经过一个reason,然后再有react的话,这个时候其实它的交互会更自然。但是刚刚听完你讲之后会觉得说,这些东西果然都能做到大模型里面呀。听完你讲就觉得说,这也不是产品层的机会啊,这都是你们的机会啊。
1:24:55早两天跟Mango还在讨论这个问题,就是因为他总归会觉得说那个大模型就是我们要充分信任它,就不要人类干预太多。我就会,我们就,我们画了一张图,说十年啥都不用干,我们就没了。就就别别讨论十年的问题,一年现在还现在还挺傻逼的,就我们要得给它大架子,我们先考虑一年啊。
1:25:15三年的话呢,我觉得有可能什么都有可能,有可能很牛逼,也可能继续很傻。但是三年我觉得人类就需求端的那个进化远远没有科技端进化那么快,所以在这边可能品牌三年还是有用的。所以也就画了一个线,说十年这事儿就不考虑了,就这样吧,十年鬼知道会发生什么,三年都考虑不了。
1:25:35但是我估计一年之内人类还是有用的,我们先做一年啊,先看一年的。然后最后一篇那个分享的就是,其实我找到这个大会,是因为我一直关注一个人叫Linus Lee,Linus Lee啊,他之前做了无数的项目,我当时看都是非常震惊的,就他做的项目都毫无意义。
1:25:54但是每一个项目,他大概做了几十个几十个不同的demo,在在他入职
1:26:00风格有没有意义?是手工耿那种风格的,没有意义。不
1:26:03不不,都是都是很有创造力的,没有意义,就就都不是商业项目,都是他觉得这个世界就是,诶,你不是应该这样吗?就比如说,比如说他在他在没有大语言模型的时候,他有有些项目就是比如说有文字块,你去拖动那个文字块,那个文字块就会自动扩写和缩写。
1:26:21但之前人不会这样去来思考这个问题的呀。你会发现他的那个,他的那个脑洞就是他会给你出一个网站,然后你你可以把文章丢进去,然后你拖动那个文字块的大小,然后它就会自动扩写和缩写。然后你当时就会觉得好有道理,又好没有意义。就就他他他做了无数的这种这种这种事情,你就会觉得,对。
1:26:42好像你隐隐觉得你是对的,但是你做这个到底用来干嘛呢?他做了无数的这种相当于,呃,思维工具的交互方式的尝试嘛。然后他现在是去,呃,今年年初还是去年年底,他就去了OpenAI,呃,内部去了Notion,所以他是现在是Notion的那个AI负责人。
1:26:59然后那个,所以Notion是一直在这方面走到很前面嘛,就是大家都在抄Notion嘛,对吧?Notion出了奇奇怪怪的一堆东西。然后的话呢,他又展示了一些他自己的思考,他就会讲说叫做嵌入被,叫做Hidden Life of Embedding,
1:27:18就我们音译吧。就叫embedding,
1:27:20embedding,硬掰的,哈哈哈哈,叫硬掰的,OK,就就就嵌入技术背后的生命力嘛,Hidden Life里面举几个例子我也觉得很好。就是比如说那个拖大拖小,他以前展示过嘛,他又展示一个例子,就有点像是,呃,一篇原文,然后你把它拖得越远,它就越小。
1:27:39然后你把它拉得近,它就变大。然后我就在想,这个东西它确实就是,就是因为我自己在也脑子里也在有很多原型嘛,然后我就确实在想,哎,我以前从来没有在这个角度上想过。我想想的就是我我说一句,他说一句,我说一句,他说一句。但是为什么不是我我说的话已经帮我说好了,然后我朝比如说八个方向再拖那个东西,比如说要更狠一点或者更怎么样一点,
1:28:02它就自动就变了呢,对吧?它就自动变成说更文艺一点,或者更更更狠一点,或者更长一点,或者更短一点。它这样不是更直观吗?或者说我应该拖的时候相当于拖了一个副本,那这个时候我就相当于有几个不同维度的比较的版本,我就可以出来了嘛,
1:28:17最后再发嘛。为什么需要这样子来回呢?而且来回的时候往往会让我就是几个版本比较也不方便嘛。然后就,诶,好像是哦。或者说有些时候我会觉得说,那个回答为什么要,呃,大语言模型说了一个东西,为什么要我来说话呢?
1:28:33因为其实能够表达或清晰表达自己的人,或者提出问题的人百无其一嘛,为什么不是帮我说好呢?然后我再把它拖拖拉拉改一改嘛,对吧?或者提前帮我把三种话都说好嘛,然后让我觉得哪一个更好一点,再朝哪个方向调嘛。所以就觉得,嗯,好像我脑子以前被被那个框住了,就觉得觉得,嗯,它每次都可以打开我的,打开我的思路。
1:28:57但它里面还有一些更奇怪的一些,更奇怪的一些东西啊,就比如说它里面把各种东西的embedding再做加减乘除,比如说它自己的脸,然后再乘,再再再加上一张什么脸,然后再减去一个叫做sad,然后再再乘上一个什么什么东西,它就相当于向量空间。
1:29:13其实我们习惯物理空间,哪怕是我们习惯了之前的数字空间,两张照片也是不好不好合的嘛,但现在显然可以合嘛。现在相片和字和什么就多模态都是可以加减乘除的嘛。那这个东西能够做什么事情呢?它就演示了一堆,我好像还是没有彻底的理解,说其实所有的东西都是一个向量这件事情。
1:29:36就我觉得我还是拿以前的,比如说这是一个JPG,我还是会,这是一段文字,但是其实它们都不重要,它们背后都是一个一个矩阵嘛,对吧?那矩阵之间是可以算的嘛。你可以
1:29:48把它映射到一个向量空间,但是它是不是有损的还是无损的,这个事情就不太好定义了。
1:29:54那不重要。对,就有点像,其实大部分人没有那么精确嘛。就比如说,假设有一个老板,然后他觉得,嗯,他他希望的下属是比如说0.6个徐文浩加0.4个任鑫。那在之前这事儿是完全不可能来精确定义什么叫0.6个徐文浩加0.4个任鑫的嘛。
1:30:14那现在呢,可以在向量空间帮他做到,其实也不精确,其实也不精确,但是他的那个需求更不精确,你知道吗?那个需求更扯。那那其实其实假设我们训练了两个Agent呢,它是可以把两个Agent的零点几个加零点几个是可以做到的。当然准不准这是另外一回事儿,但是肯定比它现在一点都做不到其实要好的。
1:30:33但是以前的世界我们是不是不是会这样思考,比如说加0.3个杜甫减去0.1个李白,对吧?这这这到底啥意思,不知道。我们必须要把杜甫的风格明确掉,就比如说你得少用点标点符号什么的,把李白明确掉,更飘逸,不能直接说减一个李白嘛。
1:30:50所以所有的东西的话,它如果都在向量空间的话,会觉得说它其实会有,会有一个之前,它它的相互之间的可操作性就更更强了。你可以把很多东西粘起来了。然后我觉得我现在还没有特别的特别用好这一点。今天就试了一个东西啊,但是这个没有没有没有那么fancy,只是非常不fancy的。
1:31:10就比如说,我会让GPT,我做了一个GPTs,是专专门帮我每天写日记的嘛。就我今天加了一段,就是它会每天向我提一些问题,我会回答嘛。我今天让它收尾的时候加了一个功能,就是它会从我的日记当中抽取三个关键词,然后它会根据这个关键词去想到一个艺术风格贴合这三个关键词的艺术家,
1:31:32然后帮我根据那三个关键词,用这个艺术家的风格,帮我把日记变成一幅画。不难,超简单,瞬间就做好了。就是之前的脑子还是就是没有把,没有认为说这个世界上一切东西都是一个东西。比如说文字和图,我会想到我会让它画张图,但是其实文字和图就是一个东西,或者说我甚至于可以让它直接把我的全文变成一个一幅画嘛,
1:31:52对吧?我只是为了让它显得让让用户觉得我看得懂一点,所以非常故意让它把过程显性化。所以我会觉得这些东西其实其实就以前以前没有这样思考过,但是其实所有的东西都是一个东西,或者所有的东西都是相互可交互的。那如果这样子来理解的话,很有可能就会有更多更好玩的东西可以出来。
1:32:15就有点像是,呃,另外一个我忘了是不是在这里看到的,就是,呃,心理咨询师的那个东西。他们就会就会把心理咨询师跟那个客户的对话,相当于全部就变成了一个一个,当然它那个也不叫向量,它那个可能就是一个红红绿绿的一个长长的一个条。
1:32:32然后就反正全部把它数字化了。但你把它数据化之后,其实每一个心理医生的风格就全部都是一串数来表示了嘛。那什么时候是在闲聊,什么时候是在用什么方式干预,那其实是能理解的。那这个时候你要这个心理医生风格加多0.2个哪个心理医生风格,这个是可以做到的。
1:32:51所以它现在就是这些东西的可可操作性是我之前脑子里没有的。就我之前会想说我应该让这个心理医生比如说更friendly,这个是我想得到的。但是我之前确实没有想过,但是一讲出来这事儿显得太显然了,这个心理医生应该加0.2个李白。
1:33:09这事我确实从来没有想过,没有没有往这个角度想过。这是个什么鬼,对吧?但是现在其实是不应该,因为人类的语言是一种是一种压缩。我其实没必要压缩啊。我为什么要压缩呢?
1:33:22我就应该胡胡乱,就是就是应该0.6个徐文浩加0.4个任鑫啊,就应该这样模糊的表达,我不用压缩这个信息,我应该全量的收这个信息。然后而且这里面就可能可以玩出一些奇奇怪怪的花样了。
1:34:06对,它是更精确了。它没有经过压缩嘛,它就更精确了。
1:34:45有可能,但是那是在需求也在升级的情况下,因为现在大家的需求也没有到那一步嘛。大家的需求其实默认机器是做不到的嘛,但是其实机器已经可以做到,就是比如说20分了。但是我们的脑子现在是处于这默认机器做不到,就比如说一个杯子跟另外一个杯子不能合这件事情上,其实都可以合了。
1:35:06所以这个对于我来讲是一个,就觉得说你只要想到它可以合,哪怕它现在只有20分,但是你不想它可以合的话,那你的脑子就还在移动互联网世界,对。移动互联网一个PPT、一个一个JPG和一段文字,它是不能不能干嘛的嘛,它们两个之间。
1:35:21但是现在其实所有的东西都是可以揉吧的。觉得说我要把脑子换到这个世界来,就是在在向量空间想问题,很神奇,很有意思,很鬼扯。而且它会让我有另外一个更抽象的,但是没什么道理的想法,就是,呃,那个Bret Victor有一句话让我非常受震撼。
1:35:40他就说思维工具,所有的思维工具都是为了把我们的那个我们的心智让它外显化,在外面,让抽象的概念变成一种可以交互的东西,然后通过身体去操纵它。操纵它之后的话呢,我们再看到sense回这个操纵的结果,然后它就成为了我们的心智的一部分,它就心智的延伸嘛。
1:36:03就有点像是比如说用口算我们就很弱嘛,但你搞个笔算,对吧?其实就是把一部分外包了。然后你就看到原因,或者,对,然后或者你拿个笔在纸上画画嘛,这个时候你就看到效果。所以所有的工具应该它实现的目的就是,只要是思维工具类,就是tools for,呃,for thought的话,
1:36:23它应该都是让我们的东西可以外显化。然后外显化之后,我们能够对它进行直觉化的操纵,并且可以看到效果。那如果我把东西把思维工具抽象成这样的话,我就会觉得,那我们的脑子当中有无数的东西,其实我们也是希望说去看看它揉揉揉吧嘛。但是以前的那种揉吧都是比较有限嘛,就比如打两个字或者删掉一行什么的。
1:37:10蛮神奇的。所以大家那个那个那个刚刚听徐文浩讲要去硅谷暂时去不了的同学的话,YouTube上其实有蛮多的那硅谷的那些会,然后有蛮多大佬们的podcast和演讲,可以可以听一下的。只是大部分的演讲真的讲的就太宏观了,就没有到这么具体说一个什么小UI啊什么的。
1:37:34我挺意外,就是现在没有人去做一个AI应用,就把英文的podcast变成中文的podcast吗?
1:37:50是翻译。我说没有人做一个app,比如说我订阅一个英文的,它自动帮我转成中文,两个人对话我就听就完了。
1:38:04我觉得这是个可以,就是这很容易收费嘛,就有这个需求的人肯定愿意花钱,说一个月花个什么几十块钱,我觉得对有这个需求的人应该不难。而且很容易聚拢一群就是,呃,premium的用户嘛。
1:39:15但是如果不做转述的话,会不会是有版权问题
1:39:18啊?你做工具你做订阅嘛,就是你做订阅说你贴一个链接,你花钱啪过十分钟给你转成一个不就好了吗?
1:39:25你说的对,而且其实这里面的成本的话,其实就假设用的人多就把它摊下来了。其实我是转好的给你。这个是我我我有这个需求。
1:39:52Heygen的那个感觉是可以的。
1:39:54对,第二,但第二个有可能有就是准确率的问题了,对吧?就是就是因为你还是不希望它错嘛。对。
1:40:02对,还有一个就是成本嘛,因为那个我自己用HuggingFace做了一个,就效果还蛮好的,但是还挺贵的。我印象中,
1:40:10但我觉得这个产品应该比HuggingFace低多了,因为Podcast的成本是我不需要对视频跟口型。那个是最大的成本,所以为什么是特别便宜的?
1:40:47而且还不能说什么,哎,听英文你还是怎么稍微走一下神,你就不知道他讲到哪里去了。
1:40:52而且,对,所以如果它能够转中文,而且用如果是HuggingFace那种质量的话,是可以的。就是,当然HuggingFace我都不一定口音,对,对。但HuggingFace现在说中文也有问题,他把我,他让我说说一口流利的好听的英文,但是我自己在里面说英文,
1:41:09说说中文也是说那个口音巨怪。他那个什么的什么小蜻蜓啊,什么应该是调过了,但这个应该技术上都能解决。你说的这个的话,我现在倒是真的有一个应用场景是可以可以做的。我现在在某个商学院,我在帮他那个AI的顾问,然后他们其实现在正在研究AI怎么做。
1:41:29其实其实如果我们把所有的资料受限于自己的话,就有点有点少嘛,对吧?一个商学院你最多一百个教授嘛,但是其实全世界的教授很多。那如何帮你找到适合的东西啊,然后是就就就就可以直接听了嘛,或者说它里面的至少先可以把它里面,它里面也有很多外国教授,外国教授就可以直接转成中文给大家讲嘛。
1:41:55对。这个确实也是可以做的,我去跟他们说一声。首先要确定有人出钱嘛,对吧?
1:42:01请工程师也要钱。说世界上的事情,第一个就是关关你屁事,关我屁事和谁来出钱。有把这三个问题问完之后,你会发现世界上绝大部分事情不需要操心,就只剩下百分之一的事情。
1:42:16哎,我觉得你刚刚说的这个是可以的。我如果
1:42:17我比较闲呢,我估计现在就自己动手做了。然后比较忙呢,我就想,哎,已经很累,上班已经有无穷多的代码要写了,是吧?再写一个这个东西还得调。
1:42:34我觉得转成文字是有需求,但是这个需求就不太一样。就是我觉得Podcast的那个听感还是挺重要,很重要。
1:43:20嗯,挺好的,我觉得这个东西也是个是个明明显的需求。说不定我这边组织的人吧,配合一下你做点。做了卖你一百块钱一个,一百块钱一个人。
1:43:34但是你说到一百块钱一个月,就比如说我们买美国的SaaS,就是十五刀一个月一个人嘛,这个算比较便宜的。但是呢,有些SaaS我们没有花钱买,就是原因,我会觉得美国的SaaS有的贵的真是离谱,但是你一想想美国的人工,你也就理解了。
1:43:49对。能够省一点事就就很好了。
1:45:03对。而且,对,你得找一个工具化的东西。没有,版权有办法解决了,就是有有那个,有有有避,有避风港嘛。可以,实在不行可以走类似于避风港的方法。
1:45:17嗯,我觉得还好吧,你把它变成一个,就是说我对这个AI,就是一个一个平台上的一个功能嘛,对吧?一个功功能嘛,就是我平台本身就是听podcast,除了听podcast我还有这个功能,这个这个copyright,嗯,不是也不属于我嘛,我觉得应该还好吧。
1:45:34但确实就是个小众需求。
1:45:36我觉得还不一定哎。另外你我们讲的是英文转中文,对不对?但是你要理解,比如说英文转西班牙文的,英文转德文,转日文的,这个就不一定是个纯小众的需求了嘛。对。
1:45:50但你你这样讲的话,其实就是更广泛的需求,应该是日文转中文呀。
1:46:29是。而且关键在于说现在的podcast的质量其实很高,它信息质量很高,甚至于我中文世界的话,我甚至于发现说podcast的质量比课程高,这这这这就课程都是包装过的嘛。
1:46:46中文世界一个特点就是什么呀,就是为爱发电的内容质量,比要挣钱的内容质量要高。
1:46:53因为因为很多专业的老师的话,他讲的就是专业的故事了嘛。但是那些就半吊子,就就实在在干活的人,然后顺便来扯个淡的话,那其实他们就会讲出很多行业里面真实的东西嘛。这个时候你听着觉得还比较有意思一点。这确实是个可以做的,因为它主要是成本也不高,这个产品可容易做了。
1:47:13对,因为要做好,我觉得还是有挑战。因为毕竟你无论是转录、翻译,就生成的准没有什么准确率问题,然后转录就识别跟翻译都有一定的准确率问题嘛。
1:47:24重新思考,反正模型你也觉得有机会,然后模型在你那个是定义里面,眼耳鼻舌身意都可以归到模型里面,对吧?
1:47:32我觉得这个是这个是模型必然会走上的道路啊,你既既然走上了多模态,它必然会会走上这个道路,只是说凭目前的,就是说技术发展到底能做到什么程度。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念,按出现顺序。
本期还提到
常见名词,文稿里悬停可见,右侧数字是本期提到的次数。
- GPT38
- OpenAI27
- fine-tune21
- GPTs20
- 微软19
- Google8
- TikTok7
- Sam Altman6
- 向量化6
- 惠普6
- ChatGPT6
- Ilya Sutskever5
- Andrej Karpathy5
- Q*5
- Llama5
- 苹果5
- Greg Brockman4
- MSRA3
- AI Engineer 大会3
- Notion3
- 小报童3
- 小宇宙3
- Adam D'Angelo2
- 淘宝2
- 美国在线2
- ICQ2
- 阿里巴巴2
- MVP2
- Character AI2
- Hadoop2
- 世界模型2
- Alan Kay2
- 达芬奇2
- Bret Victor2
- Linus Lee2
- Twitch1
- Quora1
- Sparks of AGI1
- 百川智能1
- 小红书1
- Copilot1
- MSN1
- Compaq1
- 郭士纳1
- 戴尔1
- Adobe1
- 百度1
- Anthropic1
- Fast.ai1
- Jeremy Howard1
- PRD1
- GPT Wrapper1
- GUI1
- 少楠1
- New Computer1
- Audible1
- Whisper1
- AirChat1
- 极客公园1
- Web31