AI炼金术徐文浩 × 任鑫 Mars · 聊 AI 如何真实地改变生意和组织

耐心试错,逐步加码 | 聊聊企业的 AI 投资之道

AI炼金术节目封面
发布
2025 年 3 月 27 日
时长
1 小时 17 分
主播
徐文浩、任鑫
收听
小宇宙(节目主页)Apple Podcasts喜马拉雅

徐文浩与任鑫从 Cursor 组建模型训练团队说起,讨论企业该如何投 AI。两人认为,上手就定 eval 对多数公司并不合理,应先亲自试遍市面上的模型摸清能力边界,再把想法写成 well-defined problem,通过找供应商、顾问聊来获取情报。AI 项目应是一号位工程,先强制团队把工具用起来,找小切口试点,预算按线性增长逐年加码,不要指望一把梭哈成功。此外 AI 带来的不只是业务变化,组织形态本身也会被重塑。

  • Cursor 已开始组建做 post training 的模型团队,标志着靠套壳 API 起飞的产品也开始做模型,是行业转折点信号。
  • 对多数企业来说,一上来就定 evaluation 并不合理,eval 的前提是产品已有六十分、大方向已确定。
  • 今天的模型能力分布不均衡,业务方应先亲手把各种模型和 prompt 试一遍,才知道上下界在哪里。
  • 很多领域的『好坏』没有金标准,机器标注、人工标注之间一致性接近随机,创意类任务尤其如此。
  • 企业投 AI 第一步是先把工具用起来,坚决不先做私有化部署,该用 API 用 API、该用 SaaS 用 SaaS。
  • AI 项目必须是一号位工程,外部招人的前提是内部有人懂行,否则既招不到好人也判断不了。
  • 预算应做成线性递增分布,给足资源、允许浪费,不要因为前期花了十万二十万没成而放弃。
  • 这轮 AI 不只改变业务,而是直接改变组织形态,瓶颈从研发产能转移到想法和问题定义能力。

本期制作

片头
Shortwire - Reconfig
片尾
Faime - Thoughts

文稿

共 986 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见

徐文浩

00:06就你今天这个产品,至少已经有六十分了,对吧?我的大的方向已经确定了,然后我能够慢慢收敛,说我能不能把这个,我在这个领域的问题定义成一个可以验证跟评估的数据问题,然后倒过来反向来推动模型的迭代。

00:26但是如果你今天真的相信AI,那你就投入吧。他应该把预算加大,把时间周期拉长,但是不要轻易觉得这事情短期内就能成功。但也不要因为一开始可能花了,比如十万二十万,这事情没搞成,就觉得这事情不要搞。他应该把他的预算变成一个线性增长分布的东西。

00:49这轮AI热风带来的是组织内部的形态肯定会大变。之前是我因为做这个业务导致我的组织发生变化。今天是说因为AI这个事情本身导致组织也在变化。AI其实不太像电商或者不太像做App,比较像从纸质时代进入PC时代。

任鑫

01:13好,欢迎大家来到AI炼金术。那,哎,徐文浩,最近有没有什么好玩的事情发生?有什么有意思的产品,或者大家值得关注的事儿?

徐文浩

01:21我我自己最近反正我观察到一个事儿,我觉得挺有意思的,就是说,或者这类AI产品公司又一个转折点,就是Cursor开始搭自己的团队去训模型了。

任鑫

01:32OK,就是他不是一直用Cloud吗?

徐文浩

01:35对。当然他现在应该开始组这个模型训练团队了,然后就是偏向于强化和post training,不是说做预训练啊,就是大概率应该是他们会基于开源的这些模型做post training,在他自己的产品场景下,他应该开始会干这个事儿了。

01:52一个应该是挖了一个Midjourney非常核心的人,然后挖了一个好像是原来在学术界的一个professor。我我那个名字我不记得了,但是我我觉得这个也算是个转折点吧,因为我觉得之前其实就大家一直有一个有有一个比较大的命题嘛,就是这个AI的产品到底该怎么做,对吧?

02:12有有套壳流跟模型训练流两种。那种套壳流是觉得说,这闭源的API也好,开源的模型效果非常好嘛,所以你其实没有必要做任何跟模型训练相关的事情,对吧?然后从这个角度来讲,我觉得Cursor也是一个典型的这样的一个产品吧。它它能够起飞是高度依赖Cloud的几个大的版本发布嘛,对吧?

02:36是GPT-4o跟Claude 3.5两个版本的发布,我觉得帮Cursor搞了海量的流量,海量的用户。然后后来我觉得有大量的这些编程工具其实都干了类似的事儿,对吧?就后面的什么Bolt.new啊,什么Lovable啊,反正Windsurf啊。

任鑫

02:54Windsurf是不是也是自己做了个模型?我印象中反正有一家头部的是自己的模型,有一家就是你刚说的四家里面我忘了是哪一家。

徐文浩

03:04据我所知应该没有吧。Windsurf

任鑫

03:06的母公司是叫Codeium吗?

徐文浩

03:08没有,Codian最早也是个插件,它它作为插件最早是你也可以选一个模型的,就可以配置一个选择模型,它可能做了,但是它能够起飞是因为最后还是选了Claude 3.5,然后做这种偏前端应用的这样的App吧,就是你基本上输点场景啊上下文啊,它依靠Cloud的这个能力就能帮你把这个偏前端的App就立刻做出来嘛。

任鑫

03:34那你既然讲到这个,我我问你一下,就是那个Cloud出了一个code,那是干嘛的?它是跟跟Cursor竞争的东西吗?

徐文浩

03:42我觉得跟Cursor的agent或者以前叫Composer这个东西比较类似的一个竞争的一个东西吧。但是它你现在也不能叫竞争了,因为它第一个它是个开源的,嗯。应该应该能叫开源的吧,怎么怎么定义这个东西呢?它它其实是个agent嘛。

任鑫

04:00对我这样的人有用吗?

徐文浩

04:01有用吗?你也可以直接用Claude Code来写代码嘛。

任鑫

04:04OK,我还没试。

徐文浩

04:06呃,它它其实是个agent的工具吧,来帮你写代码嘛。对,我觉得比较像Cursor的这个agent的版本啊,只是说呃,它我觉得它不能叫开源,因为它背后模型其实也不开源。然后那个,但实际上它走的都本质上通都是通过那个Cloud本身的那个API嘛。

任鑫

04:25那你刚讲这个是比较有意思的嘛,那个刚刚讲说其实它有意思是因为我们就比如说大家都在讨论产品应该怎么做嘛。那从你的角度,现在我们都其实过去一年都做了一些产品嘛。那从你的角度的话,看AI产品到底应该从哪里开始啊?是还是传统的,就是比如说我们当然可以讲大道理啊,从机会开始,帮用户完成任务开始,对吧?

04:48那那假设我们已经发现了机会,或者我们自以为发现了机会,那接下来是干嘛呢?是定evaluation吗?还是它前几步到底是在干嘛?跟传统产品有什么区别吗?

徐文浩

04:57我觉得第一个是说,取决于你到底想做个什么产品,或者说或者说你自己的比较优势是什么吧。我应该这样讲,就是取决于你自己的强项是什么。因为我们其实两类公司都看到过,对吧?一类公司是我先套壳嘛,套壳套着套着套到最后,呃,我不我不知道是因为大家都有这个科技的念想,

05:20还是说都有这个最后忍不住都会开始说自己train model,对吧?就比如说刚才说的Cursor自己train model。之前那个Monica他们号称,但具体我不知道,因为代码还并没有开源,他们也没有公布什么技术报告。

05:35但是据说他们也在这个,也做了一些post training,对吧?就是说,呃,所以你会看到一堆,就是我们叫套壳吧,我们我们暂时称之为套壳,或者说他就就利用API的那个产品化的公司,随着他的这个逐步深入,他开始去做模型。但也有公司是说我上手其实产品就胡做一个,对吧?

05:59然后我就只只专注把模型做好,然后突然有一天,因为这个模型足够好,我的产品是对我自己的模型上的一个简单包装。最典型的这个公司叫做DeepSeek。我做了一个模型,我也不需要做什么产品,我的产品非常简单,但就几千万的用户就来了。

06:16就是至少目前来看两条道路都走得通。也有那些呃模型跟产品相对比较一体的。我觉得比较典型的是你去年特别关注的,比如Viggle这种。现在大家在国内好像我不知道他们是刻意在国内要低调还是怎么样。就像黑镜这种。

任鑫

06:33他们早就出去了呀,黑镜已经完全出去

徐文浩

06:35了呀。在国内其实看不到他们的PR宣传或者这个自媒体的报道嘛,但他们本质上这种公司我理解还是模型跟应用一体的嘛,他并不是说我只是简单套一个开源模型,但是他的产品本身也很重要,对吧?他也不是说我只要做好那个模型做得好一点就行了。

06:53我我觉得为什么我说Cursor这个事情值得一提,就是因为我觉得它也是个标志性事件。我的假设也是Cursor即使能够开始招团队做coding,确定他们招来是做是不是就是做coding的模型啊,但即使把这个团队还是说就是做agent之类的事情,就是即使他们把这样的人招来了,我觉得短期内他也很难说我通过开源模型post training一下就有Claude 3.5的能力。

07:18所以但是我觉得这是个标志性事件,就是说即使是一个收入非常好,靠我们叫靠光做产品,光利用别人的模型。就已经有可能一两亿美金一年收入的公司,呃。也开始觉得说我需要组建团队做自己的模型。

任鑫

07:37我把这个问题往回退一退啊,因为一两亿美金这件事其实离大部分人还很远嘛。我们先谈一二十万美金。就是因为最近我不是在混沌,就是就还就是露了几次脸嘛,然后就会有非常多的的传统企业的朋友来找我,然后就问这问那。然后我会发现我跟他们聊着聊着就,当然每个人都觉得自己发现了机会啊。

08:00当然很多我不觉得是机会,然后我就会发现说我跟他们聊到下一步,聊到怎么做的时候,他们就飞快地想要进入技术细节,就问我要不要私有化部署啊。不拉不拉。然后我就非常想问他们说,你们能不能出十个例子,叫告诉我什么叫做一个好的满足你要求的东西,对。

08:16然后然后他们就举不出十个例子你知道吗?或者就完全瞎举,直到我说,哎。那我就按照你的这个标准做,然后假设你把一百万打给第三方,然后假设达到了这个标准,那个一百万就自动打给我,以后你们一个字都不能改,然后大家就全部缩回去了,你知道吗?

08:33每个人都说得信心满满,说那个好像就是这事我们已经想得非常清楚了,然后对,后来我发现只有当出钱的时候你才你就你就直接跟他说啊,这个东西好,明天就给你做出来一百万,然后大家就会发现嗯。我还没有想清楚,最早期的时候在发现机会,还没有到什么一亿两亿,就是开工的第一件事情是不是定evaluation,

08:53是不是定定这个,就是更早期。

徐文浩

08:55我我觉得第一个其实不是啊,就是我们我们做一个产品或者做一个产品功能第一天,往往是其实大部分人不管是包括我们啊,包括我,我觉得我已经算模型用的多,然后各种场景其实关注的比较多了。就是往往你第一天决定要说这个事情有机会的前提下,其实你对模型的能力的探索是不足的。

09:17就是即使今天大家觉得一个非常成熟的场景,甚至别人已经做出来的场景,我我举个例子啊,就是比如说文生图,对吧?就是说或者图生图。这个其实第一个是这些模型size尺寸都很小,就是相比于你说我要布个DeepSeek。我要搞什么二十块H200来讲,你布个文生图,你有一块H100,呃什么A100就能布了。

09:41我们先不讲快慢,对吧?就基本上,今天再大的这种Flux的模型,其实你搞个一单块的什么H100肯定是能部署的,对吧?单块的H100一个月的租金,可能现在也就几千块钱,可能一万块钱你就能租一块H100了。所以从钱的角度来讲是,但是你今天说哎,假设比如说我是个电商公司,我说我就做一个非常明确的效率类场景的需求。

10:05我都不说我们说面向消费者产品,或者说哎呀什么AI native,我就做一个最简单的效率提升的需求。效率提升的需求说我是电商,我需要有这个呃我的商品的P图,或者这个我的商品能不能换一个背景图,就这样简单的需求。然后有海量的开源模型,各种各样的LoRA。

10:26其实你今天这个图大概能到什么效果,以及这个效果你满不满意这件事情,其实都我觉得大家都没有完全探索清楚吧。就任何一个人进来是说,其实没有办法给你一个精确定义。

任鑫

10:41如果你是业务方的话,你不是应该反过来吗?因为就比如说我接触的大部分的人的话,其实他们没有,就是就你不要说Flux了,就就就根本不不知道这些东西。他们只是说他们有有业务需求。那这个时候其实他漫无目的地去探索,比如说Flux到底好不好用啊什么,没有必要嘛。

10:59他其实应该衡量的是,你如果能够做到,比如说呃我指定他身高就能出一张照片,然后或者说我要改颜色就能改颜色,然后衣服的款式不要变化太大。比如说他假设他可以精准地描绘说他要的到底是什么,比如说只跟衣服相关,然后然后衣服又有三条要求的指标,

11:17对吧?然后只要这些能够做到,我就觉得满意了。他这样子,然后再不是应该先定这个东西,然后再去探索吗?

徐文浩

11:24因为我觉得就是这个东西很难定啊。就是我举个例子,比方说我们说呃常见的虚拟试穿,我想把这件衣服穿在我身上,怎么叫做一样,怎么叫做达到了我的要求,这个其实是很难定义的。就是说可能我拿了十件衣服,其中一件衣服有花纹,那个花纹上身了之后,哎。

11:43我自己肉眼观察觉得这里有有个细节不太好。这个其实是很主观的,就是我我我评我我称之为什么呢?就是现在很多时候你evaluate这个事情其实挺难的。就像你说的,哎,我是不是能定一个验收或者评估的指标,我觉得很难。这个很典型的是这样的啊,就你今天出去招个工程师面试,这已经是一个非常成熟的,很多大的公司已经可能面过几十万人几百万人了,

12:05对不对?比如说一个大厂今天招了十万人,那他历史上累计的记录可能至少是几十万场吧,对吧?自己有十万人,他历史上参与过面试的人是一百万场面试肯定是有的。他已经有这个数据了,你说今天说我能给个客观的标准吗?就是我面试问这十个问题,或者做这十道题,做完了我觉得这个人就合格的。

12:25我们先不讲这个人,我们就讲最最entry level的这个招聘。其实你今天也很难定义,对

任鑫

12:30不对?不是,我觉得我觉得你可以说比如说这几道题都不会,他不合格,就是他做初筛是可以的。因为如果是比如说你们来搞这件事,你们因为就会熟这些模型嘛,你们就有这个可能性。但是他对于大部分的公司来讲的话,其实他们是完全没有这个能力的。

12:49所以他们如果不把压力压在说你要提前想好你的业务标准的话,他他的压力就会变成说我们要招几个懂这种玩模型可以搞的人。其实更难,现在更搞不到。

徐文浩

13:02是我觉得是倒过来的,就是这是为什么我觉得不管你是一二十万还是怎么样,其实你都是应该,我觉得先都是应该先多试一试现在已经有的模型。因为这个时候为什么我说刚才我说如果是即使是我们,我现在对任何一个团队来讲,就是你先不要着急去定一个我做出这样就好了。呃为什么呢?

13:22说因为今天的模型在各个维度上的能力它其实不太均衡的。你觉得它能干的它不一定能干,你觉得它不能干的它反而有可能能干,对吧?这个是这轮AI,它不是个不是个客观指标,不像上一轮说我能做人脸识别,对吧?我精度能做到多少,或者说我能做个图片分类,精度能做到多少,这个它就的确是定义明确的。

13:42但是这轮就是大家的很多想象,我我称之为想象,大家很多想象假设出发点,它其实不明确的。很多东西呢就是你不去试一下,你很难摸到它的上下界,而且这个上下界往往又是一个业务方自己都有感觉。举个例子,你今天我们就讲说,用它写营销文案,用它写营销文案的问题是,写营销文案,这个是问题是说,

14:05到底这个东西本身怎么算好怎么算坏。我觉得一个技术的团队其实不一定能做判断的。就比如我有很强的技术背景,对吧?就是,比方说我说,哎,我,你要帮我做服装设计,我说我要做出来这个东西很fashion。我也可以定个标准说,我我这个做出来,我生产出来,到市场上能卖一百万件就满足需求了。

14:25但这个其实跟美甲是一样的,对吧?

任鑫

14:27所以我我理解其实就是说呃业务的需求和因为我们现在的AI其实是一种一种智能嘛,就是它非常稀奇古怪嘛。那其实要不然就是你从这边啊逼你去说你一定要定义清楚,但是定义清楚这事儿像你讲的就是说起来容易做起来难。要不然呢就是你得这边你各种的模型你都得摸一摸,然后大概知道它长什么样子,从中产生灵感说哎它还能做这个,

14:51说不定是没想过的一种东西。那这边去品味,拿着这个新锤子然后再去找钉子也可以,拿着钉子找锤子也可以,就定义清楚这个钉子需要什么锤子。然后另外一个就是你去把锤子都摸一遍,然后拿着这个奇怪的锤子去找钉子。

徐文浩

15:06啊没有,我觉得一个是当然是拿着奇怪的锤子找钉子,另外一个是摸一遍会给你一个感觉,就是说会给你业务方一个判断,就是他大概能做到什么程度。今天比如说我自己用各种prompt,用各种开源模型,我我试试嘛,对吧?对吧,我图生图,我就拿各种哪个模型流行,我进去,我用各种prompt试。

15:27比如说写文案,我就用各种试。我先得试一遍,我大概才能知道就今天的模型能力大概在一个什么范围。然后它在哪方面比较强,哪方面比较弱。这个通常是说是技术团队给不了你的。我举个例子啊,比如比如说我们最近比较关注,比如生视频,对吧?

15:45我们看的时候哇,牛逼,哇,厉害。哇,这里不好,对不对?那,但我们觉得好的东西,别人可能觉得其实很烂。我觉得好,他觉得烂,其实并不是说大家的这个标准不一样或者怎么样,而是大家对一个垂直领域的关注不太一样。对吧?

16:03就比方说,我就是今天就是说我这个,你你今天让一个一直在做电商运营或者营销的,他去拍的那个商品图,他觉得怎么样,他显得真实好卖,跟我的判断其实,判断能力差别很大。可能我看这两张图,我觉得应该一样的呀。他可能觉得这两张图差异可能非常大。

任鑫

16:22我是在想这个东西它,因为我们两个讲的道理好像都挺有道理的,但是我真实的接触过程当中,一方面就是我看到很多人确实写eval写写不出来,就是你说的那个那个做起来的难。第二个呢就是,呃很多人其实因为以前就就就会找我联系,然后我就催他们说那你先用一用嘛对吧。

16:42你然后不要说多种模型了,你催那么久的说要用ChatGPT,他们其实也只提过两个问题,然后就回来用豆包或者干嘛的,就不用了。就是大家会愿意花比如说五万十万去报个AI的班儿,但是其实就不太愿意花时间去把所有的模型都玩一玩。都都会期待说比如说比如说找你啊或者找我说,你们能不能给我一个答案,但其实我也不知道对吧。

17:07我没有他那个业务sense,然后很多模型我也没有玩过。对,所以其实这两件事做起来都是,就我认识的绝大部分的有钱的朋友来说,对于他们来说都挺难的,而且两条路都挺难的。

徐文浩

17:21我我觉得是都挺难的呀,因为它不是做题呀,它还是说在在不确定性中探索嘛。做题其实是容易的,就是嗯最简单的,对对任何一个技术团队来讲,我都跟你们说,我都可以跟他们说,你应该装一下Cursor就好了呀。这这个就提升效率了,你都不用问我,对不对?

17:39你你让你的所有的团队都装上Cursor去写代码,不管他们一开始多么抵触,你只要强制他们用这个写代码,他们很快自己也会觉得这样更有效率的。

任鑫

17:47是啊,我我现在给很多人的建议就是让他们去买那个两百美金的账号。我说因为那个太贵了,所以你会很舍不得,然后你就会挖空心思去想办法去用。

徐文浩

17:57比方说你刚才说evaluation,我觉得这个逻辑是没错的,就是但是evaluation往往是你已经非常清楚你要做什么的时候。这个evaluation往往是你已经想清楚了,说我就该做这个事儿,然后这个事儿可以通过什么评估。其实evaluation通常说我已经明白我应该怎么做这事儿了,不管我是通过套壳,通过一些agent的方式,

18:17还是我自己训一个模型的方式。就意味着你已经能用一个相对比较客观的指标去评估这个事情是做八十分还是一百分了,还是六十分了,对吧?这个是定义evaluation的意义。evaluation通常是说,我的那个大的目标,我想要做成什么样子已经比较确定了,然后我可以开始迭代了。

任鑫

18:36我我接触到的情况是,大部分人是以为自己已经想清楚了要做成什么样子,以及那边有一个很大的机会。然后当你提出evaluation的时候,他们就会卡死在那里。以及你告诉他说,如果按照这个,然后或者说给你乱拍一个。然后你告诉他说,如果你拍出来了做出来了,你就直接打钱哈。

18:56然后他们就会发现,嗯,其实这个定得非常的没有道理,我还要回去想一下。

徐文浩

19:02对,第二个是往往这样定了之后,我觉得有很多东西是它evaluate不太出来的。然后我们最近在一些场景下,我们呃想象了一些场景,比如说去机器去evaluate,就用GPT-4o啊或者Claude去evaluate。也尝试比如说找一些所谓的锁定人群去evaluate。

19:20在一些数据上,我们可能看到一个指标,我称之为机器跟人跟人跟人之间基本上接近于随机。

任鑫

19:27举个例子。

徐文浩

19:28就基本上就是就是给你两两组东西嘛,A和B,对不对?然后你选A好还是B好。机器会说,对吧?给你一百条,比如A机器会说有些说A好,有些说B好。然后呢,你把这一百组贴出来,让人去选A好还是B好。

19:43然后你找三个不同的人,你发现不同人之间的一致性,比如说这一百条的人,一个人标标得跟机器的一致性叫做百分之四十七。百分之四十七是个什么概念呢?就跟乱选是一样的,对不对?哎,那三个人之间呢?

19:58三个人之间,比方说也差不多,他可能两,呃,三个人之间有两两吧,两两之间可能也是在百分之四十到六十之间,其中有两个人能到,可能能到百分之六十几。

任鑫

20:10那那其实用机器标跟用人标差不多呀,也不差呀。

徐文浩

20:13这个标就不对,这个标出来你能训,比如说你希望用这个东西来,没法用这个东西来评估呀,就意味着你怎么做,你做出来可能就是随机的,对不对?我们现在标的是,是以句型,对不对?就比方说我在有些命题上,我觉得这个事情就是难的嘛。比方说,呃,我们的例句、具体例子我不举啊,就是比如说这个A B很简单,比如说我就叫创意写作,

20:32我给你的标题,让你写两篇文章,然后你选,你让你选一下左边这篇写得好,还是右边这篇写得好。

任鑫

20:38呃,是不是这个题目不对?就是我知道的别人评的话,第一个就是会说,比如说创意文章包括五要素,是不是它全了?第二个就是说它有没有一个精彩的结尾?还有一个就是说这篇文章里面的这个主题是否、是否不常见,他会把它拆成,比如说十个、十个子维度,

21:01会不会好一点?

徐文浩

21:02呃,是的,第一个是这样的,就是有可能是这个原因。我我觉得这当中有很多这种原因啊,但是你还是有可能,因为可能左边跟右边都是两个不错的模型提供的。然后呢,你这些维度其实你标了,你可能给了它一些标签,比方说它有没有个精彩结尾啊。

21:17那其实选完标签之后,对两篇哪篇好的判断,仍然有可能是分辨不出来。就是你找一个一般的人来标,或者你找机器来标。

任鑫

21:26了解,是,会这样。但这样子人类至少好干预一点,因为要不然好坏这事儿真的是没法看。所以用机器标用人标,而且会不会未来这件事情会越来越难?就之前的话,因为有,比如说你说GPT-4.0和3.5,这个时候两边的话你其实还蛮容易看出来差别的嘛。

21:46但是当它是4o跟3.7的时候,或者4.5跟4的时候,就已经越来越是玄学的范畴,它已经超过了大部分人人类的那个水平了。这个时候我们已经没有办法给它去标了,它能出个鬼。

徐文浩

22:01是是是的呀,我举的这个case,我也我也只是说,可能也是我们做得不对啊,就是比如我们没做好啊或者怎么样。但是,呃,标注也好,评估也好,我觉得本身也是个难的事儿。这个难也就难在说我们工作中的很多命题啊,今天其实并没有给出定出一个所谓的客观的金标准,对吧?

22:21就是我们很多时候希望AI去帮我们解决一些问题,然后它能不能做到、怎么做到?今天的很多标准是偏经验性,跟这种直觉性的。真正能够拆解到说这个东西非常细分,比方说就像你说的啊,创意写作它要有什么五要素或者怎么样。我的假设是说,可能业内我不知道,第一个是我不知道,因为我不看这个主题啊,但是我觉得很多时候是什么,

22:46业内即使是很优秀的团队,他其实也没有自己能非常客观地去拆分解这个问题,或者定义这个问题的能力。它更多的其实是靠主观的直觉,以及招聘的时候在人员上的控制做到的。

任鑫

23:04那我反过来讲,这事儿就是很难嘛,因为没有金标准嘛。但是反过来讲,如果它定出了金标准,那这个时候是不是它就是最能够做好、最容易做好后面的模型或者A政策,然后其实是可以吃到这个红利的,因为它先定出来嘛。

徐文浩

23:22我觉得是的,如果真的你能定到一个金标准,而且这个金标准就是通常是你定的金标准跟市场上的实际放到市场效果,如果是强关联的、强正相关的,最有可能能够吃到这个红利,对吧?就比方说你说我想用AI做创意写作,难不难在于你有没有idea,而是说你能不能说写出两篇,AI写了两篇文章,

23:46你很容易的就能评判出这篇文章比那篇文章更好。这个更好是跟你的最终的业务目标是挂钩的。就是你的假设是,更好的文章在市场上你放出去,它的,呃,点击、转化、曝光就是会高。

任鑫

23:59哎,那像这样不是还是应该是,比如说假设一家公司完美的就是有一个业务的人,然后有一个AI的人配合的话,就应该业务的人来定金标准,AI的人来想办法拼出各种AI的能力,就能够满足这个金标准。这这这还是业务的人就要搞evaluation啊,就搞那个eval。

24:18那个那个词的缩写应该怎么读啊?是读eval吗?

徐文浩

24:21evaluation。

任鑫

24:22但是我看大家都写eval。

徐文浩

24:25你说大概是eval吧,我觉得要是美国人可能会读eval吧,我不知道。我我说为什么这么说,因为这个其实挺反直觉的嘛。业内最好的那些人,往往他的经历、之前经历也不在那个怎么定这个金标准。就我很好奇啊,比方说咪蒙只要写公众号都是爆款,对不对?

24:43他能不能定定义出一个说怎么样的文章就是更好的?他往往是你给他一篇文章,他去告诉你哪里写得不好,哪里去改,是可能他的能力很强。但是他说,哎,我能够定义出一个标准,然后这个标准你们只要照着我这个标准,找一个弱一点的人去拿两篇文章,

25:02就能评估出来哪个好坏,我觉得是难的呀。

任鑫

25:11如果是他们数据足够多,比如说咪蒙有偏热门的、一千篇不上热门的,让模型自己看,或者是模型不断地产出,咪蒙就在旁边,他来给他反馈,就以他个人的口味为标准。这个时候是不是还是这些牛的公司,只要他们肯花时间怼数据,或者肯花时间怼他们的最好的人力来进行那个feedback,

25:34可以把那个标准让模型给搞出来。

徐文浩

25:36我我我自己的观察是两个啊。第一个是,因为因为比方说我们在做一些产品,也就我的视角可能更技术视角吧。就是说我这个东西应该用个什么模型,我需要一个,呃,像怎么样的一组数据,我就能去训练这个事儿了。我两个观察,第一个观察是,往往业务方觉得你提的所有可以用来标注或者评估的方式,他觉得都不行。

任鑫

25:58那最后靠他主观评价吗?

徐文浩

26:00不是不是,他就会觉得,哎,你这样也是不行的,你那样也是不行的。我我能够理解啊,就是我跟他们深入交流,我能理解他为什么觉得这个不行。但是这个,我觉得就是这事儿是你要一个做AI的跟一个做业务的人,两个人能够把这个事情沟通清楚,

26:14已经是一个巨大的成本了,已经是个巨大的挑战了。

任鑫

26:18哎,不。我的意思就是不不沟通清楚,能不能他们来说什么行、什么不行,就让他们投入人力来做啊。

徐文浩

26:24比较难。就是说,哦,最理想怎么行怎么不行。呃,打个比方,就是你比方说,那你就给我写,你给我编一万条,对吧?你觉得好的,以及是说我在这,但但是问题是这个时间跟成本代价太高了。

任鑫

26:40有一些不是历史上已经有了吗?比如说你刚刚举的咪蒙的例子,他肯定发了一千篇文章嘛,然后那然后五百篇火、五百篇不火嘛,这个有用吗?

徐文浩

26:50我立刻就告诉你为什么。就是我们内部其实有一个这样类似的命题啊,但是它因为不是不是咪蒙的这个文章啊,但是立刻可能一个业务里,就你可以认为对业务专业领域非常熟悉,他觉得不行。为什么?因为什么文章火、什么文章不火,随着时间是在变迁的。

任鑫

27:07哈哈哈,啊,天哪,

徐文浩

27:10对不对?你去想一想是不是这样

任鑫

27:12啊?你说的对。

徐文浩

27:14他说你你拿我历史上那篇火的文章,你今天发出来有用吗?可能就是没有用的,对不对?但是呢我觉得这事儿又得做,但是这个事儿我觉得就做,我今天的观察,我觉得它也是个摸索的过程。就是我一直推测在cloud内部应该有一个很强的团队在构造或者管理一个数据集,

27:32来告诉你怎么样的,比如说怎么叫生成的代码好,怎么叫生成代码错。它不只是一个数据的标注,它其实是一个不断在迭代的流程跟方法论。

任鑫

27:45这个事情我大概知道一点。对对。不一定是cloud的。我们看过非常多的某些大型标注公司的coding的标注任务。然后他们的标注任务不是说让你写代码,他们的标注任务是让你想,很多的标注任务现在已经是这样,就是让你想出一个需求,

28:03而且这个需求必须是特别的业务需求,而不能是写一个什么贪吃蛇什么的。然后让你写出这个需求之后呢,那边会给你写代码,然后写两套代码,然后让你有六个不同的维度,比如说叫做什么truthfulness什么的,它是否完成了这个东西,然后以及它,反正就六个很奇怪的、很很很messy的一个维度。

28:26让你去评估说这六个不同的维度上,你觉得哪段代码好,为什么好?然后还要你不能通过编辑,你能不能用眼睛看出来它哪里有bug。就它它把它拆得特别细,以及以及提出来的各种东西都,呃,不是在代码层面的,它其实是在就是整体的这个软件工程的这个层面,

28:45然后和taste的层面,它里面有一些关于taste的东西。哦,这样就蛮蛮神奇的。我们我我看过看过一些,觉得就是完全是非常反人类的一种工作,就是那个label非常难。现在大量的这种工作堆积在那里,就是完全labeling公司接不过来。

29:03其实

徐文浩

29:03我们也有类似的任务,就是,但是我觉得做就做得好在于说我怎么能够,就是他也不是一天跳到这一步的,他肯定也是摸索过的。说我因为这样,我灌了这个数据,它的确能够分,它要能够验收,对吧?你标完它能够去验收,说,哎,你标的是对模型是有帮助的,或者是是好的,对吧?

29:24第二个,他得去控制成本,这是个数据数据饥饿的业务嘛,我称之为。所以他要想各种各样的方式跟机制,能够去标出,呃,什么东西好、什么东西坏。我觉得这事儿是这样的,就是上手eval,我觉得其实对大部分公司来讲反而是不太合理的。这个反而是说你已经在产品层面做得不错了,然后你的大方向,或者说你做的还已经,你就你今天这个产品至少已经有六十分了。

29:53就是你其实还没有摸到六十分,你说我去定个eval,倒过来,我觉得这个逻辑是不对的,是。而是我做到六十分,我的大的方向已经确定了,然后我能够慢慢收敛,说我能不能把这个我在这个领域的问题定义成一个可以验证跟评估的数据问题,然后倒过来反向来推动模型的迭代。

任鑫

30:14我我这点上还是跟你想法不太一样,就是你你这边说的其实是一家公司,它已经是AI公司了,然后它要做这个事儿,反正也得做。但是现在更多的我见到的都是所有的公司都想做成AI公司,他们都想立项搞AI,但是其实都没想清楚。所以他们现在上来的第第前几个问题都是说,哎哟,我要私有化部署一套DeepSeek,然后以及说我要干嘛干嘛,

30:39就是全是问技术问题,你知道吗?

徐文浩

30:41这个逻辑其实也是没问题的。就是什么叫没问题的呢?就我觉得对很多公司来说,你说你今天要用AI,可能最简单的方式是你还是得先花钱,就是先去交学费。什么叫花钱交学费?就是说iPhone出来了,我说我要做移动应用,对不对?

30:57那你第一步你可以先买几台iPhone,

任鑫

31:00你去买几个账号也行啊,你为什么要布一套DeepSeek呢?

徐文浩

31:03那么就我觉得这取决于他有没有钱,就是他愿意在这个事情上做多大投入嘛。

任鑫

31:08我也是我也是才知道布一套满血的DeepSeek,如果只是内部用用也那么贵。

徐文浩

31:13对呀对呀,就你基本上内部要到用GPU到能用的地步,二十块H100吧,你现在大概一个月可能也十几十五万人民币。讲一个,

任鑫

31:28就是有的时候其实是在帮大家,逼大家说你稍微想清想清楚一点,别上来先纯粹陷到各种技术细节上就开始花钱了。你先想想你到底要干嘛。然后我现在跟大家讲的就是,有些人来找我嘛,我就会说,你先假设技术上我都能帮你搞定,你先告诉我你到底要干嘛。

31:46你搞干成啥样你就高兴了,你先把这俩事儿定定下来,以及你高兴了的话,你觉得里面值多少钱,愿意花多少钱,你先把这几件事儿定下来,先不要考虑说DeepSeek到底怎么布,以及我要到底要微调不微调,这还没到这里。

徐文浩

32:00哦,对。但我觉得最大的问题是,其实用户的需求很简单呀,就是两类需求嘛。一类是说我这个东西上了,我这公司就发财了,对吧?就是说其实我想要这个,你能不能帮我搞?你说得对,

任鑫

32:13哎哟,

徐文浩

32:14对不对?我上了这个东西,这个我的DAU就从一百万变成五百万了。就是大家容易做两头嘛,两头一一头两头都简单。第一个简单就是这个结果定义得过于结果,所以我总会定一个结果,这个结果叫我这个东西商业上要成功,把它定义成结果。

32:30一种呢就是过度的只看一个过程,说我把这个东西能够set up起来,我能调用,对吧?其实这两头其实最简单的,其实难的是中间嘛,就是中间这个目标是说你希望能够定义出一个又跟结果能够强关联的,同时又能拆解成可实现步骤的。

任鑫

32:49你讲的有道理,其实我干嘛要拦着他们花钱呢?我应该说来,我帮你布一套DeepSeek。对啊,为什么要拦着人家呢?人家想花钱,对吧?他想买个包,你为什么要拦着他呢?

徐文浩

33:00对呀,对呀。我觉得倒过来反而你是应该这样去,就是不是说为了挣钱或者怎么样啊,我也不做这个业务,对吧?我们有自己的产品在自己做做一些,呃,面向消费者,其实并不那么在意消费者是不是喜欢,只知道这东西是AI的产品。我觉得对于很多公司来说,你今天说我要投入AI,就是我觉得第一个是说你还是得准备好一笔预算。

33:23这笔预算是什么呢?就是你假设它最终是有可能会打水漂的,你也不能指望说移动互联网来了,说哎呀……我能想好一个东西,我花五十万,这事情就成功了。那你买两台iPhone,那也得一万块钱呢,对不对?你总得买两台iPhone试一下吧,你不然你做什么移动互联网呢,对不对?

33:44就像你说的,你至少两百美金,你今天说,哎,我要试一下,你两百美金的O1的账号你都能买一个DeepSeek,你不一定要布一套,对不对?那你阿里云上开个账号,API调用你得试一试,对吧?或者你硅基流动上开个账号,充个几百块钱,你让大家去试一试。

34:01你的内部有研发的,你去搞个Cursor或者怎么都去装一装先用一用。那这个钱你是逃不掉的,就是这个钱就是应该花的。

任鑫

34:09你这些花的其实就是你先去摸一下水温嘛,买个iPhone什么的。但大家现在都是上来就要做移动应用嘛。

徐文浩

34:16第二个呢,我是觉得说你上来做移动应用,我觉得这个事儿从大环境上讲是必然会发生的,我觉得也没有必要拦着大家。因为说实话,什么是事情是正确的,今天没有人知道。就你就是你知道吗?我知道吗?其实你也不知道,我也不知道。

34:32特别是一旦到了一个特定的企业的领域,我就更不知道了。

任鑫

34:37对。但是我会觉得说他至少有一个思考的步骤。比如说你就随便拍脑袋告诉我说,我觉得这边有机会,然后我觉得只要做出来什么东西可以赚好多钱。那你能不能参谋参谋说用个什么AI就能帮助实现这个效果吗?那我赶紧做一个,他要不要私有化部署啊什么,那是第四个问题。

34:57但现在大家是直接开始提第四个问题,没有前三个问题。

徐文浩

35:02就就我也比较好奇啊,就找你聊的是比方说是公司的一把手,比如说或者founder。就是还是说很多

任鑫

35:09都是founder,他们都基本上大家的思路都是,要不然就是被很多sales忽悠了嘛,说你们一定要做个啥,比如说其实只是需要一个数字人。然后我就不知道为什么人家告诉他要私有化部署一套DeepSeek,我都不知道这两件事情逻辑关系在哪里。

35:25就我完全不能理解,我说你为什么不去说DeepSeek?他说我们的这个东西其实要做一个类似于speaker的东西,就是数字人教你英语嘛。这个DeepSeek不私有化部署有个毛关系啊,我都不知道。对,第一种我觉得是被sales忽悠了。

35:39第二种的话呢,其实就是他看到了市场上的一个东西,然后他觉得我也要做一个。然后那这个时候的话,就是他其实不是很考虑,就是他就直接只考虑这个东西做出来的话,大概应该是什么方式做出来。但是他其实没有考虑这东西做出来,就是跟他一个是,比如说你刚刚说还是从个人禀赋出发嘛,比如说他就觉得说我可以做一个social CRM,

36:05对吧?AI的sales agent这事儿的话,就是他觉得这是一个伟大的机会,但是其实中国已经有一千家了嘛,他就觉得要那就做吧。然后这事儿太牛逼了,什么什么。那你就会觉得说,那你前面这几步这个商业上是啥情况啊?

36:20你为什么要直接跳到我做一个以及怎么做?对,所以我就很想说,你们先把前三个问题,好歹你哪怕说拍脑袋我就有信心,对吧?也行啊。还有一个我自己的私心,就是我因为我中间就会故意说,那你就明天做出来的话,那就一百万,我就用一个这个就可以卡死他,

36:39不要跟我讨论他肯定不会做的事情。因为有一些人他也就给你打嘴炮,你知道吗?你就直接说,明天就给你上线,你今天晚上打一打。

36:48他就顿时觉得自己还没有想清楚了。你刚刚讲说还是得做嘛,我也觉得他们得做。一方面他得试嘛,一方面他得做。那我们举个具体的例子,比如说你是混沌大学哈。对。

36:59混沌大学肯定也要做自己的AI嘛。假设你是混沌大学的产品经理,你会,这是一个培训APP嘛,培训机构嘛。那你一开始的时候你会怎么来思考这个问题?然后一开始的时候你肯定不会想到说我到底要不要私有化部署DeepSeek嘛,你肯定是思考一些别的东西嘛。

37:15你会一步两步三步四步会怎么来想这个问题啊?假设你是一个有点互联网基因的偏传统的公司。

徐文浩

37:22第一个问题应该叫没有调查就没有发言权,对吧?我觉得我没有办法代入到说我是这个公司的产品经理,因为我的确不了解,比如说它的整个的业务模式啊,产品或者怎么样的。但是假设你今天作为一个外部顾问,那你第一个你肯定要去使用一遍它的产品,它的核心在卖什么东西,

37:41然后是什么东西,对不对?第二个,我可能要摸一遍市场。市场上大家都在做什么事,在这个领域都有些什么产品在做什么事情,国内国外大概是什么样子的。第三个,我觉得就是这一轮的AI的核心能力的差别,大家也很容易明白,它的核心能力是智能的差别嘛。

37:59我能够规模化的靠机器提供一种叫做智能原来提供不了的东西。那我就要去回答说,在这个产品或者说它同行业里,我如果去增加智能,在哪个环节或者说哪个上面增加智能是能够有价值的,就是对最终的我的用户是有价值的。从消费者角度。第二个是我是哪个环节通过增加智能能够提升效率的,这个是从to B的角度。

任鑫

38:27要不然我省钱,要不然用户赚到。

徐文浩

38:29对啊对啊。我觉得无非是从这三个出发点。第一个就是你还是得做市场调研、市场调查,或者你大概能对这个产品或者行业有了解嘛。第二个我觉得所有的思考的出发点,我就第一步还是思考说智能在这个行业或者在这个的核心场景下能有什么帮助。

38:47以及说当我觉得有可能有帮助的,我可能的第一步是说找这些市场上最好的这些AI产品,就用prompt,就先用文本或者prompt的方式,或者文本生成代码的方式去试嘛。试试着看说,哎,我用现在最好的模型的智能,我没有做任何特化或者post training。

39:08它大概能到一个什么水平嘛?

任鑫

39:10插一个小段子,然后讲,就那个你刚刚说要看市场上有什么,我最近发现Deep Research这件事情上做得特别好。因为Deep Research它在比如说我们懂的领域,你其实会发现它做出来的东西其实挺一般的。但是呢,你让它去查我们不知道的东西,比如说我们最近想要孵化美国市场的一个小硬件的东西,然后我就让它去看说跟这个相关的,

39:33就是类似的东西,你反正把所有的东西给我查出来。它就想了一些我根本想都没有想过的,就是确实跟这个小硬件有类似的维度的一些产品,说他们以前的上亚马逊上销量到底怎么样,然后怎么样。说哦,还有这种东西啊,还有这个。然后它是这样的,然后就……pop给了我几万几万次嘛,中间总有几千次你完全没有想过。

39:54然后而且是他查到了很多fact嘛,所以我觉得现在用DeepResearch去看那个市场上看竞品,以及就是相当于别人交过的学费嘛,对吧?那那这点上真的是很有帮助。但你看你刚刚就是整体上来讲,你其实第一个是了解我,了解自己嘛,对吧?

40:11了解我的业务是什么。第二件事其实是你去看说市场上有什么可以参考的,就是别人交过的学费我不用再交一遍嘛,有什么可以学习的嘛。然后的话呢,你其实是在看说价值在哪里,要不然就是它帮助用户,比如说在完成用户任务的呃过程当中,哪里帮到了用户创造了价值,要不然就是帮我创造了价值,对吧?

40:31我的员工可以呃提效或者或者少招几个。所以你的前几步其实还是在理解这件事情以及机会点在哪里。所以我觉得就是第一步的时候我觉得这是标准套路,理解事情和机会点在哪里,而不是第一步先先说我要做个啥呀。

徐文浩

40:48对啊。那肯定是这样了。那那我我觉得这事儿是这样的,就是大家为什么会跳跃一步到第几第这个这个我觉得也是一个典型的mismatch嘛,就是呃讨论有些问题的时候,当你在这个领域里,你会觉得你对机会点或者说你你是你你觉得你对行业很了解很有感觉。

41:05但其实往往不完全是这样。对吧?就是比方说你今天问我说哎我对我我做过了tech industry干了那么多年,说我对tech industry很了解。这句话既对也错,对是什么呢?就是大面上是对的。

41:18也错是什么呢?就是你能够有有的信息是很有限的。当你看具体到任何一个事情里,其实有很多的细节,具体内容你是不知道的,对吧?就是比方说你说,哎,这个深度神经网络,你说我了解啦,什么大模型我了解啦,我可以说我了解。但是你一旦到这个领域,你说语音、视觉最新的进展,谁,大家都到都做到了什么水平,你不花一点时间去调研或者research去看一下最近的所有的进展,

41:45你其实又是不知道的。特别是,是因为我觉得现现在我一直是有这个假设嘛,就是,就这一轮AI又带来了一次,为什么大家觉得有机会,因为它是个快速变动的过程。事情都在往前走,所以你才有机会。就是到处都是弯道,你才有机会超车。

42:02就是如果是直道,其实你是没什么,就是就是纯直道,就是一个成熟的领域,纯直道,你是没有机会的,就到处都是弯道。那到处都是弯道的时候呢,其实你不要光觉得大力能出奇迹,对吧?油门一脚踩到底,对吧?反而你是得搞清楚说,搞清楚是是市场上有什有什么。

42:19但是呢我也很容易理解,就是比方说我假设有有个人说,我在电商干了二十年了,我对这个领域我觉得我再熟悉不过了,你说让我去调研一些市场,我觉得没啥好调研的,我都知道呀。

任鑫

42:29那就基于这种情况,比如说他就是就比如说混沌或者某一个电商,他就觉得我我理解这个市场,我已经找到了机会。那这个时候他应该干嘛呢?就是他应该上来就是招AI的,比如说哎我要不要招一个什么AI合伙人,还是应该我比如说嗯找市面上我这个行业的AI公司聊一聊,

42:49还是应该说我找这种AI的,因为现在有很多人会帮你什么AI的部署,私有化部署干嘛的,我找技术研发的外包团队给我做AI外包。因为因为不懂嘛,然后呢那这个时候的话,我应该怎么来走这前前几步应该干嘛?就是现在我已经找到机会了,哎呀,我想做的就是这个东西。

43:07呃,我想做AI来颠覆这个行业啊,我已经想得很清楚了。那这个时候接下来几步是干嘛呢?如果碰到我,我就会问他evaluation,他就卡死在那里了。

43:16如果是问到你,你会干嘛?

徐文浩

43:18如果我站在一个甲方啊,就是我是那个公司的角度嘛,就是我觉得这事我已经想得特别清楚了。我觉得基本上会做几个事嘛,第一个事是把它变成一个well-defined problem,就是一个定义得清楚的问题,然后要把它写下来。对吧?

43:33往往你想清楚你想清楚你写下来你就会发现你没想清楚,我觉得我一定会把它写下来,我还是会我想把这个东西通过纸面上定义得更清楚。但第二步我的确会找一个公司来聊啊,就我会找很多我会去找很多供应商,找很多外部顾问,找甚至找开就开始启动面试。因为启动面试找外部供应商去沟通,它也是一个获取信息跟情报的过程,对吧?

43:58我觉得我第一步肯定会这么做吧,肯定你聊完之后你就会发现,对吧?就是什么事情做得了什么事情做不了。你觉得做得了或者就是你招一个人,你面试招一个人,你找不同的供应商,你大概会知道才能判断出这事情到底做得了做不了,对吧?就这个就跟你去租卡,你要找五个供应商是一样的呀。

44:17你不能有一个人说这个东西十万块钱一台,另外一个人说七万块钱一台,另外一个人说十二万块钱一台,你就问七万块钱为什么你那么便宜,他可能找一堆具体的理由,你拿这个理由再去问十万块钱的那那家嘛。然后最后你就能搞清楚这个到底当中有哪些坑,哪些陷阱,哪些事能做,哪些不能做嘛。

任鑫

44:35那这样,这边就有两个具体的问题啊,一个是你觉得well defined problem,well defined problem的话,它至少有哪几件事它是应该well defined的。然后第二个就是很多人也问我说,哎你告诉我说要多找一些专家聊,但是他找不到。

44:52对。他们有些人就薅到我,但是其实我有很多东西我不懂,然后我就只能说你去找专家聊,但是我也不敢介绍专家给他们,因为问的东西比较基础嘛,我也不可能介绍你过去说跟他们聊这种东西。那那怎么办?这个找找找什么专家聊,以及how to define a well-defined problem.

徐文浩

45:10怎么定义一个定义清楚的问题,这个,我我我我觉得这当中有很多是个这形而上的方法论问题。就是

任鑫

45:18你看吧。你也很难定义,你也很难清晰定义这件事情,你看这事就很难。

徐文浩

45:23啊,对呀,对呀。通常是你把这个事情,这这我觉得传统咨询公司套路啊,就是说虽然我没有在咨询公司,你不就是说你像把什么what how why这些东西都写下来嘛。

任鑫

45:35所以还是传统的那些东西去搞一遍麦肯锡啊什么什么东西。

徐文浩

45:39对,我觉得还是个传统咨询公司的这些方法论,或者你称之为任何一个做事情的项目拆分的方法论吧。你肯定要把这个我定义的我要的是什么,大概是你觉得这个东西应该是在什么周期,什么预算下,然后你觉得这个事情呃可以能够做成的步骤是一二三,对吧?

45:58这个你再极端一点讲,你就把它当成把大象关进冰箱里,你也得先定义出开打开冰箱门,把大象塞进去,关上冰箱门。然后第二个问题立刻就会冒出来,大象冰箱放不下应该怎么办?你说那我要把大象大象给弄死,然后切开来,切成一块一块,这个好,那冰箱格子有多大?

46:17那一格大概有多少?对吧?然后需要多少个冰箱?你至少,你一旦开始变成一个怎么把大象关进冰箱里的问题,这个问题就有可能是有解的了,对不对?了解。

任鑫

46:30那其实更简单的方法就是干脆直接交给GPT嘛,说他就是这方面的一个顾问,是最擅长把乱七八糟的想法定义成一个well-defined problem,然后请不断地向我提出问题,然后直到这个问题已经被澄清到位,对。下次有谁要干这个的话,先丢给他一个GPTs。

46:47这是一个嘛,然后第二个就是,就是一般来讲的话,其实大部分人其实找不到人聊的。他们能找到的人其实往往都是,要不然就是sales,比如说告诉他要做数字人,要私有化,不是平c。我都不知道这是哪家公司忽悠的,真的太太扯了。对对对。

47:03要不然找的就是一些所谓的像呃老师我已经算老师里面还稍微懂一点的了,大部分的就是只要做IP的老师基本上都是胡说八道嘛。很多人是找不到真正靠谱的一个可以沟通的,就是真的可以落地做业务的一个对象的。那这个时候你有什么建议吗?他们可以干嘛呢?

47:20看B站吗?

徐文浩

47:21我我觉得很难,就是比如说我觉得我有很多获取信息的方式,但我也不确定对别人是不是有效。第一个比方说,比如说在海外,我觉得大家对模型进展信息还是比较透明的。比方说你去看这些Lex Fridman的这些播客啊,去看什么Nadis newsletter里,

47:38很多人会讲很多非常我我看了我觉得很有帮助也很有insight的这个呃公开信息。这个我觉得其实已经挺有帮助了。就比方说最近我也不知道为什么,大概是因为那个呃Manus,就是所以MCP server火了嘛。但MCP server这个事情其实是

任鑫

47:55他们没有用MCP server。关键是,

徐文浩

47:58他们又为,反正我不知道为啥最近MCP server突然火了。但MCP server这个事六六个月之前就已经有的东西,对吧?而且六个月之前已经有,它是个公开信息,它并不是一个封闭信息。对,

任鑫

48:10我我也我我也觉得,就是其实很多东西网上,就比如说我有一次好像是我在参加国内的一个论坛,你在硅谷,然后你在那边群里说,哇,好嗨。我学到好多东西,然后我在那边跟你抱怨说,我讲的东西都是一年前的。然后,比如说最近我看那个AI Engineer,因为你看的比较偏技术嘛,我看那个AI Engineer的话,

48:31我就觉得说对产品方面有巨多的启发,都讲得好好啊。就AI Engineer那个大会,他反正也会把它都放到网上的。然后就就我一边一边在跑步机上,然后就一边看,然后就一边拿那个记点笔记,然后就觉得哇。

徐文浩

48:45而且现在有一个好处是这些资料你的中文字幕你装个什么翻译插件一键它就是它用中文英文说下面都是中文字幕嘛,对吧?你也不需要说,不像以前你说哎呀,还有一个语言导致的这种信息差,今天语言的信息差已经进一步降低了嘛。

任鑫

49:03对。如果你实在受得了的话,我现在也看到有一些播客他们在做那个转录,但是我发现我还是听不下去。就是他做了中文的转录。

徐文浩

49:12我看了,就是质量还是不太行。我看了有一些在做了。这个不是我一直想做的事,但是一直没有时间做了。对。但质量我觉得还不太行,但是但是我基本上判断这个事再做三个月六个月,质量又会上一截,这个你肯定是这样的。

任鑫

49:27那你你现在觉得说他们质量搞不定的那些地方,你有办法搞定吗?你有办法搞定的话,我来出人手,我们就干呗。我也觉得质量不太行,但是我也不知道怎么可以让它质量更行。

徐文浩

49:39就是这个事情能搞定,能搞定我觉得两个,一个是说今天千问刚发了千问Omni,但是我还没有试过,但是我相信说呃这个当中很多还是这个语言的那个自然度不太行嘛。但语言深度这个事儿,我觉得是随时间,或者说随着模型的投入会去做的。只是我们不太确定,比如中文的模型,因为中文的模型大家会开源到一个什么地步?

任鑫

50:02了解。对,很多事情我现在反思就是做太慢了。对,你等到时机成熟了的话,那个门槛又高了,真的也不是一下子就能搞的,就时机不成熟就瞎做做呗。

徐文浩

50:12没有,我我我这件事儿是这样的,就是我自己的感受啊,就是包括我对我们自己来说,我觉得还是说有些事情其实要应该早投入。因为他这个判,因为为什么呢?就是你今天毕竟你的团队不是GPT-4的团队,不是OpenAI或者Claude的团队,说我已经是专家了,

50:27我只要想明白,到时候去做就完了。往往是说这个领域其实你是懂一点儿,你是懂一点儿,你不是说你不懂,对不对?但其实你懂一点儿,你去去摸索,把这个东西,不管是说你做模型的角度,你去积累数据集,你做产品的角度,你去积累怎么去评估这个事儿,去积累用户的反馈,它都是需要时间的,就不投入是不现实的嘛。

50:50回头前面我说说,你不要不要拦着大家在这视频上花钱,这个花这个钱你是逃不掉的。

任鑫

50:55不拦着,我收钱,我收钱。我以后改变方法,我不拦着他花钱,我收他钱。

徐文浩

51:00你不能说我想明白了,我今天就需要用128块卡去训个模型,你才租卡。你就应该第一天你决定要搞模型了,你今天先租两台16块卡,有了这个卡你会去跑实验,总不能说完全想明白才跑那128卡,这个是不现实的,你就永远就觉得,哎呀,这个投入太大,没法做。

任鑫

51:24诶,然后还有一个特别具体的小问题啊,你刚刚比如说你提到那个Lex Friedman之类的嘛,因为我最近在健身,然后就有更多的时间听这些鬼东西,但是实在太长了。就你会用AI在帮助吗?还是你就真的真的在听啊?这这种东西太长了。

徐文浩

51:42我一般都是读文本,读文本大概时间能够缩。第二个是调那个播放速度嘛。

任鑫

51:47对,我是已经是一点五到两倍速了,但是他他他比如说他采访那个那个Claude的那那一期八个小时,真是听不完啊。但是播客的文本我有点读不下去,就是不知道为什么,就是是太水了。

徐文浩

52:00呃,是比较水,但是读可以读得很快啊。

任鑫

52:03那那就等那种就稍微知名一点的,都会那种那几个中文几大顶会都会发嘛,对吧?

徐文浩

52:10对,我通常是只用个浏览器插件,就它一般这些都有一些三方的都会有转录的文本,然后这个转录文本再用个翻译工具翻成中文,先快速快速读一遍嘛。读了你觉得真的好,你才看,就有些其实你看个十分钟我就不看了。就是这个取决于,因为它内容可能很好,只是不适合我。

52:28比如说典型的是那个Andrej Karpathy前一阵不又上了一个视频,就是讲AI的part two嘛,对不对?大概但是我快速看了前面十分钟,我往后稍微拖了一拖,其实我就没再往后看了,因为我感觉讲的都是我知道的东西。这个是我的另外一个观点,就是你今天尽管有AI了,但是不要过度依赖AI去帮你搞预训练这件事情嘛。

52:54就读文本,读原始内容,本质上是人脑的pretrain嘛。只有base model只有足够强,你才能RL才能RL出东西来。对吧?所以base model是怎么训练的呢?就是是pretrain,pretrain就是要读海量的高质量内容,对吧?

53:09那那你就想办法去输入,就是这个事儿你逃不掉嘛。就是你直接summarize一下,我觉得我自己的体验是说summarize完之后,我觉得就是就是它很可能很长一篇里面对你有用的insight是那几句话,或者几个小段落。但是一旦summarize它是它是把整个东西均匀分布的。

任鑫

53:28我我是觉得说因为有的时候其实我也不需要它的中心思想和那个什么什么主题思想。我我受到的启发都是里面的根本跟主题无关的那些小小段落。就他们莫名其妙提到了说,哎。最近他投的一家小公司涨价了,然后是什么,我就发现,哎,这个我很感兴趣。

53:45或者说他提到了一个特别的一个观察,他们投的公司的一个视角,然后说就画了一个什么四轴,我觉得,哎,这个好。对。然后另外我也很赞同你那个关于pretrain那个想法,就是你哪怕读到的是一个看起来summary的话,但是那个token变少了,所以你受到的影响也变少了。

54:03我们得多用这种高质量的token来训练一下自己。我我在我宝宝身上就特别明显地观察到了,就是我们以为的这种智慧啊、性格啊这种东西的话,我觉得受到了输入的token的巨大的影响。因为他一直是双语的嘛,像我跟我太太都是比较I的人,然后我们是讲中文的,然后就他在讲中文的时候,

54:25他就会比较I一点,小时候就是明显的就是就是个I人。但是呢,他从小他就看YouTube。然后YouTube上他看的都是那个就是那种打游戏的视频啊什么,那里面的人都是,或者看Ryan ToysReview,都是那种啊这种。他只要一讲英文,他整个人就变成了一个一个社牛。

54:42然后然后他只要一讲中文,就变成了一个一个像我一样的I人,但是现在已经快融合了。对对对。但是小时候你就明显的感觉,他输入的语言决定了他的性格和思考。就他的token是哪一类的,他就变往哪一类在变。所以你刚刚讲pretrain,我觉得还真的是真的是在pretrain。

55:00没有,你刚刚讲说听了十分钟就不听的那个,我就在想我们刚刚那个,我们后面聊这些那个产品啊什么的,应该还能够挺吸粉的,嗯。

徐文浩

55:08那个前一阵时间是哪吒火的时候不就已经说了嘛,就是说出来过最重要的是什么?出来过最重要是出来。就是如果你今天真的相信AI,那你就投入嘛,这个投入既包括钱也包括时间,就是而且大概率对吧,它肯定是一个错或者说犯错的过程嘛。回过头来讲,我觉得这也是为什么,就是我自己最近也在想啊,就是说为什么很多时候大家说要找年轻的人啊,

55:32年轻的团队啊,这个这个是个客观事实,就是年轻的团队其实他觉得试错是正常的。就是越成功的偶像包袱越重,越老觉得我这么牛逼,那不应该一把成功嘛,对不对?我这么牛逼,我不不应该我看好了。就从一头就应该,这肯定不是这样的吧,你就对那些公司来讲反而是怎么样呢?

55:51他应该把预算加大,把时间周期拉长,但是不要轻易觉得这事情短期内就能成功,但也不要因为一开始可能花了比如说十万二十万这事情没搞成就觉得这事情不要搞了。他应该把他的预算变成一个,对吧?线性增长分布的东西,对不对?我已经打算花比如说一千万在这事上,那你第一年先不用说一千万吧,五百万花在第一年,第一年可能只花一百万,

56:18第二年花两百万,第三年花三百万,第四年花四百万,打个比方啊。那第一年花一百万你就做好心理准备,对吧?你你可能就得你买一些账号,就是你也是慢慢慢慢往上去投入,你对这个事情才能明确知道嘛。我觉得最终做成的事情都是什么,都得给充足的资源,足够浪费才可能成功。

56:37现在

任鑫

56:37大语言模型,你要给give more tokens to think,这边就需要个浪费,good more resources to waste。

徐文浩

56:43这真的是,我甚至会这样讲,你最后发现你得浪费,不是说你故意要浪费,而是说你也不要太,你如果过于抠抠搜搜,觉得我只能试这一把,那很难成功。就是你去看中国,就看我们中国看传统中国移动互联网,对不对?这一轮出来的那些公司像美团呀,像滴滴呀,早年,就你想,你就想一想,我觉得当年一四一五年就滴滴上线的时候,

57:06我觉得有没有经历过那个时代的人,你今天也很难想象,就打车不要钱啊,对不对?

任鑫

57:10当时也没有想到他们能够做这么大,也完全没有想到。

徐文浩

57:14最后你今天回顾看,你你浪费不一定能够成功啊,但是在这种这种环境下,你不去多投入去做试错,其实你也很难成功。大家来想应该都是两类吧,一类是真的相信,觉得这东西应该投入,还是说你你不是的,你就是因为今天疯了嘛,就是大家情绪,市场情绪上来了,我也要搞一把。

任鑫

57:33那那这样来讲的话,就是你刚刚说的,我们顺着那个说,当我产生了想法,那其实第一个就是研究自己,然后研究市场,然后我把它变成一个well defined problem,然后我再多找人聊,聊完之后的话呢,其实你就是说,那你慢慢清楚了,就是我就想做,那这个时候的话呢,你的建议就是你更耐心一点啊,

57:54你要做。比如说你要花一千万,你把这个时间线拉长一点,开始先小投入一点,然后再加大一点,然后再加大一点。不要指望着自己比如说半年一定成啊,你就默认两十八个月也成不了,但是呢你控制你的成本投入,保证自己在局里面,那你六个月之后你可能你的位置就更好了,你到时候想出来的东西就更靠谱,然后十八个月之后说不定你抓到机会了。

58:16但是不要太呃一定要投入,一定要马上进,但是呢一定不要毕其功于一役。

徐文浩

58:23呃,对啊。我觉得毕其功于一役不是对大部分公司来说是不合理的嘛,毕其功于一役,要么你这个公司已经没办法了,对吧?你就是最后梭哈赌一把了,那那就是你没有的选择嘛,对吧?第二个是说我觉得是你是巨型公司,手上有巨大的资源,比如今天阿里,它有一些你可以认为它是有有一种巨大的投入,

58:43说他们要做巨大的这个基建的投入,然后要做这种all in式的投入,那我觉得有两个,一个是它有一个巨大的体量,同时它手头有巨大的资金,而且有巨大的利润,那它有它可能可以做这个选择,甚至它觉得它花错的钱或者字节,其实你看字节跟阿里都是属于今天其实都做了个选择叫不计代价的投入嘛。

任鑫

59:06阿里在股价上都赚回来了。

徐文浩

59:08也没有也不是梭哈式的说,我今年就必须成,今年不成明年就就就不干了,对吧?字节其实也没有嘛,字节你会看他们,呃,一直在投入,一直你说他是不是拿到市场第一名也没有,对吧?这这个一开始觉得哎呀好像模型好像模型觉得哎把你们都赶超的差不多了然后DeepSeek又出来了。

任鑫

59:27好不容易豆包变成第一了,然后就DeepSeek又搞了。

徐文浩

59:31对,DeepSeek又出来了。DeepSeek出来导致比如说腾讯的元宝又起来了,对吧?但是这字节也没有说,这这是人家有足够多的资本嘛。我觉得对大部分公司,我相信去混沌的这些,呃你周围的这些这些founder啊或者一号位,就是公司还是有体量有资金有钱的。

59:49但是呢,你要指望梭哈能成功,我觉得这个概率太低了。你想,上一代的四小龙这些公司,其实也是有人才有投入的,有大量的AI在投入在里面。那他们梭哈是不是能成功也不一定啊,对不对?

任鑫

1:00:04你你刚刚举了一个例子啊,就是比如说他有一千万投入,分成一百、两百、三百、四百嘛。对,我其实见到的很多的公司的话,当然除了那几个,就比如说大的上市公司那那种级别啊,就对于普通的公司来讲,其实大部分也就是千万的投入。那这这种情况的话,假设我们还这样切一切,就是小几百。

1:00:23那那这种时候他他干嘛呢?他他用这个钱,比如说他是应该花一百万招个人,还是启动这件事情是你比较建议的一个路数?

徐文浩

1:00:33假设啊,我们假设说我就是希望,我打个比方,假设我就是希望投个五百万、一千万,然后它分几年嘛,它可能可能第一年你只有,第一年的投入只有几十万,打个比方。那我觉得第一个就不要去想什么,就就坚决不考虑私有化部署。你的那些钱,你的数据,你的数据没有那么有价值。

1:00:51你的这数据吧,对不对?就是没有那么有价值,你不要担心什么别人把我的数据偷走啦,什么这个。你该用API用API,该用开源用开源,该用SaaS用SaaS。我觉得第一步反而是说,你在你的各个环节里把这些工具先用起来。就是往往我们总觉得说,哎呀,我自己观察,包括我们自己的团队也会有这样,就是我们已经是个AI公司了,

1:01:13已经是所有的这些SaaS啊,都是给大家报销啊,都是不用大家自己掏钱或者怎么样,对吧?你想用什么SaaS,只要不是太贵,立刻就给你买。但是呢,往往往往也会出现,就是说大家每个人都有工作的惯性,是说不一定愿意习惯去用最新的工具。

1:01:30但是呢,一旦强迫用过一两次,慢慢也就习惯了。我自己的观察是这样的,就是比方说你跟产品经理去说,呃,呃,你跟比如说一个设计师说,你多用用AI去做设计,一开始的反应总归是觉得AI做的没有我好,但是用用用用,他最后还是会慢慢觉得有很多事情的确AI就能做了,

1:01:51或者说我跟AI结合在一起效率更高。所以我觉得第一步是任何公司都是先把工具用起来。

任鑫

1:01:57所以你但凡你有一个想要做点AI、什么抓住AI浪潮、颠覆行业,但凡你有这种想法,第一步你先看看你们公司有没有把AI先用起来,先产生肉体的感觉,然后再说,这个就几十万就可以搞定。

徐文浩

1:02:12这个不用几十万,这个可能一年十万块钱就就足够了。第二个我是觉得说,那就是在很多小的点上去试这些,就是你如果是to C的,就试试这些功能或者产品嘛。就是还是我觉得还是说切口找个小,就是有很多典型的切口,什么客服也好呀,或者我产品里做一点这种bot、DeepSeek的这种API的入口也好呀,

1:02:35对吧?你不用去私有化部署,你就,不,这个,你找一个外包的团队,或者说你自己有研发的团队,它也是个十万块钱量级投入就能试的事儿。第三个我觉得其实比较重要。如果你真的相信啊,就是说我觉得你真的是相信想要投入搞这个事儿,这个事情还是个一号位工程,就它是个一把手工程,

1:02:53它不应该是一个说我招一个人进来,这事儿就能解决的。就是我换句话说,如果一个公司你深刻最后觉得你要训模型,它也应该是个一把手工程。一把手工程可能不一定是CEO,但至少你得是个连创,或者在董,在我们经常说在董事会或者高管会议上的人,

1:03:12得花很多时间在具体的细节上。就是你你不了解这个事情,是做不了这样的决策的。你不不不可能指望说我招一个人进来,招一个人进来,第一个是说,第一个他有磨合的时间成本。第二个是说,靠谱好的人很贵啊。你真的招个好的,这个这个领域,好的人还是很贵的,对不对?

任鑫

1:03:32刚刚我们说的那个钱都完全不够一个人。

徐文浩

1:03:35呃,对啊,对啊。招一个好的人,真的通常在你自己没有深入了解之前,这个人好不好,你还没有判断能力。换句话说,你内部得有人快速学习这个事儿。你能从外部招到好的人的前提是你内部有懂行的人。没有懂行的人,人家既不会加入你,也没有能力判断。

任鑫

1:03:51可以啊。那就是先搞清楚市场,然后define这个问题,然后多找人聊,然后开始定一个计划,然后先让自己用起来。用起来之后的话,找到中间一个小切口,不要上来就说我要颠覆行业的一个产品,而是在一件事情上啊,比如说只是客服里面用了一下,对吧?

1:04:08然后搞,然后这个时候自己的人有手感了,然后再考虑要不要招人。哎,你随口说的其实还蛮完整的。

徐文浩

1:04:16对,没有没有。因为我我觉得这事儿其实跟是不是AI是不是也没关系啊。

任鑫

1:04:20对。其实道理都是一样的。那AI有什么区别呢?差别在哪里?

徐文浩

1:04:24我觉得比较大的差别还是说,就是AI的这轮的核心能力,我就说核心能力是提供智能嘛。提供智能的一个好处是说,它是一个典型的滚雪球的状态,就是你越AI越容易越AI。就是你你你的内部,你在内部外部的产品里,你AI用得越多,你越容易引入更多的AI,对吧?

1:04:45这个事儿是一旦一旦,我觉得是一旦过了一个threshold,是比较容易滚雪球滚起来。

任鑫

1:04:50但是之前比如说你要做电商什么的,不也是有一定的网络效应,有一定的叫规模效应也好,怎么也好。也是有,你做得越好就越容易越好吧。

徐文浩

1:05:00之前是说,是我因为做这个业务导致我的组织发生变化。今天是说引入AI,AI这个事情本身会导致导致组织迭代变化。那AI其实不太像电商,或者不太像做App,比较像比如从纸质时代进入PC时代。

任鑫

1:05:18就是其实,嗯,就是它是一种智能嘛。我们以前说人力资源其实是我们管理的是智力资源嘛。那现在智力不光是从人这边来,所以所有的传统的OD,就是组织设计只设计人嘛,你现在要把这个块全设计进去,组织得完全重改。对对对。

1:05:34重新design。

徐文浩

1:05:35对,对的对的,我觉得这个是,这是一个最大的变化。这个其实跟电商啊,跟那个其实不太一样。那个虽然它也要组织变化,但它是因为说我因为做这个业务,我所以组织要设计成这个样子,我做那个业务组织要设成那个样子。但是我觉得这个这轮AI最终带来的是组织内部的形态肯定会大变。

1:05:52我觉得是一些新的公司已经在用一些大变的形式在管理,但是我们不确定是因为他们是创业公司,所以这样比较行得通,还是怎么样。呃。但像包括像我们公司,我觉得包括有很多创业公司,还是在用一个传统的分工的方式在管理。但是呢,是不是这样是最高效的,我觉得肯定是存疑的。

1:06:14是以前往往会觉得,比如说从研发的角度啊,以前往往觉得是说人手不够,比如老板有想法或者产品经理有想法,然后做不来不及做,对吧?老是觉得发版来不及。现在明显是想法跟迭代速度不够,往往是说这个功能设计好了,上线是很快的。就是我们现在基本上是比如后端的研发或者前端的开发,上线迭代速度是很快的,就功能性的开发,模型我们另外说啊。

1:06:40但是往往是这个时候的瓶颈。通常往往到了,对,比如说产品对这个业务的想法或者设计合不合理了。而不是说我今天想了一个东西,我出来我说,哎呀,你们四个人团队为什么要搞一个月?

1:06:52就往往瓶颈不在那个环节了。

任鑫

1:06:54当然其实可能也因为我们都是创过业的人,我们在那个对于什么叫做一个合格的一个业务需求上,可能会提出一些就是本能的有一些要求。你要纯拍脑袋,肯定还是每天可以拍很多的。我们会天然地觉得这事儿真的就不靠谱,先不要不要不要搞。

徐文浩

1:07:13我觉得不完全是,包括有有一些我们想要实验的想法,我觉得是明确的,但是把它转化成一个well-defined problem。就是我的感觉是现在其实带来一个新的挑战,就工作中需要对动脑的比例比动手的比例增加了。就动手的比例,AI更多的能干掉了吧。

1:07:32以前就就是以前你说一个人,我一天能干十二个小时,是为什么呢?比如我在写程序,写增删改查,这事情其实简单的,但是你又不得不自己做,对吧?没有机器能帮你做。今天那部分呢做得特别快,对不对?然后呢,你你但是想明白这个流程应该怎么样,占的占比变多了,占比变多了呢,你会发现这个写作效率的瓶颈在哪个环节就变了。

1:07:55就是你当然有很多理想化的设想,你说,哎,能不能不用产品经理,或者说能不能产品经理就把这个设想了,它就变成自动变成代码,其实都有可能啊。对。但是你会发现这个事情,其实这个是一个到底应该组织应该怎么构造,到底是产品跟研发应该做一块儿,

1:08:10还是它是上下游两个团队还是怎么样?我觉得这个是一个,就是这一轮AI带来,说组织应该怎么变化的一个挑战。

任鑫

1:08:17诶,那我刚好就问一下,因为我最近是在逼自己做一些事情,就是我就是你刚说的脑力劳劳动这部分嘛。我其实本身还是都是跟AI聊一聊,或者说我自己自己弄的。但我最近在逼自己说,能不能把这些事情都稍微规范化一点,就是跟AI,就是就把它可以更多的给AI,

1:08:38更少的我自己搞。那比如说怎么去情报获取,怎么样从情报当中分析机会,怎么样做决策。因为决策我是非常感性的嘛,我就希望说它帮我整体按照我相信的流程给我理,以及怎么样团队管理,怎么样迭代。然后这些东西我都在尝试让AI承担更大的责任,就是我更少,因为我是瓶颈嘛。

1:09:01对。那那这些方面的话,你现在是怎么用AI把你的这个动脑的部分来做得更好的?就是你你会怎么用啊?高抽象的部分

徐文浩

1:09:08做了一些实验,但是我觉得效果不太好。我做过什么实验啊?就是说我去用一些prompt template,我比如说我想写一个需求给我的同事,对吧?以前都是我自己手写嘛,就真打字写一二三四五,就写。就是我写需求一般不会写一个很详细的PRD,因为我们团队都还比较新一点嘛,可能也比较,就是而且希望迭代快,

1:09:30往往是写一二三四五。那我比如说,然后呢我想说,哎,那能不能比方说打字其实也也也也很慢嘛,能不能我模糊一点,或者说我口述,然后AI自动帮我按照我的模板去生成我要的东西。我试下来几个感觉,第一个感觉是说,呃,AI一个很大好处是它比较容易把你的一二三四五可视化出来。

1:09:52就它在微观上效率还是有提升,它能帮你画个示意图,然后你截一下给你的同、给我的同事,或者贴在那个这些项目管理的这个需求管理的这个里面。但是呢,我会发现说,模糊的输入给到AI的缺点是说,它很容易事无巨细。主要是我写是一二三四五,重点跟非重点是明确的,它很容易给我一二三四五,每个“一”下面还有一二三四五,

1:10:17容易重点跟细节不,就是它把握不好这个度。对,但这事儿我觉得挺难的,我自己感觉挺难的,就是我在做一些尝试,但是我其实没有得到特别有成效的做法。那我总结还是我自己的感觉还是两个,感觉这个事情跟做产品、跟做这个、跟刚才说的一样的,可能只能先在一个环节尝试优化,

1:10:40不应该尝试在五个环节同时优化,对吧?就是我今天决策我先不用它做,我先只用它帮我解决这个情报问题,这可能是一种方式。或者我今天只帮它帮我解决完流程整理问题,因为本质上就是你这个prompt流程,你去用它的时候还要迭代嘛,因为最终你还是把它当成个人。

1:10:59这个人你还是需要,而且就就是我们一直举那个例子,他是一个聪明的大学毕业生。一个聪明的大学毕业生到你的公司里来呢,你让他干活,虽然你他很聪明,他也很积极,你跟他说一句话,但是他也能立刻帮你写个文档出来,他的确就是重点就是不明显的。

1:11:15那你就得花时间慢慢地教会他,你其实也是你和他在磨合的过程嘛。你不能在五个环节同时磨合。同时磨合呢,他的能力是挺强的,他没有瓶颈。你你有瓶颈。就是你最后是你脑子,你脑子在五个上下文里去优化流程不行,你还是只能一个流程一个流程优化。

任鑫

1:11:33我现在确实是切开优化的了,但是也是就是经常有惊喜,但是也很难说就完全的那么好,对。

徐文浩

1:11:42对,所以我现在更多的还是说只在一两个环节。我现在比较多的还是在我目前下来比较多的还是在那个,其实还是把它当成一个学习助手。就是一个topic的主题,我会做deep research,做research。然后让它告诉我,比如说我应该读哪些paper,对吧?

1:11:59这些paper我还是会自己读,但是我把它组织在一个project里,各种问题都问它,然后慢慢再整理notes。就是我觉得这个是是明显是有帮助的。然后我尝试让它帮我写需求呢,我发现比较难。难难在哪呢?我觉得最终难在是说它的context太少。

1:12:15你要把你的上下文完整了,输入给它的这个成本就是比较高的,然后你就想算了,还不如自己写。

任鑫

1:12:22哎,你刚说的那两个的话,我都有一点点小尝试。一个是,呃,上下文这边,上次我们不是找余一聊了吗?我后来就写了大概一两千字给他当上下文了。果然就是我觉得效果还是很立竿见影,但是我的我的没有余一效果那么好,因为他的不是一次性写进去的,

1:12:40他是不断打磨出来的。我是一次性写进去了,大概一千五百个字吧,然后就是我让AI不停地问我问题,然后把然后我把那些东西写进去了,然后效果确实还挺好的。但也有一些负效果,就是莫名其妙的那个GPT-4.5,它对于这些东西过于敏感,它就会每次跟我说话都用一种非常诡异的方式开始说话。

1:13:00对。但是整体整体上来讲,context它拿的就比较准了,比如说对于我正在从事什么事情啊,然后我的关注焦点在哪里啊,我喜欢什么书啊,我的风格是什么,它就已经全套知道了。就是稍微花个一个小时时间的话,呃。反正我觉得对一个小时时间的投入来说还是回报非常高的。

1:13:18然后另外一个就是我除了让它学习具体的东西之外,我会我刚问它领域,然后让它推荐我那个,比如说因为用Deep Research你就会,它最多是散嘛,所以我就会让它帮我推荐一百个这个领域的信息源。然后的话,这个也是里面会有大概八九个是还蛮好的信息源,大部分是你知道的或者没什么用的,不知道它怎么怎么搞的。

1:13:42对。但是推荐信息源也是有用的,所以你主要是用在这个领域,先还是学习助手。你会用它反思吗?

徐文浩

1:13:48我其实不太用到反思。我现在用那个GPT-4o不是有一个Scheduled Task嘛,我让它定期问我,定期问我问题。比如说我每个礼拜要做一下,比如说working的工作的summary,或者说上个礼拜做了什么,就是说下计划下个礼拜干什么。

1:14:04就是这个,这样的话它有一个GPT-4o不是有个Scheduled Task嘛,然后到时候它会推一个问你个问题。有道理。我我的weekly review

任鑫

1:14:13我自己定的,我从来就不做,除了下决心的那三个星期。对呀。我应该让GPT来做这件事情。

徐文浩

1:14:22但是我有时候也是,哎呀,周末周末有时候高兴搞的时候搞一下,懒得搞的时候也就没搞。人还是有很多惰性的。

任鑫

1:14:29哎,对。至少提醒了一下嘛,有道理啊。哎,好的。我们今天主要就聊了一下,说那个主要聊的是产品,产品怎么做嘛,尤其是对于不像我们这种,反正已经在这里必须得干的,对,就是那种还在水边上,就是在那边嗨的同学们可以怎么做。

1:14:45然后我觉得你提的东西就已经很完整了。

徐文浩

1:14:48但是我觉得这东西也不需要提啊,这个东西就像我们刚才讲的,其实我们提了一堆东西,到后来想一想,它跟AI不AI,对吧?它跟AI不AI其实也没有什么关系。对,

任鑫

1:14:57大道理都是一样的,所以大家就是还是按照正常做事的方法。好的呀。那欢迎大家那个关注AI炼金术,发给,反正就觉得有用的话,发给自己身边的人,就是这边都是劝你不要花钱的,是吧?

徐文浩

1:15:10我我我劝你花钱,但是我觉得你也不要把它当成是一个,不要不要把它当成是赌博嘛。它是个它是个必然发生的趋势,所以它不是赌博,不是赌博。你就应该,应该怎么说呢,就是你应该把它当成一个你必须要花的预算,把它花,认认真真、正正经经花,

1:15:26但是不要指望说,呃,就是它不是个炒房的过程,它是个慢慢还房贷的过程。

任鑫

1:15:32好比方,可以可以可以可以。对,你要慢慢还房贷,好惨啊。啊,这这这个比方讲完的话,十个人里面有八个人默默地放下了这个念头。

1:15:42然后希望大家就是默默地还房贷,然后十年之后有一套自己的大房子。好的。然后欢迎大家把这个AI炼金术转发给所有认识的人,然后我们这个月能不能破两万粉就靠你了。谢谢谢谢。好的,好。

1:15:57那今天就先到这里。好,拜拜。

徐文浩

1:15:59谢谢谢谢,拜拜。拜拜。

本期词条

选择一期节目开始收听00:00 / 00:00