SparcAI 李智昊:用视频做世界模型,路线非常不本质

- 发布
- 2026 年 5 月 27 日
- 时长
- 55 分
- 主播
- 任鑫
- 嘉宾
- 李智昊
- 收听
- 小宇宙Apple Podcasts喜马拉雅
任鑫邀请 SparcAI 联合创始人李智昊,聊用视频做世界模型这条主流路线为何"不本质",以及 SparcAI 选择的 4D 点云 + Motion 残差表征路径。李智昊认为视频只是 4D 物理世界的有损投影,会丢失深度与前后关系,且 3D VAE 对时间维度的压缩带来致命 latency;正确做法是直接对 4D 空间建模,把点云拆成静态部分与 motion 残差分开压缩。他判断世界模型的壁垒在于表征效率而非数据与算力,并预测 4D 的 Stable Diffusion 时刻会在两年内到来。
- 每一次 AI 跃迁的底层暗线都是压缩表征的突破,语言、图像、3D 都已发生,下一个可能是 4D 物理世界
- 视频被当作 4D 物理世界的有损投影,拍扁那一刻就丢失了深度与前后空间关系等物理规律
- 视频生成派用 3D VAE 压缩原始视频会压缩时间维度,导致 action 的 feedback 延迟几帧甚至一秒,对 simulator 和机器人 RL 是致命的
- SparcAI 以 4D 点云为表征,拆成静态点云与 motion 残差,静态部分用高斯压缩,动态部分单独用小 token 表征
- 大厂难以从表征层面做更改,因为表征一改意味着数据和从数据处理到压缩设计、智能生成的整条管线推倒重来
- 李智昊认为壁垒在于表征效率,而非更多 egocentric 数据和算力;投入错误表征只是逼近天花板而非捅破天花板
- 他类比图像生成找到了 VAE 这一对表征之后迎来 Stable Diffusion 时刻,预测 4D 的对应时刻两年内会被实现
- To C 切入点可能是高精度多人生成式游戏,游戏公司因 3D 一致性需求是天然客户,也可做具身的数据与 simulator 提供方
本期制作
- 剪辑
- 十六颗糖
- 片头
- Shortwire - Reconfig
- 片尾
- Alex Siegel - Daydreaming Pilot
目录
点击跳到对应位置
- 开场:World Model 如雨后春笋,主流从视频出发00:00
- 嘉宾介绍:98 年生、Sparc3D 与 NeurIPS01:30
- 压缩即智能:从语言到物理世界03:18
- 世界模型路线盘点:Runway、李飞飞、Waymo05:22
- 视频是 4D 物理世界的有损投影06:07
- 视频生成派的死结:高 cost 与 latency07:52
- Sparc 的路线:4D 点云 + Motion 残差10:20
- 4D 高斯与点云表征的区别12:08
- 数据从哪来:从视频里敲出 4D 点云14:14
- Sparc3D 的 ablation study 与 3D 打印应用18:54
- 天才的中间态:大厂为何难改表征24:02
- 定位:做底层表征,怎么做成商业26:48
- Next Token Prediction 能否从视频逼出 3D 理解32:22
- 类比图像生成:等待 4D 的表征时刻36:01
- To C 切入点与 OnlyFans 的题外话39:47
- 世界模型赛道全景图:三类玩家44:56
- 非共识判断:壁垒在于表征的效率47:14
- 收尾寄语:做 AI 最痛苦的是地壳会变51:50
文稿
共 595 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见
00:04现在无论是成熟的头部的企业,还是一些初创公司,做World Model如雨后春笋一般,非常非常的多。所以主流的方向,像Waymo的这种simulator,也其实都是从视频出发,把视频当做一个4D物理世界的有损投影,然后在这种有损投影上去做很多建构。
00:28但其实这样会引出非常非常多的问题。每一次表征的更改,都意味着你数据的推倒重来,也意味着你从整个数据处理到你的整个压缩设计、智能生成,所有的管线都可能要被重构。所以在这种巨大的惯性下,是比较难以被做到的,这反而是一些创业公司的机会。
01:00每一次AI的跃迁,压缩表征其实都作为底层的暗线一直在存在。其实本质都是一次压缩表征的突破。我们看到语言、图像、3D都已经发生了。下一个被突破的可能就是4D物理世界的表征,以及建构上建构在它之上的Physical Intelligence。
01:30欢迎大家来到AI炼金术。那我最近一年的话就是持续被震撼嘛,就是各种智能的那个突破,然后又看到Image 2.0那个画画画得那么漂亮,然后又看到Seedance做视频做那么漂亮。接下来的话就觉得说那应该是世界模型会牛逼啊,那就会约朋友找一找说,哎。
01:50那世界模型方面有没有大牛可以推荐给我聊一下?Ella就推荐给我一个人,说,哎,这个人很牛,这个人的话,他那个NeurIPS 2025发论文了,特别牛,Sparc3D。所以的话呢,我就邀请到了那个传说中的大神,智昊同学。我让那个AI帮我查了一下,他是98年生,就是一看就非常年轻啊,就是就是就比我年轻好多。
02:12然后南大本硕,然后新加坡南洋理工大学博士。然后他做的成名作是那个Sparc3D,很有名。2025年那个5月一上线的话,那个demo就冲到了那个Hugging Face的trending第一嘛。然后论文也上了那个NeurIPS嘛。
02:28然后他是这个方向绝对的大神,现在在搞世界模型。那个,正好你要不要介绍一下自己,然后介绍一下你在搞的这个事儿是啥事儿?
03:29对的。其实压缩本身是一种表征的方式嘛,我们可以这样想这件事情。您之前的播客里面,袁语同学提到的,伊利亚当年不是有白纸上画了两个圈,说一个是transformer,一个是reinforcement learning,这俩贴到一块智能就OK了。
03:46其实在语言里面是这样子,因为人类已经把现实世界用语言有损地压过了。你可以通过我们的语言去描绘整个4D物理的空间,虽然你没有办法用回去,有一些有损的信息丢失。所以你压好了之后,那智能只要在这种压好的概率分布上做建模就好了。
04:06所以就到了next token prediction范式。这个时候你只需要有一个模型,有一个算法就OK了,也就是对应transformer和RL,然后我们就把这件事做好。但大家已经耗尽了语料,然后耗尽了所有你能甚至synthetic data,大家就被迫去迈向更广阔的星辰大海,
04:25也就是物理世界。这个时候就有一个东西要作为智能的载体,作为它可探索的那个环境出现,这就是我们现在所提到的World Model,也就是给它提供探索环境。但World Model有个啥问题呢,就是你现在4D的物理世界没有一个很好的表征方式。
04:45语言它是一个太过于有损的压缩。我们可以通过这种语言的形式把4D压制在,但我们这样说话是很难去还原到房间里面每个细节的。所以这个时候大家就在尝试,有没有什么办法把这种世界进行一个建模表征呢?然后一步步的我们就看到了各个World Model的路线,以及我们现在各个探索的方向。
05:11这也是我们想说,压缩即智能确实在很早就被提出来,但它在今天的时代也依然有价值,也包括现在做Physical Intelligence。
05:22你刚刚说有不同的表征的方式,那我现在看到的,比如说像Runway,他们现在那个官网上,他明明是个做视频的,他官网上现在管自己叫World Model,然后这是一种方式嘛,就是视频觉得我们也是对吧,3D4D,有时间对吧。里面你看到那个人儿,他不是个3D的嘛,他也是世界模型。
05:43然后我看那个像比如说李飞飞他们那个,就是你可以控制这些小狗在一个画里面走来走去的。还有像Google那个,Google那个是跟Waymo合作嘛,你就可以帮Waymo在模拟,比如说前面一只大象从你的车子前面走过去,你要怎么反应。
05:58你做的那个SparcAI它是偏向于哪种东西啊?它到底是往哪个方向?因为现在啥都叫World Model,做机器人的也叫自己World Model。
06:07对,这个事情非常有趣,就是现在无论是成熟的头部的企业还是一些初创公司,做World Model如雨后春笋一般,非常非常的多。所以主流的方向就像您刚才所提到的,像Waymo的这种simulator,也包括Runway自己,
06:26其实都是从视频出发。我们把视频当做一个4D物理世界的有损投影,然后在这种有损投影上去做很多建构。但其实这样会引出非常非常多的问题。它被拍扁了那一刻,就很多的物理规律就被丢失掉了。举个最简单的例子,我们两个人相遇这种手之间错过,为什么一直视频生成会有很大的问题?
06:55因为它丢失了这种手的前后关系,深度的空间关系,所以在视频中非常非常难以建模。那在这种有损的表征下,是更难以去学到真实物理世界的规律的。然后除此之外,背后还会有其他的一些问题。我们也知道现在视频生成,大家要微跑一段,需要大概等个十几分钟才能给你生成大概几分几秒钟或者是一分钟的这段视频,
07:21等待时间还是很长的。所以它背后的cost很高。这种非常高cost的表征方式是没有办法很好地支撑你智能的探索的。对于强化学习来说,它需要采集非常非常多的轨迹才能建模出世界的分布,或者是概率的分布,或者是轨迹的分布。
07:43但是呢,如果你生成这么一小段视频都要8k的H200推理这么久,那我们基于它建构的智能又从何谈起呢?另一方面,其实我觉得还有一个现在Video大家所做的通常表征带来的问题,也就是使用3D的VAE对原始的视频进行压缩。这是非常通常的路线了,我们其实从一开始到现在基本都是这样子走的。
08:09但这个其实除了会带来刚才high cost问题,还会带来latency的问题。它不可避免地会对时间维度进行压缩。这样就会导致你在latent space想去做一个action,得到的feedback会在几帧之后,甚至有可能一秒之后才有。
08:27相当于我在Waymo的自动驾驶simulator里面踩了一下刹车,最后我是过了十几帧才得到一个feedback。这样是和真实世界物理规律所偏离的,所建模出来的智能也很难去用到真实的世界。
08:44不好意思,刚刚那一段没有太听懂。为什么我在里面把视频3D化之后,它就会导致我在时间这个维度上会出错?为什么呀?
09:59是的,大家可以这样理解,就是相当于他为了对这个视频做压缩,进行了二次的抽样,所以这个抽样频率会变得更低,所以你做动作带来的时延和下一帧的这种频率也会下降。
10:14了解。那你们是怎么做的?你们在这方面走的是哪个路线?是可以解决这些问题吗?
12:34我想说一下,这个真的很有意思,它其实是一种第一次做到了我们这种4D的场景的一种表示的方法吧,它叫做4D高斯。它其实还是偏向于通过很多很多的视角来做重建。而我们想做的这种全路线的智能,并不只能从重建出发,我们首先得有自己一套方式,
13:00能通过互联网大量的数据来得到我们4D点云的表征。然后下一步,我们还要基于这种表征,把它进行压缩,才能诞生智能。也就是我们刚才所提到的,压缩即智能也好,压缩即智能上限也好,最后一步还是你要把智能真的放到这上面去。所以的话,他们是提供了一种从多视角来得到这种无论4D动态点云还是4D高斯的方式。
13:29但我们想从走一条更general的路,我们能不能从大规模的视频里面就得到这一条。
13:50是的,这个确实是这个样子,是一个比较大的工程,但也是我们所理解智能的一个需求,它一定是一个可被scaling的东西。那如果我通过多视角重建或者是自己去慢慢收集数据,这个scaling的过程是非常非常之慢,我们最好还是借助大量已有可获取的数据来走这一条路线。
14:14那你拿什么样的数据能够练你这个4D的这个呢?用视频吗?因为只有视频是互联网上大规模的。这个怎么用呢?
14:25首先,其实问题分成两部分。第一部分,我们得有一个工具,能从视频里面提取到所谓的4D的点云。另一方面是,我们需要什么样的视频才能被我这个工具很好地提取出来。第一部分,我们如何去造这个工具的时候,我们其实还是需要有一些类似小的规模标注数据来造出这个工具。
14:53其实,互联网上已经有很多公开的数据集能提供这种类似点云的GT也好,类似虚拟环境的数据也好。让我们能得以先把这个锤子造出来。造出来这个能提取的4D点,从视频提取4D点云工具之后,我们就可以从大规模的视频里面提取。那什么样的视频能提取呢?
15:15举一个简单例子,就是如果我的相机有一些移动,那其实这种位姿差很容易提取出来我所谓的4D信息。甚至包括相机不动,如果场景里面有一些motion,我在动,那里面也有4D的这种点云信息。可以类比成自动驾驶里面一个汽车,要么车开过去一段路,要么车不动,其他的车在动,都可以提取到这种4D的点云信息。
15:41所以的话,经过这条路,有了锤子,有了原始的数据,再用锤子把原始数据锤炼成4D点云的格式,这样我们就得到了我们最后的训练数据。
15:53嗯,了解。是不是所有的VR数据也是满足你的要求的?
15:58VR视频确实是一个比较好的,因为它作为一个双目的存在,天然可以通过视差进行反求,得到一些深度的信息。这个确实是我们在造锤子的时候就可以用上的一部分数据。
18:02所以你们是真的建了那个4D的,那你们是怎么表达这个4D的点云呢?你不可能是把所有的点给记下来吧?那个token到底是啥呀?
19:24其实他做了一个ablation study,就是我们刚才一直提到我们的思路里面,压缩的好就可以把智能的上限提高,就比较容易做到更好的智能水平。所以我们当时其实没有去改太多所谓智能的架构,包括它的transformer或者DIT的形式,
19:45或者是像这种流式flow matching生成的形式。我们只想思考一件事情,现在3D的表征以及是不是对的。那这种表征有没有被压缩好,首先第一个问题它就不太是对的。就从我们压缩人的视角来看,它一直在妄图用生成式的方式来建模原本的3D的整个的,
20:10我们叫mesh,也就是你刚才听到的三角面片。然后,但是其实呢,我们其实会有其他更等效性的表征来做一些建模,这是我们第一个来解决的问题。那我们把表征做好。第二个,那我们是否能直接在表征上建模,我们发现这个表征它就像最早的图像里面一样,我们的pixel每个pixel它的分布非常非常的多。
20:36很难直接建模,所以我们对它做了一下压缩,我们把它压到了像刚才跟您提到一样,像3D点云一样,把它压到更少的token里面。这样,我们就可以通过已有的DIT和flow matching的形式,来逐渐逐渐地生成我的3D mesh,做到了更好程度的智能。
20:56这是我们当时的一个ablation study,到底能不能去把压缩做好了,带来下游智能的提升。后来发现确实能在当时确实有非常非常强的精度上的跃进,从当时可能等效精度为256的这种小的分辨率。然后逐渐去一下跃升到像1536这种超高精的分辨率,让游戏资产或者3D打印第一次从小的道具到了人物主模级。
21:26我们认为在当时确实是一个比较让我们自己都惊讶的一篇工作。然后这篇工作确实也得到了NIPS的认可,也有幸能在这种会议上进行一个发表。对,我们一直把它当做我们这种压缩表征方向的一个尝试,然后也是一个成功的尝试吧,在我们看来。
21:49它是一种表征的方式,然后你们发明了一个方式,它可以更好地表征,以及用这种表征的话可以做到精度更高。后面再比如说我们在训练上做next的,比如说next的你这个表征的那个做训练的时候,肯定是更有效,是吧?
22:04是的,
23:18对对对对对对对,这个真的很好。
23:20混元是做得更好。
24:01是的是的。
24:02你们做这个东西,我其实之前是那个高中打奥赛的,然后就认识非常多打奥赛的人。然后打奥赛的人感觉一半在搞AI。然后我就发现这些人其实也挺焦虑的,比如说像我现在,我现在已经技术已经完全丢的一塌糊涂了。所以我就干脆不焦虑了,因为反正我也做不出来。
24:19所以我就老老实实的什么投个资啊,做个小应用啊什么就完了。要不然呢就是像OpenAI,比如说他们就肯定老老实实的得做,得卷嘛,卷死嘛。那中间像你这种天才的话,因为我认识很多天才,我就觉得其实中间的天才其实是最崩溃的,做应用嘛。
24:36你们肯定是大材小用,但是呢你们去做那个大模型,其实你们要竞争的那些对象都是什么OpenAI啊,至少至少是个混元是吧?人家有钱有资源,就是你们的那个竞争烈度是巨强的,就是天才是入门门槛嘛,那个什么融个几个亿美金也就是一个入场券而已,
24:54就很可怕。但是你身上有这个屠龙术,你又不会舍得去杀鸡杀牛。你这种竞争上面你是怎么考虑的?我我认识很多就是天才好像都会卡在这个空中,我想想哎。其实我也过得挺舒服的,你们真的比我纠结。
25:07其实我觉得这反而是我们差异化的优势。就大厂它投入了非常非常巨量的资源去做每一次视频生成的一次训练,然后也投入了非常短的时间期,可能我下一个Q我就要超过我的Seedance 2.0,我有可能要做到3.0,要做得更好。所以他们其实非常非常难以去从表征层面来做更改。
25:38每一次表征的更改都意味着你数据的推倒重来。也意味着你从整个数据处理到你的整个压缩设计、智能生成,所有的管线都可能要被重构。所以在这种巨大的惯性下是比较难以被做到的,这反而是一些创业公司的机会。然后同时我们认为表征层其实是有很大很大的know-how的。
26:04其实我们也看到像Sparc3D这样的工作所被follow的速度会相对于模型侧这种架构上的更改会有更长一段的空窗期。这也是我们觉得表征层它是最根源最本质的东西,也是最可行的东西。另一方面的话,呃。我我觉得主要问题是这几方面吧,
26:31明白了。其实越是小公司越应该做大事是吧?是的是的。对,就叫做大改动,反正小改动嘛,他们肯定他们上的更快,他们更有钱。但是我我一下子从地基开始动起,然后你们已经盖了八层楼,你舍不得瞎搞,我这边直接新起一台地基,
26:48挺有意思的。我觉得比如说世界模型啊,或者因为最后又又可以做视频,又可以做游戏,又可以3D,3D又可以做什么机器的模拟。你你们有定位自己的差异化吗?因为世界模型这个词本来就有一万种解释嘛。那你在场景上,就是用法上,对吧?
27:04你到底是最后for simulation还是for 3D,还是for比如说视频生成,或者for 3D打印,对吧?那你在这个方向上有想过你是要做差异化,还是说我们其实在做底层全做吗?
28:24你现在这个是个学术项目还是一个商业项目啊?就是刚刚听上去觉得还蛮有道理的,就是确实肯定会有这一层,但是觉得它如果是个商业项目的话,这一层它怎么挣钱啊?
29:29你这个表征的方法有没有方法可以让外行能够听明白,你是怎么表征的?
29:36我其实觉得就是两个方面,一个是如何你去找这个锤子去敲出来4D点云,另一方面是4D点云如何去做压缩。如何找这个锤子去敲出来,其实DeepMind也有一些相似的工作,他们也做得非常有趣的一些工作。其实非常简单,就像我刚才举的例子。
29:58那他们就通过我们这样、呃,这样交谈的视频,就可以把我手上关节上的几个点能动态地建模出来,一直在这个空间里面不停地动态地游走,就像您刚才提到鬼魂去漂一样。另一方面,其实是我们组和我自己,还有我们团队一直在沿着压缩这条方向,我们做过非常多3D甚至动态的压缩。
30:22我们会把这些鬼魂分解成两部分:一部分是鬼魂最初始的位置,可以把它当成完全静态;另一部分是鬼魂如何游走,就像它的一个个飘起来的这个motion运动。那对于静态的部分,我们其实就可以借鉴之前无论点云压缩还是Sparc3D里面对于这种体素化的压缩,
30:47或者是我们之前做3D高斯压缩、非常好的3D高斯压缩,本质非常通用,是对静态的压缩。那对于残差的表征,其实就像我们之前做过一些视频项的工作,那对于残差的建模,进行对于残差进行二次压缩,所以它就会表成两部分。这样表征其实也有一个好处,我们现在想让一个视频通过视频模型学习到所谓的action的作用。
31:14就是我可能去打一下一个杯子,杯子往右走,那它其实是建模的下一帧的整个场景。我每一次的这个action对应的都是全场景的生成,它很难得到我直接画的这种杯子位移的影响。但因为我们直接把motion就建模成了压缩好的token,所以这个推移下的作用只会对这个motion产生这一段token,
31:42它有非常非常强的绑定,像一个信号的放大器一样,你在这种情况下就很容易探索出你的智能。
31:51你们那个motion或者说那个delta那个差值是你们的一个token。
31:56Yes。这就是我们一直以来其实从压缩的视角来看待这个问题。无论是我们觉得视频里面也存在这样的问题,然后包括我们其实更还原到物理世界里面也存在这个问题。你其实可以把它解耦开来看待这个问题,你其实可以只存那一部分的motion,这样你就不用非常非常heavy的冗余地去存一帧一帧所有的信息。
32:22你是觉得压缩牛逼的一个路径嘛,对吧?就是智能的通往智能之路嘛。就比如说我们就拿视频为例,他们往极端来讲也可以说视频其实也是一种压缩嘛,因为你这是3D、4D世界的一个投影嘛,投到了一个平面上面。然后的话,只要我量足够大,我其实说不定就可以逼出它后面自己长出一套它对于世界的,就是真正维度的理解,
32:47对吧?假设它视频永远都是perfect的,大概率它里面对于比如说杯子一定是往下掉啊什么这种事情它已经理解了。就是有点像通过
32:57纯粹的语言的next token prediction,结果它里面长出了比如说sentiment的那个neuron。那类似的一个东西的话,是不是我通过二维的这样一个投影,我大量的数据进去train,可以train出它世界背后长出一个3D的正确的理解?这这个可能吗?
33:14还是说你觉得这个不可能的,还是我得搞3D,从三维、四维的角度去搞这个?
33:20其实每个人都有不同的观点。从我的视角来看,这条路径非常非常不本质。因为你妄图从这种海量的数据里面做推理、做建模,它其实并不是一个高效的表征。你有更好的方式来解决这个问题,你可能能学到一些简单的运动。因为我们看到现在视频生成模型越来越好,但是它总会对一些固定的3D信息做很大很大的缺失或缺乏。
33:51很简单例子,它没有办法去做几分钟甚至更短,比如说两分钟,现在就非常非常困难,让一个人走出去。再回到原地,就整个场景都会发生变化。因为这个事情本质,它的本质就是一个4D空间的投影,你应该回到本质的域去做。然后如果想在视频里达到同样效果,它所带来的cost并不是我们近十年或者近二十年可能能被接受的,
34:21它不符合摩尔定律的发展。因为对于视频来说,它每一帧都有大量的token在增长,无论你的场景是否静态。那以这种的思维来考虑这种方向的话,那我们其实可以观察到,如果我走一个一小时或者是更长的——我所产生的token可能已经大概是互联网上所有内容的量级了。
34:45所以我们真的没有办法在现有的技术体系下,或者近十年二十年技术体系下,一下子喂进去这样的上下文长度。这是我们觉得应该回到本质来做这个事情的原因之一。
36:37个人的判断是我不会直接类比GPT,因为实在发展路径特别不一样。所以我觉得可能会类比的像是这种图像的生成。因为其实在22年以前,大家用了非常非常多的Stable Diffusion或者这种架构去做了尝试的图像生成,但是当年的效果一直不是很好,有很大的瓶颈。
37:02后来我们找到了对的表征形式,我们把图像压缩里的VAE引入了进来。后来我们就看到了Stable Diffusion的时刻,那个时刻找到了对的表征。我自然生图生得越来越好,一直延续到今天。所以的话,我觉得现在4D可能就在于一个表征那个关键的点。
37:27如果我们正确的压缩表征做出来了,就会有类似的跳变,我们就真的会做出来4D上的智能,也就是4D上的这种Stable Diffusion的时刻。
38:03我们其实类比的也不只是GAN和Diffusion,更多是Diffusion和后续的Latent Diffusion,也就是Stable Diffusion这条路线。因为我们之前的Diffusion是直接在像素域去做的。我们可以理解为每个像素都是一个,以现在屏幕像素为例,8位色深就是255乘255乘255的状态空间,
38:28每一个pixel都是。那你对于一个非常大的图像,我们都不用说太大,256的图像来说,这个状态空间联合分布都是无穷大的一个分布。在这种分布下,智能是很难建模。这个分布本身,也不用去预测这个分布了。所以我们需要有一种方法来对这个数据进行压缩,压到一个更紧致的分布。
38:54所以他们通过类似KL或者是其他这种加入损失函数的方式,然后使token减少,同时我分布也变得更紧凑,这样就可以更好地被我的生成式模型所建模,因为它是一个更容易被用已有方式所描述出来的分布。
39:36我觉得应该是在两年内,这个我们觉得还是比较有信心的。这个我们确实看到了一些迹象,我们认为两年内会被实现。
39:47我今天还在想说,嗯。如果某个技术,不管是你们做出来,还是比如说GPT发了一个新的或者啥的,那你现在就可以提前开始为这件事情开始做准备了。就有点像应该在那个Stable Diffusion就好用或不好用,中间快变得特别好用之前,就做LLaMA或者做个Miriama,
40:06对吧?就要看这个趋势。比如说假设会在十二个月之后有了一个重大的突破,那这个时候我作为一个创业者,因为作为创业者,其实我根本不care到底是SparcAI
40:17做出来还是ChatGPT做出来,反正就有了这个API了,对吧?牛逼了。这个时间点的话,假设是十二个月,那你觉得我在第九个月的时候,我做一个什么样的东西可以吃到这口红利呢?因为有一个东西牛逼了,就肯定是以前做不到的,很多事情就能做到了,或者成本下降了一百倍嘛。
40:34那我现在可以准备点啥,可以把比如说万一SparcAI牛逼了,我可以借你们这个东风吃到这个红利,做哪些事情是可以吃到的?
40:44这个还蛮有意思的。其实像SparcAI的时候,我们就看到挺多游戏去做AI生成游戏,无论是一些游戏的玩法还是预处理去用到了它,然后也看到了一些3D打印的case。由此大家精度都提起来,现在基于AI生成的3D打印的也越来越多了。
41:05对于我们来说,我想到了一个比较有意思的,可以以To C的视角来切入这个方向,跟大家想做一些To C的小应用,可能是多人的生成式交互式游戏。那我们可以看到现在已经有非常多的尝试了。像世界模型里面的PixVerse或者什么,这样我们可以一个人在一个空间里面进行漫游。
41:27但因为我们真的是有4D物理空间的,但其实很多人都可以放到同一个空间里面做交互游戏,他们不过是不同的camera view的投影。那是不是就可以做成类似当年元宇宙时代想做成的事情,我们一起聚到一起开会开party,那我们就可以在这个4D世界里面一起去做漫游。然后每个人因为有这种我们物理属性的保证,大家看起来都是非常完美的,一样的。
41:56还非常的vivid,我我可能想到一个有可能的方向。
42:06多人联机游戏。是的。多人Minecraft,
42:48我觉得很多很多的技术可能都在类似的方向上会有一些应用。对。当然这个可能也会被用到这些方向上去,这是存在这种可能的。
43:01因为OnlyFans一年的净利好像有小几十亿美金,很很很吓人。对。那你现在有跟游戏公司合作吗?或者说如果有比较好的游戏公司跟你合作,对你的业务有帮助吗?
44:49所以现在就是正在科学家向CEO转型的过程当中。
44:54是的是的。
45:09我觉得从非常high level的全景来看,大概可以分为三类做不同方向的人去切入。第一部分的话是以3D的这一些公司或者是研究者为主,他们更想用以前3D主构物体的形式来把整个世界建构出来。我就一个个物体做生成,一个个物体做所谓的动态仿古来做到这个事情。
45:37这是我们看到非常多的人在沿这条路线去走。我们认为这条路线其实是非常straightforward,但可能存在问题,就像我们刚才提到的。mesh本身对柔体流体是比较困难的表征。另一方面就是我们也刚才提到,非常非常多视频生成的公司也在沿着这条路去走。
46:00然后他们希望以以前视频生成的技术或者角度来加入更多的类似实时,然后包括这种可浏览等方式来做这件事情。但是它不本质,它没有解决视频内在的这种latency,以及它本身的这种冗余性问题。最后一个,我们其实看到很多现在无论具身已有的公司,还是初创公司来做这个事情,他们其实也做了非常非常多的工作,
46:37也在不断注入自己本体相关或者手指相关的condition。我们认为他们这工作非常的不错,然后也为大家带来了一些非常有希望的方向。但他们可能也还没有回归到整个4D物理世界本身的表征,以及基于这种表征范式的预测或者智能。所以的话,我们其实在这整个全景图里面,还算是蛮独特的去切入点的方向。
47:07我们希望回到表征,和从这基于这种表征的智能开始,来做一点不一样的事情。
47:32我觉得现在大部分人认为世界模型的壁垒还在于数据。我去采更多的egocentric的数据,或者遥操数据,或者更多的更困难采集的数据,包括各种模态的数据,才足够建构一个很好的世界模型。因此,在同样的数据量下,我也需要加入更多的算力。
47:58我个人认为,包括我们SparcAI的整个的姿态,还是认为壁垒在于表征的效率。你如果把更多或者是再多的资源投入到错误的表征上,只是把现在的这个天花板逐渐去逼近,去做得更好,而不是把天花板本身去捅破。所以我们其实还想从捅破天花板本身来出发来做这件事情,我们需要更换表征。
48:30这是我刚才提到的,可能目前已有一些玩家已经存在惯性,反而更难去切入的点。也是我觉得大家现在出来创业的机会点。你其实可以有机会在世界模型的这个大背景下,把所有的一切推倒重来,去做一个你认为更好的世界模型。
50:20但它除了表征以外,它更像是一种压缩了,已经压缩完的表征了。
50:24我们一直在提,就是同时要做压缩嘛,它其实压缩表征是一体化的。
51:08我觉得这个case会更能说明一些问题。
51:11对对对。我就想说找一个就是,当然虽然我觉得听到这里的听众基本上应该还是有点底子的。只是我刚才在想怎么可以举个例子来说明说你在做那个方向上为什么这事表征本身是一个发明。就是其实信息的表征本身就就是一种发明,就是一个很伟大的一个创造,对。
51:32因为表达信息的方式,对。甚至包括乐谱也是一种表征嘛。对。希望以后可以看到你的世界模型要要出什么。之前的话告诉我一声,我们提前几个月可以再埋伏一些什么应用的方向,说,哎呀。
51:45技术上马上就要突破了,我们提前埋伏应用,要不然来不及了。对,就可以赶紧做。那最后如果用一句话来收尾的话,你希望说那个观众就是记住什么,或者说对于想要在呃跟3D啊跟图像啊有这方面创业的听众来讲的话,有什么建议都可以。
52:04我这样说的话,其实每一次AI的跃迁,压缩表征其实都作为底层的暗线一直在存在。其实本质都是一次压缩表征的突破。我们看到语言、图像、3D都已经发生了。下一个被突破的可能就是4D物理世界的表征,以及建构上建构在它之上的Physical Intelligence。
53:00感谢任总。
53:42任总实在是太过于夸张。好。谢谢谢谢大家。
53:45谢谢谢谢谢谢。好,谢谢,拜拜,拜拜,拜拜,拜拜。
本期词条
重点词条
本期重点讨论的人、公司、产品和概念,按出现顺序。
人物李智昊
人物袁语