AI炼金术徐文浩 × 任鑫 Mars · 聊 AI 如何真实地改变生意和组织

SparcAI 李智昊:用视频做世界模型,路线非常不本质

AI炼金术节目封面
发布
2026 年 5 月 27 日
时长
55 分
主播
任鑫
嘉宾
李智昊
收听
小宇宙Apple Podcasts喜马拉雅

任鑫邀请 SparcAI 联合创始人李智昊,聊用视频做世界模型这条主流路线为何"不本质",以及 SparcAI 选择的 4D 点云 + Motion 残差表征路径。李智昊认为视频只是 4D 物理世界的有损投影,会丢失深度与前后关系,且 3D VAE 对时间维度的压缩带来致命 latency;正确做法是直接对 4D 空间建模,把点云拆成静态部分与 motion 残差分开压缩。他判断世界模型的壁垒在于表征效率而非数据与算力,并预测 4D 的 Stable Diffusion 时刻会在两年内到来。

  • 每一次 AI 跃迁的底层暗线都是压缩表征的突破,语言、图像、3D 都已发生,下一个可能是 4D 物理世界
  • 视频被当作 4D 物理世界的有损投影,拍扁那一刻就丢失了深度与前后空间关系等物理规律
  • 视频生成派用 3D VAE 压缩原始视频会压缩时间维度,导致 action 的 feedback 延迟几帧甚至一秒,对 simulator 和机器人 RL 是致命的
  • SparcAI 以 4D 点云为表征,拆成静态点云与 motion 残差,静态部分用高斯压缩,动态部分单独用小 token 表征
  • 大厂难以从表征层面做更改,因为表征一改意味着数据和从数据处理到压缩设计、智能生成的整条管线推倒重来
  • 李智昊认为壁垒在于表征效率,而非更多 egocentric 数据和算力;投入错误表征只是逼近天花板而非捅破天花板
  • 他类比图像生成找到了 VAE 这一对表征之后迎来 Stable Diffusion 时刻,预测 4D 的对应时刻两年内会被实现
  • To C 切入点可能是高精度多人生成式游戏,游戏公司因 3D 一致性需求是天然客户,也可做具身的数据与 simulator 提供方

本期制作

剪辑
十六颗糖
片头
Shortwire - Reconfig
片尾
Alex Siegel - Daydreaming Pilot

文稿

共 595 句 · 点段首时间或句子从该处收听,双下划线是重点词条,其他词条悬停可见

李智昊

00:04现在无论是成熟的头部的企业,还是一些初创公司,做World Model如雨后春笋一般,非常非常的多。所以主流的方向,像Waymo的这种simulator,也其实都是从视频出发,把视频当做一个4D物理世界的有损投影,然后在这种有损投影上去做很多建构。

00:28但其实这样会引出非常非常多的问题。每一次表征的更改,都意味着你数据的推倒重来,也意味着你从整个数据处理到你的整个压缩设计、智能生成,所有的管线都可能要被重构。所以在这种巨大的惯性下,是比较难以被做到的,这反而是一些创业公司的机会。

01:00每一次AI的跃迁,压缩表征其实都作为底层的暗线一直在存在。其实本质都是一次压缩表征的突破。我们看到语言、图像、3D都已经发生了。下一个被突破的可能就是4D物理世界的表征,以及建构上建构在它之上的Physical Intelligence。

任鑫

01:30欢迎大家来到AI炼金术。那我最近一年的话就是持续被震撼嘛,就是各种智能的那个突破,然后又看到Image 2.0那个画画画得那么漂亮,然后又看到Seedance做视频做那么漂亮。接下来的话就觉得说那应该是世界模型会牛逼啊,那就会约朋友找一找说,哎。

01:50那世界模型方面有没有大牛可以推荐给我聊一下?Ella就推荐给我一个人,说,哎,这个人很牛,这个人的话,他那个NeurIPS 2025发论文了,特别牛,Sparc3D。所以的话呢,我就邀请到了那个传说中的大神,智昊同学。我让那个AI帮我查了一下,他是98年生,就是一看就非常年轻啊,就是就是就比我年轻好多。

02:12然后南大本硕,然后新加坡南洋理工大学博士。然后他做的成名作是那个Sparc3D,很有名。2025年那个5月一上线的话,那个demo就冲到了那个Hugging Face的trending第一嘛。然后论文也上了那个NeurIPS嘛。

02:28然后他是这个方向绝对的大神,现在在搞世界模型。那个,正好你要不要介绍一下自己,然后介绍一下你在搞的这个事儿是啥事儿?

李智昊

02:35智昊,刚才AI查的真的是挺对的,然后我是98年南大的本硕,这些都没什么问题。我去年确实做了Sparc3D这一个工作,也是沿着我们一直以来的一条路线,我们觉得压缩可以提升智能的方向,智能的上限。然后做了3D,最近尝试了一下Video也OK。

02:56然后所以呢,我们就在想,有没有其他地方我们再来做一下尝试,就到了世界模型。我们其实也看到了很多现在语言中的问题,包括几家去做世界模型的路线可能存在的问题,所以我们想从压缩这个视角作为切入点。看看我们能不能做的其他的不一样的东西。

任鑫

03:18那像压缩就是智能这件事情,我好像最开始是听Ilya的演讲里面就听过这句话,不过他讲的好像是压语言,你们是觉得应该压世界是吧?

李智昊

03:29对的。其实压缩本身是一种表征的方式嘛,我们可以这样想这件事情。您之前的播客里面,袁语同学提到的,伊利亚当年不是有白纸上画了两个圈,说一个是transformer,一个是reinforcement learning,这俩贴到一块智能就OK了。

03:46其实在语言里面是这样子,因为人类已经把现实世界用语言有损地压过了。你可以通过我们的语言去描绘整个4D物理的空间,虽然你没有办法用回去,有一些有损的信息丢失。所以你压好了之后,那智能只要在这种压好的概率分布上做建模就好了。

04:06所以就到了next token prediction范式。这个时候你只需要有一个模型,有一个算法就OK了,也就是对应transformer和RL,然后我们就把这件事做好。但大家已经耗尽了语料,然后耗尽了所有你能甚至synthetic data,大家就被迫去迈向更广阔的星辰大海,

04:25也就是物理世界。这个时候就有一个东西要作为智能的载体,作为它可探索的那个环境出现,这就是我们现在所提到的World Model,也就是给它提供探索环境。但World Model有个啥问题呢,就是你现在4D的物理世界没有一个很好的表征方式。

04:45语言它是一个太过于有损的压缩。我们可以通过这种语言的形式把4D压制在,但我们这样说话是很难去还原到房间里面每个细节的。所以这个时候大家就在尝试,有没有什么办法把这种世界进行一个建模表征呢?然后一步步的我们就看到了各个World Model的路线,以及我们现在各个探索的方向。

05:11这也是我们想说,压缩即智能确实在很早就被提出来,但它在今天的时代也依然有价值,也包括现在做Physical Intelligence。

任鑫

05:22你刚刚说有不同的表征的方式,那我现在看到的,比如说像Runway,他们现在那个官网上,他明明是个做视频的,他官网上现在管自己叫World Model,然后这是一种方式嘛,就是视频觉得我们也是对吧,3D4D,有时间对吧。里面你看到那个人儿,他不是个3D的嘛,他也是世界模型。

05:43然后我看那个像比如说李飞飞他们那个,就是你可以控制这些小狗在一个画里面走来走去的。还有像Google那个,Google那个是跟Waymo合作嘛,你就可以帮Waymo在模拟,比如说前面一只大象从你的车子前面走过去,你要怎么反应。

05:58你做的那个SparcAI它是偏向于哪种东西啊?它到底是往哪个方向?因为现在啥都叫World Model,做机器人的也叫自己World Model。

李智昊

06:07对,这个事情非常有趣,就是现在无论是成熟的头部的企业还是一些初创公司,做World Model如雨后春笋一般,非常非常的多。所以主流的方向就像您刚才所提到的,像Waymo的这种simulator,也包括Runway自己,

06:26其实都是从视频出发。我们把视频当做一个4D物理世界的有损投影,然后在这种有损投影上去做很多建构。但其实这样会引出非常非常多的问题。它被拍扁了那一刻,就很多的物理规律就被丢失掉了。举个最简单的例子,我们两个人相遇这种手之间错过,为什么一直视频生成会有很大的问题?

06:55因为它丢失了这种手的前后关系,深度的空间关系,所以在视频中非常非常难以建模。那在这种有损的表征下,是更难以去学到真实物理世界的规律的。然后除此之外,背后还会有其他的一些问题。我们也知道现在视频生成,大家要微跑一段,需要大概等个十几分钟才能给你生成大概几分几秒钟或者是一分钟的这段视频,

07:21等待时间还是很长的。所以它背后的cost很高。这种非常高cost的表征方式是没有办法很好地支撑你智能的探索的。对于强化学习来说,它需要采集非常非常多的轨迹才能建模出世界的分布,或者是概率的分布,或者是轨迹的分布。

07:43但是呢,如果你生成这么一小段视频都要8k的H200推理这么久,那我们基于它建构的智能又从何谈起呢?另一方面,其实我觉得还有一个现在Video大家所做的通常表征带来的问题,也就是使用3D的VAE对原始的视频进行压缩。这是非常通常的路线了,我们其实从一开始到现在基本都是这样子走的。

08:09但这个其实除了会带来刚才high cost问题,还会带来latency的问题。它不可避免地会对时间维度进行压缩。这样就会导致你在latent space想去做一个action,得到的feedback会在几帧之后,甚至有可能一秒之后才有。

08:27相当于我在Waymo的自动驾驶simulator里面踩了一下刹车,最后我是过了十几帧才得到一个feedback。这样是和真实世界物理规律所偏离的,所建模出来的智能也很难去用到真实的世界。

任鑫

08:44不好意思,刚刚那一段没有太听懂。为什么我在里面把视频3D化之后,它就会导致我在时间这个维度上会出错?为什么呀?

李智昊

08:54并不是出错,而是指现在3D的方式是对时间维度进行了压缩。所以的话,在它的压缩域,一个小的token就对应了原本可能几帧甚至几秒的时间。所以你在这个小的token上做任何这种action的注入,都得等到下个token才生效。

09:21那下个token生效了,是不是就过了好几帧甚至几秒的时间了?这个就是带来了我所谓玩游戏的时候大家卡顿,我网卡了,操作一下,可能过了很久。我这个游戏画面才变动,这个对于你真实的simulator来说是非常非常致命的。

任鑫

09:40我可不可以理解,假如说是我的小朋友,比如说他在玩Minecraft,他本来是个3D游戏,那个世界是凌乱的。但是如果他是在看电影的话呢,其实他是每每秒钟比如说30帧,然后的话你在抽样的时候,甚至于可能为了简单的会可能要抽一次样。所以其实那个抽样的那个间隔在那里。

李智昊

09:59是的,大家可以这样理解,就是相当于他为了对这个视频做压缩,进行了二次的抽样,所以这个抽样频率会变得更低,所以你做动作带来的时延和下一帧的这种频率也会下降。

任鑫

10:14了解。那你们是怎么做的?你们在这方面走的是哪个路线?是可以解决这些问题吗?

李智昊

10:20对。我们现在在尝试正在走的路线是直接对4D空间进行建模。我们会以4D点云作为一个表征的形式,然后把4D点云进行一种拆分。这样的话,我们其实就会得到了很好的一个静态点云和它的motion来组成的4D结构。所以我们其实每一步只去建模这个motion的残差。

10:47所以我做一个很小的action,我立马只有motion这一点小的token改变。这种的话,我们对motion的压缩率就可以把它做得很好,然后也避免了时延的问题。因为我每次只压一个小的残差,不会把整张图像进行压缩,我们是还原到4D物理世界来考虑到这个事情。

任鑫

11:08我可不可以这样理解一下,就是因为大部分人我们现在打的游戏,他看到的其实不是点云嘛,他看到的是一个很多三角的面嘛,对吧?是的是的。是不是游戏里面那个就是一堆的面儿,然后你这边就有点像那种鬼魂,对吧?鬼魂是点。

11:23对的

李智昊

11:23对的对的。我们没有用面其实也有考虑的方式。其实我们也做过很长一段时间3D生成,在那个年代我们也在用面来做表征。这个时候就会有一个问题,面是很难做太多柔体,包括这种流体的模拟的,因为面本身的形变是比较难以表征的。但如果我们只考虑一堆空间中分隔开的点,它之间的距离放大,天然就是一种模体油体的或者柔体的模拟。

11:54比如说你可以想象,把一张我们这样手的变动,其实就是几个关节点的变化,我们可以把每个关节点想成一个动态点云。这个是我们做这种表征的中间态的一种考虑。

任鑫

12:08我在去年见过一个技术,然后跟你这个有没有关系啊?我见过一个4D高斯的技术,就是他们搞了比如说三十台iPhone拍一个女团,后面就可以就可以在拍完之后重新改运镜,是可以飞来飞去的,然后你再怎么重拍是可以重拍的。就而且还可以把一个女生从那边调出来,然后单独放到另外一个场景里面去。

12:30就这个跟你这个技术的路线是类似的一个方向吗?

李智昊

12:34我想说一下,这个真的很有意思,它其实是一种第一次做到了我们这种4D的场景的一种表示的方法吧,它叫做4D高斯。它其实还是偏向于通过很多很多的视角来做重建。而我们想做的这种全路线的智能,并不只能从重建出发,我们首先得有自己一套方式,

13:00能通过互联网大量的数据来得到我们4D点云的表征。然后下一步,我们还要基于这种表征,把它进行压缩,才能诞生智能。也就是我们刚才所提到的,压缩即智能也好,压缩即智能上限也好,最后一步还是你要把智能真的放到这上面去。所以的话,他们是提供了一种从多视角来得到这种无论4D动态点云还是4D高斯的方式。

13:29但我们想从走一条更general的路,我们能不能从大规模的视频里面就得到这一条。

任鑫

13:35哦,了解。所以类比到transformer那边的话,就先得想出来一个比如说,要不然是猜下一个词儿,要不然是填空的这些这个方法,把把数据给用上,把那个核儿给练出来,练出来之后还得做一个ChatGPT把它用,你还有三步要走,

13:49是吧?

李智昊

13:50是的,这个确实是这个样子,是一个比较大的工程,但也是我们所理解智能的一个需求,它一定是一个可被scaling的东西。那如果我通过多视角重建或者是自己去慢慢收集数据,这个scaling的过程是非常非常之慢,我们最好还是借助大量已有可获取的数据来走这一条路线。

任鑫

14:14那你拿什么样的数据能够练你这个4D的这个呢?用视频吗?因为只有视频是互联网上大规模的。这个怎么用呢?

李智昊

14:25首先,其实问题分成两部分。第一部分,我们得有一个工具,能从视频里面提取到所谓的4D的点云。另一方面是,我们需要什么样的视频才能被我这个工具很好地提取出来。第一部分,我们如何去造这个工具的时候,我们其实还是需要有一些类似小的规模标注数据来造出这个工具。

14:53其实,互联网上已经有很多公开的数据集能提供这种类似点云的GT也好,类似虚拟环境的数据也好。让我们能得以先把这个锤子造出来。造出来这个能提取的4D点,从视频提取4D点云工具之后,我们就可以从大规模的视频里面提取。那什么样的视频能提取呢?

15:15举一个简单例子,就是如果我的相机有一些移动,那其实这种位姿差很容易提取出来我所谓的4D信息。甚至包括相机不动,如果场景里面有一些motion,我在动,那里面也有4D的这种点云信息。可以类比成自动驾驶里面一个汽车,要么车开过去一段路,要么车不动,其他的车在动,都可以提取到这种4D的点云信息。

15:41所以的话,经过这条路,有了锤子,有了原始的数据,再用锤子把原始数据锤炼成4D点云的格式,这样我们就得到了我们最后的训练数据。

任鑫

15:53嗯,了解。是不是所有的VR数据也是满足你的要求的?

李智昊

15:58VR视频确实是一个比较好的,因为它作为一个双目的存在,天然可以通过视差进行反求,得到一些深度的信息。这个确实是我们在造锤子的时候就可以用上的一部分数据。

任鑫

16:13当你造出来了之后的话。就比如说GPT其实就是在predict next token嘛,假设你造出来了,理论上来讲你是可以用来做生成视频的,或者说至少那些生成视频的下一帧的prediction其实是可以用来逼你的model进一步压缩,

16:28自己压对的。是吧?嗯。

李智昊

16:31我觉得somehow它真的是可以做成一个视频生成,因为你可以理解为视频永远是4D世界一个投影。如果你一帧一帧的可以生成4D点云的运动,然后你可以得到下一个state 4D点云。那你就可以通过投影的方式得到一个视频。你当然你可能需要有一个中间层做一个refinement,做一些风格转换,但是这件事情从原理上我认为是可行的。

任鑫

16:58这个路线的话,因为这块其实不是很懂啊,我就看了一些花里胡哨的东西。跟比如说像李飞飞啊、Google啊或者什么英伟达什么的,他们都在做这种东西嘛。他们看着好像有一些也是一些点云啊啥啥的,对。区别是什么呀?

李智昊

17:14我们其实看到过有一些类似通过点云condition的视频生成,但是他们其实还是从之前要么之前一帧两帧的视频里,就是每一帧都会生成一个3D点云,每一帧生成3D点云,之间是完全孤立的,没有去做这种correlation,而且它只当做我下一个camera view的condition做注入,它没有回到一切的本质性问题,

17:44或者是最低性原理的视角,直接对4D的那个点云建模好后,在上面进行压缩和生成。本质上它还是一个video generation,只不过通过这种方式确实有一些更好的3D特性,但它并不本质。

任鑫

18:02所以你们是真的建了那个4D的,那你们是怎么表达这个4D的点云呢?你不可能是把所有的点给记下来吧?那个token到底是啥呀?

李智昊

18:15我们token是对于这种点云进行压缩。就是点云压缩其实我之前的实验室做过非常非常多的工作。你并不需要把每一个点每一个点都完整地记录下来。你只需要通过压缩的方式压成一些非常compact的token来做记录。举个简单例子,如果我背后的这样白墙,它其实没有什么信息的熵,它就可以被很简单的几个token所表征。

18:43对于高复杂运动区域就会被更多的token所表征。所以,本身的点虽然很多,但经过压缩后的token反而会更少。

任鑫

18:54或者我们再回到一个具体的东西啊,就是有一个很成名作是那个Sparc3D嘛。就那个东西它牛在哪里啊?对我这种外行能够解释一下吗?我就问了一下,然后说能够上那个NeurIPS是很牛的一件事情。说上了的话就会被各大Frontier Lab就会疯抢。

19:12对。AI是这么跟我解释的,说只要上了这个的话,OpenAI、Anthropic都会抢这个人,大概是这么个意思。我就说哦,好的。我大概知道了。你那篇文章牛在哪里?

19:20你能不能让我这种外行能够get到一下?

李智昊

19:24其实他做了一个ablation study,就是我们刚才一直提到我们的思路里面,压缩的好就可以把智能的上限提高,就比较容易做到更好的智能水平。所以我们当时其实没有去改太多所谓智能的架构,包括它的transformer或者DIT的形式,

19:45或者是像这种流式flow matching生成的形式。我们只想思考一件事情,现在3D的表征以及是不是对的。那这种表征有没有被压缩好,首先第一个问题它就不太是对的。就从我们压缩人的视角来看,它一直在妄图用生成式的方式来建模原本的3D的整个的,

20:10我们叫mesh,也就是你刚才听到的三角面片。然后,但是其实呢,我们其实会有其他更等效性的表征来做一些建模,这是我们第一个来解决的问题。那我们把表征做好。第二个,那我们是否能直接在表征上建模,我们发现这个表征它就像最早的图像里面一样,我们的pixel每个pixel它的分布非常非常的多。

20:36很难直接建模,所以我们对它做了一下压缩,我们把它压到了像刚才跟您提到一样,像3D点云一样,把它压到更少的token里面。这样,我们就可以通过已有的DIT和flow matching的形式,来逐渐逐渐地生成我的3D mesh,做到了更好程度的智能。

20:56这是我们当时的一个ablation study,到底能不能去把压缩做好了,带来下游智能的提升。后来发现确实能在当时确实有非常非常强的精度上的跃进,从当时可能等效精度为256的这种小的分辨率。然后逐渐去一下跃升到像1536这种超高精的分辨率,让游戏资产或者3D打印第一次从小的道具到了人物主模级。

21:26我们认为在当时确实是一个比较让我们自己都惊讶的一篇工作。然后这篇工作确实也得到了NIPS的认可,也有幸能在这种会议上进行一个发表。对,我们一直把它当做我们这种压缩表征方向的一个尝试,然后也是一个成功的尝试吧,在我们看来。

任鑫

21:49它是一种表征的方式,然后你们发明了一个方式,它可以更好地表征,以及用这种表征的话可以做到精度更高。后面再比如说我们在训练上做next的,比如说next的你这个表征的那个做训练的时候,肯定是更有效,是吧?

李智昊

22:04是的,

任鑫

22:05是的。那具体它有什么用呢?我刚听你讲说游戏资产,比如说黑神话悟空打过,它那些东西号称就是扫描来的嘛,是你们就可以更便宜的生成里面的庙。

李智昊

22:15是的。对于,但是黑神话悟空我还是得说,这个精度实在是太高了。对于这种像毛发级的,我们现在确实还有一些很长的一段路要走。但是对于一些可能普通的3A游戏来讲,他们的开发流程就会变成一个人物,我只上传一张图片,

22:37就得到了这个人物的模型,然后就很快很快地迭代起来。像黑神话悟空,我们也看到最近非常非常多的头部厂商也follow整条一直以来的表征脉络做得越来越好。我相信在今年或者明年,到黑神话,大家都可以能做到黑神话这种悟空的level。

22:59也相信游戏科学会更快的能迭代出下一款爆款的游戏。

任鑫

23:05那像你刚刚说,比如说传一张图,我我合伙人带着我宝宝在玩3D打印机,然后就拿我小朋友画的东西,他拿好像是拿那个腾讯的混元,他就直接把它做。

李智昊

23:18对对对对对对对,这个真的很好。

任鑫

23:20混元是做得更好。

李智昊

23:22对,当时我们确实做的比混元好一些,然后从精度上,我们当时举个例子,就是现在一般的打印机还是基于喷墨的打印机,当时混元的精度还是距离直接打印成比较精美的小手办有一定的距离。然后我们是让这种小手办级的打印第一次能搬到现实社会中,如果小朋友喜欢一些卡通人物,

23:50想做一个偶像陪伴自己,就真的可以打印出来自己设计的偶像的形象。

任鑫

23:56就是类似于混元的东西,但是你们可以有,可以做到精度比较高。

李智昊

24:01是的是的。

任鑫

24:02你们做这个东西,我其实之前是那个高中打奥赛的,然后就认识非常多打奥赛的人。然后打奥赛的人感觉一半在搞AI。然后我就发现这些人其实也挺焦虑的,比如说像我现在,我现在已经技术已经完全丢的一塌糊涂了。所以我就干脆不焦虑了,因为反正我也做不出来。

24:19所以我就老老实实的什么投个资啊,做个小应用啊什么就完了。要不然呢就是像OpenAI,比如说他们就肯定老老实实的得做,得卷嘛,卷死嘛。那中间像你这种天才的话,因为我认识很多天才,我就觉得其实中间的天才其实是最崩溃的,做应用嘛。

24:36你们肯定是大材小用,但是呢你们去做那个大模型,其实你们要竞争的那些对象都是什么OpenAI啊,至少至少是个混元是吧?人家有钱有资源,就是你们的那个竞争烈度是巨强的,就是天才是入门门槛嘛,那个什么融个几个亿美金也就是一个入场券而已,

24:54就很可怕。但是你身上有这个屠龙术,你又不会舍得去杀鸡杀牛。你这种竞争上面你是怎么考虑的?我我认识很多就是天才好像都会卡在这个空中,我想想哎。其实我也过得挺舒服的,你们真的比我纠结。

李智昊

25:07其实我觉得这反而是我们差异化的优势。就大厂它投入了非常非常巨量的资源去做每一次视频生成的一次训练,然后也投入了非常短的时间期,可能我下一个Q我就要超过我的Seedance 2.0,我有可能要做到3.0,要做得更好。所以他们其实非常非常难以去从表征层面来做更改。

25:38每一次表征的更改都意味着你数据的推倒重来。也意味着你从整个数据处理到你的整个压缩设计、智能生成,所有的管线都可能要被重构。所以在这种巨大的惯性下是比较难以被做到的,这反而是一些创业公司的机会。然后同时我们认为表征层其实是有很大很大的know-how的。

26:04其实我们也看到像Sparc3D这样的工作所被follow的速度会相对于模型侧这种架构上的更改会有更长一段的空窗期。这也是我们觉得表征层它是最根源最本质的东西,也是最可行的东西。另一方面的话,呃。我我觉得主要问题是这几方面吧,

任鑫

26:31明白了。其实越是小公司越应该做大事是吧?是的是的。对,就叫做大改动,反正小改动嘛,他们肯定他们上的更快,他们更有钱。但是我我一下子从地基开始动起,然后你们已经盖了八层楼,你舍不得瞎搞,我这边直接新起一台地基,

26:48挺有意思的。我觉得比如说世界模型啊,或者因为最后又又可以做视频,又可以做游戏,又可以3D,3D又可以做什么机器的模拟。你你们有定位自己的差异化吗?因为世界模型这个词本来就有一万种解释嘛。那你在场景上,就是用法上,对吧?

27:04你到底是最后for simulation还是for 3D,还是for比如说视频生成,或者for 3D打印,对吧?那你在这个方向上有想过你是要做差异化,还是说我们其实在做底层全做吗?

李智昊

27:18我们其实真的是在做底层全做,我们这一层的质量和效率会决定下游的这些层能走得多远,能走得多好。其实分几层去看,做3D资产的公司会基于这种4D点云,去掉时间维度,把某一个物体抠出来,然后就可以作为很好的一个condition的一个方向也好,投影的方向也好。

27:46做视频的公司其实用4D点云来做一个camera view的投影,也会得到一个更好的视频层。那做机器人的公司。如果把机器人直接放到这种4D的representation里面去做探索,其实也可以做更好的这种智能的学习,强化学习的任务。

28:07所以我们定位自己去在做一个更上层的表征,作为各层的一个上层建筑的一个存在。

任鑫

28:24你现在这个是个学术项目还是一个商业项目啊?就是刚刚听上去觉得还蛮有道理的,就是确实肯定会有这一层,但是觉得它如果是个商业项目的话,这一层它怎么挣钱啊?

李智昊

28:36我觉得其实蛮直接的,就是在比较初期的阶段的话,它其实完全可以当做具身的数据或者具身的simulator,作为他们很好的提供方,来做一些这种类似我们可以产生动态的数据来供你去做探索。也可以作为你们evaluation很好的工具,你不用再去跑到真机上,我们研究员坐到真机面前,

29:01一起来摆动半天才能验证一个算法是否有效。我们就可以直接在这种simulation里面去做。长期来看的话,我们认为自己其实有很强的信心。基于自己的表征去设计出一种新的适应表征的智能化算法,两者会以一种合线的方式合起来,我们自己会成为一个通向这种physical intelligence路上的一个前驱者。

任鑫

29:29你这个表征的方法有没有方法可以让外行能够听明白,你是怎么表征的?

李智昊

29:36我其实觉得就是两个方面,一个是如何你去找这个锤子去敲出来4D点云,另一方面是4D点云如何去做压缩。如何找这个锤子去敲出来,其实DeepMind也有一些相似的工作,他们也做得非常有趣的一些工作。其实非常简单,就像我刚才举的例子。

29:58那他们就通过我们这样、呃,这样交谈的视频,就可以把我手上关节上的几个点能动态地建模出来,一直在这个空间里面不停地动态地游走,就像您刚才提到鬼魂去漂一样。另一方面,其实是我们组和我自己,还有我们团队一直在沿着压缩这条方向,我们做过非常多3D甚至动态的压缩。

30:22我们会把这些鬼魂分解成两部分:一部分是鬼魂最初始的位置,可以把它当成完全静态;另一部分是鬼魂如何游走,就像它的一个个飘起来的这个motion运动。那对于静态的部分,我们其实就可以借鉴之前无论点云压缩还是Sparc3D里面对于这种体素化的压缩,

30:47或者是我们之前做3D高斯压缩、非常好的3D高斯压缩,本质非常通用,是对静态的压缩。那对于残差的表征,其实就像我们之前做过一些视频项的工作,那对于残差的建模,进行对于残差进行二次压缩,所以它就会表成两部分。这样表征其实也有一个好处,我们现在想让一个视频通过视频模型学习到所谓的action的作用。

31:14就是我可能去打一下一个杯子,杯子往右走,那它其实是建模的下一帧的整个场景。我每一次的这个action对应的都是全场景的生成,它很难得到我直接画的这种杯子位移的影响。但因为我们直接把motion就建模成了压缩好的token,所以这个推移下的作用只会对这个motion产生这一段token,

31:42它有非常非常强的绑定,像一个信号的放大器一样,你在这种情况下就很容易探索出你的智能。

任鑫

31:51你们那个motion或者说那个delta那个差值是你们的一个token。

李智昊

31:56Yes。这就是我们一直以来其实从压缩的视角来看待这个问题。无论是我们觉得视频里面也存在这样的问题,然后包括我们其实更还原到物理世界里面也存在这个问题。你其实可以把它解耦开来看待这个问题,你其实可以只存那一部分的motion,这样你就不用非常非常heavy的冗余地去存一帧一帧所有的信息。

任鑫

32:22你是觉得压缩牛逼的一个路径嘛,对吧?就是智能的通往智能之路嘛。就比如说我们就拿视频为例,他们往极端来讲也可以说视频其实也是一种压缩嘛,因为你这是3D、4D世界的一个投影嘛,投到了一个平面上面。然后的话,只要我量足够大,我其实说不定就可以逼出它后面自己长出一套它对于世界的,就是真正维度的理解,

32:47对吧?假设它视频永远都是perfect的,大概率它里面对于比如说杯子一定是往下掉啊什么这种事情它已经理解了。就是有点像通过

32:57纯粹的语言的next token prediction,结果它里面长出了比如说sentiment的那个neuron。那类似的一个东西的话,是不是我通过二维的这样一个投影,我大量的数据进去train,可以train出它世界背后长出一个3D的正确的理解?这这个可能吗?

33:14还是说你觉得这个不可能的,还是我得搞3D,从三维、四维的角度去搞这个?

李智昊

33:20其实每个人都有不同的观点。从我的视角来看,这条路径非常非常不本质。因为你妄图从这种海量的数据里面做推理、做建模,它其实并不是一个高效的表征。你有更好的方式来解决这个问题,你可能能学到一些简单的运动。因为我们看到现在视频生成模型越来越好,但是它总会对一些固定的3D信息做很大很大的缺失或缺乏。

33:51很简单例子,它没有办法去做几分钟甚至更短,比如说两分钟,现在就非常非常困难,让一个人走出去。再回到原地,就整个场景都会发生变化。因为这个事情本质,它的本质就是一个4D空间的投影,你应该回到本质的域去做。然后如果想在视频里达到同样效果,它所带来的cost并不是我们近十年或者近二十年可能能被接受的,

34:21它不符合摩尔定律的发展。因为对于视频来说,它每一帧都有大量的token在增长,无论你的场景是否静态。那以这种的思维来考虑这种方向的话,那我们其实可以观察到,如果我走一个一小时或者是更长的——我所产生的token可能已经大概是互联网上所有内容的量级了。

34:45所以我们真的没有办法在现有的技术体系下,或者近十年二十年技术体系下,一下子喂进去这样的上下文长度。这是我们觉得应该回到本质来做这个事情的原因之一。

任鑫

34:59你刚刚让我想到佛家里面的一个段子,就是有人就是被师傅考一千个那种公案,都过了,都觉得他已经已经证悟了,然后错了一个,然后就告诉他说,因为你错了这一个,其实说明你前面一千个其实你没有真明白。是的。然后就相当于全错。你你这个就是说他们虽然可以搞这一千个,但是很有可能第一千零一个,因为它不是本质的,它一千零一个还是可能错。

35:26一千零一个错,说不定就说明他背后的他对世界的理解还是错的。

李智昊

35:29是的。这个其实我们在之前训练很多智能模型中非常有观察。我们的训练数据里面可能只有千分之一,甚至更少的数据是错的。但是训练出来所谓智能或者生成的模型就会经常犯这个错误,因为它会对这种错误或者是例外的分布更为敏感。

35:52所以你只要有一个错误的地方,你不本质所以导致的错误,其实对下游智能的探索会有非常非常强的误判。

任鑫

36:01这边的话,那你觉得它现在相当于,如果类比到GPT的话,它现在相当于在什么时间段啊?GPT-2.0出来了吗?Transformer出来了吗?还是说快GPT了吗?就ChatGPT时刻,我们大概就是在2030年就可以到,还是2050年也不能到?

36:18语言这边大家已经看到了嘛,现在已经就是牛到已经难以想象了。然后像图像、视频现在其实也挺惊艳了,就是还是不好,但是至少相当于GPT-3.5了吧,我觉得至少。那世界模型这边,你的一个对于这个世界的速度的判断,你大概判断现在是什么时候,接下来会发生哪些事情?

李智昊

36:37个人的判断是我不会直接类比GPT,因为实在发展路径特别不一样。所以我觉得可能会类比的像是这种图像的生成。因为其实在22年以前,大家用了非常非常多的Stable Diffusion或者这种架构去做了尝试的图像生成,但是当年的效果一直不是很好,有很大的瓶颈。

37:02后来我们找到了对的表征形式,我们把图像压缩里的VAE引入了进来。后来我们就看到了Stable Diffusion的时刻,那个时刻找到了对的表征。我自然生图生得越来越好,一直延续到今天。所以的话,我觉得现在4D可能就在于一个表征那个关键的点。

37:27如果我们正确的压缩表征做出来了,就会有类似的跳变,我们就真的会做出来4D上的智能,也就是4D上的这种Stable Diffusion的时刻。

任鑫

37:37所以你的类比就是可能现在我们还处于,如果是图像的话,还属于GAN那个阶段,Diffusion还没出来。你们其实就是这个世界模型的Diffusion。嗯。这样好理解多了。呃,对。

37:49但是对于听众的话,你能不能再解释一下,为什么GAN没那么牛,为什么Diffusion后来就让这事儿可以搞定了,然后帮助大家理解一下你这个,我们用一个不太听得懂的来解释另外一个更听不懂的。

李智昊

38:03我们其实类比的也不只是GAN和Diffusion,更多是Diffusion和后续的Latent Diffusion,也就是Stable Diffusion这条路线。因为我们之前的Diffusion是直接在像素域去做的。我们可以理解为每个像素都是一个,以现在屏幕像素为例,8位色深就是255乘255乘255的状态空间,

38:28每一个pixel都是。那你对于一个非常大的图像,我们都不用说太大,256的图像来说,这个状态空间联合分布都是无穷大的一个分布。在这种分布下,智能是很难建模。这个分布本身,也不用去预测这个分布了。所以我们需要有一种方法来对这个数据进行压缩,压到一个更紧致的分布。

38:54所以他们通过类似KL或者是其他这种加入损失函数的方式,然后使token减少,同时我分布也变得更紧凑,这样就可以更好地被我的生成式模型所建模,因为它是一个更容易被用已有方式所描述出来的分布。

任鑫

39:16不管是你们也好,或者说是这个时代也好,这个时候的那个就是大家感受到,哇,Stable Diffusion真的牛逼了,像ComfyUI开始开始火起来了。这个时间段应该发生在比如说是两年内还是更晚一点?就是这是一件很快大家可以看到一个突变牛逼的事情,还是说其实还有蛮长的路要走?

李智昊

39:36我觉得应该是在两年内,这个我们觉得还是比较有信心的。这个我们确实看到了一些迹象,我们认为两年内会被实现。

任鑫

39:47我今天还在想说,嗯。如果某个技术,不管是你们做出来,还是比如说GPT发了一个新的或者啥的,那你现在就可以提前开始为这件事情开始做准备了。就有点像应该在那个Stable Diffusion就好用或不好用,中间快变得特别好用之前,就做LLaMA或者做个Miriama,

40:06对吧?就要看这个趋势。比如说假设会在十二个月之后有了一个重大的突破,那这个时候我作为一个创业者,因为作为创业者,其实我根本不care到底是SparcAI

40:17做出来还是ChatGPT做出来,反正就有了这个API了,对吧?牛逼了。这个时间点的话,假设是十二个月,那你觉得我在第九个月的时候,我做一个什么样的东西可以吃到这口红利呢?因为有一个东西牛逼了,就肯定是以前做不到的,很多事情就能做到了,或者成本下降了一百倍嘛。

40:34那我现在可以准备点啥,可以把比如说万一SparcAI牛逼了,我可以借你们这个东风吃到这个红利,做哪些事情是可以吃到的?

李智昊

40:44这个还蛮有意思的。其实像SparcAI的时候,我们就看到挺多游戏去做AI生成游戏,无论是一些游戏的玩法还是预处理去用到了它,然后也看到了一些3D打印的case。由此大家精度都提起来,现在基于AI生成的3D打印的也越来越多了。

41:05对于我们来说,我想到了一个比较有意思的,可以以To C的视角来切入这个方向,跟大家想做一些To C的小应用,可能是多人的生成式交互式游戏。那我们可以看到现在已经有非常多的尝试了。像世界模型里面的PixVerse或者什么,这样我们可以一个人在一个空间里面进行漫游。

41:27但因为我们真的是有4D物理空间的,但其实很多人都可以放到同一个空间里面做交互游戏,他们不过是不同的camera view的投影。那是不是就可以做成类似当年元宇宙时代想做成的事情,我们一起聚到一起开会开party,那我们就可以在这个4D世界里面一起去做漫游。然后每个人因为有这种我们物理属性的保证,大家看起来都是非常完美的,一样的。

41:56还非常的vivid,我我可能想到一个有可能的方向。

任鑫

42:02所以是做高精度版的那个多人版的Minecraft,

李智昊

42:06多人联机游戏。是的。多人Minecraft,

任鑫

42:10或者更高级的Roblox。啊,那确实可以提前做这个准备啊。我歪个楼啊,比如说互联网公司这么多嘛,很多很热闹,但是其实都亏钱嘛。但是有一家公司就很赚钱,那家公司叫OnlyFans。那讲到这些东西的话呢,其实你就会发现,其实离钱近的是一些这种非常,啊对吧,not safe for work的东西。

42:33那刚刚听你讲这个,其实讲到多人啊什么啥啥的,其实往这个方向好像也大有可为。那你觉得在,是不是在not safe for work的领域,这种东西会最先得到应用啊?就有点像很多的技术都是在这些方面。

李智昊

42:48我觉得很多很多的技术可能都在类似的方向上会有一些应用。对。当然这个可能也会被用到这些方向上去,这是存在这种可能的。

任鑫

43:01因为OnlyFans一年的净利好像有小几十亿美金,很很很吓人。对。那你现在有跟游戏公司合作吗?或者说如果有比较好的游戏公司跟你合作,对你的业务有帮助吗?

李智昊

43:15我觉得当然会啊,因为对于游戏来说,它其实有一个非常非常强的3D一致性需求,他们希望回环到原地也保持一致,同时玩家还可以买账。因为玩家是对这些非常非常敏感的,所以他们可以作为我们很好的feedback,来不断地让我们激励我们,

43:38来不断地迭代改进。

任鑫

43:40那我这儿有一些游戏公司老板的同学,我去推销一下你的那篇论文,看看他们看得懂吗?然后做一个小天才。哎呀,哎呀。你们是一个商业公司了,现在对吧?你在公司是什么角色呀?

43:52是更偏向于一个就是CEO,还是更偏向于科学家的角色啊?

李智昊

43:56我觉得骨子里somehow可能还是科学家。以前的转变在于,很多时候你需要做一些更谨慎的决策,而且从更宏观的方向来考虑这些问题,不再像以前一行行去写代码,然后一行行去调参了。而另一方面的话,我觉得也有一些应对得上的考虑吧。

44:19我觉得可能会更倾向于去把更大的赌注拆分成更小的milestone。其实我觉得之前无论我们在3D还是视频上的一些验证,其实都是在验证我们这一条压缩即智能上限的路是否正确。然后我们现在即使在做像4D或者是4D的智能这一条路线,也在不断地给自己设立更小的milestone,

44:46在不断地去往外推。

任鑫

44:49所以现在就是正在科学家向CEO转型的过程当中。

李智昊

44:54是的是的。

任鑫

44:56那从你来看这个世界模型,那整个这个赛道现在有哪些主要的玩家,他们各自在干嘛?可以给大家一个全景图也介绍一下吗?对,我就只知道什么什么LeCun啊,什么什么什么李飞飞啊。对,

李智昊

45:09我觉得从非常high level的全景来看,大概可以分为三类做不同方向的人去切入。第一部分的话是以3D的这一些公司或者是研究者为主,他们更想用以前3D主构物体的形式来把整个世界建构出来。我就一个个物体做生成,一个个物体做所谓的动态仿古来做到这个事情。

45:37这是我们看到非常多的人在沿这条路线去走。我们认为这条路线其实是非常straightforward,但可能存在问题,就像我们刚才提到的。mesh本身对柔体流体是比较困难的表征。另一方面就是我们也刚才提到,非常非常多视频生成的公司也在沿着这条路去走。

46:00然后他们希望以以前视频生成的技术或者角度来加入更多的类似实时,然后包括这种可浏览等方式来做这件事情。但是它不本质,它没有解决视频内在的这种latency,以及它本身的这种冗余性问题。最后一个,我们其实看到很多现在无论具身已有的公司,还是初创公司来做这个事情,他们其实也做了非常非常多的工作,

46:37也在不断注入自己本体相关或者手指相关的condition。我们认为他们这工作非常的不错,然后也为大家带来了一些非常有希望的方向。但他们可能也还没有回归到整个4D物理世界本身的表征,以及基于这种表征范式的预测或者智能。所以的话,我们其实在这整个全景图里面,还算是蛮独特的去切入点的方向。

47:07我们希望回到表征,和从这基于这种表征的智能开始,来做一点不一样的事情。

任鑫

47:14那关于这个世界模型这个方向上,你有没有什么独特的判断?我也读了一些乱七八糟的,大家有好多好多判断。你有没有什么独特的一个判断,就是大部分人不同意,但是你相信就是时间会验证你是对的?有没有这种比较怪的判断?因为我们就要投非共识嘛。

李智昊

47:32我觉得现在大部分人认为世界模型的壁垒还在于数据。我去采更多的egocentric的数据,或者遥操数据,或者更多的更困难采集的数据,包括各种模态的数据,才足够建构一个很好的世界模型。因此,在同样的数据量下,我也需要加入更多的算力。

47:58我个人认为,包括我们SparcAI的整个的姿态,还是认为壁垒在于表征的效率。你如果把更多或者是再多的资源投入到错误的表征上,只是把现在的这个天花板逐渐去逼近,去做得更好,而不是把天花板本身去捅破。所以我们其实还想从捅破天花板本身来出发来做这件事情,我们需要更换表征。

48:30这是我刚才提到的,可能目前已有一些玩家已经存在惯性,反而更难去切入的点。也是我觉得大家现在出来创业的机会点。你其实可以有机会在世界模型的这个大背景下,把所有的一切推倒重来,去做一个你认为更好的世界模型。

任鑫

48:51我我正在想说,怎么样让大家能够理解表征是很重要的。对,但是我想到的例子也很晦涩,比如说数学公式,对吧?它有很多那种小符号啊什么的,其实它就会极大地提高嘛。比如说我们用汉字来表达那些东西就很很可怕,你那个数学就没有办法进行一些很复杂的推导,就很麻烦嘛。

49:11那这是一种表达,但是总觉得好像也不是那个意思。就你有没有很好的方式可以帮大家更加地理解说为什么表征的,而不是你在上面努力,对吧?你投更多的资源,但当然这是方法嘛。但是其实你表征一遍的话,有可能你是更少的资源,反倒可以更好的效果。

49:29有这样的一些例子可以帮助大家理解吗?

李智昊

49:32嗯,我们实证性的例子就不更多的赘述了,因为我们确实已经做出了太多的ablation study。我觉得我们可能需要一些更直观的例子。就如果没有物理公式这种表征来抽象出来物理规律,我们是很难一步一步地把整个现在的物理大厦建立起来的。

49:58我们没有牛顿力学就没有再基于牛顿力学上更多的建构,可能是热力学,可能是分子动力学。我们如果没有这一切的话,是很难很难去有乌云,甚至拨开乌云。所以物理公式何尝不是对于世界上物理现象的一种表征呢?

任鑫

50:20但它除了表征以外,它更像是一种压缩了,已经压缩完的表征了。

李智昊

50:24我们一直在提,就是同时要做压缩嘛,它其实压缩表征是一体化的。

任鑫

50:30比如说你要打仗的话,你看地图的话,比如说有等高线的那个地图,然后那个其实它就是一种信息的表征。你可以同时在地图上看到方位和高度。比如说假设我们认为说,哎,古代打仗要从高往下打,只要你能够同样这个表征的话,其实就让你的对于这件事情的理解,

50:49或者你用沙盘来表征和你看地图同样是一个东西的话,那个沙盘其实就是等,就是高度嘛,高度就体现出来了。那这样子的话,你这个将军你要做一件事情的话,就要做出正确判断,对于你的算力的要求就低了很多。一个地图没有等高线,另外一个地图是上面有等高线,你就简单很多。

李智昊

51:08我觉得这个case会更能说明一些问题。

任鑫

51:11对对对。我就想说找一个就是,当然虽然我觉得听到这里的听众基本上应该还是有点底子的。只是我刚才在想怎么可以举个例子来说明说你在做那个方向上为什么这事表征本身是一个发明。就是其实信息的表征本身就就是一种发明,就是一个很伟大的一个创造,对。

51:32因为表达信息的方式,对。甚至包括乐谱也是一种表征嘛。对。希望以后可以看到你的世界模型要要出什么。之前的话告诉我一声,我们提前几个月可以再埋伏一些什么应用的方向,说,哎呀。

51:45技术上马上就要突破了,我们提前埋伏应用,要不然来不及了。对,就可以赶紧做。那最后如果用一句话来收尾的话,你希望说那个观众就是记住什么,或者说对于想要在呃跟3D啊跟图像啊有这方面创业的听众来讲的话,有什么建议都可以。

李智昊

52:04我这样说的话,其实每一次AI的跃迁,压缩表征其实都作为底层的暗线一直在存在。其实本质都是一次压缩表征的突破。我们看到语言、图像、3D都已经发生了。下一个被突破的可能就是4D物理世界的表征,以及建构上建构在它之上的Physical Intelligence。

任鑫

52:31是。所以大家不一定要在上面就只看到说,哇,这家又有多少GPU啦,这种大力出奇迹。就是中间那些层,底层的话,就是光表征这个方式的话,这个暗线其实也一直在。哪怕用token也是一种表征嘛,对吧?之前谁脑子里有这个概念啊,天哪,现在感感觉这个常识。

52:50好的好的,非常谢谢。然后希望那个以后有机会再跟你请教说世界模型的东西,然后希望那个SparcAI可以获得大的进展。

李智昊

53:00感谢任总。

任鑫

53:00好,好,谢谢谢谢,谢谢来到AI炼金术,谢谢。好。也欢迎大家那个转发这一期的播客,呃比较硬核一点,然后你可以转发给所有想要做视频,然后图像,然后这些方向的同学,我觉得如果说世界模型会有进展的话。还有机器人啊什么啥的。

53:17那个,之后这边有进展的话,这些领域的做法都会发生改变。做AI最痛苦的事情就是在这里,你三个月发现说,哎,地基变了,啊,地壳变了,啊,我们这边是个岛,就很可怕。所以大家还是要一边脚踏实地干活,一边还是要看看远方,看看这边天才们他们到底在干嘛。

53:36然后,十个天才只要有一个干成了,我们脚下的地又变了,就烦死了,很麻烦。

李智昊

53:42任总实在是太过于夸张。好。谢谢谢谢大家。

任鑫

53:45谢谢谢谢谢谢。好,谢谢,拜拜,拜拜,拜拜,拜拜。

本期词条

重点词条

本期重点讨论的人、公司、产品和概念,按出现顺序。

概念Physical Intelligence
概念Physical Intelligence这里指一个概念:建立在对 4D 物理世界表征之上的智能(同名的美国机器人 AI 公司 Physical Intelligence 是另一回事)。05-27 期李智昊认为,物理智能是下一个会被突破的方向。本期 3 处
作品Sparc3D
作品Sparc3DSparc3D(节目里读作 Spark 3D)是李智昊团队 2025 年发表的 3D 生成工作,通过改进表征和压缩提升生成精度。05-27 期任鑫介绍李智昊时称它是其成名作,李智昊说这项工作沿着「压缩可以提升智能」的路线。本期 6 处
李智昊人物李智昊
人物李智昊李智昊是 SparcAI(官方写法 SparcAI)的联合创始人兼 CEO,南京大学本硕、南洋理工大学博士,代表作是 3D 生成工作 Sparc3D(论文名 Sparc3D)。05-27 期他做客本播客,讲 SparcAI 为什么从压缩表征切入做 4D 世界模型,认为壁垒在表征效率而不是数据和算力,下一个突破方向是物理智能。本期 2 处
袁语人物袁语
人物袁语袁语(YY)是云九资本(Sky9 Capital)的合伙人,长期关注生成式 AI,自己也动手做过开源 Agent 项目 SkyAGI。04-09 期袁语做客本播客,聊投资生涯、早年做 SkyAGI 的经历,以及 AI 带来的「哥白尼时刻」。本期 1 处
公司SparcAI
公司SparcAISparcAI(节目里读作 Spark AI)是李智昊联合创办的公司,做 3D 生成和世界模型,主张以压缩表征为切入点,做 4D 物理世界的建模。05-27 期李智昊讲到,团队用 4D 点云做表征,先造工具从海量视频里提取 4D 点云,再研究怎么压缩,认为壁垒在表征效率而不是数据和算力。本期 6 处
概念4D 点云
概念4D 点云在 3D 点云上加上时间维度、表示动态场景的数据形式。05-27 期李智昊讲到,SparcAI 用 4D 点云做世界表征,把空间点拆成静态点云和运动残差两部分分别压缩,并造工具从大规模视频里提取它。本期 10 处
概念4D高斯
概念4D高斯4D 高斯(4D Gaussian Splatting),在 3D 高斯泼溅上加入时间维度、用多视角拍摄重建动态场景的表示方法。05-27 期李智昊讲到,它可以重新调整运镜、把人物从场景里单独取出,但更偏重建,不是通用的生成路线。本期 3 处
选择一期节目开始收听00:00 / 00:00