普通人就能做出好莱坞级别的场景！未来谁是主宰？| 对话游戏引擎专家 Cafe 唐君华

00:05新蛋糕我觉得永远是最赚钱的，去抢老蛋糕的，这个永远是最苦最累的活。确实是3D高斯，它会去改变整个产业很多的东西，尤其是大家关注的什么元宇宙啊、虚拟孪生啊，然后主播卖货啊，这些才是真正3D高斯发展的最核心的区域。并且它所带来的利润和整个产业的量的需求，这个蛋糕的大小，可能啊可能，是不是未来会比游戏产业还要大？

00:40游戏产业或者说影视产业一直以来，成本数据是它最大最大的一个门槛。因为你要想把画面做好这件事情，就已经是很烧钱的一件事情。烧钱的本质的背后就是认知。

00:56就是DiT其实本质就是Transformer的整个形成的实现嘛。然后其实是Transformer实现了数字世界的统一的度量衡的单位，就是token。核心的一个重点就是数字化的这个世界，我们要想高速的发展，统一度量衡。就秦始皇证明啊，统一度量衡实际上是非常非常重要的。

01:16统一度量衡之后，那么这个世界才能高速的爆发。这个我觉得是一个很重要很重要的观点了。

01:41大家好，我叫Cafe 唐君华。我大概干了十多年的这个游戏产业吧，一直在做游戏开发和游戏图形引擎开发。然后曾经做过国产商业化引擎，大概带这个产品带到过三年时间的国产number one吧。后面就一直服务于法国育碧公司，做一些3A有关的一些研究了。

02:04所以如果

02:12这个就有点太高调了，还是就做过引擎开发吧。

02:25低调，低调。

04:30理论上是的。其实我个人理解游戏引擎这个词其实有大量的歧义啊，因为这个词有的时候就是大家理解是一个叫游戏，就是3D图形引擎这么一个工具。但是有的时候我们又把它当成了这个数字娱乐产品生产的一个解决方案。就是它不只是要做那个程序员，因为引擎是程序员写代码的工具嘛，跟策划无关，跟这个美术可能也无关嘛，

04:56也管不着吧。对。但是实际上大家需要的是一整个就是数字化娱乐产品的这种解决方案。你比如说像这个中国的动画片，现在整个中国的这个动画片产业，已基本上90%以上的公司都是使用UE5来去做这个动画片了。跟日本是完全不一样的，日本完全是通过手工的方式去做的。

05:19哪怕是现在有了这个Wacom的这个画板能画了，但是本质它其实也是说从这个用笔来画转换成这个数字的这个笔来画，仅此而已。个人理解就是说像Viggle这样子的一些产品的话，它早期的时候更多的是一种对技术的一种宣发吧。我觉得它只能算是这个开发数字娱乐产品当中的其中一个环节。

05:42我觉得Viggle目前的这个角度来讲，很难被定义成一个比较完善的一个商业化的产品，或者说适合就是一个公司去创业去做的一个比较明确的商业化的一个目标。所以那么往下推导下去，比如说如果Viggle说它自己未来也要做这个类似于这个游戏引擎的这种方案的话，那我觉得这个公司还是有蛮大的看头的。

06:09但是可能啊，可能我觉得它要遇到的这个问题会非常的多。因为这家公司不是传统意义上面做这种数字娱乐产品开发的公司，这中间还是有很多行业的坑。可能要去填的。

06:43我个人是这么理解一件事情啊，就是动画片这个领域从它的这个发展，就是在没有数字化之前，大家会发现它其实本质是个体力活，或者说是个量活。那么这个体力活这个量活的核心，比如说我们要做一个一秒六十帧的这个动画，那这个动画你就会发现它要的并非是你的创意，

07:06而是说你如何把这个六十帧这个画出来。那么当然它画出这六十帧它也是需要一定的技术能力的啊，但是核心的这个点其实是个量。所以你会发现在2D的这个动画的时候。整个的那个产业早期其实是由中国这边大量的这种传统画油画或者是说画画领域没有找到很好工作的一群人在接掉就是欧美或者说日本的这个单子。

07:34在后面的话就是变成了朝鲜和韩国。别忘了朝鲜现在是很重要很重要的一个环节。没错，因为他们那边画画功底的人还是挺厉害的，就传统画。所以这个是2D的一个状态。那么其实2D就是一个苦活累活嘛。

07:50那3D的状态为什么国内要做用3D来做，原因是第一，国内整个的那个动画片领域虽然发展的也比较早。并且也影响到了像宫崎骏这样子的一个大师。早期，不过早期的那帮上海那个上映的那帮非常厉害的人，好像后面都去了迪士尼了。所以导致中国的动画片其实是断代的。

08:13断代完了之后，就像就有点像非洲一样，他们没有经历过电话机时代，上来就是这个手机时代。那中国的这个动画片产业其实也是同样的道理。就是用CG动画片这个做起来，这个这个有呃动画片它速度比较快。首先第一点，就是大量的这个场面啊，还有大量的人员啊，其实都是从这个影视行业过来的，他们对3ds Max、Maya都非常的熟。

08:38所以相当于是无缝切换过来嘛，反而是传统的2D的那群人，那群老师去了，因为去了迪士尼之后产生断代导致的。然后我也跟上海，你比如说像东方明珠集团底下有一家公司，它一年下来也有几个亿的这个流水吧，做动画片的。然后跟他们有过很多的沟通交流，他们也觉得就是说想招聘到2D的这个人员太难了，但是3D貌似因为中国游戏产业比较丰富嘛，

09:10还是很容易招到人的。但是也只是说招到人了而已，想要把一些顶尖的人招过来。对他们来说还是非常困难的一件事情，所以大概是这样子一个行业形形态吧。

10:04如果说你所做的这个产品AI的这个占比，或者说AI创作的这个占比，它占比是比较小的情况下，那么你就会发现3D它有一个巨大的一个门槛。我举个例子，你比如说像我们呃整个的这个网页产业和这个APP的产业，还有AR/VR这个相关的产业，都没有大规模地去铺出一些3D有关的这个产品。

10:28原因就是3D的程序员和3D的整个的这个团队，制作团队其实上，放在传统的这个开发的这个角度或者研发的这个角度来讲，它是非常昂贵的。如果你整个产品的这个商业化也就是说你的这个收入和你这个支出，你没有办法能够保证到一定的这个比例之上，

10:48那你这个产品是很难真正意义上面做商业化的。当然你说你做了玩儿，我觉得肯定是没有问题的。你想要把它变成商业化，这中间一定会涉及到成本的这个问题，这个是可能才是最核心的一个点。

11:04非常贵，不是很贵，是非常贵。

11:24我觉得这个不是说数量级的一个问题。我举个，我我说一个流程吧。比如说我们现在要设计一个苹果，然后放到这个手机上面让它去展示。那么接下来我们第一件事情可能要要去找一个原画师，那这个原画师给你画出一个2D的这个苹果。接下来完了之后，可能我们这个2D的苹果我们要去建模了。

11:44那么建模也分很多种，比如说我们按照育碧的这种3A游戏的方式去建模，那可能就是这个苹果有可能就价值一两万。一两万这个苹果啊，比你买的苹果还要贵。那也有便宜的，比如说五千块钱的、三千块钱的。那有些人比如说我收了你一两万，如果你没有这个鉴别能力很有可能就是你给了一两万块钱给对面建模的人，

12:06但是实际上他们用一些投机取巧的办法，比如说用软件来生成这个法线贴图。你会发现他给了你这些东西，但是如果你没有校验的办法的话，你会发现这个苹果并没有真正意义上面达到3A的这个标准。那么假设这一关我们过了，那接下来假设我们这个苹果还需要一个生长的一个动画，比如说它是怎么从小苹果长成大苹果的。

12:31接下来你要找一个动作的岗位，把这个苹果然后植上这个骨骼，然后做上这个骨骼的上面的动画。那么你做好了之后还没有能用。你还需要放到比如说Unity或者UE里面去调整它的那个shading，然后去看一看这个苹果在Unity里面渲染的效果是不是对的。

12:51那么你在Unity渲染效果是对的，不意味着你放到UE里面就是对的了。那么中间这中间任何一个环节，如果你进行返工，那么你前面的环节都得重新再来一遍，很容易就导致发生这样一个事情。所以一个成熟的团队，可能他假设用一万块钱制作出来的这个苹果，那么一个不成熟的团队，他有可能最后这个苹果拿到你实际用的时候，

13:15他可能中间来回的成本变成了三万五万，甚至完全不能用的东西，你得重来一遍。这在游戏产业里面都是非常正常的一个坑吧，也是算是挺大的一个坑。这也是国内为什么大家会发现黑悟空这样的一个产品，实际上是非常值得大家尊重的一个原因。因为你要想把画面做好这件事情，就已经是很烧钱的一件事情了。

13:40哦，烧钱的本质的背后就是认知。所以

13:55没错，动画片其实也很贵的。他们之所以便宜的原因，是因为他们用了大量可能不是那么符合行业标准的一些素材，反正先凑合着先上吧，能满足档期就可以了。所以你会发现就是那些动画片里面的这些动作，还有场景等等相关的光影也好，它可能虽然是离线速渲染的，

14:20可能还不如像EA呀暴雪啊，或者育碧这样子的一些实时渲染的游戏。可能画面还不如那些。对，

14:48对，游戏产业或者说影视产业一直以来，成本或许是它的最大最大的一个门槛。而且这里面的成本不是说你掏钱就可以了，而是说你掏完钱了之后，你想找能够满足你要求的人，这群人在整个产业里面就非常的稀少。它不是说你掏钱就一定能找到相应的人给你做的。

15:41我觉得是3D是做了一个很大的一个突破吧。为什么？因为我可能从07、08年就开始关注图形学这一块。然后大概是在09年的时候，图形学上面由迪士尼提出的PBR，就是基于物理的这个渲染。完了之后再到最近，我就没有发现什么这个图形学上面从底层、从基础公式这种级别上面的一些改变了。

16:08之前的整个游戏产业里面相关的论文也是比较少的。但是自从我们这一波Transformer大模型开始左右就开始有人企图用这个大模型，就是NeRF，去证明，就是确实我们可以用大模型这种思路来去实现这个渲染。也就是说走了一条完全跟传统图形学不一样的一个路子，至少从学术上面证明它是OK的。

16:39虽然它的那个整个这个性能比较差劲吧，但是这个呃NeRF出来之后，又有一个应该是一群法国海边的一个大学里面三个法国人加一个德国人，我看的那篇论文是这样的啊，就是发出了一篇论文，提出了3D高斯这个观点。它从严格意义上面来讲并不是纯粹意义的AI渲染，但是它提出了这个全新的这个高斯球的这种渲染模式，

17:07也是非常有意思的。并且我觉得它的核心，因为我们刚刚在聊3D的时候，我一直聊一件事情，3D可以把很多东西做好，但是它的成本是很昂贵的。3D高斯的核心是，第一，你只要用手机录出视频，完了之后这个视频的角度以及它的那个呃整个的那个清晰度足够的这个情况下，

17:31那么我们是可以通过训练的方式去渲染出一个非常逼真的这个环境的。那么这个整个过程不需要专业的人员参与，随便一个只要能摄影得好的人，那么照一定的规范，他就能够去还原出一个可能价值什么十万、二十万甚至五十万的这么一个场景。那么这件事情其实上是非常突破性的一个变化的了。

18:00第二个事情的话，就是说这篇论文应该是2023年，是八月份还是九月份左右发出来的。截止到今天为止，大概一年多一点点时间吧，就这么短的一个时间。我看到了整个图形圈子里面大量的人去参与进去。你比如说像Unity公司的三号员工，就专门为3D高斯然后写，当然这个人已经离职了啊，他专门为Unity写了一个插件，

18:30然后做了一些这种优化。然后大家可以在图形引擎里面进行混合式的这种渲染。那不只是Unity了，UE之类的引擎也跟上了。包括我们团队，针对我们自己的引擎，我们也也写了那个整个高斯的这个混合性渲染的这个优化，让这个高斯进入到我们场景里面去了。

18:50那么刚刚说的是成本，我们再说渲染效果。就3D高斯在写实的物品渲染的效果上面，是远远超过传统的这个图形学的。那个真实程度是可以让普通人做出这种类似于电商购物决策的。就是这两点上面，我认为是突破性的。

19:21您可以上那油管上面去搜一下，有好多家公司已经提供相应的APP。您可以照着那个APP下载，然后去扫描你的眼镜或者苹果，然后它会生成你的那个质量。我目前也在跟一家国内的一家公司在合作，可能就是看看十月份或者十一月份也会对外公开一个APP，

19:43然后实现相应的这个效果，就是让普通人也可以做到，就是非常逼真的这种小物件或者说大场景的这种还原。

20:02成本，显卡是不是几块钱？我现在我不好说啊，但是未来我觉得有可能会比几块钱更低的一个成本。因为显卡的算力，现在大家都在都在去做，而且重点是它非常逼真，是你用传统的图形引擎需要经过大量专业人士才能得到的这个效果，可能这个效果是差不太多的。

20:41他们用的其实并不是3D高斯吧，他们用的还是就是图片转3D的这么一些传统的方案。那么这里面我可能要跟大家就是同步一个小小小的信息，就是国内很多人都觉得做游戏一定是这个3D建模人员凭空来去建一个模型。这个做手游确实是这个样子的，原因是我们需求的东西没有那么逼真，或者说我们没有办法去支付这么高的一个成本。

21:10所以我们大量选择的都是建模，甚至是很多所谓的外包外包公司，它也不是从零给你建模，比如说你需要一个船。他就是拿随便拿一个船来给你改改，反正改到你满意为止，反正合同签好，只要改十遍嘛，我改了十遍就行了嘛，就交差了。所以你会发现国内的很多游戏为什么没有那么精美的呢，就就就来源于这个原因。

21:34那么整个3A产业里面，我们不管是场景其实都是扫描的。比如说育碧的那个《刺客信条：大革命》里面，就把那个巴黎圣母院花了大概三年的时间吧，用最精准的激光这个呃扫描，把整个巴黎圣母院精准地去建在了我们的这个游戏当中去。那么大家可以看到，就是巴黎圣母院被烧了之后。

21:59育碧还捐献了一些数据，帮助政府去去修复这个巴黎圣母院嘛，这这是第一个事儿。第二个事情就是，相信《黑神话：悟空》的人大家都知道，里面的蜘蛛精都是有相应的这个脸模和体模嘛。其实海外的商业游戏早就是这么做了，并且动作也是有专业的人人员来去做动捕来去实现的，所以这样反而会更加节省成本。

22:23所以3D高斯的第三个特征就是来了，本来我们产业用的就是扫描，那么这些传统的扫描的这些资产是可以快速，如果他们当时做得比较好的话，是可以快速地去做高斯化的。那么它的这个成本也会降低得很多，原因是传统的这个扫描是没有办法做语义的。

22:45你没办法插到这中间那个环节，比如说我们有一个城楼，城楼上面有有旗帜，有这个呃可能有壁灯，也有墙壁上面的砖。那么这个它扫描出来的一整个模型就会是一整个整体。那么我们后期模型人员需要自己手工看上面的物体，手工进行物体识别，把这个城楼这个城墙给拆成，

23:09比如说灯啊和这个栅栏啊和这个可活动的区域啊，这个砖头啊等等相关的东西。那么如果用3D高斯来去做的话，我们是可以用AI来去做语义识别，然后提前把这个呃物件给去拆分出来，所以它会降低的成本会更多，并且它的逼真度也非常好。

23:36原本的那个流程里面，确实我们可以加上那个AI去拆，但是现在基本上没有人去会去研究这件事儿，因为原本的流程它已经定在那里了，你去做当然可以，但是你做好了之后，然后你下一步呢？因为传统的那个算法公式的关系，所以你比如说你这个灯亮起来，它实际上是用shader来去实现的。

23:59所以你就算把它拆出来了之后，也有很多的这种综合的问题要去处理。但是在3D高斯目前为止，有大量的人工智能实验室，你比如说我记得华为好像跟上海交大就有过一篇论文，然后直接就是从3D高斯里面做语义识别。要拆分的，就是这块现在是研究的热点。

24:28简单粗暴点理解，大家可以呃理解，就是我们用相机针对现实的物理世界当中拍一堆的这个照片，完了之后用某种特殊的这种高斯算法对它进行压缩。然后因为我们有了现实世界当中的实际的光影信息，并且是不同角度的光影信息，那么我们还原出来的光影信息一定比我们用fake版的这个数学公式还原出来的光影信息更加逼真。

24:59因为一个是你用一个fake的公式算出来的光影信息，另外一个是我直接得到答案。比如说像你现在面前的那个麦克风。它的它为什么是比如说是灰色的？那我们通过游戏引擎渲染的时候，那我我需要有大量的公式去渲染它。但是使用高斯的话，我纯粹采集就好了，我不要管它为什么。

25:21我采集出来的一定是最逼真的。粗暴点理解啊，粗暴点理解。

26:05对，非常对，也非常精准。但是这个东西不好理解。

26:35我觉得你重点不要去理解那个概率球吧，就是可能高斯球可能会更精准一点。那个那个可能以概率球这个，你会把概率那件事情作为这件事情的思考重心了。

26:48对。因为高斯球这个算法，我在上一次跟硅谷几个朋友在聊天的过程当中，他说3D高斯的这个算法并不是今天才被发明出来的。他们当年在做那个摄像机，就实体摄像机采集的时候，曾经做过类似的一些算法和类似的一些做法。具体的我可能得后面去问问他们了。

27:10反正这个东西并不是今天才发明的一个东西，是有过前身的。然后

27:31其实我觉得这是一个非常有意思的一件事情啊。目前我们看下来，大模型已经可以把这个文字啊、代码啊、图像啊，然后视频啊、声音啊做得非常的好了。然后并且它也把这个作为了一个数字化世界的一个基础单位，token，就是把上面所说的这东西全部都进行token化了。

27:54整个的这个李飞飞在做的这个空间智能，我认为约等于3D，但是又不是3D。我觉得它是AI发展的一个必然的那个现象。原因是什么啊？就是你比如说我们看看人类的这个发展。比如说我们人类先是发明了文字嘛，然后有纸张可以写文字。

28:14完了之后因为有纸张了，那既然写文字，那我还不可以画画画点画嘛，所以我们就从文字走向了画画嘛，对吧？那画画也这个静态的画也没有意思嘛，那所以我们后面又发生了发明了这种留声机嘛，就是可以把声音给记录下来，对吧？然后再到后面我们可能有这个无声电影，慢慢又变成有声电影了。

28:36完了之后我们又又开始有这个呃2D的这种游戏嘛。做着做着，然后我们走向了这个3D的游戏，这是人类的这个发展轨迹嘛。那电脑硬件的发展其实也是嘛，比如说电脑硬件一开始电脑只能处理这个文字嘛，只能打字嘛。那大家就是通过用用这个字符，然后去构建出类似于图片的东西，比如说我们用，有很多人用用代码来去构建一个佛祖，

29:03然后保保障住自己代码不要不要崩溃嘛，对吧？大家应该能一样看到这种梗吧。然后再到后面，那有人就想，为什么不能用电脑来去处理这个图像呢？后面就电脑就有了图像的能力。完了之后，既然有图像了，我当然我也要声音嘛。

29:20然后有声音了之后，我们也就有电影嘛。有电影开始，就有了2D的这种游戏，再到3D的游戏吧。所以我理解李飞飞所说的这个空间智能，其实本质就是一个一个近义词吧。然后并且我觉得它们应该是同一个回事，也是说AI发展的一个必然过程。

29:39因为AI也是像我刚刚所说的那样，从文字再到代码，再到图像，再到视频，再到声音嘛。那接下来我们要解决的问题都是都是这样子的，所以我觉得这个是一个发展的一个必然的一个一个方向。

31:08我觉得是这样的，最早的时候图片和视频它都是基于这个UNet的网络来去做的嘛。然后这个网络我们粗暴点理解，因为今天也不是学术性的这种探讨嘛，我们粗暴点理解，它就是为一个图形2D网络来而生的，设计的这么一个网络。那么后续大家在上面缝缝补补做了很多，比如说生成视频的事情，你比如说Pika，因为早期也是用unit的，

31:35也没有说直接到DIT里面到transformer里面去嘛。所以后面还出现了什么3D UNet，就是为了解决一些时序的问题啊，还有3D就多一个维度，多一个轴的一个问题。其实这里面都是缝缝补补的这一件事情。我觉得每个时代都会有自己的一些历史的一个目标。

31:55ImageNet的早期是，比如说为什么李飞飞是这个AI的教母，是因为她奠定了整个的这个AI加图形图像的整个的这个识别的整整块领域相关的这个基建和相关的整个的这个内容。所以我个人理解，Unit的早期的这个目标就是告诉大家，AI能干生成图片和视频的这个事情。但是它干得好不好，或者说它干的这个呃实际对不对，其实不是那么重要。

32:27只要它能干就可以了。你比如说像游戏里面，我们游戏也有大量的这种fake的内容，你看着像是那么回事，其实背后都不是，就是真实的这个物理或者是真实的这个图形渲染。呃，大家统一到DIT，我觉得这个话我可以换个话来去说，就是DIT其实本质就是transformer的整个的那个底层的这个实现嘛。

32:52然后其实是transformer实现了数字世界的统一的这个度量衡的这个单位，就token，很好的去描述，比如说文字、代码、图像、视频、声音、物理，甚至是最近GPT-4o推出的这个所谓的思维链，或者说思考模式吧，等等相关的这个东西。

33:12所以我理解我们核心的一个重点就是数字化的这个世界，我们要想高速度的发展，统一度量衡。就秦始皇证明啊，统一度量衡实际上是非常非常重要的。所以我觉得不是大家统一到DIT的这个路线，而是这个路线可能是最快的能让大家去去统一度量衡的，

33:33能让比如说我们在生成视频的这个过程当中，比如说把它相关的代码或者说相关的声音也能做同一个维度的这个去生成，而不是声音生成声音的，图片生成图片的，视频生成视频的。那么这个时候才能为我们真正意义上面产品化打下的这个坚实的这个基础。

33:53按照秦始皇的这个做法，统一度量衡之后，那么这个世界才能高速的这个爆发。这个我觉得是一个很重要很重要的一个观点了。

34:06我我不认为是一个矛盾的事情，我认为是一件好事儿，而且是非常非常好的一件事情。你比如说现在现在很多投资人都在投纹身动作和纹身3D，我觉得它们两个是一件事情。你比如说你纹身动作，你做了一个手挥舞的动作，那不好意思，你做手挥舞的这个动作，你的手假设臂长是比如说四十厘米，

34:33然后我的手臂长，我是个小孩子，我是二十厘米的这个臂长。那你这个动作套到我这个小孩子的这个手明显就不合适嘛，这个这个动作一定是错误的。你这个动作配上我这个人怎么用嘛，完全没法用。所以你要想生成一个完全可用的一个模型，理论的两者之间应该是共同去生成的。

34:53你在生成动作的时候，要考虑到我的臂长、我的腿长，还有我的这个这个整个的这个动作的协调程度，还有我肌肉的程度。你比如说一个一百二十斤的胖子跟一个两百二十斤的胖子，身高又一样的情况下，他的动作也不应该是一样的嘛。所以统一度量衡是非常重要的。

35:24对，是的是的。

36:38其实3D高斯这个事情，它跟NeRF是有本质的一个区别的。它本质并不是一个完全由AI大模型来去渲染的这么一个渲染模式，它中间还是用了这个光栅化，也就是传统图形学里面的东西。当然，我觉得3D高斯它就有点像我们呃这个图形算法，比如说最早的时候是有个叫GAN算法的这个算法，

37:00然后做得非常棒嘛，但是它还是没有达到大家应用的要求，直到出现了Stable Diffusion，才大家统一的认可，OK，就是Diffusion的这个算法是可以做到就是大家的这个产业化或者商业化的。那3D高斯是不是直接就是终点的呢？

37:16我觉得未必。因为它中间只是解决了我们是否可以拿到游戏产业去应用的一个事情。它跟AI，它除了这个训练的过程是用了一些AI的算法之外，它在渲染的过程其实跟AI关系不大。所以它对于数据上面的要求有，但是不是传统意义上面大模型的这种scaling law。

37:38它的核心在于通过一种非完全传统那种图形学的方式，然后达到了一个非常低成本，低到你完全无法想象的一个成本。然后并且它渲染的这个质量非常高，高。到了也是说你一定要请到非常专业的这个3D图形人员，或者说相应相应的这种美术制作人员才能做到它的这个效果。

38:03所以它的核心突破点实在是在这，而不是真正意义上面在AI那一块。但是因为它是一个基建，大家应该听过NVIDIA公司一直想推那个OpenUSD，其实我是极度不看好这个OpenUSD的，为什么？因为NVIDIA希望它成为整个产业的标准，原因是在影视产业和游戏产业，还有动画片的那个相关的一些产业，

38:28还有包括传统的一些建模的那种啊，比如说工业CAD的建模的产业，其实是非常非常割裂的。每个产业的这些数字化资产是没有办法去做到这个呃通用的，并且跨过去折损是极大无比的。所以3D高斯，那么它很有可能啊，我只是说很有可能，它是能够解决掉这个整个数字化世界的这个统一度量衡的一个问题。

38:55所以我为什么觉得它是一个核心发展的一个要点，它很有可能会完成NVIDIA寄望于OpenUSD的这么一个历史的一个事件。还有一件事情的话就是说，关于老的资产，比如说现有我们说产业积累，比如说迪士尼积累了大量的这种传统3D及mesh的这些资产，那么它也是可以反向进行3D的高斯化的。

39:19那么3D高斯化完了之后，我不知道大家有没有关注过一件事情，比如说传统的这个图形学已经发展了好多年了，导致很多实验室，就是传统上面的那些实验室，做学术研究的。基本上已经不怎么关注这个呃我们图形产业了，只有图形产业里面专有的一些公司才会去里面做一些研究。

39:44那3D高斯现在是什么样一个阶段？一些完全跟产业无关的一些实验室在去研究，比如说3D高斯blendshape，其实就是大家所理解的虚拟人，但是它是用3D高斯来去实现的。你比如说像3D高斯如何画出更加逼真的这个头发。类似于NVIDIA的那个海飞丝的那个系统，哦，国内也是比较喜欢叫海飞丝的，其实就是一套渲染头发的这个技术。

40:11我们现在看到的情况是说，3D高斯这样的技术的兴起，导致了大量的这种以AI学术为研究的一些，当然它核心可能不一定是AI，而是说它用AI的方式加3D高斯的这种方式，尝试去对整个物理世界的进行建模，并且它的这个建模是远远超过所谓EA、育碧、暴雪这些顶级的公司建出来的那些资产的，而且它这些资产的价格极其廉价。

40:41EA、育碧、暴雪可能得到同样的效果，需要支付比如说十万二十万的这成本。那实验室里面的那套技术可能量化之后、商业化之后，可能真的是一块钱两块钱的成本。所以是这点上面导致我觉得它OK的，理解。

41:46首先我先先说一下，就是说3D高斯跟传统图形引擎，我认为在未来的几年内，它肯定不是替代式的发展。就是不是说我用了3D高斯，我就不能用传统的这个，呃，mesh渲染了。我觉得它们会进行混合式的这个渲染。比如说我们有一些不具备有交互的这些场景，完全就可以用3D高斯来去做一些替代了。

42:08那么第二点，就是说你刚刚提到很好的一个东西，就是说OK，3D高斯能不能进入到传统的这个供应链里面去？我的答案是可以的，但是现在整个产业还没有准备好。可以的原因是什么？就是现在有非常成熟的算法。可以把3D高斯进行mesh化，也就是生成传统的3D三角形的面。

42:30那么因为3D高斯本质就是那个激光点云，所以我们建立起了激光点云跟这个mesh三角形的这个链接关系。我们完全是可以用传统的3D mesh的编辑器和工具去影响3D高斯的这个点云。当然实际做的时候肯定不是像我这说的那么简单和轻松啊，还是有大量的这种高斯球的那个方向啊、角度啊等等相关的东西你需要去考虑的。

42:58但是底层逻辑上面来讲，它们之间是有关系的，并且我们跟一个实验室合作。当时他还在想，哎。这个我做的这个3D的高斯人能不能能不能驱动起来，我就告诉他我说很简单，你把那个3D高斯人进行mesh化，mesh化完了之后，你把这个mesh绑上骨骼，完了之后你用传统的这个图形引擎的骨骼系统驱动这个mesh的顶点，

43:21然后再把这个顶点然后反向驱动到那个高斯的那个光点云上面去，这样子你就可以形成一个可以运动的一个，呃，这个3D高斯了。当然我这里讲的很简单啊，实际上还是有一些工程学的问题需要大家去解决的，但是实际上我们是已经成功做这个效果了，

43:40并且包括运动还有光照。就是NVIDIA公司在做尝试，如何把这个光线追踪的这些光照信息，然后映射到整个的那个3D高斯场景当中去。所以我们看到的情况是，整个产业非常兴奋，在做一些极其落地，就是这些论文一旦成功，有可能马上就会变成生产力的这么一些工具和链条上面的一些算法的突破。

44:07那这些突破可能会导致3D高斯的这个发展历程，可能传统图形学用了二十年三十年，3D高斯我觉得可能就五年八年时间吧，甚至有可能更好，三年到五年时间就可以。因为曾经有过一个科技博主。问过这个NVIDIA公司的CEO黄仁勋，就是，哎，距离我们每一个像素都用AI生成的世界，差距还有多少年？

44:30当时这个我们的黄老板是说是五到八年。我个人认为也是五到八年的这个时间。但是这过程当中，可能像我这样子在这个产业的人，就会去做这样突破。所以这是我从业的过来十多二十年里面最兴奋的一个一个一个时期吧。因为因为它发生了巨大的一个改变。

46:07如果我们从商业化的这个角度来讲就是这个样子的。包括我们公司内部也是说我们完成这个整个demo，我们会跟国内一家非常非常非常庞大的一家做电商的公司来进行合作。原因是那家公司曾经在两年前找过就是那个法国育碧公司，然后希望能够让这家公司给他解决就是电商的这个问题。

46:31但是当时他们的那个他们公司的这个CEO、CTO、CFO，然后什么HR部门的这个相关的这个负责人都到场了，但是我们当时是并没有讨论出一个答案的。但是现在我觉得已经有这个答案了，所以我们确实会去跟他们去合作。并且这个其实不只是我们在做这个相关的事情吧，我也看到了蛮多的这种，就是没有真正意义上面图层能力，

46:57传统只是做这个，就无人机飞模型，我不知道那个行业应该怎么说啊，就是传统有大量的这种，就用无人机飞这个景区，然后生成3D建模的这么一些采集类的公司，其实现在也在想干这相关的这个这个事情。当然他们只能够提供这个采集，整套工具链和整套链条如何做得非常低成本化，这个中间还是需要整个工具链的这个调整的。

47:22新蛋糕我觉得永远是最赚钱的，去抢老蛋糕的。这个永远是最苦最累的活。确实是3D高斯它会去改变整个产业很多的东西，尤其是大家关注的什么元宇宙啊、数字孪生啊，然后直播卖货啊，这些才是真正3D高斯的这个发展的一个最核心的区域，并且它所带来的这个利润和这个整个的这个产业的量的这个需求，

47:49这个蛋糕的大小，我觉得可能啊可能，是不是未来会比游戏产业还要大。

49:28我这里面可能要纠正一下啊，我说的是没有那么大的算力需求是指针对大模型。假设大模型比如说我们需要的是万卡或者说是十万卡，作为你一个做大模型的一个一个基础条件，那可能3D高斯它可能需要千卡。但是单纯的这个千卡也是专业卡的这个这个这个水平，而不是普通显卡。

49:52普通显卡你有可能一个杯子，你可能就就需要训练一个晚上，或者说甚至七八个小时，类似于这种，它也不是Stable Diffusion的这种随便一个。就家用显卡你就能够满足的一个要求，它只是相比大模型稍微要好一些而已，这是第一件事。第二件事情，它中间有很多的东西实际上是跟大模型有挂钩关系的。

50:15比如说只有这个可视化，因为3D高斯它只解决了一个事情，就是可视化，只解决了可视化的一个问题，但是并不解决物理化，就空间化的这个问题。比如说我现在拿的是一个玻璃杯，3D高斯只能说把玻璃杯的这个材质给它在视觉上面做到了极致，它没有把物理特性给它做进去，

50:36它更加没有把空间的这个特性和时间的这个维度的这个特性给做进去。比如说我现在拿着一个3D高斯的玻璃杯，我往地下一放，理论上它砸到地板上面它应该破碎掉。那它如何破碎？它为什么要破碎？它为什么能够破碎？

50:51那这这中间其实有大量的这种gap，我们需要去填填补的。那这里面的填补一定是用大模型的能力去填补它的。比如说我们要去识别出这是一个杯子，那哪个地方它是它是玻璃材质的可以碎掉，哪些地方它可能就是那个金属材质的，在你砸到地板的时候它只会有个凹坑，它并不会碎掉。

51:12也就是中间还是有跟大模型大量沟通连接的一个地方。纯粹的3D高斯是没有价值的。但是，如果3D高斯能够建立起一个全新的度量衡，也就是说我们能够把3D资产，把它真正意义上面变成资产化。什么叫资产化？

51:32比如说我现在，比如说我这个游戏用的是Unity引擎，我做了一个模型，然后在Unity里面我已经把它的这个视觉效果做得很好了，并且衣服也会随着物理飘。但是，这个资产它仅限在这个Unity引擎里面达到这样的效果，你直接用到UE里面去，完全的得重来。

51:52除了mesh和贴图它是可以复用之外，其他所有的东西约等于约等于重做一遍啊。所以整个产业其实数字化，3D数字化的这个这个标准，这个度量衡是没有建立起来的。所以我刚刚说的整个的所有观点是指有有有一家公司或者说有一群人，能够把3D高斯基于表现力这一块，

52:14再额外再加上物理空间的属性这一块，全部都补充结束完了之后，它的产品才能做到我们刚刚所说的，给到所有人都去使用。我觉得李飞飞他们就在干相应的这个这个事情。包括他们的很多官网，大家也可以去看到，去看到他们有相应的一些讲解吧。

52:34我不知道有没有回答您的问题啊？大概是这样。

52:56我个人觉得啊，就是在AI时代，如果我们按照AI时代的这个整个的那个我个人的理解，我觉得我可能会去做一个UGC的这个工具。我觉得AI时代的这个它的一个特征就是说，我们应该把很多PGC的这个工具变成普通用户都可以去使用。你比如说现在在国内的投资人都会有统一有个想法，你跟他聊AI的时候，他会让你to C。

53:27其实投资人也没有很明确的去说出来为什么AI的工具或者说AI的产品应该是to C的。我个人说一个我个人认可的一个原因吧。就是AI大模型的这个发生，导致了很多中间件消失。比如说我们现在很多做做中间件的这些公司，你会发现有可能会被GPT，就OpenAI公司做的某某一个什么软件，

53:53然后把它的那个整个的这个中间件所有的这个价值给打打破掉。如果你是直接生产出产品的话，那就不会存在这样这样一个问题。所以我们认为AI产品的核心是UGC化，也就是to C。那么我所在的这个WorldGPT就是这么一个项目。我们希望能够让大家像育碧一样，去帮助类似于像卡梅隆这样子非常有想法的人，通过AI的方式去创造这个阿凡达的潘多拉的星球的这个世界，

54:24像黑悟空这样一个优秀的团队去创作这种3A的这种这种艺术的产品。我觉得AI它不应该是一个抢蛋糕的游戏，不是说我用AI偷偷的一个工具，然后导致我跟别人去卷更多的这个这个这个，比如说王者荣耀的游戏。那我用AI去做王者荣耀跟腾讯竞争，那是必然失败的。

54:44而是应该去创造一个全新的一个蛋糕，比如说大家在未来不是只可以玩腾讯。网易、EA、育碧、暴雪的游戏，而是说有没有可能一群更有想法、更有理想的、更有艺术追求的一群人，他们去做出更多好玩的游戏，然后或者说这种数字娱乐的这种产品。

55:07然后给到大家，

55:11可以这么理解，因为Roblox已经向整个产业证明小朋友就可以做游戏了嘛。那么凭什么艺术领域里面的那些大咖，他们不能把他们脑子里面天马行空的一些想法，然后去表现给我们呢？我觉得这个点可能是很重要的一个事情。我在上一波元宇宙的时期的时候，我没有参与元宇宙那那个时期的所有的内容。

55:36但是国内的这个四大美院里面其中的广美，还有那个川美，然后他们的一些教授，还有在读的一些学生，包括研究生，就有找到我们，然后跟我们说一个事。我传统可能是画油画的，画这个水彩画的，画这个什么各种各样的这种画的。我发现就是疫情完了之后，大家有一个数字化的世界了。

56:02那我们这群作为传统的这种艺术生，我们如何进入到数字数字化的这个世界里面去创作的？然后我当时就给他们开了好几堂课，去去了他们的那个美术馆，然后跟他们待在一起，我发现啊，他们远比中国现有的整个游戏产业里面绝大部分的人都有想法。所以如果他们能进入到，就破开这个产业的限制，进入到游戏产业里面。

56:29用游戏产业的这个工具链去创作，哪怕是动画片，或者说游戏这种产品，那将会是一个非常恐怖的事情。有没有可能就是，比如说中国的文化输出就可以开始的呢？我觉得这个是有可能的。比如说其他的一些国家也一样，他们有很多很优秀的人，但是碍于游戏的这个成本，就是这个研发成本太高了，

56:51所以大家没有去做。

57:41因为整个现有的这个演示，我个人的这角度来看的话，它是一种PGC的能力AI工具化。也就是说传统比如说呃你你想干一件事情，你干不了，那么你就花钱把我招过去，让我来干。但是现在因为有了有了大模型，你可以通过自然语言的方式把指挥我干活这件事情让大模型干了。

58:05我个人认为它它只是把一个传统程序员策划能干的这些事情用自然语言去干了。

58:14哎，对对对。对，它只是一个工具化。但大家有没有思考过一件事情，什么游戏是只有AI时代才能做的？在传统没有大模型的这个时代是干不了的这个事情。有没有呢？

58:27我们曾经内部就是开会开就这这一个话题开了一个星期的会。我们后面发现，有。我举个例子，比如说我们要做一个养女儿的游戏吧，就是类似于日本有个很知名的游戏叫美少女梦工厂。传统我们做游戏的时候，通常我们游戏公司哎，由于成本的关系，我们只会设计比如说三个或者四个女儿，

58:50对吧？那个女儿的长相应该是大差不差，就就类似那个样子的。然后如果我们玩了第一遍她是长那样子，第二遍还是长那样子。但是如果我们现在有大模型了，我们每个人养的女儿都可以是完完全全不一样的。比如说你今天老是给她吃个巧克力，那她是不是会长胖了？

59:09那她长成多胖呢？那这就取决于你给她吃了多少蛋糕多少巧克力。那你比如说这个女儿的性格应该是什么样子呢？传统过去可能我们用行为树，也就是错号配表，写在那里了，所以她的性格总归是有限的。你只要玩下去一定会玩玩通关掉。

59:29但是如果我们是叠加在大模型上面去，那是不是很有可能这个整个的这个女儿的这个性格是真实受到了你的整个语言或者说行为的这个刺激的。所以我认为这个AI时代的这个世界模型的核心应该是我们可以去拓宽整个游戏的边界了。有些传统游戏我们在设计的时候，过去受到这个所谓的人工智能，就游戏领域一直都有讲人工智能。

1:00:01一直都讲NPC、AI、Agent这类的概念，只不过当年由于技术发展比较慢，我们用的是行为树，再到后面可能用了一些知识图谱的东西。但是到今天的大模型，绝对对游戏产业是一个巨大的变化。所以我觉得维度可以再提得再高一点。然后回到这个核心，我觉得大家想聊的是，这个是不是有一个完全由AI来驱动的游戏，从它的制作到它的运作都是由AI来驱动的。

1:00:31我们团队在做的这个WorldGPT的核心，整个的核心就是你从研发开始，就由AI来去驱动你的这个研发，在运行的时候。不是策划写死的配置表去控制你那个世界，而是由一个大模型来控制你你的这个世界应该如何去发展，如何去做。我们人类可能作为一种类似于外星人观察者一样的，稍微间接地去干预一下就可以了。

1:00:56我觉得这个可能是AI时代我们更加值得关注的一个东西。这个大概是我们的一个终极的目标吧。就WorldGPT的终极目标，就是我们通过AI去创造一个世界，帮助所有人，像这个法国育碧帮助卡梅隆创建潘多拉星球，实时交互这个世界世界娱乐的这个产品一样。

1:01:18我们希望帮助所有人都去做相应的这个事情，然后会比AAA的这个整个的这个还要高一个层面的上面的东西吧。

1:01:42我觉得有这种可能吧，就是以我对这个数字娱乐的这个产业的理解，根据马斯洛需求的五个层次，也许那个Sam所说的这个变得难以想象更加好玩的东西，应该是会跟自我这类精神的这个实现有关。在我们现实的这个物质社会当中，我们不大可能让所有人都达到最顶层的这个精神的追求。

1:02:09比如说让所有人都享受当领导的这种感觉，这件事情在现实社会当中明显是不可能的，对吧？因为当领导意味着一定要有一堆的属下嘛，那意味着不是所有人都可以当领导。不是所有人都可以当国家领导人嘛。但是其实在数字化的这个世界是可以做到这个自我的这个实现的。

1:02:31娱乐、开心是游戏所能够提供的这种最低级的这种能力。我曾经记得有一次跟一个朋友聊天，聊到过，就是因为中国的父母嘛，其实在整个教育其实还是有一些欠缺的。他说他父母从来没有教过他什么是自信，什么是勇敢。他说他了解这个东西，或者说学到的这个东西。

1:02:57是从过去日本的一些游戏和动漫当中去体会和去感受到的。那这个东西我觉得可能打游戏的人很多，我不知道是不是所有人都能够从游戏过程当中去感受到这些东西。就像3A游戏为什么那么吸引人一样，为什么大家会花大量的时间进去一样。就像黑悟空，大家能看到的是整个中国过去的整个多少年积累下来的这些知识和文化，大家是可以产生共鸣的。

1:03:26所以我觉得Sam所说的那个难以想象的好东西，很有可能是这个。比如说类似于什么灵魂伴侣啦，比如说心有灵犀一点通啊，类似这种词汇。我不知道这种所谓自我实现的这种精神类的这个需求，我觉得它是非常令人震撼的吧。有AI的这个加持，可能会导致我们产业的这个产品能够做到那种程度。

1:03:48比如说你的一个，有没有一种可能啊，你的一个虚拟在游戏世界的一个女朋友，可能比你现实的世界的女朋友还要更懂你。

1:05:22我们内部在最早期接触大模型的时候，曾经用一周做过一个小demo。这个小demo的目标就是，我们只能用AI来生成资产。然后所以我们用AI生成了一个AVG文字对话的一个游戏。虽然它不好玩，但是它所有一切的内容都是用AI来生成的。

1:05:43其实这件事情对我影响是非常非常大的。所以我个人的感觉就是说，OK，3D图形可能是研发游戏的整个解决方案。我们团队会考虑说在整个的这个游戏研发的这个工作流当中去，如何使用AI来去颠覆它，去改变它。这个可能是我们的一个重点。

1:06:04我们一直在思考这个UGC，就是用户生产内容。最近AI这个进展，一年下来也变化得非常大。现在互联网非常的发达，大家每天都有把这个AI的这个论文啊、代码啊、演示demo都公开嘛。就像我们刚刚另外一位同学说的，就是哎，好像所有的技术都公开了。

1:06:26但是我觉得这里面你要想把公开的这个代码啊、论文啊、这个demo啊都实际应用起来，它还是有一些难度的。所以可能我们会去开发一款非常快速的一个UGC的一个内容。去把我们整个的这个产品的理念去做吧。就是虽然不允许我做WorldGPT啊，但是我觉得WorldGPT它终点版本可能是V10版本，我现在总共可以先做个0.1版本吧。

1:06:52我想说，呃，如果要想震撼到大家的话，我想说我可能会去做这么一个产品吧。然后把整个的这个传统的工作流去去改变到，让大家更好地去理解我们如何去做出一款游戏，或者说我们如何进入到一个全新的一个设计的，就是如何设计数字化世界娱乐产品的这么一个流程里面去，让大家先能用起来，先能玩起来。

1:07:19这个是一个核心点吧。重新定义啊数字化娱乐产品的设计流程。

1:07:54谢谢，拜拜。