3D 生成行業(yè)很大，但剛剛到GPT-2 的水平，國(guó)內(nèi)團(tuán)隊(duì)要領(lǐng)先海外團(tuán)隊(duì)，大廠與創(chuàng)業(yè)公司在同一起跑線。

撰文|藍(lán)洞商業(yè) 趙衛(wèi)衛(wèi)

消費(fèi)級(jí)的生成式AI屢見(jiàn)不鮮，工業(yè)級(jí)的生成式AI亟待新突破，繼騰訊混元入局3D生成模型之后，字節(jié)跳動(dòng)最近也發(fā)布了3D生成大模型Seed3D 1.0。

工業(yè)級(jí)的3D生成意味著更高的精度和質(zhì)量，而且適用的行業(yè)也主要集中在B端行業(yè)。騰訊混元3D生成模型已經(jīng)進(jìn)化到了3.0版本，主要用于游戲開(kāi)發(fā)，而字節(jié)跳動(dòng)展示的3D生成大模型使用場(chǎng)景，主要瞄準(zhǔn)仿真環(huán)境中的具身智能大模型訓(xùn)練。

衡量一個(gè)3D生成模型的能力，目前沒(méi)有絕對(duì)標(biāo)準(zhǔn)，只有相對(duì)質(zhì)量的對(duì)比。

在字節(jié)跳動(dòng)Seed3D 1.0的測(cè)試圖中，還原度、透視與結(jié)構(gòu)、幾何質(zhì)量等多個(gè)維度都優(yōu)于同行對(duì)手，而它選取的國(guó)內(nèi)對(duì)手中，表現(xiàn)較好的分別是影眸科技的Rodin Gen-1.5、騰訊Hunyuan 3D-2.1和VAST的Tripo 2.5。

影眸科技團(tuán)隊(duì)，后排左一為CEO吳迪，前排左一為CTO張啟煊

尤其是影眸科技，這家專(zhuān)注于3D大模型技術(shù)的創(chuàng)業(yè)公司由吳迪、張啟煊等人于2020年創(chuàng)立，去年A輪融資時(shí)，影眸科技的主要產(chǎn)品Rodin用45天就拿到了100萬(wàn)美元ARR，字節(jié)跳動(dòng)和美團(tuán)龍珠領(lǐng)投，在今年的A+輪中，字節(jié)跳動(dòng)繼續(xù)追加投資。

值得注意的是，過(guò)去一年間，字節(jié)在自身AI業(yè)務(wù)上飛速發(fā)展，但戰(zhàn)略投資很少出手AI項(xiàng)目，影眸科技是為數(shù)不多的一家。

如今，字節(jié)跳動(dòng)親自下場(chǎng)布局3D生成模型，不難看出對(duì)這一賽道的重視，這也意味著3D生成市場(chǎng)會(huì)迎來(lái)更快發(fā)展。

9月，影眸科技上新了Rodin Gen-2.0版本的模型，相比上一代模型，生成的3D模型有了更加銳利和平直的邊緣，這一代模型在交互上增加了分件功能，讓用戶通過(guò)指定顆粒度來(lái)控制和重新拆分零件，增加了用戶可用性的同時(shí)領(lǐng)先于同類(lèi)產(chǎn)品。

與此同時(shí)，網(wǎng)易游戲的《蛋仔派對(duì)》、3D打印行業(yè)的拓竹等公司和產(chǎn)品，都已經(jīng)用上了影眸科技的Rodin，他們通過(guò)Rodin的3D生成開(kāi)發(fā)產(chǎn)品，這大大提升了3D內(nèi)容生產(chǎn)的規(guī)模和效率。

但3D生成的ChatGPT時(shí)刻尚未到來(lái)，影眸科技CTO張啟煊認(rèn)為，當(dāng)下行業(yè)差不多剛剛發(fā)展到GPT-2的水平，而未來(lái)進(jìn)化的方向，是要滿足不同行業(yè)的具體使用場(chǎng)景，更需要互聯(lián)網(wǎng)大廠和創(chuàng)業(yè)公司們齊頭并進(jìn)。

在騰訊、字節(jié)紛紛下場(chǎng)布局3D生成模型的當(dāng)下，影眸科技作為創(chuàng)業(yè)公司如何思考未來(lái)的發(fā)展？「藍(lán)洞商業(yè)」對(duì)話了影眸科技CTO張啟煊，以下為內(nèi)容精編：

藍(lán)洞：你看到大廠相繼入局3D生成的產(chǎn)品之后，第一反應(yīng)是什么？

張啟煊：這更像是一個(gè)信號(hào)，表示愿意投入3D生成這件事。

騰訊混元3D大模型真正的飛躍，是今年三四月份，混元3D把模型參數(shù)量上到了百億級(jí)規(guī)模，這種嘗試需要一次性投入巨大的算力成本，對(duì)初創(chuàng)公司來(lái)說(shuō)風(fēng)險(xiǎn)很大，但幸運(yùn)的是混元成功了，后面的公司再去Scaling（規(guī)?；┚捅容^有信心了。

藍(lán)洞：大廠在3D生成的場(chǎng)景上各有側(cè)重，比如騰訊主要是游戲，字節(jié)主要是具身智能和電商，你們呢？

張啟煊：具身智能的幾家頭部公司也都在用我們的產(chǎn)品，包括上海交大的穆堯老師有一個(gè)Robo Twin項(xiàng)目，通過(guò)結(jié)合現(xiàn)實(shí)世界的遙操作數(shù)據(jù)與數(shù)字孿生的合成數(shù)據(jù)，為雙臂機(jī)器人的研究提供強(qiáng)有力的支持，他們就選擇我們Rodin去生成具身智能的3D資產(chǎn)，因?yàn)樯傻哪Ｐ蜋M平豎直規(guī)整度很高。

具身智能領(lǐng)域的數(shù)據(jù)來(lái)源有兩個(gè)，一個(gè)是真實(shí)數(shù)據(jù)，另一個(gè)是虛擬數(shù)據(jù)。

如果你要在仿真環(huán)境中做虛擬數(shù)據(jù)的話，肯定需要3D資產(chǎn)在仿真環(huán)境中使用，那這個(gè)3D資產(chǎn)不可能靠掃描，也不太能夠雇人去建，靠現(xiàn)有的數(shù)據(jù)集的話又太少了，這時(shí)候3D生成就是很好的方向。

消費(fèi)級(jí)的文字、音頻、圖片或是視頻內(nèi)容生成，都是往社交媒體走的，但3D生成不是這種模態(tài)，它不是直接跟大眾接觸，從網(wǎng)易游戲到3D打印行業(yè)的拓竹，都是我們的客戶，但不同行業(yè)對(duì)3D的要求是不一樣的，差異非常巨大。

比如3D打印行業(yè)更關(guān)注模型的水密性，而游戲行業(yè)是一個(gè)很長(zhǎng)的工業(yè)管線，我們?cè)谥鸩焦テ撇季€、UV和綁定動(dòng)畫(huà)等問(wèn)題，因?yàn)楸砻娴钠秸群颓嬉?guī)范性非常重要。

藍(lán)洞：對(duì)于一個(gè)普通用戶來(lái)說(shuō)，現(xiàn)在接觸你們的3D生成最普遍的形式是什么？

張啟煊：一個(gè)是3D打印，另外一個(gè)就是網(wǎng)易的游戲《蛋仔派對(duì)》。《蛋仔派對(duì)》上的「AI模型生成」功能，讓玩家輸出文字或上傳圖片就可以生成高質(zhì)量模型，然后在樂(lè)園工坊中直接使用，這意味著3D?成技術(shù)已經(jīng)進(jìn)?了?規(guī)模商業(yè)應(yīng)?階段。

能夠跟大廠合作，是因?yàn)槲覀儓F(tuán)隊(duì)在國(guó)內(nèi)的圖形學(xué)中是領(lǐng)先的，在國(guó)際圖形學(xué)頂級(jí)會(huì)議上斬獲過(guò)「最佳論文獎(jiǎng)」和「TOP10技術(shù)論文速覽」雙料榮譽(yù)。

對(duì)于很多游戲公司來(lái)說(shuō)，選擇第三方模型是現(xiàn)階段最穩(wěn)妥的方案，因?yàn)楦骷夷Ｐ陀懈髯缘奶攸c(diǎn)，語(yǔ)言模型上GPT-5更好還是Claude更好？視頻生成上Sora-2跟VEO-3.1哪個(gè)更好？大家都很難說(shuō)絕對(duì)領(lǐng)先，我們只能說(shuō)第一梯隊(duì)是誰(shuí)。

藍(lán)洞：現(xiàn)階段國(guó)內(nèi)3D生成的第一梯隊(duì)是誰(shuí)？

張啟煊：我認(rèn)為是我們Rodin-2跟騰訊混元3D。我們不擔(dān)心競(jìng)爭(zhēng)，最擔(dān)心的是大廠沒(méi)有加入這個(gè)游戲。

目前海外市場(chǎng)，基本占了我們收入的百分之七八十。海外主要在布局這一塊的是Roblox，它是一個(gè)在線游戲創(chuàng)建平臺(tái)，讓用戶通過(guò)免費(fèi)工具來(lái)創(chuàng)作內(nèi)容，Roblox最早做了3D Control Net，能夠產(chǎn)生高質(zhì)量的輸出。

一年前發(fā)布1.0版本的時(shí)候，我們的一個(gè)賣(mài)點(diǎn)就是可控性很高，用3D的Control Net把設(shè)計(jì)產(chǎn)品的長(zhǎng)寬高比例等固定下來(lái)，而不是讓AI胡亂生成， 這對(duì)游戲和工業(yè)設(shè)計(jì)是非常重要的剛需。上個(gè)月，混元3D也發(fā)布了原生3D組件生成模型的可控功能。

藍(lán)洞：上個(gè)月發(fā)布的新版本，相比去年的1.5版本，行業(yè)有哪些新變化？外界有哪些新的反饋？

張啟煊：現(xiàn)在跟去年相比，總的來(lái)說(shuō)3D生成整個(gè)行業(yè)最大的變化就是參數(shù)量上去了。

比如去年年底，我們發(fā)布Rodin Gen-1.5版本的時(shí)候，參數(shù)量是超過(guò)40億，而現(xiàn)在整個(gè)3D生成行業(yè)第一梯隊(duì)中的模型，標(biāo)配已經(jīng)是百億參數(shù)了，百億參數(shù)也就意味著你背后的數(shù)據(jù)量，已經(jīng)到百萬(wàn)級(jí)別了。

所以行業(yè)飛速發(fā)展，一方面創(chuàng)業(yè)公司有了資本和資源去收集大量3D數(shù)據(jù)，渠道已經(jīng)打通，也不再擔(dān)心3D數(shù)據(jù)從哪里來(lái)，而另外一方面，第一波做3D生成的公司已經(jīng)賺錢(qián)了，所以互聯(lián)網(wǎng)大廠也注意到了這個(gè)方向，開(kāi)始跟游戲業(yè)務(wù)做協(xié)同，后面包括初創(chuàng)公司和大廠的競(jìng)爭(zhēng)會(huì)更激烈。

我們影眸的特點(diǎn)是模型側(cè)各種功能性上的改進(jìn)，比如將模型快速拆解為多個(gè)獨(dú)立部件，這些功能性和底層框架上比較領(lǐng)先。

上個(gè)月發(fā)布的新版本，我們已經(jīng)提前把基座模型給到一些用戶體驗(yàn)，主打的功能就是分件，用戶體驗(yàn)感覺(jué)很不錯(cuò)。

但意想不到的反饋是，很多人覺(jué)得我們貼圖質(zhì)量變差了，其實(shí)我們做過(guò)AB test，換回原來(lái)的貼圖模型會(huì)更差，背后原因是模型質(zhì)量提升了之后，大家對(duì)貼圖的要求更高了，顯得貼圖質(zhì)量變差了。

我們每個(gè)版本的迭代都是朝著用戶需求展開(kāi)，比如國(guó)內(nèi)一家知名智能硬件科技企業(yè)，他們?cè)O(shè)計(jì)師都在用我們的產(chǎn)品，給我們的反饋是需要3D生成邊緣銳利，我們回去就在1.5版本中把這個(gè)特性做出來(lái)了。如今到2.0版本，我們分件功能也是來(lái)自設(shè)計(jì)行業(yè)的需求，讓設(shè)計(jì)變得更可控，使用面更廣了。

對(duì)于3D打印行業(yè)來(lái)說(shuō)，現(xiàn)在小紅書(shū)上很多案例，都是用我們的產(chǎn)品生成3D設(shè)計(jì)之后拼裝的案例?，F(xiàn)在還需要下載之后在三維軟件中進(jìn)一步操作，但后面我們會(huì)把這一套流程集成在我們網(wǎng)站中，不再需要用戶二次操作。

藍(lán)洞：從你們的產(chǎn)品UI設(shè)計(jì)上，能感覺(jué)你們的審美超過(guò)很多大廠，這是怎么來(lái)的？

張啟煊：我們團(tuán)隊(duì)很多藝術(shù)家，幾個(gè)創(chuàng)始成員都喜歡拍電影，都會(huì)自己用三維動(dòng)畫(huà)軟件Blender做3D渲染，所以很多產(chǎn)品宣傳片讓外界以為是專(zhuān)業(yè)團(tuán)隊(duì)做的，其實(shí)都是我們自己設(shè)計(jì)的。在交互上的設(shè)計(jì)也是，與其說(shuō)滿足自己的審美偏好，不如說(shuō)幫用戶做到足夠方便，否則效果不會(huì)好。

藍(lán)洞：就目前3D生成來(lái)說(shuō)，大廠比創(chuàng)業(yè)公司的優(yōu)勢(shì)大很多嗎？

張啟煊：大模型最重要的還是數(shù)據(jù)。至少目前，大廠跟創(chuàng)業(yè)公司在3D生成上是站在同一起跑線的。比如說(shuō)，我們現(xiàn)在的數(shù)據(jù)量級(jí)已經(jīng)超出騰訊這樣級(jí)別的大廠在做的游戲數(shù)據(jù)量。

舉個(gè)例子，一般中小型游戲有幾百到上千個(gè)模型，中大型游戲則是幾千到上萬(wàn)個(gè)。假設(shè)頂級(jí)游戲公司有100個(gè)游戲，每個(gè)游戲有1萬(wàn)個(gè)模型，那么它最多有100萬(wàn)個(gè)模型，而我們現(xiàn)在有的數(shù)量級(jí)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)這個(gè)數(shù)量了。

大廠可以大力出奇跡，一次兩次可以，但第三次可能就難了。大家能看出GPT-5和GPT-4o的巨大差別嗎？所以要的是在體驗(yàn)和場(chǎng)景使用上的新突破。

3D是個(gè)很大的行業(yè)，但3D生成現(xiàn)在其實(shí)差不多剛剛到GPT-2的水平，而且國(guó)內(nèi)的團(tuán)隊(duì)要領(lǐng)先海外團(tuán)隊(duì)，我們私下開(kāi)玩笑說(shuō)，最聰明的那批人全都沒(méi)在做3D生成，海外的聰明人都去做AI視頻生成，都去做AGI了。

藍(lán)洞：制約3D生成下一步發(fā)展的條件，除了巨大的算力消耗還有什么？如何找到新的突破方向？

張啟煊：之前是有了模型之后去定制產(chǎn)品，比如從GPT-3.5到GPT- 4，而其實(shí)一個(gè)新的方向是為了一個(gè)產(chǎn)品去定制一個(gè)模型，比如最新的Sora 2。

它是為了社交媒體玩法，設(shè)計(jì)了可以植入人物多人合拍的功能，這些功能都是需要在網(wǎng)絡(luò)側(cè)引入的。再比如Google的AI圖像生成和編輯工具Nano Banana，也是從產(chǎn)品角度出發(fā)設(shè)計(jì)了一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu)。

那對(duì)應(yīng)到3D生成領(lǐng)域，我們很早就意識(shí)到為了用戶需求要在功能上進(jìn)行設(shè)計(jì)，比如之前的3D Control Net和現(xiàn)在的分件，都是因?yàn)橐獫M足不同行業(yè)的具體使用場(chǎng)景，而不是加大數(shù)據(jù)和參數(shù)讓絕對(duì)質(zhì)量變高。

3D生成行業(yè)剛剛起步，因?yàn)?D行業(yè)不同行業(yè)對(duì)3D模型需求差異遠(yuǎn)要比圖像跟視頻高很多。比如工業(yè)設(shè)計(jì)都要CAD模型，需要的是曲面模型而不是網(wǎng)格化的，那就要求我們把模型變成曲面參數(shù)表達(dá)，每完成一個(gè)新的里程碑，就會(huì)在新的領(lǐng)域里發(fā)現(xiàn)新的客戶去使用你的東西，這就是后面大家整個(gè)AI生成行業(yè)去迭代的方向。

藍(lán)洞：最近美國(guó)李飛飛團(tuán)隊(duì)也發(fā)布了全新實(shí)時(shí)生成式世界模型RTFM，一張H100就可以運(yùn)行，他們主導(dǎo)的3D生成方向本質(zhì)是學(xué)會(huì)了渲染的AI，而你之前也提到未來(lái)看好的方向是用生成式的方式去做渲染，這其中有什么不同？

張啟煊：我們其實(shí)不是一個(gè)賽道。李飛飛老師功成名就，她要考慮的是人類(lèi)未來(lái)10年或20年后的東西，所以很前衛(wèi)，他們的產(chǎn)品有點(diǎn)像視頻生成，是顛覆現(xiàn)在圖形渲染管線的事，其實(shí)不是為了這一代游戲和這一代的CG去做的，所以周期肯定更長(zhǎng)。

而我們作為一家小初創(chuàng)公司，要先解決現(xiàn)階段的生存問(wèn)題。3D生成是基于Mesh表達(dá)， 所謂Mesh表達(dá)就是由大量三角形面拼接而成的3D模型表達(dá)形式，它跟現(xiàn)在的CG還有游戲的工業(yè)是接軌的。

我看好未來(lái)生成式的方式去做渲染，我們也確實(shí)在布局，但跟我們現(xiàn)在的Rodin產(chǎn)品不太相關(guān)。之前大家想要呈現(xiàn)一個(gè)精致的視頻畫(huà)面，背后有3D模型、光照和材質(zhì)等等要求，然后通過(guò)渲染引擎去得到最后的圖像。而生成式AI改變了這個(gè)規(guī)則，圖像可以直接降噪生成視頻，但做不到非常精準(zhǔn)，我們就希望把視頻生成變成一個(gè)渲染器，去完成妥當(dāng)?shù)匿秩尽?/p>