作者 ｜ 王兆洋
郵箱 ｜ wangzhaoyang@pingwest.com

1

2023年，AI行業(yè)的融資低谷年。脫胎于上?？萍即髮W(xué)MARS實(shí)驗(yàn)室的影眸科技也遇到了自己的“危機(jī)”。這家公司的兩位創(chuàng)始人吳迪和張啟煊，當(dāng)時(shí)一個(gè)剛畢業(yè)，一個(gè)還是研究生。

一家已經(jīng)談好、SPA協(xié)議都已完成的領(lǐng)投機(jī)構(gòu)，因?yàn)楫?dāng)時(shí)地緣政治對(duì)投資機(jī)構(gòu)的沖擊而在簽字前幾周臨時(shí)撤回投資。而影眸當(dāng)時(shí)公司賬上只剩下8個(gè)月的資金。

解決方案是有的，甚至是顯而易見的：他們最早的商業(yè)化項(xiàng)目——那個(gè)在這家公司辦公室擺放著的無(wú)法忽視的巨大球形掃描儀“穹頂光場(chǎng)”，是一個(gè)有穩(wěn)定需求的服務(wù)。它為3A游戲和電影公司掃描人像，每年能帶來(lái)可觀收入，靠它活下去沒啥問(wèn)題。

但團(tuán)隊(duì)能感覺到，元宇宙概念市場(chǎng)在萎縮，項(xiàng)目制的服務(wù)也很難規(guī)?；?。而更重要的是，它并不是這家公司最想做的事情。

在最初創(chuàng)辦這家公司時(shí)，雖然不確定具體要做什么，但年輕的創(chuàng)始團(tuán)隊(duì)的大目標(biāo)是讓所有人都能用到3D，比如，做出一個(gè)home studio。而在影眸看來(lái)，在所謂的元宇宙里，顯然普通用戶大多只是旁觀者，但他們希望的是讓每個(gè)人可以成為創(chuàng)造者，這最終需要靠3D生成，需要一次更徹底的底層技術(shù)創(chuàng)新。隨著AI生成3D因?yàn)榇竽Ｐ偷倪M(jìn)步而熱鬧起來(lái)，這個(gè)底層技術(shù)創(chuàng)新指向一個(gè)全新的模型。

于是一個(gè)神奇的決定出現(xiàn)了：在公司“彈盡糧絕”的危機(jī)下，創(chuàng)始團(tuán)隊(duì)卻決定賭一把——

訓(xùn)練一個(gè)當(dāng)時(shí)沒人做出來(lái)過(guò)的原生3D模型。

他們能調(diào)用的資源有限，時(shí)間上也只夠選擇一條路徑。這基本就是一次訓(xùn)練機(jī)會(huì)，成功就成功，失?。ㄓ?xùn)不出來(lái)）基本就沒有第二次機(jī)會(huì)了。

Go big，or go home。

然后Rodin的訓(xùn)練就開始了。

2

這個(gè)模型在當(dāng)時(shí)算是異類。當(dāng)時(shí)做3D生成最主流的方向，是先通過(guò)“文生圖”的模型生成各個(gè)角度的圖像，再合成一個(gè)3D模型，即“2D升維”。影眸的同行幾乎都選擇了這條路。

然而事實(shí)上，在2D圖像生成大火之前，3D領(lǐng)域原本的主流就是在走3D數(shù)據(jù)原生訓(xùn)練的路線。只是突然2D技術(shù)太強(qiáng)了，導(dǎo)致“2D升維”成了熱點(diǎn)。

影眸脫胎于上科大。2020年，吳迪剛讀研一，張啟煊還是大三，兩人一起在學(xué)校里開始創(chuàng)業(yè)。

吳迪是上科大最早的一批學(xué)生，這所帶點(diǎn)實(shí)驗(yàn)性質(zhì)的年輕大學(xué)，給學(xué)生提供了獨(dú)特的空間。作為學(xué)生會(huì)主席，吳迪能直接跟校領(lǐng)導(dǎo)匯報(bào)、申請(qǐng)經(jīng)費(fèi)，參與搭建實(shí)驗(yàn)室。張啟煊在學(xué)校也閑不下來(lái)，到處打比賽，并在本科就進(jìn)入了MARS（Multi-disciplinary Artificial Reality Studio）實(shí)驗(yàn)室。也因此認(rèn)識(shí)了吳迪。

這些計(jì)算機(jī)科學(xué)方向的學(xué)生，同時(shí)也對(duì)Blender等3D軟件以及3D技術(shù)癡迷，當(dāng)時(shí)吳迪和張啟煊在學(xué)校主要在做的項(xiàng)目，就是那個(gè)巨大的“穹頂光場(chǎng)”，它并非簡(jiǎn)單的相機(jī)陣列拍攝多角度照片，而是基于“光度立體法”（Photometric Stereo），能在0.1秒內(nèi)向掃描對(duì)象投射二三十種不同的光照模式，算出整個(gè)面部細(xì)微的法線信息，甚至引入“偏振態(tài)”光線來(lái)解耦高光材質(zhì)，從而采集到遠(yuǎn)超傳統(tǒng)方式的超細(xì)膩皮膚細(xì)節(jié)。

2020年，公司成立后他們開始各種摸索，當(dāng)時(shí)他們基于實(shí)驗(yàn)室發(fā)表的一篇SoftGAN的論文，做了一個(gè)畫真實(shí)人物的畫板產(chǎn)品，但起初沒什么反響。后來(lái)他們換了一批二次元數(shù)據(jù)，做成了AI畫板APP WAND。

然后這款app就瞬間爆了，立刻就登上了中日兩國(guó)App Store圖形與設(shè)計(jì)分區(qū)的榜首，兩周獲取了160多萬(wàn)用戶。

來(lái)自@taptap發(fā)現(xiàn)好游戲

這給他們帶來(lái)了第一波融資，在那之前，奇跡創(chuàng)壇的陸奇來(lái)學(xué)校參觀，看過(guò)他們的穹頂，鼓勵(lì)他們報(bào)了奇績(jī)。在APP爆火的當(dāng)晚11點(diǎn)，奇績(jī)的人緊急聯(lián)系他們，對(duì)他們說(shuō)：

“立刻跟我們簽吧”。

但他們卻快速“拋棄”了這個(gè)產(chǎn)品。

WAND是個(gè)像極了后來(lái)Midjourney樣貌的產(chǎn)品。但在當(dāng)時(shí)，他們想不出來(lái)它的商業(yè)模式。而更讓他們提不起興趣的，是這個(gè)產(chǎn)品背后的技術(shù)——GAN。

GAN（生成對(duì)抗網(wǎng)絡(luò)）在當(dāng)時(shí)是主流，它通過(guò)兩個(gè)網(wǎng)絡(luò)（生成器和判別器）相互博弈來(lái)“偽造”圖像，但在多樣性和可控性上很快遇到了瓶頸。而影眸團(tuán)隊(duì)當(dāng)時(shí)沒有預(yù)料到的是，另一條技術(shù)路線——Diffusion（擴(kuò)散模型）即將爆發(fā)。以Stable Diffusion為代表的擴(kuò)散模型，通過(guò)一個(gè)“去噪”過(guò)程逐步生成圖像，實(shí)現(xiàn)了前所未有的圖像質(zhì)量和“言出法隨”的文本控制能力，這才是后來(lái)真正引爆AIGC浪潮的關(guān)鍵。但在當(dāng)時(shí)，GAN限制了人們對(duì)圖像生成技術(shù)的想象。于是在拿到錢后，他們反而“更逆反了”。

他們?nèi)ハ蜿懫嬉ㄗh，對(duì)方回到：“你們要專注，做你們最想做的事情”。張啟煊的理解是：“你只能做一件事?！?/p>

砍掉了WAND項(xiàng)目后，他們繼續(xù)專注到“更廣泛更通用的3D”上。在2021年底，他們做出了ChatAvatar，一個(gè)用文字描述生成3D形象的產(chǎn)品。同樣，追求真實(shí)，而不是好看。這解決了“十幾萬(wàn)”掃描費(fèi)和“30塊”廉價(jià)角色之間的巨大需求，也是影眸開始向AI產(chǎn)品邁出的重要一步。

3

穹頂光場(chǎng)、WAND、ChatAvatar，這些技術(shù)和產(chǎn)品研發(fā)里的經(jīng)驗(yàn)最終都匯聚在了Rodin這個(gè)模型上。

2024年3月，新模型終于有了內(nèi)部Demo。

訓(xùn)練成功了。

Rodin模型第一次展示了原生3D路線的強(qiáng)大效果。這套名為Clay的原創(chuàng)框架希望徹底繞開行業(yè)的“主流陷阱”。當(dāng)時(shí)，包括業(yè)內(nèi)巨頭和看似引領(lǐng)著技術(shù)方向的實(shí)驗(yàn)室都采用著“2D升維”路線，這本質(zhì)上是一種妥協(xié)：

它們的出發(fā)點(diǎn)是希望利用2D圖像模型如Stable Diffusion當(dāng)時(shí)取得的成果，因此選擇了使用一種叫做SDS（Score Distillation Sampling 分?jǐn)?shù)蒸餾采樣）的方法來(lái)讓2D模型做3D生成過(guò)程的“老師”——一個(gè)3D數(shù)據(jù)先轉(zhuǎn)成不同切面的2D數(shù)據(jù)，交給2D模型打分，然后蒸餾反饋評(píng)估最終擬合出一個(gè)3D資產(chǎn)，以此訓(xùn)練文字生成3D的能力。

但很顯然，這種方式不僅計(jì)算量大、速度慢，而且由于2D視角的不一致，生成的3D模型幾何結(jié)構(gòu)混亂、表面粗糙，無(wú)法用于實(shí)際生產(chǎn)。

影眸的賭注，是“原生3D”——即模型直接在3D數(shù)據(jù)上訓(xùn)練，直接生成3D模型。這是一個(gè)公認(rèn)更難、但理論上效果好得多的路線。他們需要在已有工作基礎(chǔ)上，設(shè)計(jì)一個(gè)更優(yōu)雅的架構(gòu)。

首先是數(shù)據(jù)表達(dá)，他們選擇了"Vecset" （3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models）這個(gè)研究里的方法，他們認(rèn)為這個(gè)已有的研究，是3D數(shù)據(jù)在隱空間中的最佳表達(dá)——它像一種“長(zhǎng)條形”的無(wú)序數(shù)據(jù)鏈，它恰好完美適配了Transformer架構(gòu)。于是，在Sora帶火DiT（Diffusion Transformer）架構(gòu)之前，影眸的Rodin已經(jīng)在把賭注押到DiT上。“我們當(dāng)時(shí)叫它Transformer with Diffusion，后來(lái)發(fā)現(xiàn)DiT火了后，我們?cè)谡撐睦镆步y(tǒng)一了它的名字?！?/p>

除此之外，團(tuán)隊(duì)也做了很多工程上的工作，他們專門開發(fā)了一套“數(shù)據(jù)標(biāo)準(zhǔn)化”管線，用來(lái)“重構(gòu)網(wǎng)格”（Remeshing）和統(tǒng)一來(lái)自ShapeNet、Objaverse等不同來(lái)源、質(zhì)量參差不齊的數(shù)據(jù)。這是很關(guān)鍵的一步，但最初的方法需要人工標(biāo)注，這本來(lái)可能是一個(gè)制約效率的大問(wèn)題，但就在這時(shí)，GPT-4V出現(xiàn)，標(biāo)注可以由模型完成。一切再次加速。

最終它的技術(shù)細(xì)節(jié)被寫進(jìn)名為《CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets》的論文，這篇論文獲得了SIGGRAPH 2024最佳論文提名，并成為50年來(lái)首個(gè)入選SIGGRAPH "Real-Time Live!”的中國(guó)團(tuán)隊(duì)。ResNet之父何愷明教授在當(dāng)年MIT的深度生成模型課程中將CLAY列為推薦閱讀(6.S978 ,MIT EECS, Fall 2024)。

基于CLAY，影眸于2024年中上線了全球首個(gè)原生 3D 生成大模型產(chǎn)品Hyper3D.AI Rodin。

現(xiàn)在，原生3D已成為行業(yè)共識(shí)——包括騰訊混元、字節(jié)Seed3D在內(nèi)的公司，都已采用3D原生技術(shù)路線?？梢哉f(shuō)，影眸定義了3D生成的“可用性拐點(diǎn)”。

4

2024年，影眸帶著他們的技術(shù)成果登上了GDC（全球游戲開發(fā)者大會(huì)）的講臺(tái)首次對(duì)外公開展示了還是demo的Rodin。影眸也成為少有的被官方邀請(qǐng)的中國(guó)初創(chuàng)公司。

這次分享吸引來(lái)了行業(yè)內(nèi)諸多關(guān)注，影眸將Rodin模型接入了擁有5億用戶的超級(jí)頭部游戲的移動(dòng)端Runtime環(huán)境，為其UGC創(chuàng)作賦能。

在行業(yè)中，這是一個(gè)重要的信號(hào)。它意味著影眸的AI模型不再是純粹的“Demo”工具，而是開始被真正集成到實(shí)時(shí)運(yùn)行的、海量用戶的移動(dòng)游戲引擎中。

玩家在游戲中使用Hyper3D.AI Rodin生成內(nèi)容

“Production Ready”是影眸不停強(qiáng)調(diào)的目標(biāo)。3D模型沒有標(biāo)準(zhǔn)的Benchmark，最終是客戶自己來(lái)判斷，用錢投票。這些真實(shí)產(chǎn)業(yè)環(huán)節(jié)里的合作，就是一張張最有分量的“票”。

目前影眸的商業(yè)模式也歸一到服務(wù)游戲、影視制作，以及更大一塊的工業(yè)設(shè)計(jì)，整體以專業(yè)的建模場(chǎng)景為主。

“3D生成對(duì)游戲公司來(lái)說(shuō)是天然適合外包的業(yè)務(wù)。這是分工明確和工業(yè)化成熟的結(jié)果，所以獨(dú)立的第三方服務(wù)商是有價(jià)值的?！眳堑险J(rèn)為。

2024年，在Clay框架和Rodin模型的Demo跑通后，影眸的融資也順利推進(jìn)。2025年以來(lái)，他們連續(xù)完成了兩輪大規(guī)模融資，前一輪由字節(jié)跳動(dòng)和美團(tuán)龍珠聯(lián)合領(lǐng)投，紅杉資本和奇績(jī)創(chuàng)壇跟投。

2025年8月，影眸再次宣布完成新一輪數(shù)千萬(wàn)美金融資，由藍(lán)馳創(chuàng)投領(lǐng)投，字節(jié)跳動(dòng)、紅杉中國(guó)種子基金等老股東跟投。

模型的成功是基礎(chǔ)，但這在今天已不是全部。當(dāng)Rodin訓(xùn)成時(shí)，AI 3D生成的賽道也已經(jīng)迅速變得擁擠。諸多玩家相繼入場(chǎng)，競(jìng)爭(zhēng)顯然已經(jīng)進(jìn)入了產(chǎn)品層面。

對(duì)一個(gè)普通用戶而言，影眸的產(chǎn)品（Hyper3D.AI）是一個(gè)網(wǎng)頁(yè)工具和一套插件的結(jié)合體。最基礎(chǔ)的體驗(yàn)與Midjourney類似：輸入一段文字或一張圖片，模型就能在幾十秒到幾分鐘內(nèi)生成一個(gè)3D模型。

但影眸從一開始就想解決專業(yè)人士的痛點(diǎn)。他們的產(chǎn)品提供了針對(duì)不同場(chǎng)景的“模型矩陣”：如“Speedy”（極速預(yù)覽）、“Focal”（極致細(xì)節(jié)）、“Zero”（適用于手游的低面數(shù)平滑模型）和Defualt（細(xì)節(jié)精度和表面平滑度平衡）。

影眸的“Production Ready”，就是更讓自己產(chǎn)品真正接入產(chǎn)業(yè)工作流。

而這種理念最直觀的體現(xiàn)，是他們對(duì)產(chǎn)品細(xì)節(jié)的偏執(zhí)。其他公司的插件可能是網(wǎng)頁(yè)的“閹割版”，而影眸為Blender等3D軟件設(shè)計(jì)的插件，是一個(gè)“超級(jí)精巧”的浮窗。它像YouTube的畫中畫，承載了網(wǎng)站的全部功能，同時(shí)又不入侵藝術(shù)家原有的工作界面。

“我們幾個(gè)核心創(chuàng)始人都親自使用Blender等3D軟件，自己剪視頻、做渲染?！睆垎㈧诱f(shuō)，“所以我們知道做這件事會(huì)遇到哪些困難，知道怎么用才方便?！?/p>

另一個(gè)最新的“殺手級(jí)”功能是BANG。

對(duì)于游戲或工業(yè)設(shè)計(jì)來(lái)說(shuō)，一個(gè)“糊”在一起的AI模型無(wú)法高效完成后續(xù)的綁定和二次編輯。影眸的“Bang to Parts”功能，能自動(dòng)將一個(gè)復(fù)雜的模型“爆炸拆解”為多個(gè)可編輯的部件。

這個(gè)功能的交互設(shè)計(jì)，也體現(xiàn)了他們對(duì)工作流的理解。張啟煊形容：“你點(diǎn)分件的時(shí)候，我先給你一張藍(lán)圖（預(yù)覽圖），告訴你‘我大概會(huì)拆成這樣’，你不滿意就點(diǎn)‘隨機(jī)’換一種方案。覺得OK了，它‘啪’一下炸開來(lái)。你還可以選中炸開的某個(gè)部分，讓它再生成這個(gè)部分的炸開藍(lán)圖……像鏈?zhǔn)椒磻?yīng)一樣?！?/p>

這些“好用”的表面功能，每一項(xiàng)都源于底層的技術(shù)創(chuàng)新。BANG的背后是一套名為“通過(guò)生成式爆炸動(dòng)力學(xué)實(shí)現(xiàn)3D資產(chǎn)分件”的原創(chuàng)架構(gòu)。這項(xiàng)研究工作被計(jì)算機(jī)圖形學(xué)頂級(jí)期刊ACM TOG收錄，并在SIGGRAPH 2025上獲評(píng)“Top 10技術(shù)論文速覽”。它嘗試解決AI模型“只能看不能改”的難題。

影眸還是全行業(yè)第一個(gè)做出“3D ControlNet”的團(tuán)隊(duì)。這套控制技術(shù)并非單一論文，而是其核心生成框架的關(guān)鍵組成部分，其“可控性”（Controllable）的理念在CLAY的論文中已有體現(xiàn)。就像ControlNet讓2D繪畫的“隨機(jī)抽卡”變成了“按圖索驥”，影眸的“3D ControlNet”讓開發(fā)者可以通過(guò)邊框盒（Bounding Box）、體素（Voxel）甚至點(diǎn)云（PointCloud）來(lái)精準(zhǔn)控制生成模型的形態(tài)和結(jié)構(gòu)，這在專業(yè)生產(chǎn)領(lǐng)域是剛需。

最近，他們上線了“部分重做”功能，即針對(duì)不滿意的部分再次重新生成，保留已經(jīng)完美的部分。整體模型可控性再次大幅提升。

“我們不會(huì)基于當(dāng)年什么東西最熱門來(lái)選研發(fā)方向，不會(huì)追熱點(diǎn)，完全基于需求做研發(fā) 。所以會(huì)看到我們論文的絕對(duì)數(shù)量肯定比友商低，但從論文質(zhì)量和獲獎(jiǎng)情況來(lái)看我們有優(yōu)勢(shì)?！眳堑险f(shuō)。

“今年在這個(gè)領(lǐng)域拿Siggraph best paper 的商業(yè)化公司，也就只有谷歌、meta 和我們。”

張啟煊等人參與的CAST——一種從單張RGB圖像高質(zhì)量重建三維場(chǎng)景的新方法，獲得2025 SIGGRAPH Best Paper

過(guò)去這一年，在Hyper3D.AI平臺(tái)上，Rodin以平均每9天上線一個(gè)新功能的速度快速更新著，更多的商業(yè)化合作也在快速鋪開。

當(dāng)初那個(gè)“Go big or go home”的賭注，算是沒有失敗，而它改變了影眸也改變了AI 3D行業(yè)。

“我們希望在保持朝氣的前提下，在殘酷的商業(yè)世界里繼續(xù)摸爬滾打。”吳迪說(shuō)。

點(diǎn)個(gè)“愛心”，再走 吧