該工作提出一種顯式骨架先驗(yàn)與隱式高斯表示相結(jié)合的單圖可動(dòng)畫(huà)三維頭像方法，以FLAME規(guī)范拓?fù)錇殄^點(diǎn)，借助Transformer從單張圖像預(yù)測(cè)規(guī)范空間的高斯屬性與幾何偏移，并通過(guò)骨骼線(xiàn)性蒙皮和表情姿態(tài)形變?cè)跓o(wú)需額外神經(jīng)后處理的前提下實(shí)現(xiàn)實(shí)時(shí)重演與跨平臺(tái)渲染；該表示在保證身份一致與表情可控的同時(shí)具備工程可落地性，可在后續(xù)諸如實(shí)時(shí)通信、影視與游戲制作、AR/VR、以及可編輯數(shù)字人建模等應(yīng)用中發(fā)揮更大作用。

注：本文圖片與視頻均來(lái)自原論文與其項(xiàng)目主頁(yè)。

論文標(biāo)題： LAM: Large Avatar Model for One-shot Animatable Gaussian Head 論文鏈接： https://arxiv.org/abs/2502.17796 項(xiàng)目主頁(yè)： https://aigc3d.github.io/projects/LAM/

從單張圖像進(jìn)行頭像的三維重建與動(dòng)畫(huà)，是計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺(jué)中的重要研究方向。該方向在在線(xiàn)會(huì)議、電影制作、游戲產(chǎn)業(yè)與虛擬現(xiàn)實(shí)等場(chǎng)景中具有廣泛應(yīng)用價(jià)值。受益于圖像與視頻擴(kuò)散模型的進(jìn)展，近期2D方法[1-3]通過(guò)擴(kuò)散技術(shù)進(jìn)一步提升了效果。盡管取得了令人印象深刻的結(jié)果，2D解法仍面臨生成耗時(shí)長(zhǎng)、計(jì)算資源需求大等問(wèn)題；此外，由于缺乏顯式三維結(jié)構(gòu)，在處理極端姿態(tài)與表情時(shí)也常力有不逮。另一方面，先進(jìn)的3D合成技術(shù)顯著提升了多視圖頭像重建與動(dòng)畫(huà)的一致性。然而，NeRF系列方法[4-8]往往需要對(duì)每個(gè)個(gè)體從單張圖像出發(fā)進(jìn)行大量?jī)?yōu)化才能投入使用，同時(shí)其渲染速度較慢，限制了在實(shí)時(shí)場(chǎng)景中的應(yīng)用。

為了解決上述問(wèn)題，LAM提出了不依賴(lài)額外神經(jīng)網(wǎng)絡(luò)的前提下，讓重建的高斯能夠被動(dòng)畫(huà)驅(qū)動(dòng)。不同于以往使用神經(jīng)網(wǎng)絡(luò)進(jìn)行動(dòng)畫(huà)與渲染的方法。給定單張圖像，網(wǎng)絡(luò)一次前向即可輸出高斯頭像，隨后可立即進(jìn)行重演與渲染，不需要任何后處理網(wǎng)絡(luò)。這一能力使其可以無(wú)縫集成到現(xiàn)有渲染管線(xiàn)，并在包括移動(dòng)設(shè)備在內(nèi)的多種平臺(tái)上保持高效性能。其核心思想是采用顯式點(diǎn)云表示，并以FLAME規(guī)范頂點(diǎn)初始化點(diǎn)的位置。這樣可以利用FLAME中的頭像形狀先驗(yàn)，緩解重建難度。然后在跨注意力機(jī)制下，充分利用源圖像的局部與全局特征，從而提升重建質(zhì)量與紋理保真度。并非直接在不同姿態(tài)和表情下重建頭像，而是把所有高斯頭像都重建在相同的規(guī)范空間，即相同表情與姿態(tài)，再在推理時(shí)動(dòng)畫(huà)到目標(biāo)姿態(tài)和表情。這樣的統(tǒng)一設(shè)計(jì)既便于推理時(shí)動(dòng)畫(huà)，也通過(guò)減少形狀與姿態(tài)的變化來(lái)降低重建復(fù)雜度。

二、技術(shù)貢獻(xiàn)

本工作主要貢獻(xiàn)如下：

• 提出一種大型虛擬人模型，能夠從單張圖像生成可動(dòng)畫(huà)化的高斯頭部虛擬人，實(shí)現(xiàn)無(wú)需額外后處理的即時(shí)動(dòng)畫(huà)渲染；

• 生成的虛擬人可無(wú)縫集成至傳統(tǒng)渲染流程，支持跨平臺(tái)實(shí)時(shí)動(dòng)畫(huà)與渲染；

• 實(shí)現(xiàn)了通過(guò)單條文本提示或圖像高效生成并風(fēng)格化可動(dòng)畫(huà)高斯虛擬人。

下表為L(zhǎng)AM在KITTI數(shù)據(jù)集的定量結(jié)果。在自重建方面，LAM生成的高斯頭像在PSNR、SSIM、LPIPS、CSIM、AED、APD和AKD指標(biāo)都超過(guò)了SOTA方法：

表1 定量結(jié)果 三、方法介紹

LAM方法主要由規(guī)范高斯頭部空間構(gòu)建和動(dòng)畫(huà)引入兩部分組成。第一部分的目標(biāo)是在規(guī)范空間中，以 FLAME 形狀/表情先驗(yàn)為錨點(diǎn)，構(gòu)建高密度、可編輯的高斯點(diǎn)集表示（規(guī)范高斯頭像），并通過(guò) Transformer 將單張圖像的多尺度特征與點(diǎn)查詢(xún)對(duì)齊，預(yù)測(cè)每點(diǎn)的高斯屬性與幾何偏移；第二部分考慮如何在無(wú)額外神經(jīng)網(wǎng)絡(luò)前提下，將規(guī)范高斯通過(guò)骨骼線(xiàn)性蒙皮（LBS）和表情姿態(tài)（blendshape）高效引入動(dòng)畫(huà)管線(xiàn)，以 Gaussian Splatting 實(shí)現(xiàn)跨平臺(tái)實(shí)時(shí)渲染與交互。

圖1 LAM結(jié)構(gòu)圖高斯頭部空間構(gòu)建

為了在后續(xù)生成頭部動(dòng)畫(huà)，首先將人頭統(tǒng)一到中性表情和標(biāo)準(zhǔn)姿態(tài)的規(guī)范空間，基于 FLAME 頭部模板的頂點(diǎn)來(lái)初始化高斯球位置，每個(gè)點(diǎn)附加可學(xué)習(xí)的特征作為可學(xué)習(xí)查詢(xún)特征 ， 這些可學(xué)習(xí)特征通過(guò)堆疊的跨注意力模塊 從提取的圖像特征 中“取回”信息，具體公式為：

其中， 是第 個(gè)跨注意力模塊， 是以上一層輸出 為查詢(xún)得到的第 層查詢(xún)特征，且 。在完成特征抽取后，每個(gè)點(diǎn)都保留其獨(dú)特的隱特征?；谶@些特征，由 MLP 組成的解碼頭進(jìn)行解碼，預(yù)測(cè)每個(gè)點(diǎn)的高斯屬性以及位置偏移，解碼過(guò)程可表示為：

其中， 是顏色， 是不透明度， 是逐軸尺度因子， 是旋轉(zhuǎn)因子， 是位置偏移， 是高斯點(diǎn)的總數(shù)。

除此之外，由于 FLAME 原始頂點(diǎn)數(shù)只有 5023 個(gè)，表達(dá)能力有限，可以通過(guò)網(wǎng)格細(xì)分算法增加點(diǎn)密度，從而提升頭發(fā)、胡須等細(xì)節(jié)的建模能力。使用不同的細(xì)分程度，也可以在模型生成質(zhì)量與渲染速度之間進(jìn)行平衡。

動(dòng)畫(huà)引入

人物頭像的高斯位置由FLAME初始化，并附帶相應(yīng)的動(dòng)畫(huà)屬性，因此可像FLAME一樣，使用基于頂點(diǎn)的線(xiàn)性蒙皮 (LBS) 與糾正式blendshape對(duì)模型進(jìn)行動(dòng)畫(huà)，F(xiàn)LAME可定義為：

其中 為在模板上加入形狀、姿態(tài)與表情偏移后的頂點(diǎn):

為以關(guān)節(jié) 和權(quán)重 對(duì)頂點(diǎn) 進(jìn)行旋轉(zhuǎn)并平滑的標(biāo)準(zhǔn)蒙皮函數(shù)。

重建的高斯頭像也可采用類(lèi)似方式進(jìn)行重演：將高斯的位置視作 FLAME 的頂點(diǎn)，并通過(guò) blendshape 與 LBS 完成動(dòng)畫(huà)以得到新的動(dòng)畫(huà)后高斯位置。不同之處在于：使用形狀 blendshape 之后的細(xì)分 FLAME 網(wǎng)格頂點(diǎn)作為高斯的初始位置，并由網(wǎng)絡(luò)在規(guī)范空間中為每個(gè)點(diǎn)預(yù)測(cè) X、Y、Z 偏移以進(jìn)一步細(xì)化形狀，公式可改寫(xiě)為：

其中， ， 為姿態(tài)blendshape函數(shù)， 為表情blendshape函數(shù)。

文本到可動(dòng)畫(huà)高斯頭像的生成與編輯

基于上述基礎(chǔ)，設(shè)計(jì)了一條簡(jiǎn)潔的流水線(xiàn)，用于將文本提示轉(zhuǎn)換為可動(dòng)畫(huà)的高斯頭像，并提供高效的風(fēng)格編輯流程，如下圖所示：

圖2 文本生成可動(dòng)畫(huà)高斯頭像結(jié)構(gòu)圖

采用成熟的文本到圖像生成框架，從文本提示生成目標(biāo)人像圖，生成得到的圖像隨后輸入到模型中，經(jīng)過(guò)前饋機(jī)制直接生成可動(dòng)畫(huà)的高斯頭像。該框架也支持風(fēng)格編輯：給定一張輸入圖像，先利用圖像到圖像翻譯框架對(duì)其人像風(fēng)格進(jìn)行修改（如更改年齡、轉(zhuǎn)換為卡通風(fēng)格等），再將編輯后的圖像輸入到模型中，得到符合目標(biāo)風(fēng)格的可動(dòng)畫(huà)高斯頭像。

優(yōu)化與正則化

在訓(xùn)練過(guò)程中，從同一段視頻中隨機(jī)采樣 幀圖像，選取其中一幀作為參考圖像來(lái)重建規(guī)范高斯頭像，其余幀作為驅(qū)動(dòng)圖像與目標(biāo)圖像。將渲染得到的 RGB 圖與真實(shí)目標(biāo)圖像進(jìn)行監(jiān)督，采用 L1 損失與感知損失的組合：

渲染輪廓并使用 L1 損失進(jìn)行監(jiān)督，記為 。

為獲得能覆蓋 FLAME 未建模區(qū)域（如頭發(fā)與配飾）的更好形狀，為每個(gè)點(diǎn)預(yù)測(cè)形變偏移。若不加約束，點(diǎn)可能自由移動(dòng)并破壞動(dòng)畫(huà)效果。因此，對(duì)預(yù)測(cè)的偏移加入正則項(xiàng)：

其中， 為預(yù)測(cè)的偏移， 為接近 0 的超參數(shù)集合，用于限制每個(gè)點(diǎn)的形變幅度不過(guò)大。最終的總損失為上述各項(xiàng)的加權(quán)和：

四、部分結(jié)果展示

在模型訓(xùn)練階段，我們首先從視頻中任意選定一幀作為輸入圖像，用于生成初始的3D高斯人頭模型。隨后，利用從視頻中檢測(cè)到的頭部姿態(tài)與面部表情數(shù)據(jù)來(lái)驅(qū)動(dòng)3D高斯人頭。下方的動(dòng)畫(huà)演示了LAM構(gòu)建3D高斯人頭的動(dòng)態(tài)過(guò)程：

圖3 自重建

從人物A的一張圖重建其規(guī)范高斯頭像后，直接用人物B的表情和姿態(tài)參數(shù)通過(guò)LBS+糾正blendshape進(jìn)行重演，并用Gaussian Splatting渲染得到以A外觀、隨B驅(qū)動(dòng)的結(jié)果：

圖4 跨人物重建

文本到可動(dòng)畫(huà)高斯頭像生成從現(xiàn)有文本到圖像生成流水線(xiàn)產(chǎn)出的圖像重建出三維高斯頭像，并用不同驅(qū)動(dòng)圖像進(jìn)行動(dòng)畫(huà)，重建得到的高斯頭像能保留不同風(fēng)格圖像細(xì)節(jié)，并在給定不同驅(qū)動(dòng)表情的情況下，在多種平臺(tái)上高效動(dòng)畫(huà)與渲染：

圖5 文本生成可動(dòng)畫(huà)高斯頭像

可動(dòng)畫(huà)高斯頭像的風(fēng)格化編輯先利用二維編輯先驗(yàn)?zāi)Ｐ驮?D圖像上對(duì)頭像進(jìn)行風(fēng)格編輯，然后再將其抬升到3D高斯空間：

圖6 可動(dòng)畫(huà)高斯頭像的風(fēng)格化編輯 五、總結(jié)與展望

LAM提出面向單張圖像的可動(dòng)畫(huà)高斯頭像一體化框架：以FLAME規(guī)范拓?fù)錇殄^點(diǎn)，在統(tǒng)一規(guī)范空間中用點(diǎn)云化查詢(xún)與Transformer（自/跨注意力）從預(yù)訓(xùn)練ViT/DINOv2的多尺度特征一次前向回歸高斯屬性與幾何偏移；結(jié)合網(wǎng)格細(xì)分繼承LBS/Blendshape綁定，實(shí)現(xiàn)無(wú)額外網(wǎng)絡(luò)的重演，并以Gaussian Splatting跨平臺(tái)實(shí)時(shí)渲染，同時(shí)打通文本/圖像生成可動(dòng)畫(huà)高斯與風(fēng)格編輯的零/少樣本流程。

未來(lái)可進(jìn)一步探索擴(kuò)展FLAME表達(dá)空間與可學(xué)習(xí)骨架以覆蓋舌頭/細(xì)紋等精細(xì)動(dòng)態(tài)；同時(shí)提升少樣本與跨域魯棒性也是一個(gè)有價(jià)值的課題，比如用語(yǔ)音驅(qū)動(dòng)。

思考與討論

Q: 為什么LAM要在規(guī)范空間里重建而不是直接在目標(biāo)表情/姿態(tài)下重建？

A: 規(guī)范空間把身份/外觀與姿態(tài)/表情解耦：訓(xùn)練時(shí)只需學(xué)習(xí)中性形態(tài)，減少單視圖的不適定性；推理時(shí)再用LBS+糾正blendshape做形變，無(wú)需額外網(wǎng)絡(luò)即可穩(wěn)定重演，并且天然兼容傳統(tǒng)渲染管線(xiàn)與多端部署。

Q: 預(yù)測(cè)的點(diǎn)偏移為何要加正則？

A: 點(diǎn)偏移用于補(bǔ)齊FLAME未覆蓋的細(xì)節(jié)（如發(fā)型/配飾），若無(wú)約束點(diǎn)會(huì)“亂跑”導(dǎo)致動(dòng)畫(huà)破裂；L2正則把偏移限制在小范圍內(nèi)，既保細(xì)節(jié)又維持與骨架的一致性。

以下是開(kāi)放性問(wèn)題，歡迎讀者朋友留言討論：

Q: LAM目前只是用單張圖片進(jìn)行高斯重建，單張圖片提供的視角是有限的，對(duì)于后腦、復(fù)雜發(fā)型、飾品與遮擋區(qū)域仍具有不確定性，如何解決該問(wèn)題？

參考文獻(xiàn)

[1] Jiahao Cui, Hui Li, Yao Yao, Hao Zhu, Hanlin Shang, Kaihui Cheng, Hang Zhou, Siyu Zhu, Jingdong Wang. Hallo2: Long-duration and high-resolution audio-driven portrait image animation. ICLR. 2025.

[2] Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo. EMO: Emote portrait alive generating expressive portrait videos with audio2video diffusion model under weak conditions. ECCV. 244-260, 2024.

[3] Mingwang Xu, Hui Li, Qingkun Su, Hanlin Shang, Liwei Zhang, Ce Liu, Jingdong Wang, Yao Yao, Siyu Zhu. Hallo: Hierarchical audio-driven visual synthesis for portrait image animation. arXiv preprint arXiv:2406.08801, 2024.

[4] Yunpeng Bai, Yanbo Fan, Xuan Wang, Yong Zhang, Jingxiang Sun, Chun Yuan, Ying Shan. High-fidelity facial avatar reconstruction from monocular video with generative priors. CVPR. 4541-4551, 2023.

[5] Guy Gafni, Justus Thies, Michael Zollh?fer, Matthias Nie?ner. Dynamic neural radiance fields for monocular 4D facial avatar reconstruction. CVPR. 8649-8658, 2021.

[6] Taekyung Ki, Dongchan Min, Gyeongsu Chae. Learning to generate conditional tri-plane for 3D-aware expression controllable portrait animation. ECCV. 476-493, 2024.

[7] Weichuang Li, Longhao Zhang, Dong Wang, Bin Zhao, Zhigang Wang, Mulin Chen, Bang Zhang, Zhongjian Wang, Liefeng Bo, Xuelong Li. One-shot high-fidelity talking-head synthesis with deformable neural radiance field. CVPR. 17969-17978, 2023.

[8] Yufeng Zheng, Wang Yifan, Gordon Wetzstein, Michael J. Black, Otmar Hilliges. PointAvatar: Deformable point-based head avatars from videos. CVPR. 21057-21067, 2023.

作者：林沛楠 來(lái)源：公眾號(hào)【深圳大學(xué)可視計(jì)算研究中心】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線(xiàn)700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線(xiàn)上交流活動(dòng)，不定期舉辦技術(shù)人線(xiàn)下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶(hù)啟發(fā)更大的文章，做原創(chuàng)性?xún)?nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專(zhuān)注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈