文章來(lái)源：我愛(ài)計(jì)算機(jī)視覺(jué)（ID：aicvml）

最近，數(shù)字人領(lǐng)域因?yàn)?D高斯濺射（3D Gaussian Splatting）技術(shù)的出現(xiàn)，又熱鬧了起來(lái)。這項(xiàng)技術(shù)大大加快了渲染速度，讓實(shí)時(shí)高保真渲染成為了可能。不過(guò)，挑戰(zhàn)依然存在，尤其是在處理衣服、快速運(yùn)動(dòng)的肢體等這些“軟”的、動(dòng)態(tài)的細(xì)節(jié)時(shí)，效果總是不盡如人意。

今天，CV君想和大家聊一篇?jiǎng)偙粰C(jī)器人頂會(huì)IROS 2025接收的論文《STG-Avatar: Animatable Human Avatars via Spacetime Gaussian》。這篇工作來(lái)自大連理工大學(xué)、復(fù)旦大學(xué)等機(jī)構(gòu)的研究者們，他們提出了一個(gè)名為STG-Avatar的全新框架，旨在解決上述痛點(diǎn)。簡(jiǎn)單來(lái)說(shuō)，只用一段普通單目視頻，它就能在25分鐘內(nèi)訓(xùn)練出一個(gè)細(xì)節(jié)豐富、可實(shí)時(shí)動(dòng)畫(huà)的數(shù)字人分身，并能以60 FPS的絲滑幀率進(jìn)行渲染。

• 
  

  論文標(biāo)題 : STG-Avatar: Animatable Human Avatars via Spacetime Gaussian

• 作者 : Guangan Jiang, Tianzi Zhang, Dong Li, Zhenjun Zhao, Haoang Li, Mingrui Li, Hongyu Wang

• 機(jī)構(gòu) : 大連理工大學(xué)、復(fù)旦大學(xué)、澳門(mén)大學(xué)、薩拉戈薩大學(xué)、香港科技大學(xué)（廣州）

• 論文地址 : https://arxiv.org/abs/2510.22140

• 項(xiàng)目主頁(yè)（尚未開(kāi)源） : https://github.com/jiangguangan/STG-Avatar

創(chuàng)建逼真的可動(dòng)數(shù)字人，無(wú)論是在人機(jī)交互、VR/AR還是機(jī)器人遠(yuǎn)程呈現(xiàn)等領(lǐng)域，都有著巨大的應(yīng)用價(jià)值。傳統(tǒng)方法，比如基于NeRF（神經(jīng)輻射場(chǎng)）的技術(shù)，雖然能生成高質(zhì)量的數(shù)字人，但訓(xùn)練和渲染速度都太慢，動(dòng)輒需要幾十個(gè)小時(shí)訓(xùn)練，渲染一幀也要好幾秒，離“實(shí)時(shí)”相去甚遠(yuǎn)。

3D高斯濺射（3DGS）的出現(xiàn)像一股清流，它用成千上萬(wàn)個(gè)“高斯球”來(lái)顯式地表示三維場(chǎng)景，渲染速度極快。然而，當(dāng)面對(duì)一個(gè)活生生的人時(shí)，3DGS也遇到了麻煩?，F(xiàn)有的基于3DGS的方法通常使用經(jīng)典的線性混合蒙皮（Linear Blend Skinning, LBS）模型來(lái)驅(qū)動(dòng)人體的骨骼運(yùn)動(dòng)。LBS擅長(zhǎng)處理剛性的骨骼和關(guān)節(jié)運(yùn)動(dòng)，但對(duì)于衣服的褶皺、頭發(fā)的飄動(dòng)這類(lèi)非剛性變形，就顯得力不從心，導(dǎo)致細(xì)節(jié)丟失或產(chǎn)生不自然的“穿?！爆F(xiàn)象。

如何才能既保留LBS帶來(lái)的高效實(shí)時(shí)骨骼控制，又能精準(zhǔn)捕捉那些微妙的非剛性動(dòng)態(tài)細(xì)節(jié)呢？這正是STG-Avatar試圖解決的核心問(wèn)題。

方法：剛?cè)岵?jì)，時(shí)空高斯巧補(bǔ)細(xì)節(jié)

STG-Avatar的核心思想是“剛?cè)岵?jì)”。它巧妙地將LBS和一種名為“時(shí)空高斯（Spacetime Gaussian, STG）”的技術(shù)結(jié)合起來(lái)，形成了一個(gè)剛-非剛耦合的變形框架。

整個(gè)流程可以分為三個(gè)階段：

1. SMPL引導(dǎo)的初始化 ：首先，利用SMPL人體參數(shù)化模型對(duì)時(shí)空高斯進(jìn)行初步的位置設(shè)定。

2. 剛-非剛協(xié)同優(yōu)化 ：這是最關(guān)鍵的一步。LBS負(fù)責(zé)驅(qū)動(dòng)人體總體的、剛性的姿態(tài)變化，保證了動(dòng)畫(huà)的實(shí)時(shí)性和骨骼運(yùn)動(dòng)的準(zhǔn)確性。而STG則在此基礎(chǔ)上，對(duì)3D高斯球進(jìn)行時(shí)空維度的自適應(yīng)優(yōu)化，專(zhuān)門(mén)捕捉和補(bǔ)償LBS無(wú)法處理的非剛性變形，比如衣服的褶皺和擺動(dòng)。

3. 動(dòng)態(tài)感知的神經(jīng)渲染 ：最后，通過(guò)一個(gè)輕量級(jí)的MLP（多層感知機(jī)）進(jìn)行顏色解碼和渲染。

為了更好地捕捉高速運(yùn)動(dòng)區(qū)域的細(xì)節(jié)，作者們還引入了一個(gè)非常聰明的策略：用光流（Optical Flow）來(lái)識(shí)別哪些區(qū)域正在快速運(yùn)動(dòng)。

上圖展示了未使用光流引導(dǎo)（左）和使用后（右）的對(duì)比?？梢郧逦乜吹?，在手部、面部這些細(xì)節(jié)豐富且動(dòng)態(tài)的區(qū)域，完整模型的重建效果有了顯著提升。當(dāng)檢測(cè)到某個(gè)區(qū)域（比如揮舞的手臂）運(yùn)動(dòng)劇烈時(shí)，框架就會(huì)自動(dòng)地、有針對(duì)性地在該區(qū)域增加3D高斯球的密度。這樣一來(lái)，計(jì)算資源就被用在了“刀刃上”，既能精準(zhǔn)還原動(dòng)態(tài)細(xì)節(jié)，又避免了全局加密帶來(lái)的巨大計(jì)算開(kāi)銷(xiāo)。

實(shí)驗(yàn)：效果與效率雙雙領(lǐng)先

口說(shuō)無(wú)憑，實(shí)驗(yàn)為證。研究者們?cè)赯JU-MoCap和THUman4.0這兩個(gè)主流的單目視頻人體動(dòng)作捕捉數(shù)據(jù)集上，將STG-Avatar與當(dāng)前最先進(jìn)的方法（SOTA）進(jìn)行了全面對(duì)比。

定量對(duì)比

從上表數(shù)據(jù)可以看出，在PSNR、SSIM（越高越好）和LPIPS（越低越好）這三項(xiàng)關(guān)鍵的圖像質(zhì)量評(píng)估指標(biāo)上，STG-Avatar都取得了最優(yōu)或次優(yōu)的成績(jī)，全面超越了HumanNeRF、GauHuman和3DGS-Avatar等方法。特別是在動(dòng)態(tài)區(qū)域，其PSNR比3DGS-Avatar提升了1.5dB，衣物褶皺的LPIPS誤差降低了23%。

定性對(duì)比

上圖是在ZJU-MoCap數(shù)據(jù)集上的效果對(duì)比，可以直觀地看到，相比其他方法，STG-Avatar（Ours）在重建衣服褶皺、身體輪廓等非剛性部分的細(xì)節(jié)上要清晰和真實(shí)得多。

在難度更高的THUman4.0數(shù)據(jù)集上，STG-Avatar同樣表現(xiàn)出色，無(wú)論是衣服的紋理、褶皺還是面部特征，都還原得惟妙惟肖。

效率對(duì)比

效率是STG-Avatar的另一大殺手锏。在單張RTX 4090顯卡上，訓(xùn)練時(shí)間僅需25分鐘，而渲染速度則達(dá)到了驚人的60 FPS，真正實(shí)現(xiàn)了實(shí)時(shí)交互。相比之下，NeRF類(lèi)方法需要數(shù)天訓(xùn)練，而其他3DGS方法要么訓(xùn)練更慢，要么效果稍遜。

消融實(shí)驗(yàn)

為了驗(yàn)證框架中各個(gè)模塊的有效性，作者還進(jìn)行了消融研究。結(jié)果表明，無(wú)論是光流引導(dǎo)的采樣，還是STG模塊，都對(duì)最終的性能提升起到了至關(guān)重要的作用。

總結(jié)

CV君認(rèn)為，STG-Avatar的巧妙之處在于它沒(méi)有試圖用一個(gè)“萬(wàn)能模型”去解決所有問(wèn)題，而是將剛性運(yùn)動(dòng)和非剛性細(xì)節(jié)這兩個(gè)不同性質(zhì)的問(wèn)題解耦，并用最適合的技術(shù)（LBS和STG）分別應(yīng)對(duì)，最后通過(guò)光流進(jìn)行智能化的資源調(diào)配。這種“分而治之”的哲學(xué)，在資源有限的情況下，實(shí)現(xiàn)了效果和效率的最佳平衡。

大家對(duì)這個(gè)方法怎么看？歡迎在評(píng)論區(qū)留下你的看法！