隨著 AIGC（Artificial Intelligence Generated Content） 的爆發(fā)，我們已經(jīng)習(xí)慣了像 Sora 或 Wan 這樣的視頻生成模型能夠理解「一只宇航員在火星后空翻」這樣天馬行空的指令。然而，3D 人體動(dòng)作生成（3D MoGen）領(lǐng)域卻稍顯滯后。

現(xiàn)有的模型在標(biāo)準(zhǔn)數(shù)據(jù)集上表現(xiàn)良好，但在泛化能力上仍存在明顯瓶頸。一旦用戶輸入訓(xùn)練集中未見過(guò)的復(fù)雜交互或罕見動(dòng)作，生成的動(dòng)作往往會(huì)缺乏自然性、崩壞或退化為簡(jiǎn)單的平均姿態(tài)，這嚴(yán)重限制了其在現(xiàn)實(shí)場(chǎng)景和交互系統(tǒng)中的應(yīng)用。

那很自然地就會(huì)思考：視頻生成模型已經(jīng)初步學(xué)會(huì)了通用的物理規(guī)律和人類行為，為什么不把這些知識(shí)「蒸餾」給 3D 人體動(dòng)作生成模型呢？

• 論文鏈接：https://arxiv.org/abs/2510.26794
• 項(xiàng)目主頁(yè)：https://linjing7.github.io/vimogen/

ViGen-to-MoGen 的三大支柱

來(lái)自南洋理工大學(xué)、商湯科技、清華大學(xué)、香港中文大學(xué)和英偉達(dá)的研究人員提出了題為《The Quest for Generalizable Motion Generation: Data, Model, and Evaluation》的最新研究成果。這項(xiàng)工作從數(shù)據(jù)、模型、評(píng)估三個(gè)維度重新定義了通向通用動(dòng)作生成的路徑。

1. 數(shù)據(jù) ViMoGen-228K:結(jié)合了從 30 個(gè) MoCap 數(shù)據(jù)集中篩選的高精度數(shù)據(jù)，海量互聯(lián)網(wǎng)視頻與由視頻模型（Video Gen）合成視頻中提取的動(dòng)作數(shù)據(jù)，包含了大量罕見、復(fù)雜的交互動(dòng)作，突破了傳統(tǒng)數(shù)據(jù)棚采集的物理限制。
2. 模型 ViMoGen:采用Text-to-Motion (T2M) 與 Motion-to-Motion (M2M)雙分支架構(gòu)。通過(guò)門控機(jī)制，將視頻生成模型的語(yǔ)義先驗(yàn)與 MoCap 的物理先驗(yàn)完美統(tǒng)一。
3. 評(píng)估 MBench: 首個(gè)面向「泛化性」的評(píng)測(cè)基準(zhǔn)。從動(dòng)作質(zhì)量、文本忠實(shí)度、泛化能力三大維度（細(xì)分 9 項(xiàng)指標(biāo)）對(duì)模型進(jìn)行全方面測(cè)評(píng)，是目前最全面的動(dòng)作生成評(píng)測(cè)方式。
4. 
   

數(shù)據(jù) ViMoGen-228K —— 規(guī)模與多樣性的雙重飛躍

傳統(tǒng)動(dòng)作數(shù)據(jù)集（如 AMASS）雖然精準(zhǔn)但語(yǔ)義單一。ViMoGen 引入了 ViMoGen-228K 數(shù)據(jù)集，包含約 22.8 萬(wàn)條高質(zhì)量動(dòng)作樣本。

多模態(tài)覆蓋，包含文本–動(dòng)作、文本–視頻–動(dòng)作多模態(tài)三元組。

多來(lái)源實(shí)現(xiàn)泛化能力提升：

• 對(duì)來(lái)自 30 個(gè)公開高質(zhì)量的光學(xué)動(dòng)作捕捉數(shù)據(jù)集進(jìn)行了篩選和重標(biāo)注。
• 從網(wǎng)絡(luò)視頻提取動(dòng)作序列與語(yǔ)義標(biāo)簽。
• 利用視頻生成（ViGen）模型生成了在真實(shí)動(dòng)作捕捉中極難獲取的長(zhǎng)尾動(dòng)作，填補(bǔ)了語(yǔ)義空白。

模型 ViMoGen —— 多源先驗(yàn)知識(shí)的深度表征與協(xié)同優(yōu)化探索

ViMoGen 模型巧妙地通過(guò)門控機(jī)制控制Text-to-Motion (T2M)分支與Motion-to-Motion (M2M)雙分支，同時(shí)利用 MoCap 數(shù)據(jù)的精準(zhǔn)先驗(yàn)和 ViGen 模型的廣泛語(yǔ)義先驗(yàn)。該架構(gòu)模型不僅在傳統(tǒng)動(dòng)作生成測(cè)評(píng)上取得較好的分?jǐn)?shù)，同時(shí)也通過(guò)文中提出的 MBench 測(cè)評(píng)基準(zhǔn)，體現(xiàn)了它在泛化性上的卓越表現(xiàn)。

測(cè)評(píng) MBench —— 多維分層評(píng)測(cè)體系

傳統(tǒng)的 FID（Frechet Inception Distance）等指標(biāo)只能衡量生成動(dòng)作與特定動(dòng)作集分布的相似度，卻無(wú)法體現(xiàn)模型在處理復(fù)雜、罕見指令時(shí)的真實(shí)泛化能力。MBench 將評(píng)測(cè)拆解為相互關(guān)聯(lián)的三個(gè)層面，并細(xì)化為 9 項(xiàng)具體的量化指標(biāo)。

動(dòng)作質(zhì)量 (Motion Quality)關(guān)注動(dòng)作的合理性。通過(guò)計(jì)算與地面物理接觸、穿模情況以及腳步抖動(dòng)和平滑度，評(píng)判生成動(dòng)作的動(dòng)作的物理可實(shí)現(xiàn)性。

指令忠實(shí)度 (Motion-Condition Consistency)利用多模態(tài)大模型評(píng)估生成動(dòng)作與復(fù)雜文本描述的一致性。例如，模型是否準(zhǔn)確還原了文本中提到的方位（“向左后方倒下”）或特定的交互邏輯。

開放世界泛化力 (Motion Generalizability)設(shè)計(jì)了一系列 Out-of-Distribution (OOD) 測(cè)試案例，涵蓋了極端動(dòng)作、長(zhǎng)尾語(yǔ)義以及復(fù)合指令，專門考驗(yàn)?zāi)Ｐ驮谖匆娺^(guò)場(chǎng)景下的穩(wěn)定性。

賦能具身智能，構(gòu)建 Real-to-Sim 的高質(zhì)量動(dòng)作橋梁

在當(dāng)前的人形機(jī)器人控制研究中（如 [arXiv:2505.03729] ），研究者通常依賴海量的 SMPL 參考軌跡（Reference Motions）來(lái)訓(xùn)練高魯棒性的控制策略（Policy）。然而，傳統(tǒng)數(shù)據(jù)的匱乏嚴(yán)重限制了機(jī)器人動(dòng)作的演化。

傳統(tǒng)的機(jī)器人訓(xùn)練往往局限于幾套標(biāo)準(zhǔn)的行走動(dòng)作。而 ViMoGen-228k 能夠帶來(lái)大量長(zhǎng)尾、邊緣場(chǎng)景（Corner Cases）高質(zhì)量動(dòng)作， 同時(shí) ViMoGen 憑借強(qiáng)大的泛化能力，能夠批量產(chǎn)出一些特殊需求的動(dòng)作數(shù)據(jù)。這些數(shù)據(jù)能夠讓具身智能體在虛擬訓(xùn)練階段就完成了對(duì)復(fù)雜動(dòng)態(tài)的預(yù)演，使其在現(xiàn)實(shí)部署中具備更強(qiáng)的抗干擾能力。

同時(shí) MBench 針對(duì)動(dòng)作質(zhì)量的一系列評(píng)估，能夠?yàn)橄掠蔚?Real-to-Sim 過(guò)程做初步篩選，從而排除了可能導(dǎo)致機(jī)器人頻繁跌倒或關(guān)節(jié)自鎖的無(wú)效動(dòng)作。

結(jié)果展示

空翻

指令：一個(gè)人俯身蹲低，雙腿積蓄力量，隨后蹬地猛然躍起，下巴緊貼胸口。身體蜷縮成一個(gè)緊密的球狀，在空中優(yōu)雅地翻轉(zhuǎn)。隨著空翻動(dòng)作的完成，他舒展雙腿，膝蓋微屈平穩(wěn)著陸，雙臂向外伸展以保持平衡。

多球雜耍

指令：一個(gè)人雙腳與肩同寬站立，目光緊盯著空中的彩色球。憑借熟練的手腕甩動(dòng)，他們將每個(gè)球依次拋向空中，劃出流暢的弧線，雙手以協(xié)調(diào)一致的節(jié)奏交替動(dòng)作。球不斷升起又落下，形成連續(xù)的循環(huán)，雜耍者的動(dòng)作流暢而精準(zhǔn)，在整個(gè)表演過(guò)程中始終保持著完美的節(jié)奏與平衡。

引體向上

指令：一個(gè)人在單杠上進(jìn)行一組標(biāo)準(zhǔn)的引體向上。從雙臂完全伸直的懸垂?fàn)顟B(tài)開始，利用背部力量將身體垂直向上拉起，直到下巴超過(guò)單杠。

空手道

指令：一位武術(shù)家在前進(jìn)的同時(shí)，執(zhí)行一套動(dòng)態(tài)的空手道組合動(dòng)作。

推箱子

指令：一個(gè)人身體前傾，雙手抵住一個(gè)巨大的重型箱子，在保持接觸的同時(shí)緩慢向前邁步。

作者介紹

本文由南洋理工大學(xué)、商湯科技、清華大學(xué)、香港中文大學(xué)及英偉達(dá)的頂尖學(xué)者合作完成。

林靖、王睿思、魯俊喆為共同第一作者。林靖是南洋理工大學(xué)博士生，研究大模型驅(qū)動(dòng)的 3D 感知、生成與理解；王睿思為商湯研究員，興趣方向在高性能計(jì)算與大模型空間智能；魯俊喆是清華大學(xué)碩士，研究生成式模型和 3D 計(jì)算機(jī)視覺(jué)。