Latent Image Animator (LIA)作為隱式圖像動(dòng)畫模型的代表性工作，憑借其卓越性能，已成為當(dāng)前音視頻驅(qū)動(dòng)Talking Head任務(wù)的重要基礎(chǔ)模型。本文介紹由上海AI實(shí)驗(yàn)室與法國(guó)Inria聯(lián)合推出的升級(jí)框架 --LIA-X。該模型在LIA基礎(chǔ)上進(jìn)行了全面增強(qiáng)，其核心創(chuàng)新在于提出了稀疏運(yùn)動(dòng)字典技術(shù)，通過(guò)自監(jiān)督學(xué)習(xí)實(shí)現(xiàn)了運(yùn)動(dòng)表征的語(yǔ)義解耦，有效突破了原始LIA在隱空間可控性方面的限制，使得對(duì)局部區(qū)域?qū)崿F(xiàn)細(xì)粒度分離控制（如精準(zhǔn)調(diào)控"眨眼"、"嘴角上揚(yáng)"、"轉(zhuǎn)動(dòng)頭部"等獨(dú)立動(dòng)作）。實(shí)驗(yàn)證明，LIA-X在肖像動(dòng)畫任務(wù)的多項(xiàng)指標(biāo)上均達(dá)到當(dāng)前最優(yōu)水平。同時(shí)，其單步推理特性，相比基于擴(kuò)散模型的方案，在生成效率上展現(xiàn)出顯著優(yōu)勢(shì)。

論文題目： LIA-X: Interpretable Latent Portrait Animator 論文鏈接： https://arxiv.org/pdf/2508.09959 代碼鏈接： https://github.com/wyhsirius/LIA-X 項(xiàng)目主頁(yè)： https://wyhsirius.github.io/LIA-X-project/

LIA-X的核心目標(biāo)是解決當(dāng)前視頻驅(qū)動(dòng)肖像動(dòng)畫（Portrait Animation）領(lǐng)域在可控性與可解釋性方面存在的根本性挑戰(zhàn)?，F(xiàn)有方法主要面臨兩類問(wèn)題：

• 基于顯式特征（如人臉關(guān)鍵點(diǎn)、3D模型）的方法，其表示能力受限于預(yù)定義模型，對(duì)復(fù)雜表情和未知人物泛化能力不足；

• 基于隱空間自監(jiān)督學(xué)習(xí)的方法（如LIA），雖能生成高質(zhì)量視頻，但其運(yùn)動(dòng)控制機(jī)制如同"黑箱"，因無(wú)法理解每個(gè)運(yùn)動(dòng)基對(duì)應(yīng)的具體語(yǔ)義，難以對(duì)輸出結(jié)果進(jìn)行控制。

針對(duì)上述問(wèn)題，LIA-X提出了一種全新的可解釋隱空間肖像動(dòng)畫框架。該框架首次在自監(jiān)督學(xué)習(xí)范式下，實(shí)現(xiàn)了高度可解釋的運(yùn)動(dòng)表示與精準(zhǔn)控制。其核心創(chuàng)新在于設(shè)計(jì)了稀疏運(yùn)動(dòng)字典（Sparse Motion Dictionary），通過(guò)將復(fù)雜的面部運(yùn)動(dòng)分解為多個(gè)正交的基向量，使模型能夠?qū)Ⅱ?qū)動(dòng)視頻中的復(fù)雜運(yùn)動(dòng)自動(dòng)解耦為若干語(yǔ)義方向的稀疏線性組合（如"眨眼"、"點(diǎn)頭"、"嘴角上揚(yáng)"等）。這一機(jī)制使用戶能夠通過(guò)直接調(diào)整不同語(yǔ)義方向的組合系數(shù)，直觀、精準(zhǔn)地編輯與控制所生成的動(dòng)畫效果，實(shí)現(xiàn)了從"黑箱生成"到"白盒控制"的范式轉(zhuǎn)變。

二、方法

LIA-X繼承了LIA的核心思想，將顯式運(yùn)動(dòng)建模轉(zhuǎn)化為運(yùn)動(dòng)編碼在隱空間中的"線性導(dǎo)航(Linear Navigation)"，同時(shí)提出了通過(guò)對(duì)語(yǔ)義分解與重組進(jìn)行稀疏化限制，從而實(shí)現(xiàn)高度可控的生成結(jié)果。其方法框架主要包括以下三個(gè)關(guān)鍵環(huán)節(jié)：

2.1 隱空間編碼與語(yǔ)義基底構(gòu)建LIA-X模型框架

LIA-X首先將源圖像 與驅(qū)動(dòng)圖像 分別編碼至隱空間，得到源編碼 與驅(qū)動(dòng)編碼 。模型通過(guò)隱空間"線性導(dǎo)航"，將從源到驅(qū)動(dòng)的運(yùn)動(dòng)編碼表示為：

同時(shí)建立一個(gè)運(yùn)動(dòng)字典（Motion Dictionary） ，即一組可學(xué)習(xí)的正交基底來(lái)表示驅(qū)動(dòng)編碼：

其中，每一個(gè) 對(duì)應(yīng)一個(gè)潛在的語(yǔ)義運(yùn)動(dòng)方向； 為對(duì)應(yīng)基底的系數(shù)。通過(guò)這種線性表示，模型將連續(xù)運(yùn)動(dòng)分解為語(yǔ)義基底的線性組合。

2.2 稀疏運(yùn)動(dòng)字典與語(yǔ)義解耦

為實(shí)現(xiàn)基底的可解釋性與離散化，LIA-X提出稀疏運(yùn)動(dòng)字典機(jī)制。在訓(xùn)練過(guò)程中，通過(guò)對(duì)系數(shù) 施加稀疏正則項(xiàng) ，迫使模型僅使用少數(shù)基底重建目標(biāo)運(yùn)動(dòng)。其優(yōu)化目標(biāo)為：

其中 為重建函數(shù)， 為稀疏權(quán)重。該約束使得每一驅(qū)動(dòng)輸入僅激活少量具有明確語(yǔ)義的基底（如"嘴角上揚(yáng)"、"眨眼"等），其余系數(shù)趨近于零，從而實(shí)現(xiàn)運(yùn)動(dòng)表示的語(yǔ)義解耦。

對(duì)比使用稠密（左）與稀疏（右）運(yùn)動(dòng)字典對(duì)同一視頻重建的系數(shù) 激活圖 2.3 基于語(yǔ)義系數(shù)的可控生成

在生成階段，目標(biāo)隱編碼 通過(guò)線性組合源編碼 與稀疏激活的語(yǔ)義基底得到：

其中 為被激活的基底索引集合。用戶可通過(guò)編輯系數(shù) 對(duì)生成動(dòng)作進(jìn)行細(xì)粒度控制，例如增強(qiáng)某一語(yǔ)義強(qiáng)度或抑制無(wú)關(guān)運(yùn)動(dòng)。該方法支持單張圖像與視頻級(jí)別的編輯，在保持身份特征的同時(shí)可實(shí)現(xiàn)高效、精準(zhǔn)的生成。

三、實(shí)驗(yàn)分析

為驗(yàn)證LIA-X的卓越性能，作者整合了VoxCelebHQ、TalkingHead-1KH、HDTF、MEAD以及內(nèi)部數(shù)據(jù)集進(jìn)行了統(tǒng)一的大規(guī)模訓(xùn)練，數(shù)據(jù)集總計(jì)包含0.5M視頻（約55,000個(gè)不同ID）。實(shí)驗(yàn)將LIA-X與現(xiàn)有主流方法在肖像動(dòng)畫與視頻重建兩大任務(wù)上進(jìn)行了系統(tǒng)比較。

3.1 定量分析

定量分析肖像驅(qū)動(dòng)任務(wù)（左）與視頻重建任務(wù)（右）

結(jié)果表明，在肖像動(dòng)畫任務(wù)中，LIA-X在256與512兩種分辨率下，幾乎在所有評(píng)估指標(biāo)上超越了當(dāng)前SOTA方法，相較于前代LIA模型也實(shí)現(xiàn)了顯著性能提升。在視頻重建任務(wù)中，LIA-X在身份保持度與圖像質(zhì)量方面同樣取得了當(dāng)前最優(yōu)的表現(xiàn)。

3.2 定性分析

定性對(duì)比LIA-X與當(dāng)前SOTA結(jié)果

定性實(shí)驗(yàn)顯示，LIA-X通過(guò)語(yǔ)義基控制能夠生成視覺效果最佳的驅(qū)動(dòng)結(jié)果。與現(xiàn)有SOTA模型相比，LIA-X能更好地保持源圖像的身份特征，且未出現(xiàn)臉部形變或偽影等問(wèn)題，展現(xiàn)出優(yōu)異的生成魯棒性。

3.3 可擴(kuò)展性分析

作者進(jìn)一步分析了LIA-X的可擴(kuò)展性。在VoxCelebHQ與TalkingHead-1KH數(shù)據(jù)集上的實(shí)驗(yàn)表明，隨著模型參數(shù)規(guī)模的擴(kuò)大，LIA-X在各項(xiàng)指標(biāo)上均呈現(xiàn)穩(wěn)定提升，顯示出良好的性能擴(kuò)展?jié)摿?；定性結(jié)果表示，擴(kuò)大模型規(guī)?？梢燥@著提高生成細(xì)節(jié)（如牙齒）的質(zhì)量。

在VoxCelebHQ（左）與TalkingHead-1KH（右）定量驗(yàn)證模型可擴(kuò)展性

定性分析擴(kuò)大模型規(guī)模所帶來(lái)的視覺效果提升 四、總結(jié)

LIA-X提出了一個(gè)具有高度可解釋性的肖像動(dòng)畫框架，通過(guò)引入"稀疏運(yùn)動(dòng)字典"這一創(chuàng)新設(shè)計(jì)，成功將肖像動(dòng)畫與可解釋性理論相結(jié)合，實(shí)現(xiàn)了模型從"黑盒"到"白盒"的轉(zhuǎn)變。該框架不僅能夠使靜態(tài)畫像生動(dòng)地"活"起來(lái)，更使用戶能夠像操作調(diào)音臺(tái)一般，精準(zhǔn)而直觀地"調(diào)配"所需表情與動(dòng)作。LIA-X的提出標(biāo)志著肖像動(dòng)畫技術(shù)在交互性與可控性方面取得了新進(jìn)展，為下一代交互式智能內(nèi)容生成提供了潛在的方案。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈