機器之心報道

機器之心編輯部

你是否也覺得，AI 配音的語調(diào)總是差了那么點 “人情味”？它能把臺詞念得字正腔圓，口型分秒不差，但角色的喜怒哀樂卻總是難以觸及靈魂深處。

問題出在哪里？答案或許藏在配音棚里那些看不見的導(dǎo)演與演員的互動中。在真實的電影工業(yè)里，配音絕非演員的獨角戲。導(dǎo)演會提供參考片段、解讀角色情緒，引導(dǎo)演員 “入戲”—— 這個過程，正是將文字轉(zhuǎn)化為有生命聲音的核心。然而，現(xiàn)有 AI 配音模型卻模擬了一個 “簡化版” 流程，讓 AI “演員” 直接對著腳本和畫面硬說，完全跳過了這個至關(guān)重要的 “導(dǎo)戲” 與 “揣摩” 環(huán)節(jié)。

這缺失的一環(huán)，正是 AI 配音缺乏情感表現(xiàn)力的癥結(jié)所在。

給 AI 配音裝上 “導(dǎo)演思維”：從單向模仿到雙向互動

內(nèi)蒙古大學(xué)計算機學(xué)院、人工智能學(xué)院劉瑞教授牽頭的語音理解與生成團隊在 AAAI 2026 上發(fā)表的論文《Towards Authentic Movie Dubbing with Retrieve-Augmented Director-Actor Interaction Learning》正式回應(yīng)了這一問題。研究團隊提出了一種全新的檢索增強導(dǎo)演 - 演員交互學(xué)習(xí)框架 ——Authentic-Dubber，首次在 AI 配音中引入 “導(dǎo)演” 角色，系統(tǒng)模擬了真實配音流程中的情感傳遞機制。他們不再滿足于讓 AI 模仿發(fā)音，而是首次將真實的 “導(dǎo)演 - 演員” 交互工作流引入 AI 配音框架，讓模型學(xué)會了 “先理解，再表達”。

• 標題：Towards Authentic Movie Dubbing with Retrieve-Augmented Director-Actor Interaction Learning（AAAI 2026）
• 鏈接：http://arxiv.org/abs/2511.14249
• 代碼：https://github.com/AI-S2-Lab/Authentic-Dubber

創(chuàng)新之道：三步還原真實配音 “心流”

研究團隊設(shè)計的 Authentic-Dubber 系統(tǒng)，通過三大機制，精準復(fù)刻了從導(dǎo)演指導(dǎo)到演員最終表演的全過程：

導(dǎo)演的 “素材庫”：首先，系統(tǒng)構(gòu)建了一個多模態(tài)參考素材庫，如同導(dǎo)演為演員準備的 “情感教案庫”。它整合了場景氛圍、面部表情、臺詞文本等多種模態(tài)的情感信息，并巧妙利用大語言模型（LLM）進行深度語義理解，提取出細膩的情感表征。

演員的 “高效揣摩”：有了 “教案”，演員如何快速吸收？系統(tǒng)設(shè)計了基于情感相似度的檢索增強策略。面對一段需要配音的無聲視頻，AI 能像演員一樣，從海量素材庫中迅速檢索出情感最相關(guān)的參考片段。這模擬了演員在導(dǎo)演指導(dǎo)下，快速內(nèi)化情感線索的過程。

最終的 “漸進式演繹”：理解之后，如何表達？系統(tǒng)提出了漸進式圖結(jié)構(gòu)語音生成方法。它像演員搭建表演層次一樣，逐步將檢索到的情感知識（從基本情緒到間接多模態(tài)信息，再到直接的參考音頻）融合進語音生成中，確保最終輸出的配音情感飽滿、層次豐富。

實驗驗證：AI 的 “情感得分” 大幅領(lǐng)先

在動畫電影配音基準數(shù)據(jù)集 V2C-Animation 上的測試結(jié)果令人振奮：

客觀指標：Authentic-Dubber 在情感準確率（EMO-ACC）上顯著超越了所有主流基線模型。

主觀聽感：在人類聽評員的盲測中，其在配音情感匹配度（MOS-DE）和語音情感真實度（MOS-SE）兩項評分上均獲得最高分。

頻譜證據(jù)：Mel 頻譜圖對比清晰顯示，在表現(xiàn) “憤怒” 時，其語音高頻波動更劇烈；在表現(xiàn) “快樂” 時，韻律變化更自然豐富。這證明其情感表達已具備可量化的聲學(xué)特征優(yōu)勢。

結(jié)語：不止于同步，更在于共鳴

這項研究的意義在于，它將 AI 配音的競爭維度，從 “音畫同步” 的物理層面，提升到了 “情感共鳴” 的心理層面。Authentic-Dubber 證明，通過模擬人類協(xié)作中的關(guān)鍵互動，AI 可以更深入地理解并傳達復(fù)雜情感。

這不僅是技術(shù)的進步，更是對藝術(shù)創(chuàng)作本質(zhì)的一次回歸。當(dāng) AI 開始理解 “導(dǎo)演的意圖” 和 “演員的揣摩”，我們距離能真正為角色 “注入靈魂” 的智能配音時代，或許已不再遙遠。

作者信息：

劉瑞，內(nèi)蒙古大學(xué)人工智能學(xué)院副院長，教授，博士生導(dǎo)師。新加坡國立大學(xué)博士后。入選中國科協(xié)青年人才托舉（青托）工程、內(nèi)蒙古杰青、ACM 呼和浩特新星、ACM 呼和浩特優(yōu)博。主要研究方向為多語種人機語音交互、情感計算。相關(guān)成果發(fā)表于 IEEE-TAFFC、ACL、AAAI、ACMMM 等人工智能領(lǐng)域的頂級國際期刊和會議。主持國自然面上、國自然青年、內(nèi)蒙古杰青等多項省部級以上項目。指導(dǎo)多位學(xué)生入選首批中國科協(xié)青托博士生專項、騰訊犀牛鳥精英人才計劃、獲得國際大學(xué)生創(chuàng)新大賽國家級金獎等。榮獲 2022 年度教育部高等學(xué)?？茖W(xué)研究優(yōu)秀成果獎（科學(xué)技術(shù)）— 科學(xué)技術(shù)進步二等獎、 2024 年度內(nèi)蒙古自治區(qū)科技進步一等獎等獎項。擔(dān)任領(lǐng)域內(nèi)頂級 SCI 國際期刊 Information Fusion、IEEE TAFFC、ACM TALLIP、Computer Speech and Language 編委以及 AAAI PC、ACL AC 等。內(nèi)蒙古大學(xué)語音理解與生成團隊主頁：https://ttslr.github.io/