近年來，多模態(tài)大模型（Multimodal Large Language Models, MLLMs）正在迅速改變?nèi)斯ぶ悄艿哪芰吔纭膱D像理解到視頻分析，從語音對(duì)話到復(fù)雜推理，大模型正在逐步具備類似人類的綜合感知能力。但一個(gè)關(guān)鍵問題仍然沒有得到充分回答：這些模型真的能夠理解人類情緒嗎？

在真實(shí)世界中，人類的情緒往往通過多個(gè)模態(tài)共同表達(dá)。例如，一個(gè)人可能通過面部表情傳遞緊張情緒，同時(shí)語音語調(diào)也在變化，而語言內(nèi)容可能只提供部分線索。對(duì)于人工智能系統(tǒng)而言，僅依賴單一信息來源往往難以準(zhǔn)確判斷情緒狀態(tài)。因此，情感智能（Emotional Intelligence）逐漸成為衡量多模態(tài)大模型能力的重要指標(biāo)之一。

然而，目前學(xué)界仍然缺乏一個(gè)系統(tǒng)性的評(píng)測框架來衡量多模態(tài)大模型的情感智能水平。已有情感數(shù)據(jù)集通常規(guī)模較小，場景覆蓋有限，而且大多只關(guān)注情緒分類準(zhǔn)確率。模型是否真正理解情緒產(chǎn)生的原因，以及能否在不同場景中穩(wěn)定工作，往往沒有得到充分評(píng)估。

為了解決這一問題，來自香港中文大學(xué)和阿里通義實(shí)驗(yàn)室的團(tuán)隊(duì)共同提出了MME-Emotion，一個(gè)面向多模態(tài)大模型情感智能的綜合評(píng)測基準(zhǔn)。該工作已被 ICLR 2026 接收。

• 論文標(biāo)題：MME-Emotion: A Holistic Evaluation Benchmark For Emotional Intelligence in Multimodal Large Language Models
• 項(xiàng)目主頁：https://mme-emotion.github.io
• 論文代碼：https://github.com/FunAudioLLM/MME-Emotion
• 論文數(shù)據(jù)：https://huggingface.co/datasets/Karl28/MME-Emotion

MME-Emotion 是目前規(guī)模最大的多模態(tài)情感智能評(píng)測基準(zhǔn)之一，包含約 6500 段視頻片段及對(duì)應(yīng)問答數(shù)據(jù)，覆蓋 27 類真實(shí)場景，并設(shè)計(jì)了 8 類不同情感任務(wù)。相比傳統(tǒng)數(shù)據(jù)集，這一基準(zhǔn)強(qiáng)調(diào)真實(shí)環(huán)境中的多模態(tài)信息融合能力，使模型必須同時(shí)理解視覺、語音和語言信息。

這些任務(wù)包括實(shí)驗(yàn)室環(huán)境情緒識(shí)別、真實(shí)場景情緒識(shí)別、噪聲條件下情緒識(shí)別、細(xì)粒度情緒識(shí)別、多標(biāo)簽情緒識(shí)別、情感傾向分析、細(xì)粒度情感分析以及意圖識(shí)別等多個(gè)方向。不同任務(wù)之間保持相對(duì)均衡的數(shù)據(jù)分布，使評(píng)測結(jié)果更加穩(wěn)定可靠。

與以往工作相比，MME-Emotion 的一個(gè)重要特點(diǎn)是同時(shí)評(píng)測情緒識(shí)別能力和情緒推理能力。在許多已有數(shù)據(jù)集中，只要模型預(yù)測正確的情緒標(biāo)簽即可獲得高分，但這種評(píng)測方式無法區(qū)分「猜對(duì)答案」和「真正理解情緒」的差別。

例如，在一個(gè)視頻中，如果人物表現(xiàn)出恐懼情緒，模型不僅需要給出 “恐懼” 這一標(biāo)簽，還需要能夠指出支撐這一判斷的線索，例如面部表情變化、語音顫抖或者語速變化等。只有在這種情況下，我們才認(rèn)為模型具備一定程度的情感理解能力。

為此，MME-Emotion 提出了一套統(tǒng)一的評(píng)測指標(biāo)體系，包括情緒識(shí)別得分（Recognition Score）、推理得分（Reasoning Score）以及綜合思維鏈得分（Chain-of-Thought Score）。其中識(shí)別得分用于衡量情緒預(yù)測準(zhǔn)確率，推理得分用于衡量模型推理過程的合理性，而綜合得分則同時(shí)反映識(shí)別能力與推理能力。

為了支持大規(guī)模自動(dòng)評(píng)測，研究團(tuán)隊(duì)設(shè)計(jì)了一套基于多智能體系統(tǒng)的評(píng)測流程。系統(tǒng)首先獲取模型對(duì)問題的回答，然后自動(dòng)提取回答中的關(guān)鍵推理步驟，并結(jié)合視頻幀信息和語音線索進(jìn)行評(píng)分。這種方法避免了傳統(tǒng)評(píng)測中大量人工標(biāo)注推理過程的成本問題。

為了驗(yàn)證自動(dòng)評(píng)測的可靠性，研究團(tuán)隊(duì)還邀請了多位專家對(duì)部分樣本進(jìn)行了人工評(píng)測。結(jié)果表明，自動(dòng)評(píng)分與人工評(píng)分之間具有較高一致性，說明這一評(píng)測方法在實(shí)際使用中具有較好的穩(wěn)定性。

在 MME-Emotion 基準(zhǔn)上，研究團(tuán)隊(duì)評(píng)測了 20 個(gè)當(dāng)前主流多模態(tài)大模型，包括多個(gè)開源模型以及閉源模型，如 GPT-4o、Gemini 系列以及 Qwen 系列模型。

實(shí)驗(yàn)結(jié)果顯示，即使是當(dāng)前最先進(jìn)的模型，在情感智能方面仍然存在明顯不足。表現(xiàn)最好的模型情緒識(shí)別得分不到 40%，綜合思維鏈得分也只有約 56%。從整體平均結(jié)果來看，各模型在情緒識(shí)別任務(wù)上的表現(xiàn)仍然處于較低水平。

這些結(jié)果說明，多模態(tài)大模型雖然在視覺理解和語言推理方面取得了顯著進(jìn)展，但情感理解仍然是一個(gè)具有挑戰(zhàn)性的方向。

進(jìn)一步分析發(fā)現(xiàn)，目前模型在情感任務(wù)中主要存在幾類典型問題。

首先是細(xì)粒度視覺理解能力不足。在許多錯(cuò)誤案例中，模型難以區(qū)分相似情緒，例如恐懼與驚訝之間的差別。這類錯(cuò)誤通常源于對(duì)面部表情和細(xì)微動(dòng)作變化理解不足。

其次是多模態(tài)信息融合能力有限。一些模型在僅使用視覺信息時(shí)表現(xiàn)尚可，但當(dāng)需要同時(shí)結(jié)合語音和視覺信息時(shí)反而出現(xiàn)性能下降。這說明當(dāng)前模型在處理多模態(tài)情感線索時(shí)仍然存在困難。

此外，研究還發(fā)現(xiàn)模型推理能力與情緒識(shí)別能力之間存在明顯相關(guān)性。通常來說，能夠給出更完整推理過程的模型，其整體情感智能表現(xiàn)也更好。這一現(xiàn)象表明，推動(dòng)模型進(jìn)行更深入的推理可能是提升情感智能的一條重要路徑。

整體來看，MME-Emotion 提供了一個(gè)更加全面的評(píng)測框架，使研究者能夠系統(tǒng)分析多模態(tài)大模型在情感理解方面的能力邊界。

研究團(tuán)隊(duì)認(rèn)為，未來多模態(tài)情感智能的發(fā)展可能依賴幾個(gè)關(guān)鍵方向，包括更高精度的視覺細(xì)節(jié)建模、更有效的語音與視覺信息融合方法，以及能夠解釋情緒產(chǎn)生原因的推理機(jī)制。

隨著多模態(tài)大模型不斷發(fā)展，情感智能有望成為人工智能系統(tǒng)的重要能力之一。在教育、人機(jī)交互和醫(yī)療輔助等應(yīng)用場景中，能夠理解人類情緒的智能系統(tǒng)將具有重要價(jià)值。

MME-Emotion 的發(fā)布為這一研究方向提供了統(tǒng)一評(píng)測標(biāo)準(zhǔn)，也為后續(xù)模型改進(jìn)提供了清晰的參考基線。

作者介紹

章帆，香港中文大學(xué)計(jì)算機(jī)科學(xué)與工程系博士生，導(dǎo)師為 Pheng-Ann Heng 教授。主要研究方向?yàn)槎嗄B(tài)大模型與 Agent 系統(tǒng)，關(guān)注多模態(tài)理解、推理能力評(píng)測以及面向復(fù)雜任務(wù)的智能體工作流設(shè)計(jì)。近年來在 ICLR、CVPR、NeurIPS 等國際會(huì)議發(fā)表多篇論文，相關(guān)研究工作涵蓋多模態(tài)大模型評(píng)測基準(zhǔn)構(gòu)建、后訓(xùn)練以及深度研究型智能體（Deep Research Agents）。目前致力于探索多模態(tài) Agent 系統(tǒng)在復(fù)雜真實(shí)任務(wù)中的能力邊界與應(yīng)用潛力。