針對端到端全模態(tài)大模型（OmniLLMs）在跨模態(tài)對齊和細粒度理解上的痛點，浙江大學、西湖大學、螞蟻集團聯(lián)合提出 OmniAgent。這是一種基于「音頻引導(dǎo)」的主動感知 Agent，通過「思考 - 行動 - 觀察 - 反思」閉環(huán)，實現(xiàn)了從被動響應(yīng)到主動探詢的范式轉(zhuǎn)變。

在 Daily-Omni 等多個基準測試中，其準確率超越 Gemini 2.5-Flash 和 Qwen3-Omni 等開閉源模型。

• 論文地址：https://arxiv.org/pdf/2512.23646
• 論文主頁：https://kd-tao.github.io/OmniAgent
• 發(fā)起實驗室ENCODE LAB：https://westlake-encode-lab.github.io/

背景與痛點

1. 端到端全模態(tài)模型雖然實現(xiàn)了視聽統(tǒng)一，但往往受限于高昂的訓(xùn)練成本和困難的跨模態(tài)特征對齊，導(dǎo)致在細粒度跨模態(tài)理解上表現(xiàn)不佳；
2. 基于固定 Workflow 的智能體依賴人為設(shè)定僵化的流程，缺乏細粒度和靈活性，無法根據(jù)問題自主的進行規(guī)劃與信息獲??；
3. Caption-based 視頻智能體需要在分析問題之前，先針對整個視頻構(gòu)建幀 caption 數(shù)據(jù)庫，隨后基于視頻字幕數(shù)據(jù)庫來理解內(nèi)容，但這種方法計算成本高，難以捕捉細節(jié)的跨模態(tài)信息。

相比之下，OmniAgent 引入了一種全新的主動感知推理范式。通過在迭代反思循環(huán)中策略性地調(diào)度視頻與音頻理解能力，該方法有效攻克了跨模態(tài)對齊的難題，從而實現(xiàn)了對視聽內(nèi)容的細粒度理解。

方法論

OmniAgent 摒棄了固定的工作流，采用了「思考 - 行動 - 觀察 - 反思」閉環(huán)機制 。

1.思考：OmniAgent 會根據(jù)問題進行分析，自主決定「聽」還是「看」。

2.行動：根據(jù)計劃，OmniAgent 會從構(gòu)建的多模態(tài)工具中選取合適的工具進行調(diào)用：

1. 事件工具：利用音頻能夠高效捕捉全局上下文的特性，首創(chuàng)音頻引導(dǎo)事件定位，快速鎖定關(guān)鍵時間窗口，避免對長視頻進行無效的視覺掃描 。
2. 視頻工具：包含粗粒度的全局視頻問答，以及在特定時間內(nèi)基于更高幀率進行分析的片段問答工具。
3. 音頻工具：涵蓋音頻全局描述、細粒度問答，以及支持精確時間戳的語音轉(zhuǎn)錄 （ASR）。

3.觀察與反思機制：智能體接受工具結(jié)果，評估目前已有的證據(jù)能否正確的回答問題，并且結(jié)合之前在多步推理中進行跨模態(tài)一致性檢查，確保視聽證據(jù)互證，解決幻覺與對齊問題。

效果如何？

OmniAgent 在三個主流視聽理解基準測試中均取得了 SOTA 成績，顯著優(yōu)于現(xiàn)有的開源及閉源模型：

1.Daily-Omni Benchmark：準確率達到 82.71%，超越 Gemini 2.5-Flash (72.7%) 和 Qwen3-Omni-30B (72.08%)，提升幅度超 10% 。

2.OmniVideoBench：在長視頻理解任務(wù)中，準確率達 59.1%，大幅領(lǐng)先 Qwen3-Omni-30B (38.4%) 。

3.WorldSense:OmniAgent 也保持了領(lǐng)先的準確度。

未來愿景

1. OmniAgent 的設(shè)計理念有很高的擴展性，能夠繼續(xù)結(jié)合其他模態(tài)的工具；
2. OmniAgent 能夠幫助生成高質(zhì)量的 COTT 數(shù)據(jù)，用來構(gòu)建可以自我調(diào)用工具的下一代智能體全模態(tài)模型。

總的來看，OmniAgent 證明了在全模態(tài)理解任務(wù)中，音頻引導(dǎo)的的主動感知策略是解決跨模態(tài)對齊困難、提升細粒度推理能力的有效路徑。該工作為未來的全模態(tài) Agent 算法設(shè)計提供了新的范式參考。