智東西
作者 李水青
編輯 心緣

智東西2月11日報道，今日，螞蟻集團開源全模態(tài)大模型Ming-flash-omni 2.0。在多項公開基準測試中，該模型的視覺語言理解、語音可控生成、圖像生成與編輯等能力表現(xiàn)突出，趕超Qwen3-Omini-30B-A3B-Instruct等同類模型。

Ming-flash-omni 2.0是業(yè)界首個全場景音頻統(tǒng)一生成模型，可在同一條音軌中同時生成語音、環(huán)境音效與音樂。用戶只需用自然語言下指令，即可對音色、語速、語調(diào)、音量、情緒與方言等進行精細控制。模型在推理階段實現(xiàn)了3.1Hz的極低推理幀率，實現(xiàn)了分鐘級長音頻的實時高保真生成。

與螞蟻2025年5月推出的Ming-flash-omni Preview相比，Ming-flash-omni 2.0實現(xiàn)了跨代升級，側(cè)重于優(yōu)化以下關(guān)鍵領(lǐng)域的功能：

1、專家級多模態(tài)認知：它能精準識別動植物以及文化典故，并對文物進行專家級分析。通過將高分辨率視覺捕捉與龐大的知識圖譜相結(jié)合，該模型實現(xiàn)了“視覺到知識”的合成，知識理解能力更強。

2、沉浸式可控統(tǒng)一聲學(xué)合成：它引入統(tǒng)一的端到端聲學(xué)生成流程，將語音、音頻和音樂集成于單一通道中。該模型利用連續(xù)自回歸算法結(jié)合擴散變換器 (DiT) 頭部，實現(xiàn)了零樣本語音克隆和精細的屬性控制，例如情感、音色和環(huán)境氛圍，大幅提高聽覺體驗。

3、高動態(tài)可控圖像生成與處理：它采用原生多任務(wù)架構(gòu)，整合了分割、生成和編輯功能，實現(xiàn)了精細的時空語義解耦。它在高動態(tài)內(nèi)容創(chuàng)作方面表現(xiàn)卓越，包括大氣重建、無縫場景合成和上下文感知物體移除，且能在復(fù)雜的圖像處理任務(wù)中達到頂尖精度。

目前，Ming-flash-omni 2.0的模型權(quán)重、推理代碼已在Hugging Face等開源社區(qū)發(fā)布，用戶也將可通過螞蟻百靈官方平臺Ling Studio在線體驗與調(diào)用。

Hugging Face地址：
https://huggingface.co/inclusionAI/Ming-flash-omni-2.0
GitHub地址：
https://github.com/inclusionAI/Ming
魔搭社區(qū)地址：
https://www.modelscope.cn/models/inclusionAI/Ming-flash-omni-2.0
體驗入口：
https://ling.tbox.cn/chat

一、動植物與知識識別變強，音頻三合一生成是特色

首先來看看Ming-flash-omni 2.0的實際應(yīng)用效果。智東西在Ling Studio還未收到更新，我們可以先從幾組官方公布的案例中來看看Ming-flash-omni 2.0能做什么。

在多模態(tài)認知方面，Ming-flash-omni 2.0能較精準識別動植物，如下圖所示，當用戶上傳幾張馬的圖片和植物的圖片，Ming-flash-omni 2.0能夠比較準確分辨出馬和植物的品種。

再看看Ming-flash-omni 2.0側(cè)重提升的文化典故識別能力。當用戶讓該模型分別介紹一張關(guān)于馬的文物照片和繪畫照片，其能夠比較準確的識別出這是“馬踏飛燕”和徐悲鴻的《奔馬圖》，并且進行了較專業(yè)的解讀，可以看到內(nèi)置知識變強及知識理解能力的提升。

Ming-flash-omni 2.0支持自由多模態(tài)切換，用戶可以用語音對話，讓Ming-flash-omni 2.0識別和生成多種模態(tài)的內(nèi)容，這些動作都是交替進行的。

在流媒體對話方面，螞蟻上傳了一個用Ming-flash-omni 2.0識別舞龍獅表演的視頻，其不僅能夠準確識別事物，還能夠講解背后文化知識，延遲較低。不過，其語音聽起來仍然沒有達到完全的真人感，能聽出來是AI聲音。

在可控統(tǒng)一聲學(xué)合成方面，兩個人聲在講解Ming-flash-omni 2.0可以為音頻添加背景音樂、音效，而這個音頻本身正是Ming-flash-omni 2.0生成的。人聲之下墊有節(jié)奏明快的背景音樂。據(jù)悉，其還支持零樣本語音克隆和精細的屬性控制，例如情感、音色和環(huán)境氛圍。

在圖像生成與處理方面，如下所示，當用戶輸入一張照片，并輸入一段提示詞，比如“背景換成澳大利亞藍天，姿勢自然一點”、“背景換成西湖并改成拍手”等，就可以得到所需的照片，能達到較高的修改精度。這一高精度能力在谷歌Nano Banana等專用模型那里也仍有難度，Ming-flash-omni 2.0實際表現(xiàn)如何，能否達到官方案例效果，還有待用戶親自實操后來評判。

二、全模態(tài)能力匹敵專業(yè)模型，多項能力超Gemini 2.5 Pro

看完實際應(yīng)用，再來看看模型測評成績。

在通用圖像理解方面，Ming-flash-omni 2.0在HallusionBench、MMvet測評上超越了Gemini 2.5 Pro、Qwen3-Omini-30B-A3B-Instruct等模型，具有較強的內(nèi)容理解和知識能力，較少的幻覺情況。

在文檔理解方面，Ming-flash-omni 2.0在ChartQA、OCRBench測評上超越了Gemini 2.5 Pro，在AI2D上得分略低于Gemini 2.5 Pro，但整體得分都在87分以上，在處理文檔、圖表識別等方面表現(xiàn)較好。

在STEM（科學(xué)、技術(shù)、工程、數(shù)學(xué)）方面，Ming-flash-omni 2.0的測評表現(xiàn)全面超越Qwen3-Omini-30B-A3B-Instruct，得分接近Gemini 2.5 Pro。

▲Ming-flash-omni 2.0的實測表現(xiàn)

在定位與內(nèi)部知識方面，其在圖像中定位和指定特定對象的能力較強，接近90分，內(nèi)置知識庫的準確性和豐富度得分也遠高于Gemini 2.5 Pro、Qwen3-Omini-30B-A3B-Instruct。

在多圖像理解方面，該模型在MVbench、CharadesSTA上的得分超過了Gemini 2.5 Pro、Qwen3-Omini-30B-A3B-Instruct，在MLVU上也表現(xiàn)較好，但略低于Gemini 2.5 Pro。

在語音方面，作為業(yè)界首個全場景音頻統(tǒng)一生成模型，其在語音識別（WER越低越好）和語音生成準確率的表現(xiàn)都非常優(yōu)異，在多個基準上領(lǐng)先。

在圖像生成、編輯和分割方面，其在DPGBench、Geneval、RefCOCO-val等測評中都取得了匹敵專用模型的成績。

三、統(tǒng)一架構(gòu)，降低多模型串聯(lián)成本和復(fù)雜度

業(yè)內(nèi)普遍認為，多模態(tài)大模型最終會走向更統(tǒng)一的架構(gòu)。但現(xiàn)實是“全模態(tài)”模型往往很難同時做到通用與專精，在特定單項能力上往往不及專用模型。

Ming-omni系列正是在這一背景下持續(xù)演進，早期版本構(gòu)建統(tǒng)一多模態(tài)能力底座，中期版本驗證規(guī)模增長帶來的能力提升，而最新2.0版本通過更大規(guī)模數(shù)據(jù)與系統(tǒng)性訓(xùn)練優(yōu)化，將全模態(tài)理解與生成能力推至開源領(lǐng)先水平，并在部分領(lǐng)域超越頂級專用模型。

2025年5月，螞蟻開源了MoE架構(gòu)的統(tǒng)一多模態(tài)大模型Ming-lite-omni，實現(xiàn)了以單一模型處理包括圖像、文本、音頻和視頻在內(nèi)的廣泛輸入類型；2025年7月，螞蟻集團推出升級的Ming-lite-omni v1.5，在可控圖像生成、生成式圖像分割、深度及邊緣檢測三大維度能力上得到提升。

2025年10月，螞蟻集團進一步開源了Ming-flash-omni-Preview，成為當時首個參數(shù)規(guī)模達到千億的開源全模態(tài)大模型。當時，Ming-flash-omni-Preview仍有不完善的地方，包括視覺文本理解能力與頂尖專用VL大模型仍存在一定差距，語音多輪對話效果以及高質(zhì)量的音色克隆仍需優(yōu)化，在復(fù)雜布局文字渲染與編輯、特定IP角色的生成方面還有待提升。

此次螞蟻集團將Ming-flash-omni 2.0在這些方面實現(xiàn)提升，達到了整體跨代的效果。Ming-flash-omni 2.0基于Ling-2.0架構(gòu)（MoE，100B-A6B）訓(xùn)練，主要圍繞“看得更準、聽得更細、生成更穩(wěn)”三大進行了優(yōu)化。

視覺方面，該模型融合億級細粒度數(shù)據(jù)與難例訓(xùn)練策略，顯著提升對近緣動植物、工藝細節(jié)和稀有文物等復(fù)雜對象的識別能力。

音頻方面，其實現(xiàn)了語音、音效、音樂同軌生成，支持自然語言精細控制音色、語速、情緒等參數(shù)，并具備零樣本音色克隆與定制能力。

圖像方面，其增強了復(fù)雜編輯的穩(wěn)定性，支持光影調(diào)整、場景替換、人物姿態(tài)優(yōu)化及一鍵修圖等功能，在動態(tài)場景中仍保持畫面連貫與細節(jié)真實。

百靈模型負責人周俊談道，全模態(tài)技術(shù)的關(guān)鍵在于通過統(tǒng)一架構(gòu)實現(xiàn)多模態(tài)能力的深度融合與高效調(diào)用。開源后，開發(fā)者可基于同一套框架復(fù)用視覺、語音與生成能力，顯著降低多模型串聯(lián)的復(fù)雜度與成本。

Ming-flash-omni 2.0模型的開源，意味著其核心能力以“可復(fù)用底座”的形式對外釋放，為端到端多模態(tài)應(yīng)用開發(fā)提供統(tǒng)一能力入口。

結(jié)語：統(tǒng)一架構(gòu)全模態(tài)模型加速發(fā)展

隨著自回歸路線統(tǒng)一了語言模型領(lǐng)域，多模態(tài)領(lǐng)域能否出現(xiàn)一個統(tǒng)一的架構(gòu)路線？國內(nèi)外多家企業(yè)或機構(gòu)展開了統(tǒng)一多模態(tài)學(xué)習(xí)的訓(xùn)練，打造性能出色的原生多模態(tài)大模型，螞蟻集團在這一領(lǐng)域有頗多嘗試。

盡管相比最頂尖的專業(yè)模型仍有差距，但以Ming-flash-omni 2.0為代表的全模態(tài)模型已經(jīng)逼近專業(yè)模型性能。未來，團隊將持續(xù)優(yōu)化視頻時序理解、復(fù)雜圖像編輯與長音頻生成實時性，完善工具鏈與評測體系，推動全模態(tài)技術(shù)在實際業(yè)務(wù)中規(guī)?；涞?。