智東西
作者 陳駿達
編輯 李水青

智東西3月31日報道，昨天，阿里推出了最新一代全模態(tài)大模型Qwen3.5-Omni，這是一款能原生理解文本、圖片、音頻及音視頻輸入的模型，并能以文本和音頻兩種模態(tài)輸出。

阿里上一次更新Omni系列模型還是在去年9月。昨天上線的Qwen3.5-Omni系列包含Plus、Flash、Light三種尺寸，支持256k長上下文和超過10小時的音頻輸入，以及超過400秒的720P（1 FPS）音視頻輸入。

千問團隊在技術博客中稱，在215項音頻/音視頻的理解、推理和交互任務上，Qwen3.5-Omni-Plus取得了SOTA成績。這一模型的通用音頻理解、推理、識別、翻譯、對話超越了Gemini-3.1 Pro，音視頻理解能力總體達到Gemini-3.1 Pro水平。同時，視覺和文本能力與同尺寸Qwen3.5模型持平。

這些能力解鎖了不少有趣的用例，比如，你可以在realtime模式下拿著手機、打開攝像頭，對著草圖向Qwen3.5-Omni分享你的開發(fā)思路，而它能幫你生成對應的代碼，實現(xiàn)“用嘴編程”，快速輸出原型設計。

此外，Qwen3.5-Omni可以理解39種國內(nèi)方言和74種語言，并合成7種國內(nèi)方言和29種語言的音頻，在多語言支持上較上一代模型Qwen3-Omni有了明顯擴展。

我們試著用閩南話與Qwen3.5-Omni聊了會兒天，它對閩南語的理解準確，生成的語音也較為地道，不過仍然夾雜幾個普通話詞匯。從發(fā)送語音到返回音頻，Qwen3.5-Omni大概用了1-2秒，還調(diào)用了網(wǎng)絡搜索提供了正確的當日天氣信息。

目前，Qwen3.5-Omni系列模型可在阿里云百煉上通過API調(diào)用的方式使用，并支持offline和realtime兩種調(diào)用模式。此外，用戶也可在chat.qwen.ai、Hugging Face和魔搭上體驗這一模型。

這一模型的API調(diào)用價格采取階梯計費模式，在常用的輸入≤128k場景下，其音頻輸入價格為4.96元/百萬tokens，文本/圖片/視頻輸入價格為0.8元/百萬tokens。模型的輸出價格為61.322元/百萬tokens（文本+音頻），僅輸出文本時的價格為9.6元/百萬tokens。

模型發(fā)布后，智東西第一時間對Qwen3.5-Omni-Plus進行了體驗。這一模型在長視頻理解、多模態(tài)指令遵循方面展現(xiàn)了不錯的處理能力，同時其低延遲的實時交互與新增的語音控制功能，提升了交互體驗。

Qwen3.5-Omni-Plus-Realtime：

https://help.aliyun.com/zh/model-studio/realtime

Qwen3.5-Omni-Plus：

https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3.5-omni-plus

魔搭離線Demo:

https://modelscope.cn/studios/Qwen/Qwen3.5-Omni-Offline-Demo

魔搭實時Demo:

https://modelscope.cn/studios/Qwen/Qwen3.5-Omni-Online-Demo

一、1分鐘看完50分鐘視頻，還能實現(xiàn)“用嘴編程”

在技術博客中，千問團隊稱，Qwen3.5-Omni-Plus的一大能力是音視頻描述（Caption）。結(jié)合提示詞要求，Qwen3.5-Omni-Plus可以生成劇本級的細粒度描述，并進行自動切片、時間戳打標和人物與音頻關系的詳細介紹。

實測中，我們向Qwen3.5-Omni-Plus上傳了一集50分鐘左右的美劇《老友記》，并讓它按照系統(tǒng)提示詞的要求，輸出畫面內(nèi)容的準確描述。

Qwen3.5-Omni-Plus處理這集內(nèi)容大概用了1分鐘，速度還是較為理想的。它的描述完整覆蓋了視頻時間線，無跳躍或遺漏，符合“按時間描述”的核心要求。

具體內(nèi)容上，它的描述抓住了核心劇情轉(zhuǎn)折點，能識別重要人物關系和情緒變化，描述不是機械羅列，而是帶有輕微敘事感，效果比不少網(wǎng)盤中自動生成的AI視頻摘要可讀性強很多。

官方案例中，Qwen3.5-Omni-Plus收到了一段《舌尖上的中國》的切片，并對其進行音視頻描述。可以看到，Qwen3.5-Omni-Plus能按照畫面敘事和內(nèi)容自動切分合適的時間節(jié)點，對內(nèi)容的描述既包含了畫面，也包含了配音，結(jié)構清晰、細節(jié)豐富。

結(jié)合更為復雜的提示詞，Qwen3.5-Omni-Plus還可用于審核類任務，比如檢測游戲直播是否包含血腥暴力、危險行為、言語與欺凌和其他不當主題。

千問團隊還觀察到了全模態(tài)模型涌現(xiàn)出可以根據(jù)音視頻指令直接進行編程的能力，他們稱之為“Audio-Visual Vibe Coding”。

實測中，我們上傳了一段錄屏，要求千問根據(jù)其中的畫面和語音指令快速開發(fā)一個社交媒體的原型。拿到視頻后，Qwen3.5-Omni-Plus很快就開始編程，視頻內(nèi)容并未帶來明顯可感知的延遲。

其生成的網(wǎng)頁效果如下，基本符合小紅書網(wǎng)頁版的布局特點，各個界面的跳轉(zhuǎn)邏輯正確，手動插入圖片后，應該能達到80%的還原度。

官方Demo中，千問團隊還展示了Qwen3.5-Omni-Plus根據(jù)草圖生成網(wǎng)頁的能力。用戶只需在紙上畫出簡單的界面線框圖，拍照上傳并口述功能需求，模型便能理解設計意圖，直接輸出可運行的前端代碼。

二、實時交互能力加強，支持隨意打斷、語音克隆

除了基座能力的提升，Qwen3.5-Omni系列模型的交互能力也得到加強。

Qwen3.5-Omni如今支持了語義打斷，也就是說用戶可以在模型“說話”的時候隨意插話，補充信息，提供新指令等等。

這一交互體驗基于Qwen3.5-Omni自動識別turn-talking意圖能力，可避免附和和無意義背景音打斷，已在API已原生支持。

在官方Demo中，可以看到Qwen3.5-Omni不會被“嗯嗯”這些附和性的內(nèi)容打斷，而當用戶確實提出問題時，模型可以及時停止此前的回復并生成新內(nèi)容。

Qwen3.5-Omni原生支持了網(wǎng)絡搜索和復雜FunctionCall能力，模型可以自主判斷是否需要使用網(wǎng)絡搜索來回應用戶的即時問題。我們在文章伊始展示的方言對話案例中，模型能搜索實時天氣信息，靠的就是這一能力。

端到端的語音控制和對話能力也已經(jīng)整合至Qwen3.5-Omni中。模型可以像人一樣遵循指令來對聲音的大小、語速、情緒進行自由控制。

Qwen3.5-Omni支持音色克隆，用戶可以上傳音色來定制音色。官方Demo中，Qwen3.5-Omni能克隆說話者的音色，然后將其轉(zhuǎn)換為不同的語言，實現(xiàn)交替?zhèn)髯g。

三、延用Thinker-Talker分工架構，采用混合注意力機制

Qwen3.5-Omni系列模型是如何實現(xiàn)上述能力的？

Qwen3.5-Omni延續(xù)了上一代的Thinker-Talker分工架構——Thinker負責理解，Talker負責表達。但這一次，兩者都改為Hybrid-Attention MoE（混合注意力MoE），提升了模型效率和性能。

Thinker負責接收視覺和音頻信號，通過TMRoPE編碼位置信息，輸出文本。Hybrid-Attention讓它在處理10小時長音頻、1小時視頻時，依然能快速抓住重點。

Talker則接收Thinker的多模態(tài)輸出，進行contextual語音生成。還使用RVQ編碼替代繁重的DiT運算。

針對流式語音交互中由于文本與語音Token編碼效率差異導致的語音不穩(wěn)定性，如漏讀、誤讀或數(shù)字發(fā)音模糊等問題，千問團隊使用了ARIA（自適應速率交錯對齊，Adaptive Rate Interleave Alignment）技術、動態(tài)對齊文本與語音單元，可在保證實時性的前提下，提升語音合成的自然度與魯棒性。

Qwen3.5-Omni與Qwen3-Omni的詳細對比如下：

結(jié)語：全模態(tài)能力或?qū)⒔怄i更多AI應用場景

模型的全模態(tài)化已經(jīng)成為一大趨勢。從千問的Omni系列模型再到谷歌的Gemini，未來的模型將不再僅僅是文本、圖像或音頻能力的簡單疊加，而是具備統(tǒng)一的理解與生成架構，能夠像人類一樣自然地處理流式音視頻輸入。

隨著長上下文處理、方言和多語言適配及低延遲響應能力的不斷擴展，大模型的全模態(tài)能力有望在內(nèi)容審核、智能客服、實時翻譯發(fā)揮更大作用，提供更為自然的交互體驗。