你一定有過(guò)這種經(jīng)歷：開(kāi)完一場(chǎng)兩小時(shí)的會(huì)議，錄像文件安安靜靜躺在網(wǎng)盤里，但沒(méi)人愿意回看——因?yàn)榛乜吹某杀編缀醯扔谠匍_(kāi)一次會(huì)。

一條爆款帶貨視頻刷到了，你隱約覺(jué)得它的轉(zhuǎn)化邏輯值得學(xué)，但既沒(méi)時(shí)間逐幀拆解，拆了也不知道怎么變成自己的腳本。

還有英文播客、發(fā)布會(huì)直播、夾雜方言且需要復(fù)盤的客服錄音——這些音視頻內(nèi)容每天都在大量產(chǎn)生，但對(duì)絕大多數(shù)人來(lái)說(shuō)，它們被"看過(guò)"或"聽(tīng)過(guò)"之后，就再?zèng)]有然后了。

我們的日常中，大量非常非常有價(jià)值的音視頻內(nèi)容無(wú)法被拆開(kāi)、被檢索、更沒(méi)法總結(jié)經(jīng)驗(yàn)?zāi)萌?fù)用。

而阿里千問(wèn)剛剛發(fā)布的Qwen3.5-Omni，讓我們覺(jué)得這個(gè)問(wèn)題開(kāi)始有解了。

它是千問(wèn)最新一代全模態(tài)大模型，采用混合注意力MoE架構(gòu)，在海量文本、視覺(jué)及超過(guò)1億小時(shí)的音頻數(shù)據(jù)上做了原生多模態(tài)預(yù)訓(xùn)練，在215項(xiàng)第三方性能測(cè)試中取得SOTA，多項(xiàng)核心指標(biāo)超越Gemini-3.1 Pro。

比跑分更值得說(shuō)的，是我們?cè)趯?shí)測(cè)中實(shí)際體驗(yàn)到的東西——經(jīng)過(guò)幾輪極其刁鉆的極限測(cè)試后，這個(gè)全模態(tài)模型徹底震撼到我了：

• 我們讓它拆解了一支《沙丘》預(yù)告片——它不僅按時(shí)間戳做了結(jié)構(gòu)化分析，還推理出了角色間的隱含關(guān)系，生成了帶節(jié)奏設(shè)計(jì)和調(diào)色建議的復(fù)刻分鏡腳本；

• 我們給了它一條爆款TikTok帶貨視頻——它拆出了完整的轉(zhuǎn)化歸因，輸出了可以直接遷移到其他行業(yè)的5步腳本模板；

• 我們對(duì)著一張畫得很丑的手繪草圖口述需求——它直接生成了能跑的React頁(yè)面，然后我們繼續(xù)口述修改，它一輪輪迭代下去，上下文始終沒(méi)丟。

這意味著，你可以把一場(chǎng)兩小時(shí)的會(huì)議錄像扔給它，拿回一份帶時(shí)間戳的結(jié)構(gòu)化紀(jì)要和待辦清單；把一條競(jìng)品的爆款視頻丟進(jìn)去，直接拿到可遷移的腳本模板；用它給客服錄音做質(zhì)檢，輸出情緒軌跡和話術(shù)評(píng)分。

它的意義，絕不僅僅是多模態(tài)能力的又一次參數(shù)升級(jí)。它讓我親眼看到，原本只能"看一遍就過(guò)去"的音視頻內(nèi)容，是如何被生生拆解成可以直接拿去干活的“數(shù)據(jù)資產(chǎn)”的。

而如果你給你的龍蝦接上Qwen3.5-Omni，給你的龍蝦裝上“眼睛”和“耳朵”，那么你就能獲得一個(gè)真正能聽(tīng)懂語(yǔ)音指令、看懂視頻內(nèi)容、理解音頻信息，還會(huì)操作電腦的數(shù)字員工。

這，或許才是那場(chǎng)我們期待已久的、屬于全模態(tài)大模型的真正生產(chǎn)力革命。

接下來(lái)，我們先來(lái)看看實(shí)測(cè)細(xì)節(jié)，再聊聊這個(gè)模型正在改變什么，以及阿里拿它在下一盤什么棋。

拆電影、復(fù)盤帶貨、口述寫代碼：全模態(tài)能力全面進(jìn)化

（1）沙丘：不止是"看懂故事"

我們選了沒(méi)有字幕版的《沙丘》預(yù)告片作為第一個(gè)測(cè)試素材，來(lái)對(duì)Qwen3.5-Omni的多模態(tài)能力進(jìn)行“極限測(cè)試”。

預(yù)告片天生就是視頻理解領(lǐng)域最不友好的素材：密集的鏡頭切換、多線敘事、大量隱喻和視覺(jué)暗示，視聽(tīng)密度極高。

而對(duì)于Qwen3.5-Omni來(lái)說(shuō)，第一輪的結(jié)構(gòu)化信息提取幾乎沒(méi)有難度：劇情時(shí)間線、關(guān)鍵鏡頭、畫面文字、說(shuō)話人與臺(tái)詞、角色陣營(yíng)關(guān)系、情緒變化曲線，全部按時(shí)間戳精準(zhǔn)剝離。

第二輪，我們指定了第24秒出現(xiàn)的臺(tái)詞，要求它回答對(duì)應(yīng)畫面、說(shuō)話者和情緒。它準(zhǔn)確定位到"She would need to be strong, like her mother"，正確識(shí)別為保羅的畫外旁白而非現(xiàn)場(chǎng)對(duì)話，對(duì)應(yīng)畫面為查妮沙漠逆光側(cè)臉特寫，情緒判斷——溫柔、敬重、期許——與畫面完全吻合。

真正的考驗(yàn)，在于第三輪的"深層推理追問(wèn)"——

我們要求它分析角色間的"隱含關(guān)系"并給出鏡頭和臺(tái)詞證據(jù)、識(shí)別預(yù)告片中的"伏筆"鏡頭及其對(duì)未來(lái)劇情的指向、生成一個(gè)45秒短視頻復(fù)刻分鏡腳本。

它準(zhǔn)確識(shí)別出保羅與費(fèi)德-羅薩之間的"鏡像宿敵"關(guān)系、保羅與杰西卡之間的"斷裂傳承"張力、查妮作為"人性錨點(diǎn)"的角色定位，而且附帶了視覺(jué)構(gòu)圖證據(jù)和臺(tái)詞對(duì)照。

它給出的復(fù)刻分鏡腳本也不是模糊的敘事概括，而是帶有"慢板抒情→快速剪輯→史詩(shī)爆發(fā)"的三段式節(jié)奏設(shè)計(jì)，甚至包含調(diào)色方向、音效提示和字幕處理建議。

說(shuō)實(shí)話，到這一步，它已經(jīng)不是在"看懂視頻"，而是有點(diǎn)導(dǎo)演拆片的意思了。它把LLM的"視頻理解"能力，從摘要層推到了鏡頭語(yǔ)言解讀、關(guān)系推理層面。

（2）帶貨：從一條爆款Tiktok帶貨視頻里，拆出轉(zhuǎn)化的底層邏輯

對(duì)更多人來(lái)說(shuō)，更現(xiàn)實(shí)的問(wèn)題是：它在真實(shí)世界，在日常工作中是不是真的“有用”？

我們輸入了一條義烏招商類TikTok爆款帶貨視頻，要求Qwen3.5-Omni幫助我們拆解、復(fù)刻。

結(jié)果，模型不僅按Hook、賣點(diǎn)排序、畫面證明點(diǎn)、字幕策略、情緒節(jié)奏、CTA時(shí)間點(diǎn)、目標(biāo)人群七個(gè)維度完成了結(jié)構(gòu)化拆解，它的歸因分析也極具洞察力：三級(jí)物理證據(jù)鏈構(gòu)建"所見(jiàn)即所得的信任"、"2萬(wàn)種SKU + 20美分均價(jià)"制造數(shù)字錨點(diǎn)、保姆式全案承諾實(shí)現(xiàn)風(fēng)險(xiǎn)逆轉(zhuǎn)。

換句話說(shuō)，它看出來(lái)了：這條視頻賣的不是商品，而是確定性。

為了驗(yàn)證它是不是在生搬硬套營(yíng)銷學(xué)名詞，我們告訴它，"我家工廠是賣T恤的，幫我按這個(gè)套路設(shè)計(jì)一個(gè)腳本"，要求它把這套邏輯遷移到"T恤定制工廠"場(chǎng)景。

結(jié)果，它不僅把剛剛分析出的5步轉(zhuǎn)化模板成功遷移到T恤場(chǎng)景，還把Hook極其自然地改成了"拉扯T恤展示彈性"，把實(shí)力證明換成了"印花機(jī)噴墨特寫+揉搓不掉色"，甚至附帶了評(píng)論區(qū)運(yùn)營(yíng)引導(dǎo)私信的實(shí)操建議。

也就是說(shuō)，大模型不再只是內(nèi)容理解工具，它已經(jīng)可以充當(dāng)不知疲倦的電商分析師和社交媒體運(yùn)營(yíng)專家。

（3）口述一個(gè)App：邊看、邊說(shuō)、邊改

第三個(gè)測(cè)試，堪稱“Vibe Coding”的升級(jí)版——"音視頻Vibe Coding"。

我們手繪了一張故意畫得很粗糙的APP線框圖，打開(kāi)攝像頭，手持草圖對(duì)著鏡頭口述："你看這個(gè)是我畫的界面草圖……請(qǐng)用React幫我生成完整代碼，可以直接運(yùn)行的。"

它識(shí)別了手繪布局并生成了React代碼。接著我們繼續(xù)口述修改——"導(dǎo)航欄改成側(cè)邊欄，主按鈕放大一倍換圓角"，同時(shí)上傳替換圖片。之后又測(cè)了深色主題、進(jìn)度條動(dòng)畫、按壓反饋等迭代，它始終能延續(xù)上下文，不丟失之前的修改。

幾輪修改后，網(wǎng)頁(yè)成功上線。

整體體驗(yàn)上來(lái)說(shuō)，它接住了人類最真實(shí)的交互方式：邊看、邊說(shuō)、邊改。不是以前那種"AI生成代碼你自己去調(diào)"的體驗(yàn)，更像一個(gè)經(jīng)驗(yàn)豐富的開(kāi)發(fā)者坐在你的旁邊。

（4）連起來(lái)看

從《沙丘》的復(fù)雜敘事，到帶貨的商業(yè)分析，再到口述做App的隨性交互，如果我們把上面的幾個(gè)測(cè)試案例串起來(lái)看就會(huì)發(fā)現(xiàn)：

Qwen3.5-Omni成功證明了：它能把復(fù)雜的、混亂的、連續(xù)的輸入，變成可以直接拿去用的結(jié)果。

另外補(bǔ)充兩個(gè)我們也測(cè)了但沒(méi)展開(kāi)寫的用例：游戲視頻生成解說(shuō)：網(wǎng)頁(yè)端出文案，API端出TTS語(yǔ)音；"24小時(shí)AI新聞編輯部"——50分鐘國(guó)際新聞發(fā)布會(huì)音頻走完信息提取、雙語(yǔ)稿件生成和語(yǔ)音播報(bào)，效果都不錯(cuò)，感興趣的朋友也可以試試。

底層改變：從"看懂內(nèi)容"到"拆成資產(chǎn)"

前面三個(gè)場(chǎng)景能跑通，不僅因?yàn)?能力變強(qiáng)了"，而是底層產(chǎn)品設(shè)計(jì)發(fā)生了質(zhì)變：它把連續(xù)、混雜、難以檢索的音視頻流，強(qiáng)制拆解為高度結(jié)構(gòu)化的中間層。

（1）拆得多細(xì)：不是摘要，是字段級(jí)的結(jié)構(gòu)化資產(chǎn)

翻開(kāi)官方API文檔你會(huì)發(fā)現(xiàn)，Qwen3.5-Omni對(duì)音視頻的推薦輸出格式不是一句籠統(tǒng)的摘要，而是三層硬結(jié)構(gòu)：

• Storyline（按時(shí)間戳融合音畫細(xì)節(jié)的故事線）；

• Visible Text（帶起止時(shí)間和外觀特征的畫面文字清單）；

• Speakers and Transcript（含說(shuō)話人身份、口音、語(yǔ)氣、情緒的逐字稿）。

換句話說(shuō)，它拿到的不再是"一團(tuán)視頻"，而是一份可以被代碼直接調(diào)用、檢索和執(zhí)行的結(jié)構(gòu)化資產(chǎn)。這就是沙丘測(cè)試能做到精確回溯，TikTok測(cè)試能輸出可遷移模板的底層原因。

支撐這種顆粒度的，是實(shí)打?qū)嵉哪Ｐ突A(chǔ)能力——混合注意力MoE架構(gòu)，超過(guò)1億小時(shí)音頻數(shù)據(jù)的原生多模態(tài)預(yù)訓(xùn)練，模型智力與qwen3.5-plus同一水平，215項(xiàng)第三方測(cè)試取得SOTA。

（2）拆得多長(zhǎng)：超大上下文窗口

256K上下文窗口，支持超過(guò)10小時(shí)音頻、超過(guò)400秒720P視頻。

長(zhǎng)內(nèi)容真正的難點(diǎn)從來(lái)不是"看完"，而是跨段關(guān)聯(lián)和證據(jù)回溯——扔進(jìn)10小時(shí)的會(huì)議錄音，問(wèn)"第5分鐘提到的人在第30分鐘說(shuō)了什么"；輸入帶貨直播錄屏，讓它揪出夸大宣傳的時(shí)間點(diǎn)并附上畫面和臺(tái)詞證據(jù)；用它給客服錄音做質(zhì)檢，輸出情緒軌跡和話術(shù)評(píng)分。

這些過(guò)去高度依賴人力、極易出錯(cuò)的信息整理工作，Qwen3.5-Omni正在試圖接管。

（3）交互：是動(dòng)態(tài)接口

實(shí)時(shí)交互這一面，它支持智能語(yǔ)義打斷——不會(huì)因?yàn)槟憧人砸宦暬螂S口說(shuō)個(gè)"嗯"就中斷發(fā)言，過(guò)濾掉了無(wú)意義的背景音干擾。

它原生支持聯(lián)網(wǎng)搜索的FunctionCall，能自主判斷是否需要拉起搜索來(lái)回應(yīng)實(shí)時(shí)問(wèn)題，開(kāi)發(fā)者還能在回執(zhí)中看到精確的計(jì)量信息。這從工程層面緩解了企業(yè)用大模型時(shí)最頭疼的"時(shí)效性與幻覺(jué)"問(wèn)題。

語(yǔ)音表達(dá)層的能力提升同樣很有價(jià)值，現(xiàn)在，它支持113種語(yǔ)種和方言的語(yǔ)音識(shí)別，三十六種語(yǔ)言和方言的語(yǔ)音合成，內(nèi)置47個(gè)多語(yǔ)言說(shuō)話人和8個(gè)方言說(shuō)話人。

在我們的實(shí)測(cè)中，無(wú)論是自稱"聲音像溫?zé)崮滩?的客服角色Tina，還是四川話的"晴兒"，角色感和產(chǎn)品感都很強(qiáng)。

這不只是"聽(tīng)得懂更多"，而是為海外客服、審核質(zhì)檢、有聲讀物、播客配音這些高頻場(chǎng)景備足了彈藥。

一句話簡(jiǎn)單總結(jié)，Qwen3.5-Omni，讓音視頻變得"可拆"——不是"看懂了"，而是拆成可以檢索、可以復(fù)用、可以直接拿去干活的現(xiàn)成素材。

阿里真正想賣的，也不只是一個(gè)模型

聊完產(chǎn)品和技術(shù)，值得把視線從模型本身移開(kāi)，看看阿里最近在組織和產(chǎn)品上的一系列動(dòng)作——一條清晰的商業(yè)暗線就會(huì)浮出來(lái)。

不久前，阿里成立了由CEO吳泳銘直管的 Alibaba Token Hub（ATH）事業(yè)群，明確提出以“創(chuàng)造Token、輸送Token、應(yīng)用Token”為核心。其中，首次亮相的“悟空事業(yè)部”定位極為明確：“B端AI原生工作平臺(tái)，將模型能力深度融入企業(yè)工作流”。

而在釘釘最新發(fā)布的“悟空”產(chǎn)品中，核心邏輯已經(jīng)從“溝通即生成”進(jìn)化為了“溝通即執(zhí)行”（CLI化，AI直接調(diào)底層接口）。AI 不再只是陪你聊天，而是被要求自己去網(wǎng)上看競(jìng)品視頻、分析小紅書爆款、跨系統(tǒng)拉取數(shù)據(jù)、甚至生成數(shù)據(jù)動(dòng)畫。

注意這里的關(guān)鍵詞：看視頻、聽(tīng)音頻、跨平臺(tái)執(zhí)行。當(dāng)AI Agent開(kāi)始長(zhǎng)出"手腳"，自主去處理大量音視頻內(nèi)容時(shí)，它對(duì)全模態(tài)理解能力的需求和Token的消耗量，都將遠(yuǎn)超純文本對(duì)話時(shí)代。

在這個(gè)背景下回看Qwen3.5-Omni，它的極低定價(jià)（每百萬(wàn)Tokens輸入不到0.8元，比Gemini-3.1 Pro的1/10還低）和強(qiáng)大的結(jié)構(gòu)化音視頻能力，更像是在為以悟空為代表的阿里B端企業(yè)級(jí)Agent大規(guī)模落地，儲(chǔ)備高性價(jià)比、穩(wěn)定的全模態(tài)基礎(chǔ)設(shè)施。

要知道，把長(zhǎng)達(dá)數(shù)小時(shí)的音視頻拆解成精細(xì)的結(jié)構(gòu)化數(shù)據(jù)，過(guò)去意味著企業(yè)需要拼裝一整條鏈路——ASR轉(zhuǎn)寫、文本大模型、視覺(jué)理解模型、TTS合成——成本高、鏈路長(zhǎng)、斷點(diǎn)多。

而現(xiàn)在，一個(gè)端到端的全模態(tài)模型，把這件事的門檻徹底踏平了。

我覺(jué)得Qwen3.5-Omni真正值得被記住的，不是它今天能看懂一段多復(fù)雜的電影預(yù)告片而是從這一刻起，它開(kāi)始能把音視頻內(nèi)容，變成企業(yè)工作流里可以切實(shí)處理、復(fù)用的“數(shù)字資產(chǎn)”——

全模態(tài)大模型驅(qū)動(dòng)的生產(chǎn)力革命，正在來(lái)臨。