新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】文本領(lǐng)域的大模型滿分選手，換成語(yǔ)音就集體掛科？大模型引以為傲的多輪對(duì)話邏輯，在真實(shí)人聲面前竟然如此脆弱。Scale AI正式發(fā)布首個(gè)原生音頻多輪對(duì)話基準(zhǔn)Audio MultiChallenge，直接撕開了大模型靠合成語(yǔ)音評(píng)測(cè)維持的優(yōu)等生假象。實(shí)驗(yàn)顯示，強(qiáng)如Gemini 3 Pro在真實(shí)場(chǎng)景下的通過(guò)率也僅過(guò)半數(shù)，而GPT-4o Audio的表現(xiàn)更是令人大跌眼鏡。

隨著實(shí)時(shí)語(yǔ)音大模型的普及，人們一度以為AI實(shí)時(shí)伴侶已經(jīng)跨越了自然交互的最后一道門檻。

然而，大模型在語(yǔ)音對(duì)話中表現(xiàn)出的聰明，很大程度上源于評(píng)測(cè)手段的滯后。

此前，Scale AI推出的MultiChallenge基準(zhǔn)憑借對(duì)指令保留、推理記憶和自我一致性的嚴(yán)苛考察，被公認(rèn)為評(píng)估大模型邏輯長(zhǎng)性的黃金標(biāo)準(zhǔn)。

但長(zhǎng)久以來(lái)，該基準(zhǔn)一直缺少一個(gè)真正的音頻原聲版本。

最近，Scale AI正式補(bǔ)齊了這塊拼圖，發(fā)布Audio MultiChallenge，不僅刷新了語(yǔ)音交互的新高度，更揭開了行業(yè)內(nèi)一個(gè)公開的秘密：

由于缺乏原生音頻測(cè)試集，模型廠商在發(fā)布報(bào)告時(shí)，往往不得不利用T2S（Text-to-Speech）將文本基準(zhǔn)轉(zhuǎn)換為語(yǔ)音進(jìn)行評(píng)測(cè)。

論文鏈接：https://arxiv.org/pdf/2512.14865

這種做法雖然讓數(shù)據(jù)看起來(lái)很漂亮，卻在無(wú)形中給模型加了一層過(guò)度美化的濾鏡。

撕掉語(yǔ)音外殼

為什么TTS測(cè)不出真本事？

利用TTS轉(zhuǎn)換來(lái)進(jìn)行評(píng)測(cè)，實(shí)際上是為模型營(yíng)造了一個(gè)完美的無(wú)菌環(huán)境。

TTS 生成的語(yǔ)音平滑、規(guī)律且高度標(biāo)準(zhǔn)化，徹底過(guò)濾掉了人類語(yǔ)言中最重要的特質(zhì)：日常說(shuō)話時(shí)的各種吞吐、重復(fù)、瑣碎停頓以及臨時(shí)改口。

當(dāng)你對(duì)AI說(shuō)：我想定周一，哦不，是周三的票，等下……還是周二吧。

這種充滿了邏輯回溯和口語(yǔ)碎片的自然場(chǎng)景，是目前TTS技術(shù)極力避免但在現(xiàn)實(shí)生活中無(wú)處不在的。

過(guò)去，模型穿上了一層由合成語(yǔ)音搭建的語(yǔ)音外殼，本質(zhì)上是在用文本思維處理潔凈信號(hào)。

而一旦脫離這個(gè)外殼，面對(duì)Audio MultiChallenge中47名真實(shí)說(shuō)話者錄制的原始音頻，模型的邏輯鏈條便會(huì)迅速崩塌。

論文直言不諱地指出：模型在合成語(yǔ)音上的得分顯著高于真實(shí)人聲，這證實(shí)了干凈的合成音頻掩蓋了模型在現(xiàn)實(shí)世界中的失敗模式（Masking real-world failure modes）。

Gemini 3 Pro勉強(qiáng)登頂

GPT-4o意外折戟標(biāo)題

Audio MultiChallenge延續(xù)了原版的嚴(yán)苛邏輯，并針對(duì)音頻特性新增了致命的一擊，從指令保留、推理記憶、自我一致性以及核心的Voice Editing（語(yǔ)音編輯） 四個(gè)軸向?qū)δＰ瓦M(jìn)行綜合考核。

根據(jù)論文公布的排行榜，目前全球頂尖模型的音頻原生能力普遍處于及格線以下：

實(shí)驗(yàn)數(shù)據(jù)揭露了一個(gè)驚人的落差：Gemini 3 Pro Preview憑借其推理架構(gòu)在邏輯深度上維持了領(lǐng)先；而GPT-4o Audio Preview在面對(duì)真實(shí)人類語(yǔ)音時(shí)，表現(xiàn)出的魯棒性遠(yuǎn)低于預(yù)期，通過(guò)率甚至只有Gemini的一半左右。

揭秘三大失敗模式

語(yǔ)音邏輯的深層鴻溝

論文通過(guò)詳細(xì)的錯(cuò)誤分析，精準(zhǔn)捕捉到了模型在音頻模態(tài)下的三個(gè)軟肋，這些結(jié)論直接指出了大模型在語(yǔ)音交互中的底層Gap：

語(yǔ)音編輯是邏輯黑洞：這是本次基準(zhǔn)新增的維度。當(dāng)用戶在說(shuō)話過(guò)程中中途改口或邏輯回溯時(shí)，大多數(shù)模型會(huì)死板地執(zhí)行聽到的第一個(gè)指令。該維度的平均通過(guò)率僅為17.99%，這意味著模型在聽覺(jué)上無(wú)法有效處理信息的撤回與覆蓋。

時(shí)長(zhǎng)驅(qū)動(dòng)的崩潰：模型表現(xiàn)隨著音頻總時(shí)長(zhǎng)增加而穩(wěn)步惡化。數(shù)據(jù)顯示，當(dāng)對(duì)話累計(jì)音頻超過(guò)8分鐘時(shí)，模型的自我一致性得分會(huì)驟降至 13% 左右。這意味著目前的語(yǔ)音模型在處理長(zhǎng)程語(yǔ)音上下文時(shí)，狀態(tài)追蹤能力極其薄弱。

音頻線索的感知缺失：當(dāng)任務(wù)要求模型識(shí)別非語(yǔ)義信號(hào)（如背景的環(huán)境聲、說(shuō)話人的語(yǔ)氣情緒）來(lái)輔助推理時(shí)，模型表現(xiàn)比純語(yǔ)義任務(wù)下降了 36.5%。這說(shuō)明模型依然把語(yǔ)音當(dāng)成脫水的文字在讀，而沒(méi)能真正聽懂聲音背后的物理世界。

結(jié)語(yǔ)

Audio MultiChallenge的發(fā)布證明了語(yǔ)音絕不僅是文本的簡(jiǎn)單投射，包含著實(shí)時(shí)狀態(tài)跟蹤、情緒理解以及復(fù)雜的口語(yǔ)特質(zhì)處理。

Scale AI的這一記重錘敲醒了業(yè)界：如果我們不能撕掉那層精美的語(yǔ)音外殼，解決模型對(duì)自然語(yǔ)音中不完美特征的感知斷層，那么AGI驅(qū)動(dòng)的自由交互，將永遠(yuǎn)停留在聽懂單詞卻不懂邏輯的初級(jí)階段。

參考資料：

https://arxiv.org/pdf/2512.14865

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！