多模態(tài)大模型，到底有多“嘴硬”？

浙江大學聯(lián)合阿里巴巴、香港城市大學、密歇根大學的研究團隊做了一個很直接的實驗：

把輸入圖像從清晰狀態(tài)一路加噪到接近不可辨認，同時持續(xù)監(jiān)測模型的準確率與置信度。

結(jié)果是，準確率斷崖式下跌，但置信度幾乎不動。也就是說，圖像已經(jīng)看不清了，模型仍然會高置信度地給出答案。

這類“盲目自信”，正是多模態(tài)大模型在復雜視覺推理中產(chǎn)生幻覺和誤判的重要根源。針對這一問題，研究團隊提出了CA-TTS（Confidence-Aware Test-Time Scaling）框架：先通過置信度驅(qū)動的強化學習校準模型的自我評估能力，再把校準后的置信度轉(zhuǎn)化為推理階段的資源分配信號。

這項工作的出發(fā)點，其實是一個長期被忽視的問題：模型是否真的知道自己“不知道”？

研究團隊將上述現(xiàn)象定義為“感知鈍化”（Perceptual Bluntness）。也就是，模型對視覺信息質(zhì)量的變化缺乏敏感性，視覺證據(jù)已經(jīng)明顯退化，但置信度仍維持在高位。放在人類語境里，這很像一個人在看不清題目的情況下，仍然非常篤定地報出答案。

訓練階段的核心模塊是CDRL（Confidence-Driven Reinforcement Learning）。它的目標不是單純提升答題準確率，而是讓模型在“看得清”和“看不清”兩種情況下，給出與視覺證據(jù)相匹配的置信度。

具體做法是，讓模型同時處理同一問題的原始圖像與加噪圖像，并通過強化學習優(yōu)化一個雙重獎勵機制：

1. 感知敏感性獎勵：鼓勵模型在原始圖像與噪聲圖像之間產(chǎn)生合理的置信度差異。差異越大，說明模型越能感知視覺退化。

2. 校準一致性獎勵：當模型預測正確且置信度高時給予正向獎勵；當模型預測錯誤但置信度仍高時施加懲罰。

這兩個獎勵共同約束模型學會兩件事：一是對視覺退化保持敏感，二是對自身判斷保持誠實。

在訓練數(shù)據(jù)上，研究團隊從6個公開基準中篩選出1936個高質(zhì)量樣本，并使用CLIP注意力圖定位關(guān)鍵視覺區(qū)域，生成更具針對性的擾動，使噪聲集中施加在真正影響推理的局部區(qū)域。

從結(jié)果看，CDRL的效果并不只是“置信度變低”這么簡單，而是“置信度終于跟視覺證據(jù)對上了”。面對噪聲圖像時，訓練后的模型置信度下降幅度是訓練前的4.3倍；面對遮擋條件時，這一比值達到4.7倍。

更值得注意的是，訓練前模型在視角變換和馬賽克干擾下，置信度甚至還會反向上升，而CDRL訓練后，所有視覺擾動條件下的置信度都轉(zhuǎn)為顯著下降，ECE與AUC指標也同步改善。

有了更可信的置信度之后，研究團隊進一步提出CA-TTS，把“模型對自己有多確定”轉(zhuǎn)化為推理階段的調(diào)度信號。它包含三個協(xié)同工作的模塊，并由專家模型動態(tài)決定何時介入：

Self-Consistency：不再使用簡單多數(shù)投票，而是采用置信度加權(quán)投票。模型生成多個候選答案后，先由內(nèi)部置信度進行聚合，再引入專家模型作為外部校準器，對候選答案進行二次評估。

Self-Reflection：當初步結(jié)果的置信度不足時，專家模型以Critic角色生成批評意見，引導基礎(chǔ)模型重新推理，避免它在原有錯誤路徑上反復自洽。

Self-Check：在視覺層面對答案做進一步驗證。通過對比解碼，比較原始圖像與噪聲圖像下的輸出概率分布；如果答案確實依賴視覺證據(jù)，那么在噪聲圖像下其支持度應當下降。

在四個主流視覺推理基準上，CA-TTS的表現(xiàn)如下。需要強調(diào)的是，這里的基座模型統(tǒng)一為Qwen2.5-VL-7B，因此提升主要來自方法本身，而不是底座差異。

幾組數(shù)字尤其有代表性。Math-Vision上，CA-TTS從基線的23.0%直接提升到42.4%，幾乎翻倍；MMMU上達到66.3%，相較基線提升17.5個百分點。這說明它帶來的不是單點收益，而是在不同類型視覺推理任務上的一致性改進。

消融實驗進一步揭示了CDRL與CA-TTS的分工關(guān)系：

單獨使用CDRL，提升3.4個百分點，說明置信度校準本身就有獨立價值；單獨使用CA-TTS，提升15.0個百分點，說明推理框架已經(jīng)能夠顯著改善決策質(zhì)量；兩者結(jié)合后總提升達到19.4個百分點，表明CDRL為CA-TTS提供了更可靠的策略基礎(chǔ)，二者存在明顯協(xié)同效應。

研究團隊還檢驗了專家模型的依賴程度。即使讓Qwen2.5-VL-7B自身充當“專家”，性能也仍比純Majority Voting高出接近5個百分點（32.57% vs. 27.65%）。換句話說，強專家模型確實能進一步放大收益，但框架本身并不是靠“抱大腿”成立的。

如果說四個基準上的SOTA說明方法“更準”，那么test-time scaling曲線揭示的是它“為什么更值”。

在Math-Vision上，研究團隊比較了采樣數(shù)量從1增加到32時，不同方法的準確率增長趨勢。結(jié)果顯示，CA-TTS的擴展斜率β = 3.65，而Majority Voting為1.64，DeepConf為1.19。也就是說，CA-TTS的擴展效率分別是后兩者的2.2倍和3.1倍。

這意味著，同樣是增加采樣次數(shù)，CA-TTS并不是“更頻繁地碰運氣”，而是更有效地把額外算力投向真正不確定的問題上。當Majority Voting和DeepConf在35%左右逐漸趨于飽和時，CA-TTS仍能繼續(xù)爬升，并最終突破45%。

從這個角度看，置信度校準并不是一個附屬優(yōu)化項，而是在重新定義test-time scaling的效率上限。它讓“多算一點”這件事第一次變得更有方向感。

這項工作最值得關(guān)注的地方，可能并不只是又一個更高的benchmark分數(shù)，而是它提出了一種新的問題順序。

CA-TTS的思路正好反過來：先通過CDRL建立對視覺證據(jù)變化敏感、且與準確性一致的置信度，再讓這種置信度去指導推理資源的分配。這是一種明確的Perceive-then-Reason范式，也就是從“先推理后感知”轉(zhuǎn)向“先感知后推理”。

當然，這一方向也并非沒有代價。多次采樣與專家模型調(diào)用會帶來額外推理成本，當前實驗也主要集中在數(shù)學推理和通用VQA任務上。但如果目標是讓多模態(tài)大模型在高風險場景中真正做到“知道自己什么時候不該太自信”，那么這條路線已經(jīng)給出了一個很有說服力的起點。