SpecTTS-Bench：首個(gè)面向「Test-Time Scaling」的投機(jī)解碼基準(zhǔn)，收割冗余紅利，越推越快！

本文由來(lái)自香港城市大學(xué)、華為的多位研究者共同完成。第一作者為來(lái)自香港城市大學(xué)的博士生孫圣印和來(lái)自華為的研究員李一鳴，通信作者為來(lái)自香港城市大學(xué)的助理教授馬辰。

在推理大模型的應(yīng)用里，一個(gè)樸素但有效的策略正在成為共識(shí)：推理階段擴(kuò)展（Test-Time Scaling, TTS）—— 在推理階段額外分配計(jì)算（例如反復(fù)思考，多輪推理），往往能顯著提升推理大模型解決復(fù)雜問(wèn)題的正確率與穩(wěn)健性。但TTS應(yīng)用于推理大模型的代價(jià)也同樣明顯：大量冗余、重復(fù)的推理軌跡被生成出來(lái)，吞噬了推理時(shí)延與算力預(yù)算，讓模型的“更聰明”變得“不夠劃算”。

基于此，本文提出了首個(gè)面向TTS的投機(jī)解碼（Speculative Decoding）加速綜合基準(zhǔn)。評(píng)測(cè)結(jié)果顯示，在結(jié)構(gòu)化且重復(fù)密集的 TTS 場(chǎng)景里，樸素的N-gram方法更能精準(zhǔn)“吃到”重復(fù)帶來(lái)的紅利，釋放出不容忽視的加速潛力。

論文標(biāo)題：Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling

論文地址：

https://arxiv.org/abs/2509.04474

論文代碼：

https://github.com/sunshy-1/SpecTTS-Bench

圖1 TTS的過(guò)程中大量冗余和重復(fù)的推理軌跡示例。

1. 「疊床架屋」為什么 TTS 會(huì)“慢得不劃算”？

隨著大模型能力的持續(xù)提升，業(yè)界逐漸意識(shí)到一個(gè)重要現(xiàn)象——即所謂的 Scaling Law 在推理階段同樣成立。簡(jiǎn)單來(lái)說(shuō)，只要在推理階段投入更多的計(jì)算資源，就能夠在一定程度上換取更強(qiáng)的復(fù)雜推理能力。換句話說(shuō)，即便模型參數(shù)規(guī)模固定，通過(guò)擴(kuò)大推理時(shí)的“思考深度”或“思考廣度”，同樣可能獲得更高質(zhì)量的輸出。典型方式包括：

? Best-of-N：針對(duì)同一個(gè)問(wèn)題，模型生成多條不同的推理路徑或候選答案，然后再通過(guò)評(píng)分機(jī)制或后驗(yàn)判斷，選出最優(yōu)方案；

? Multi-round Thinking：讓模型以多輪“想—寫(xiě)—再想—再寫(xiě)”的形式進(jìn)行自我復(fù)審和反思，不斷修正先前的推理錯(cuò)誤或補(bǔ)充遺漏的邏輯。

然而，這種范式并非沒(méi)有代價(jià)。它的核心問(wèn)題在于推理效率極低，往往會(huì)出現(xiàn)所謂的“疊床架屋式冗余計(jì)算”。在多輪或多樣采樣的過(guò)程中，模型往往會(huì)反復(fù)生成類(lèi)似的分析開(kāi)頭、重復(fù)的中間結(jié)論、固定化的檢查步驟，甚至對(duì)前文內(nèi)容進(jìn)行機(jī)械式重述。這些內(nèi)容雖然表面上增加了推理“長(zhǎng)度”，但實(shí)際信息增益有限。結(jié)果就是，TTS的推理過(guò)程不可避免地充斥著大量重復(fù)和無(wú)效的計(jì)算軌跡——算力在自說(shuō)自話的過(guò)程里被浪費(fèi)掉了。這也帶來(lái)了一個(gè)頗為尷尬的現(xiàn)實(shí)：我們確實(shí)找到了提升大模型上限、激發(fā)其潛在推理能力的有效路徑，但同時(shí)必須付出極高的計(jì)算代價(jià)與延遲成本。換言之，TTS 在質(zhì)量與效率之間形成了難以調(diào)和的矛盾——它能讓模型“更聰明”，卻讓推理過(guò)程“慢得不劃算”。

2. 「以小博大」：投機(jī)解碼如何破解“慢思考”困局？

面對(duì)TTS帶來(lái)的巨大算力消耗，投機(jī)解碼提供了一種高效的計(jì)算范式，旨在緩解大模型推理過(guò)程中的訪存瓶頸。其核心機(jī)制在于解耦了“生成”與“驗(yàn)證”兩個(gè)過(guò)程：系統(tǒng)首先利用一個(gè)參數(shù)量較小、推理速度極快的“草稿模型”（Draft Model）預(yù)先生成一系列候選 Token，隨后由參數(shù)量龐大的“目標(biāo)模型”（Target Model）以并行計(jì)算的方式對(duì)這些候選序列進(jìn)行批量驗(yàn)證。由于大模型在處理單個(gè) Token 和并行處理多個(gè) Token 時(shí)的延遲差異較小，這種“預(yù)測(cè)-驗(yàn)證”機(jī)制能夠顯著減少目標(biāo)模型昂貴的串行前向傳播次數(shù)，從而在保證輸出分布與目標(biāo)模型完全一致（即無(wú)損加速）的前提下，大幅提升整體推理吞吐量。

在TTS的具體實(shí)踐中，無(wú)論是通過(guò)Best-of-N尋找最優(yōu)解，還是通過(guò)多輪迭代進(jìn)行自我修正，其計(jì)算過(guò)程本質(zhì)上都伴隨著大量的文本重復(fù)。例如，在生成多個(gè)推理路徑時(shí)，不同樣本間往往共享著長(zhǎng)段的公共前綴或標(biāo)準(zhǔn)化的思維模板；而在迭代修正過(guò)程中，模型又不可避免地需要復(fù)述上下文或?qū)扔形谋具M(jìn)行微調(diào)。這種由采樣策略和迭代機(jī)制直接導(dǎo)致的重復(fù)性，恰恰是投機(jī)解碼能夠利用的最大紅利。內(nèi)容的高頻重復(fù)顯著降低了預(yù)測(cè)難度，使得草稿模型能夠以極高的命中率通過(guò)驗(yàn)證。因此，TTS 場(chǎng)景下算力擴(kuò)張所帶來(lái)的文本冗余，反而在投機(jī)解碼的機(jī)制下轉(zhuǎn)化為加速推理的關(guān)鍵杠桿。

圖2 針對(duì)高效TTS的投機(jī)解碼方法框架。

3. 「SpecTTS-Bench」首個(gè)面向 TTS 的投機(jī)解碼評(píng)測(cè)基準(zhǔn)

為了系統(tǒng)性地量化投機(jī)解碼在TTS推理場(chǎng)景下的效能，本文構(gòu)建了首個(gè)面向 TTS 的投機(jī)解碼評(píng)測(cè)基準(zhǔn)。該基準(zhǔn)不僅制定了統(tǒng)一且嚴(yán)格的實(shí)驗(yàn)協(xié)議，更全面覆蓋了當(dāng)前最具代表性的兩大 TTS 范式：旨在通過(guò)廣度搜索尋找最優(yōu)解的 Best-of-N 采樣，以及通過(guò)深度迭代提升推理質(zhì)量的多輪思考。在投機(jī)解碼方法論的維度上，本文涵蓋了多樣化的技術(shù)路徑，包含如下四大類(lèi)：

? 基于模型（Model-based）的方法，即經(jīng)典的利用同源小模型生成候選序列、再由目標(biāo)模型驗(yàn)證的范式；

? 基于訓(xùn)練（Training-based）的方法，側(cè)重于通過(guò)特定訓(xùn)練優(yōu)化推測(cè)器或策略，使其更緊密地貼合目標(biāo)模型的分布特征；

? 基于 N-gram（N-gram-based）的方法，直接利用文本統(tǒng)計(jì)規(guī)律中的重復(fù)模式進(jìn)行極低成本的快速預(yù)測(cè)。

4. 「群雄逐鹿」九種投機(jī)解碼方法在兩類(lèi)主流TTS框架中的統(tǒng)一評(píng)測(cè)

本基準(zhǔn)對(duì)九種投機(jī)解碼方法在兩類(lèi)主流 TTS框架中進(jìn)行了統(tǒng)一評(píng)測(cè)，涵蓋 Best-of-N（圖3）與多輪思考（圖4）兩大典型場(chǎng)景。實(shí)驗(yàn)選取了DeepSeek-R1-Distill-Llama-8B（DSL-8B）和 Qwen3-8B（QW3-8B）模型，在 AIME24/25、MATH500 及GPQA 等高難度推理基準(zhǔn)上對(duì)比了各方法的平均接受Token數(shù)（MAT）與端到端加速比（Speed）。

評(píng)測(cè)結(jié)果揭示了一個(gè)關(guān)鍵發(fā)現(xiàn)：在結(jié)構(gòu)化且重復(fù)密集的 TTS 場(chǎng)景中，能夠利用歷史信息的非訓(xùn)練N-gram方法展現(xiàn)出驚人的適應(yīng)性。如圖3所示，在 DSL-8B (T=0) 的貪婪解碼設(shè)定下，SAM方法表現(xiàn)尤為亮眼，其在 GPQA 任務(wù)上取得了3.57的MAT和3.20×的加速比，整體評(píng)測(cè)中也保持了平均2.66×的穩(wěn)健加速。這表明，TTS 推理過(guò)程中產(chǎn)生的思維鏈包含大量重復(fù)的推理步驟和格式化表達(dá)，樸素的N-gram或基于歷史匹配的機(jī)制（如SAM）能夠精準(zhǔn)利用這些重復(fù)模式帶來(lái)的紅利。

基于這一洞察，我們進(jìn)一步驗(yàn)證了將N-gram機(jī)制與基于訓(xùn)練的投機(jī)解碼方法相結(jié)合的混合策略。實(shí)驗(yàn)數(shù)據(jù)顯示，SAM[EAGLE-3]這種混合策略集兩者之長(zhǎng)，在各類(lèi)設(shè)定下均實(shí)現(xiàn)了性能突破。特別是在圖3的DSL-8B (T=0) 貪婪解碼場(chǎng)景中，SAM[EAGLE-3]在GPQA任務(wù)上的MAT達(dá)到了驚人的7.00，并在整體評(píng)測(cè)中實(shí)現(xiàn)了最高3.97×的加速比。同樣，在QW3-8B 的多輪思考場(chǎng)景（圖4）中，該混合策略依然保持領(lǐng)先，穩(wěn)定提供約2.7×至3.5×的加速收益。

圖3 不同投機(jī)解碼方法在Best-of-N場(chǎng)景中的性能。

圖4 不同投機(jī)解碼方法在多輪思考場(chǎng)景中的性能。

5. 「以簡(jiǎn)馭繁」：重塑大模型推理的效率邊界

圖5 Scaling Up, Speeding Up！N-gram投機(jī)解碼方法（SAM，PIA，SAM[EAGLE-3]）在TTS中越推越快。(a) Best-of-N（T=0）。(b) Best-of-N（T=0.6）。(c) 多輪思考（T=0.6）。

本基準(zhǔn)不僅為T(mén)TS場(chǎng)景中的大模型推理提供了標(biāo)準(zhǔn)化的度量衡，更揭示了“重復(fù)即紅利”這一關(guān)鍵洞察。在追求模型“深思熟慮”的道路上，簡(jiǎn)單的 N-gram 機(jī)制與混合策略展現(xiàn)出了“四兩撥千斤”的潛力，有效緩解了長(zhǎng)思維鏈帶來(lái)的推理時(shí)延。我們期待這一基準(zhǔn)能推動(dòng)社區(qū)進(jìn)一步挖掘推理結(jié)構(gòu)中的加速潛力，讓“越推越快”成為T(mén)TS的新常態(tài)。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。