在大語言模型（LLM）落地應(yīng)用中，推理速度始終是制約效率的核心瓶頸。傳統(tǒng)自回歸（AR）解碼雖能保證生成質(zhì)量，卻需逐 token 串行計(jì)算，速度極為緩慢；擴(kuò)散型 LLM（dLLMs）雖支持并行解碼，卻面臨訓(xùn)練成本高昂、質(zhì)量下降及 KV 緩存兼容問題；投機(jī)解碼（Speculative Decoding）則需額外引入草稿模型，系統(tǒng)復(fù)雜度大增。

Jacobi Forcing Model 與 AR LLM 推理速度對比示意

近期，來自 UCSD Hao AI Lab 和上海交大 Deng Lab 的團(tuán)隊(duì)提出了一種突破性解決方案 ——Jacobi Forcing，該方案無需重構(gòu)模型架構(gòu)，即可將標(biāo)準(zhǔn) AR 模型轉(zhuǎn)化為原生因果并行解碼器，在編碼、數(shù)學(xué)等任務(wù)中實(shí)現(xiàn)最高 4 倍 wall-clock 提速和 4.5 倍 tokens-per-forward 提升，同時(shí)保持接近 AR 模型的生成質(zhì)量，為 LLM 高效推理開辟了新路徑。

• 論文地址: https://arxiv.org/pdf/2512.14681
• 代碼地址：https://github.com/hao-ai-lab/JacobiForcing
• 模型倉庫：http://huggingface.co/JacobiForcing

Jacobi Forcing 核心優(yōu)勢：

破解并行解碼的 "三元悖論"

Jacobi Forcing 的創(chuàng)新之處在于打破了 "低代價(jià)、高速度、高質(zhì)量" 的不可能三角，其核心優(yōu)勢體現(xiàn)在三大維度：

1. 原生因果架構(gòu)，部署與訓(xùn)練成本低:

不同于 dLLMs 的雙向注意力機(jī)制，Jacobi Forcing 保留了 AR 模型的因果注意力結(jié)構(gòu)，完美適配現(xiàn)有 KV 緩存復(fù)用機(jī)制和 AR 優(yōu)化內(nèi)核，可作為現(xiàn)有 AR 模型的 "即插即用" 替代方案，極大降低部署與訓(xùn)練成本。

2. 高效并行解碼，速度提升顯著：

通過在模型自己生成的 Jacobi 解碼軌跡做漸進(jìn)蒸餾訓(xùn)練，模型能夠快速在每輪前向傳播中并行更新多個(gè) token。結(jié)合多塊并行解碼（Multiblock decoding）和拒絕回收（Rejection recycling）策略，可同時(shí)維護(hù)多個(gè)解碼塊，緩存高質(zhì)量 n-gram 片段重復(fù)利用，在編碼任務(wù)中實(shí)現(xiàn) 181.8 TPS 的生成速度，遠(yuǎn)超 AR 基線的 39.8 TPS。

3. 質(zhì)量損失極小，任務(wù)表現(xiàn)優(yōu)異：

針對 AR 到擴(kuò)散模型的預(yù)訓(xùn)練 - 后訓(xùn)練目標(biāo)不匹配問題，Jacobi Forcing 設(shè)計(jì)了使用模型自己生成的數(shù)據(jù)做學(xué)習(xí)，通過漸進(jìn)式一致性蒸餾損失和 AR 損失的聯(lián)合優(yōu)化，讓模型在噪聲環(huán)境下仍能生成貼近 AR 分布的高質(zhì)量結(jié)果，學(xué)習(xí)高效且保持了 AR 模型的高質(zhì)量特性。在 HumanEval 編碼基準(zhǔn)中，以 83.5% 的準(zhǔn)確率實(shí)現(xiàn) 4 倍提速；在 GSM8K 數(shù)學(xué)任務(wù)中，91.4% 的解題率接近 AR 基線，速度提升 3.7 倍。

Jacobi Forcing 與 dllm 在速度，質(zhì)量與訓(xùn)練成本上的對比圖

Jacobi Forcing 技術(shù)路線：

從訓(xùn)練到推理的全鏈路優(yōu)化

Jacobi Forcing 以因果并行解碼為核心目標(biāo)，基于 Jacobi 解碼框架進(jìn)行深度優(yōu)化，通過訓(xùn)練機(jī)制創(chuàng)新與推理策略升級的全鏈路設(shè)計(jì)，在保留 AR 模型因果骨干與 KV 緩存兼容性的同時(shí)，實(shí)現(xiàn)高效并行解碼。

其技術(shù)路線具體細(xì)節(jié)如下：

1. 技術(shù)基礎(chǔ)：基于 Jacobi 解碼的因果并行框架

Jacobi 解碼是一種因果并行解碼過程，核心邏輯是：在保留 AR 模型因果注意力機(jī)制的前提下，對一個(gè)塊內(nèi)的所有 token 進(jìn)行并行迭代更新，直到所有 token 與貪心 AR 輸出完全匹配（即達(dá)到 “定點(diǎn)” 狀態(tài)）。這一過程形成了一條 “并行精煉軌跡”，既維持了因果依賴關(guān)系，又突破了逐 token 串行的限制。 此前的相關(guān)工作（如 CLLMs）已驗(yàn)證：通過在 Jacobi 軌跡上微調(diào)模型，可縮短迭代軌跡、提升解碼速度，但存在一個(gè)關(guān)鍵局限：在大 block size 下由于上文噪聲過多無法并行解碼出更多的 token 數(shù)。Jacobi Forcing 在此基礎(chǔ)上進(jìn)一步推進(jìn)，核心突破是：訓(xùn)練模型在含噪聲的上文下，仍能生成貼近 AR 分布的高質(zhì)量草稿，同時(shí)通過推理策略優(yōu)化，最大化并行效率。

2. 訓(xùn)練階段優(yōu)化：噪聲感知的漸進(jìn)式學(xué)習(xí)

Jacobi Forcing 首先利用自回歸語言模型對提示詞（prompt）集合執(zhí)行 Jacobi 解碼，采集從噪聲塊到干凈定點(diǎn)的完整 Jacobi 解碼軌跡。為使模型具備應(yīng)對高噪聲上文場景下的并行解碼能力，Jacobi Forcing 設(shè)計(jì)漸進(jìn)式噪聲調(diào)度策略，以學(xué)習(xí)噪聲塊到干凈定點(diǎn)的映射關(guān)系：具體而言，先為采集軌跡中的中間未收斂噪聲塊賦予噪聲等級（噪聲等級越高，與干凈定點(diǎn)狀態(tài)的偏差越大），再按 “低噪聲→高噪聲” 的漸進(jìn)式順序?qū)υ肼晧K進(jìn)行打包，構(gòu)建訓(xùn)練序列，從而提升去噪任務(wù)的可學(xué)習(xí)性；其核心訓(xùn)練目標(biāo)為將打包后的含噪聲訓(xùn)練序列映射至全干凈定點(diǎn)序列。為實(shí)現(xiàn)高效訓(xùn)練，Jacobi Forcing 進(jìn)一步設(shè)計(jì)噪聲感知注意力掩碼，該掩碼支持通過單次模型前向傳播即可完成上述映射關(guān)系的學(xué)習(xí)。此外，為平衡并行解碼效率與自回歸（AR）生成質(zhì)量，方案設(shè)計(jì)了加權(quán)雙項(xiàng)聯(lián)合損失函數(shù)：其一為漸進(jìn)式一致性蒸餾損失，用于引導(dǎo)模型掌握任意噪聲等級塊到干凈定點(diǎn)塊的映射；其二為 AR 損失，確保模型生成質(zhì)量與原始自回歸模型保持一致。

訓(xùn)練數(shù)據(jù)打包與噪聲感知注意力掩碼圖解

3. 推理階段優(yōu)化：高效并行解碼策略

訓(xùn)練后的 Jacobi Forcing 模型仍是標(biāo)準(zhǔn) AR checkpoint，但通過針對性的推理策略，可最大化并行解碼效率，核心包括 “高質(zhì)量草稿利用 + 多塊調(diào)度” 兩大模塊。

1.高質(zhì)量草稿挖掘與復(fù)用：訓(xùn)練后模型的 Jacobi 解碼軌跡呈現(xiàn)顯著特性：軌跡中未收斂點(diǎn)包含大量高質(zhì)量 n-gram，這些 n-gram 雖可能位置暫錯(cuò)，但內(nèi)容與最終 AR 定點(diǎn)輸出完全一致，且在迭代中保持穩(wěn)定。基于此特性，推理時(shí)會(huì)緩存 n-gram 并在后續(xù)迭代中直接將這些緩存的 n-gram 作為候選草稿，減少迭代次數(shù)（見下圖軌跡可視化：紅色標(biāo)注為可復(fù)用的高質(zhì)量 n-gram）。

高質(zhì)量草稿復(fù)用圖解

2.多塊并行調(diào)度： 同時(shí)維護(hù) K 個(gè)塊（實(shí)驗(yàn)中 K=2 為最優(yōu)），分為 “真實(shí)活躍塊” 和 “偽活躍塊”； 真實(shí)活躍塊中的 token 會(huì)被驗(yàn)證并提交到 KV 緩存，成為后續(xù)塊的因果前綴；偽活躍塊會(huì)基于當(dāng)前前綴進(jìn)行 Jacobi 迭代更新，但暫不提交到 KV 緩存； 當(dāng)真實(shí)活躍塊收斂（所有 token 匹配定點(diǎn)），從偽活躍塊中選擇一個(gè)晉升為真實(shí)活躍塊，基于更新后的完整前綴重新驗(yàn)證其所有 token。

推理階段優(yōu)化策略圖解

實(shí)測表現(xiàn)：優(yōu)于主流并行解碼方案

在 A100 GPU 上的 7B 模型基準(zhǔn)測試中，Jacobi Forcing 超越 dLLMs、投機(jī)解碼等主流方案，展現(xiàn)出更優(yōu)的速度 - 質(zhì)量 trade-off。

Jacobi Forcing 模型性能展示

無論是編碼、數(shù)學(xué)等專業(yè)任務(wù)，還是通用文本生成場景，Jacobi Forcing 都能在保證結(jié)果可靠性的前提下，將推理速度提升一個(gè)量級，尤其適合對延遲敏感的工業(yè)級 LLM 應(yīng)用。

Jacobi Forcing 的出現(xiàn)，不僅解決了 LLM 推理的效率瓶頸，更重新定義了因果模型的并行化可能。隨著大模型應(yīng)用向低延遲、高并發(fā)場景滲透，這種兼顧兼容性、高性能和高質(zhì)量的解碼方案，有望成為工業(yè)級 LLM 部署的首選技術(shù)，推動(dòng) AI 應(yīng)用效率邁入新階段。