在大模型時(shí)代，資源瓶頸不只是硬件問題，更是數(shù)學(xué)問題。

作者｜王藝

3月25日美股開盤，存儲芯片板塊集體遭遇“黑色時(shí)刻”。

美光科技收跌4％，西部數(shù)據(jù)下跌4.4％，SK海力士跌去5.6％，閃迪更是重挫6.5％。一夜之間，HBM（高帶寬內(nèi)存）概念股蒸發(fā)數(shù)百億美元市值。

一些外媒推測，這與谷歌最新發(fā)布的一篇論文和一段技術(shù)博客有關(guān)。

論文名叫《TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate》（下文簡稱TurboQuant）。

具體而言，TurboQuant通過一套全新的向量量化算法，將大語言模型推理過程中的KV緩存（Key-Value Cache）從16bit壓縮到3bit左右，實(shí)現(xiàn)了至少6倍的內(nèi)存壓縮和最高8倍的注意力計(jì)算加速——而模型輸出質(zhì)量幾乎不受影響。

消息傳開后，Cloudflare CEO Matthew Prince在社交媒體上將其形容為“谷歌的DeepSeek時(shí)刻”。一位獨(dú)立開發(fā)者也在Reddit上曬出了復(fù)現(xiàn)結(jié)果：基于PyTorch和自定義Triton kernel，在RTX 4090上用2bit精度跑Gemma 34B，輸出與未壓縮版本的模型逐字符一致。

“這就是谷歌的DeepSeek時(shí)刻，它在優(yōu)化人工智能推理的運(yùn)行速度、內(nèi)存使用量、能耗以及多租戶利用率方面提供了更大的空間，Cloudflare 多個團(tuán)隊(duì)都在致力于這些方面的工作?！眻D源：X @Mattew Prince

TurboQuant算法無需硬件改動，可與現(xiàn)有的推理協(xié)議棧兼容——在H100處理器上，4bit注意力機(jī)制的內(nèi)存壓縮率提高了5倍以上，速度提升高達(dá)8倍。 圖源：Reddit @NoShowJobsHQ

可以說，論文寫得“零損耗”，社區(qū)用代碼投了票。

但市場的過激反應(yīng)和社區(qū)的狂熱背后，我們要問的是：這篇論文到底做了什么？它真的能撼動AI基礎(chǔ)設(shè)施的底層邏輯嗎？

1.KV Cache瓶頸與“內(nèi)存墻”

要理解TurboQuant為何引發(fā)如此大的市場震動，必須先理解一個被越來越多人討論、卻仍然沒有被大眾真正看透的結(jié)構(gòu)性矛盾：大模型推理階段的核心瓶頸，不是算力，而是內(nèi)存。

當(dāng)你和一個AI進(jìn)行長對話時(shí)，模型并不會每說一個字都把之前所有上下文重新計(jì)算一遍。Transformer架構(gòu)的做法是將之前已經(jīng)計(jì)算過的Key和Value向量緩存起來，也就是所謂的KV Cache。它的作用類似于人類“邊說邊回顧”時(shí)的短期記憶。

問題在于，這份記憶會隨著對話長度線性膨脹。

以一個13B參數(shù)的模型為例，在NVIDIA A100 40GB顯卡上，模型權(quán)重本身大約占65％的顯存，而KV Cache可以輕松吃掉剩余30％以上的空間。當(dāng)上下文長度從4K擴(kuò)展到128K甚至百萬級別時(shí)，KV緩存所消耗的顯存往往會反超模型參數(shù)本身，成為推理階段最大的內(nèi)存瓶頸。

更棘手的是，這個瓶頸不僅僅是“存不下”的問題，更是“搬不動”的問題。

大模型的推理過程，尤其是自回歸生成階段（即逐token生成文本的過程），本質(zhì)上是內(nèi)存受限（memory-bound）的工作負(fù)載。GPU的Tensor Core算力嚴(yán)重過剩，但數(shù)據(jù)從HBM搬運(yùn)到SRAM的速度，也就是所謂的“內(nèi)存帶寬”成為了真正的卡脖子因素。即便從A100升級到H100，F(xiàn)LOPS提升了超過2倍，但HBM帶寬和容量的增速遠(yuǎn)遠(yuǎn)跟不上。

這就是業(yè)界反復(fù)提及的“內(nèi)存墻（Memory Wall）”。

過去幾年，行業(yè)解決內(nèi)存問題的方案主要沿著三個方向展開：

第一是從“長度”上壓縮——滑動窗口注意力（Sliding Window Attention），只保留最近固定長度的記憶，扔掉太遠(yuǎn)的上下文。這相當(dāng)于給緩存的“長”設(shè)了上限。Kimi前段時(shí)間提出的Attention Residuals（注意力殘差），就是在用這個方法解決大模型注意力的問題。（詳見）

注意力殘差概述。（a）標(biāo)準(zhǔn)殘差：采用統(tǒng)一加法累加的方式進(jìn)行的標(biāo)準(zhǔn)殘差連接；（b）全注意力殘差：每個層通過學(xué)習(xí)到的注意力權(quán)重有選擇地整合所有前一層的輸出；（c）塊注意力殘差：將層分組成塊，從而將內(nèi)存消耗從 O(Ld) 減少到 O(Nd)。圖源：《Attention Residuals》

第二是從“高度”上壓縮——GQA（Grouped-Query Attention）、MQA（Multi-Query Attention）等架構(gòu)改進(jìn)，減少Key/Value頭的數(shù)量，降低每一層需要緩存的數(shù)據(jù)量。

MQA通過在多個注意力頭之間共享同一組鍵和值，同時(shí)為每個注意力頭維護(hù)不同的查詢，降低了計(jì)算復(fù)雜度和內(nèi)存使用量；GQA是對MQA的一種優(yōu)化，不是為每個查詢單獨(dú)計(jì)算鍵值表示，而是為每個組計(jì)算共享的鍵值表示。 圖源：VerticalServe Blogs 《Attention Variations — MQA vs GQA vs MHA vs MLA》

第三是從“精度”上壓縮——量化。把原本用16bit浮點(diǎn)數(shù)存儲的KV向量，壓縮到8bit、4bit甚至更低的整數(shù)表示。

量化就像把人工智能模型中使用的非常大的數(shù)字縮小成更小的數(shù)字，從而節(jié)省空間并提高運(yùn)行速度，譬如不再使用超高精度的數(shù)字（浮點(diǎn)數(shù)），而是使用更簡單的數(shù)字（整數(shù)）。圖源：CloudThrill

量化看似是最直接的方案，但傳統(tǒng)量化方法有一個致命的隱形成本：元數(shù)據(jù)開銷。

幾乎所有傳統(tǒng)量化方法都需要為每一小塊數(shù)據(jù)額外存儲一組全精度的“縮放因子”（scale）和“零點(diǎn)偏移量”（zero-point），用于將低精度整數(shù)還原回近似的浮點(diǎn)值。在位寬較高（比如8bit）時(shí)，這些元數(shù)據(jù)占比很小，可以忽略。但當(dāng)壓縮到4bit甚至更低時(shí)，這些“手續(xù)費(fèi)”占總存儲的比例急劇攀升——標(biāo)稱4bit，實(shí)際可能是5到6bit，壓縮效率被自己的開銷蠶食了一大截。

量化前后的模型權(quán)重分布，INT8精度下有256條網(wǎng)格線，INT4精度下卻只有16條網(wǎng)格線。圖源：Toutube @Tales Of Tensors 《LLM Quantization Explained: GPTQ, AWQ, QLoRA, GGUF and More》

更深層的問題是，很多量化方法是離線的——它們需要拿一批校準(zhǔn)數(shù)據(jù)跑一遍，學(xué)習(xí)出最優(yōu)的量化參數(shù)。但KV Cache是推理時(shí)實(shí)時(shí)生成的，每個用戶的對話內(nèi)容都不一樣，根本沒有辦法提前做離線校準(zhǔn)。

這就是TurboQuant真正要解決的問題。它要做的是從根本上消滅傳統(tǒng)量化的這些隱形稅，做一個真正適合在線、實(shí)時(shí)、零預(yù)處理場景的“向量壓縮器”。

2.TurboQuant到底做了什么？

TurboQuant的設(shè)計(jì)哲學(xué)，用一句話概括就是：結(jié)構(gòu)優(yōu)化＞暴力壓縮。其核心思路可以用一個生活中的類比來理解：

想象你要把一堆形狀各異的衣服塞進(jìn)行李箱。傳統(tǒng)方法是直接硬塞，塞不下就用力壓，還得在每個角落墊上填充物（元數(shù)據(jù)開銷）來保持形狀。而TurboQuant的做法是：先把所有衣服用同一種方式折疊整齊（隨機(jī)旋轉(zhuǎn)），然后按照統(tǒng)一的尺寸標(biāo)準(zhǔn)打包（最優(yōu)標(biāo)量量化），最后檢查一下有沒有折痕沒整理好，用一張薄紙墊一下（QJL殘差糾偏）。

具體來說，TurboQuant分為兩個階段：

第一階段：隨機(jī)旋轉(zhuǎn)＋MSE最優(yōu)量化

TurboQuant首先對輸入的高維向量做一次隨機(jī)旋轉(zhuǎn)變換。

在高維空間中，一個單位向量經(jīng)過隨機(jī)旋轉(zhuǎn)后，其每個坐標(biāo)分量的數(shù)值都會收斂到一個已知的概率分布——Beta分布（在高維下近似為正態(tài)分布）。更關(guān)鍵的是，不同坐標(biāo)之間近似相互獨(dú)立。

這意味著，無論原始數(shù)據(jù)長什么樣，經(jīng)過旋轉(zhuǎn)后，所有向量的所有坐標(biāo)都服從同一個已知的分布。

既然分布已知且統(tǒng)一，就可以針對這個分布預(yù)先計(jì)算出數(shù)學(xué)上最優(yōu)的量化方案——通過求解經(jīng)典的Lloyd-Max量化器（本質(zhì)是一維連續(xù)空間上的k-means問題），找到每個位寬下誤差最小的量化碼本。這些碼本可以提前算好、永久存儲，推理時(shí)只需查表，完全不需要針對具體數(shù)據(jù)做任何調(diào)整。

這就是TurboQuant消滅傳統(tǒng)量化“隱形開銷”的關(guān)鍵：不需要存儲任何scale、zero-point等元數(shù)據(jù)，因?yàn)榉植急旧硎峭ㄟ^數(shù)學(xué)變換被“鎖定”的。每一個bit都被用于存儲真正的信息，沒有一絲浪費(fèi)。

第二階段：QJL殘差糾偏

到這里，第一階段的壓縮已經(jīng)非常高效了——如果我們只關(guān)心"還原出來的向量和原來像不像"，它幾乎是最優(yōu)解。但大模型在實(shí)際運(yùn)算時(shí)，并不是把向量還原出來看看就完事了，而是要拿壓縮后的向量去做“內(nèi)積運(yùn)算”（可以粗略理解為“比較兩個向量有多相似”），這才是注意力機(jī)制的核心操作。而恰恰在這一步，問題出現(xiàn)了。

為什么內(nèi)積很重要？因?yàn)門ransformer的注意力機(jī)制的核心運(yùn)算就是Query向量和Key向量的內(nèi)積。如果量化后的內(nèi)積估計(jì)有偏差，注意力分?jǐn)?shù)就會系統(tǒng)性地偏移，最終導(dǎo)致模型輸出質(zhì)量下降。

論文中給出了一個精確的例子：在1bit量化時(shí)，MSE最優(yōu)量化器會給內(nèi)積引入2/π≈0.637的乘性偏差——也就是說，所有內(nèi)積都會被系統(tǒng)性地縮小約36％。這在高位寬時(shí)偏差會減小，但在極低位寬下是不可忽視的。

TurboQuant的解決方案極為巧妙：在總位寬預(yù)算b中，先用b-1位做MSE最優(yōu)量化（把“主體信息”裝進(jìn)去），然后對殘差（原始向量與量化重建之間的差）施加一個1bit的QJL（Quantized Johnson-Lindenstrauss）變換。QJL是同一團(tuán)隊(duì)此前提出的一種基于隨機(jī)投影的1bit量化方法，其核心性質(zhì)是：對內(nèi)積估計(jì)是無偏的。

兩步疊加后，整個系統(tǒng)的內(nèi)積估計(jì)就變成了無偏的，同時(shí)方差（誤差的隨機(jī)波動）也被控制在接近信息論極限的水平。

在TurboQuant的發(fā)布博客上，谷歌官方用幾個數(shù)據(jù)描述了這個新算法的有效性——“3bit無損”、“8×加速”、“6×壓縮”、“零預(yù)處理”。

TurboQuant 在計(jì)算鍵值緩存中的注意力邏輯值方面表現(xiàn)出顯著的性能提升，在各種位寬級別上均優(yōu)于高度優(yōu)化的JAX基線。圖源：Google Research Blog《TurboQuant: Redefining AI efficiency with extreme compression》

TurboQuant之所以在學(xué)術(shù)界引起巨大震動，不僅因?yàn)閷?shí)驗(yàn)結(jié)果好看，更因?yàn)?strong>它有嚴(yán)格的理論依據(jù)。

論文利用香農(nóng)信息論中的失真率函數(shù)（distortion-rate function）和Yao’s minimax原理，證明了一個下界：對于任何量化算法，bbit量化的MSE不可能低于1/4^b。

而TurboQuant的MSE上界是（√3π/2）×（1/4^b）≈2.7×（1/4^b）。

也就是說，TurboQuant的失真率只比“宇宙中任何算法都不可能突破的理論極限”大約2.7倍。在低位寬下這個差距更小——1bit時(shí)僅為1.45倍。

TurboQuant的 MSE 失真率被證明最多不超過信息論下界 2/√3π ≈2.7，在比特寬度b=1時(shí)，TurboQuant的失真率僅比最優(yōu)值低約1.45倍。圖源：《TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate》

這類向量壓縮問題本身就證明了很高質(zhì)量的低比特解法是存在的。一旦市場意識到“KV Cache不是只能靠更大HBM暴力解決，而是存在接近理論極限的壓縮路線”，那么純粹依賴內(nèi)存稀缺敘事抬估值的那部分溢價(jià)，就會更容易被壓縮。

3.“內(nèi)存墻”被繞過了嗎？

TurboQuant論文發(fā)布后，市場給出了非常迅速的反應(yīng)——前段時(shí)間因?yàn)镠BM而大幅上漲的存儲芯片股（詳見《》）在今天應(yīng)聲下跌。很多人認(rèn)為AI芯片將不再需要那么大的內(nèi)存了，HBM的敘事將走弱，AI芯片的“內(nèi)存墻”也將被繞過。

存儲芯片三大原廠今日股價(jià) 圖源：Yahoo Finance

但是，「甲子光年」認(rèn)為，將TurboQuant理解為“HBM需求將被大幅削弱”、自此就認(rèn)為“內(nèi)存墻將會被繞過”的判斷有點(diǎn)過了，這是一種過度線性的思考。

TurboQuant本質(zhì)上解決的是：在既定顯存容量下，如何提升單位字節(jié)的有效信息密度。

它并不會減少訓(xùn)練所需的HBM容量——訓(xùn)練階段仍然需要高精度參數(shù)、梯度和優(yōu)化器狀態(tài)；它主要優(yōu)化的是推理階段的KV Cache開銷。而當(dāng)模型規(guī)模繼續(xù)擴(kuò)大、上下文長度繼續(xù)拉長時(shí)，總內(nèi)存需求仍然會上升。

換句話說，TurboQuant更像是把“內(nèi)存墻”向外推遠(yuǎn)了一段距離，而不是把墻推倒。

真正被改變的，是邊際需求曲線。

過去幾年，HBM的投資邏輯建立在一個樸素假設(shè)上：模型越大、上下文越長、并發(fā)越高＝顯存需求線性爆炸。

如果KV Cache可以在近理論極限的條件下壓縮到3-4bit，那么推理階段對HBM容量的敏感度就會顯著下降。需求曲線從“線性放大”變成“被壓縮后的線性放大”。

這會帶來兩個變化：

第一，單卡利用率提升。相同硬件可以服務(wù)更多請求，云廠商的推理成本下降，算力供給側(cè)的議價(jià)能力被削弱。

第二，容量升級節(jié)奏放緩。如果原本需要從80GB升級到120GB才能支持某種超長上下文，現(xiàn)在通過量化就能實(shí)現(xiàn)，那么硬件升級的迫切性會降低。

這并不是說大模型對內(nèi)存的需求消失了，而是說單位算力對應(yīng)的營收能力提高了。對于云廠商是利好，對于單純賣“更大容量”的供應(yīng)鏈企業(yè)，則是估值體系的重估。

此外，「甲子光年」在多位技術(shù)專家交流后得到的信息是，大家一致認(rèn)為，工程優(yōu)化逐步吞噬硬件溢價(jià)將會是AI產(chǎn)業(yè)的一個長期趨勢。

早期大家拼模型規(guī)模，中期拼數(shù)據(jù)質(zhì)量，現(xiàn)在越來越多的競爭發(fā)生在系統(tǒng)層和算法層——FlashAttention、PagedAttention、GQA、MoE、推理調(diào)度優(yōu)化、算子融合……每一次看似微小的改進(jìn)，都在降低對“暴力堆料”的依賴。

可以說，TurboQuant如果被大規(guī)模工程化落地，那么它代表的是一種范式轉(zhuǎn)移——從“用更貴的內(nèi)存解決問題”轉(zhuǎn)向“用更聰明的數(shù)學(xué)解決問題”。

整個AI基礎(chǔ)設(shè)施鏈條，它也意味著軟件層的價(jià)值占比提升。

當(dāng)壓縮算法接近信息論極限時(shí)，硬件差異化的空間被部分侵蝕。真正的競爭點(diǎn)可能從“誰的HBM更大”轉(zhuǎn)向“誰的系統(tǒng)棧整合得更好、調(diào)度更智能、算法更先進(jìn)”。

這也是為什么這篇論文被一些人稱為“DeepSeek時(shí)刻”——它像DeepSeek對模型訓(xùn)練成本的沖擊一樣，對推理階段的資源結(jié)構(gòu)提出了挑戰(zhàn)。

TurboQuant未必會讓HBM失去價(jià)值，也不會讓GPU需求崩塌。但它釋放了一個強(qiáng)烈信號——在大模型時(shí)代，資源瓶頸不只是硬件問題，更是數(shù)學(xué)問題。當(dāng)壓縮效率逼近信息論極限時(shí)，我們看到的不是“更少的算力”，而是“更高的單位算力產(chǎn)出”。

對于投資者而言，這意味著必須重新評估產(chǎn)業(yè)鏈中“誰在賣稀缺性，誰在賣效率”；對于工程師而言，這意味著一個更具挑戰(zhàn)性的時(shí)代：優(yōu)化空間正在從參數(shù)規(guī)模，轉(zhuǎn)向結(jié)構(gòu)設(shè)計(jì)與信息表達(dá)。

而對于整個AI行業(yè)而言，這或許只是一個開始。

（封面圖來源：Google Research）