看過(guò) HBO 神劇《硅谷》（Silicon Valley）的朋友，想必都對(duì)那個(gè)名為 Pied Piper（魔笛手）的虛構(gòu)公司念念不忘。

在劇中，男主角 Richard Hendricks 發(fā)明了一種「中間壓縮算法」，能以極高的壓縮率無(wú)損處理文件，甚至因此改寫了整個(gè)互聯(lián)網(wǎng)的規(guī)則。

當(dāng)時(shí)我們都以為這只是編劇的腦洞。直到 Google Research 正式發(fā)布了名為 TurboQuant 的 AI 壓縮算法。

這原本是一條枯燥的技術(shù)新聞，卻在社交網(wǎng)絡(luò)上引發(fā)了病毒式傳播，不到 24 小時(shí)，就收獲了 1280 萬(wàn)次瀏覽。原因無(wú)他，這項(xiàng)技術(shù)的設(shè)定簡(jiǎn)直就是 Pied Piper 的翻版：

在不損失模型性能的前提下，將 AI 的「工作記憶」壓縮至少 6 倍。

市場(chǎng)的反應(yīng)也極為真實(shí)，美股存儲(chǔ)芯片板塊盤中遭遇拋售，美光科技、閃迪等頭部企業(yè)股價(jià)齊齊收跌。

這不禁讓人好奇，一項(xiàng)純軟件層面的算法創(chuàng)新，為什么會(huì)讓賣硬件的先慌了神，而 Google 到底向當(dāng)前的 AI 牌桌上扔了一張?jiān)鯓拥牡着疲?/p>

困在「記憶黑洞」里的大模型

拋開網(wǎng)絡(luò)熱梗，TurboQuant 的出現(xiàn)其實(shí)不僅是為了好玩，更是為了解決一個(gè)讓整個(gè) AI 行業(yè)頭疼已久的真實(shí)瓶頸。

眾所周知，現(xiàn)在的 AI 模型越來(lái)越大，對(duì)顯存的胃口也像無(wú)底洞一樣。尤其是在推理階段（也就是你和 AI 聊天的時(shí)候），AI 需要記住上下文信息，這部分?jǐn)?shù)據(jù)被稱為 KV Cache（鍵值緩存）。

每處理一個(gè)詞，模型都要把它轉(zhuǎn)成一個(gè)高維向量存進(jìn) GPU 顯存。對(duì)話越長(zhǎng)，這份「數(shù)字備忘錄」膨脹越快，很快就把 GPU 顯存塞滿。這就是為什么你的 AI 助手聊久了會(huì)「變笨」或者直接報(bào)錯(cuò)，腦容量不夠了。

更棘手的是，傳統(tǒng)的壓縮方法一直面臨一個(gè)兩難困境：壓縮數(shù)據(jù)時(shí)，需要額外存儲(chǔ)「量化常數(shù)」來(lái)告訴模型怎么解壓。這些元數(shù)據(jù)聽起來(lái)很小，加起來(lái)卻能把壓縮帶來(lái)的收益全部抵消掉。

Google 的 TurboQuant 的誕生正是基于此。

研究人員設(shè)計(jì)了一套兩階段的數(shù)學(xué)解法。第一階段叫 PolarQuant，把數(shù)據(jù)向量從傳統(tǒng)的直角坐標(biāo)系轉(zhuǎn)換成極坐標(biāo)系，拆分成「半徑」（表示大?。┖汀附嵌取梗ū硎痉较颍?/p>

這個(gè)幾何變換的妙處在于：轉(zhuǎn)換后角度的分布變得高度可預(yù)測(cè)，模型不再需要為每個(gè)數(shù)據(jù)塊單獨(dú)存儲(chǔ)昂貴的歸一化常數(shù)，直接映射到固定的圓形網(wǎng)格上就行了，開銷為零。

第二階段叫 QJL（量化 Johnson-Lindenstrauss 變換），充當(dāng)數(shù)學(xué)層面的糾錯(cuò)器。它把壓縮后殘留的誤差投影到低維空間，再把每個(gè)誤差值壓縮成一個(gè)符號(hào)位（+1 或 -1）。

這個(gè)設(shè)計(jì)保證了 AI 在計(jì)算「注意力分?jǐn)?shù)」時(shí)，壓縮版本的結(jié)果與高精度原版在統(tǒng)計(jì)意義上完全一致。所謂注意力分?jǐn)?shù)，就是模型判斷上下文里哪些詞最重要的關(guān)鍵步驟。

如果說(shuō)以前 AI 記筆記是「逐字逐句抄寫」，那么 TurboQuant 就像發(fā)明了一套「極簡(jiǎn)速記符號(hào)」：該記的一個(gè)不漏，占的空間卻少了六倍。

這套方法還有一個(gè)對(duì)企業(yè)來(lái)說(shuō)格外友好的特性：無(wú)需重新訓(xùn)練模型。你現(xiàn)有的開源模型，或者自己微調(diào)過(guò)的模型，直接套上 TurboQuant 就能跑，不用額外的數(shù)據(jù)集，也不用重新跑一遍訓(xùn)練流程。

光說(shuō)不練假把式，在「大海撈針」基準(zhǔn)測(cè)試?yán)?，?AI 從 10 萬(wàn)個(gè)詞里找出一句藏好的話，TurboQuant 在 Llama-3.1-8B 和 Mistral-7B 上跑出了滿分召回率，同時(shí)把 KV Cache 的顯存占用壓縮了至少 6 倍。

在 LongBench 綜合評(píng)測(cè)套件（涵蓋問(wèn)答、代碼生成、長(zhǎng)文摘要）上，TurboQuant 全面追平甚至超過(guò)了此前的最強(qiáng)基線方法 KIVI。

最硬核的數(shù)字來(lái)自英偉達(dá) H100 GPU 的實(shí)測(cè)：4 位精度的 TurboQuant 在計(jì)算注意力邏輯上的速度，比未壓縮的 32 位方案快了整整 8 倍。

論文發(fā)布后的 24 小時(shí)內(nèi)，社區(qū)已經(jīng)開始動(dòng)手驗(yàn)證。

Apple Silicon MLX 框架的知名開發(fā)者 @Prince_Canuma 把算法移植到了 Apple Silicon 的 MLX 框架，測(cè)試 Qwen3.5-35B 模型，上下文長(zhǎng)度從 8500 到 64000 token 全覆蓋，每個(gè)量化等級(jí)都跑出了 100% 的精確匹配。他還發(fā)現(xiàn)，2.5 位的 TurboQuant 能把 KV Cache 壓縮近 5 倍，準(zhǔn)確率零損失。

Google 的「DeepSeek 時(shí)刻」？

對(duì)于 TurboQuant 的發(fā)布，Cloudflare CEO Matthew Prince 甚至將其稱為 Google 的「DeepSeek 時(shí)刻」。

把時(shí)間撥回一年前，DeepSeek 以極低的成本訓(xùn)練出了性能驚人的模型，徹底打破了硅谷大廠對(duì)高成本才能訓(xùn)練出高性能 AI 的迷信。那次沖擊也讓整個(gè)行業(yè)意識(shí)到：光有大模型不夠，還得跑得起、跑得快。

TurboQuant 也是這種背景下的產(chǎn)物。如果這項(xiàng)技術(shù)能從實(shí)驗(yàn)室走向大規(guī)模應(yīng)用，它將帶來(lái)肉眼可見的商業(yè)價(jià)值。同樣一張 H100，推理成本理論上可以直接打折超過(guò) 50%；端側(cè)部署的門檻也會(huì)大幅降低，以前需要 32 位精度才能跑的大模型，放在 Mac Mini 或者本地服務(wù)器上也能運(yùn)行，還不會(huì)有質(zhì)量損耗。

市場(chǎng)的反應(yīng)，已經(jīng)很說(shuō)明問(wèn)題了。TurboQuant 發(fā)布當(dāng)天，美股存儲(chǔ)芯片板塊盤中遭遇明顯拋售。閃迪、美光科技等頭部企業(yè)股價(jià)顯著收跌，存儲(chǔ)芯片與硬件供應(yīng)鏈相關(guān)指數(shù)單日跌幅超過(guò) 2%。

究其原因，如果 AI 巨頭能用一套純軟件算法把顯存需求砍掉六分之五，那些押注 AI 會(huì)持續(xù)瘋狂消耗高帶寬顯存的多頭，就得重新盤算自己的倉(cāng)位了。

而這種防御性反應(yīng)背后，也表明，過(guò)去兩年支撐存儲(chǔ)股估值的核心邏輯之一，是 AI 對(duì)顯存的需求只會(huì)越來(lái)越大。TurboQuant 第一次在技術(shù)層面正式動(dòng)搖了這個(gè)假設(shè)。

當(dāng)然，雖然聽起來(lái)很美好，還是要潑一盆冷水。

一方面，歷史上每次效率提升，往往反而帶動(dòng)了總需求增長(zhǎng)，經(jīng)濟(jì)學(xué)里叫「杰文斯悖論」。AI 跑得更便宜，可能意味著更多人更頻繁地用它，最終消耗的算力反而更多。所以這場(chǎng)「顯存危機(jī)」到底會(huì)不會(huì)因此化解，還真不好說(shuō)。

另一方面，TurboQuant 目前仍處于實(shí)驗(yàn)室階段，根據(jù)最新消息，Google 計(jì)劃在下個(gè)月的 ICLR 2026 大會(huì)上正式展示這項(xiàng)技術(shù)，屆時(shí)還將同步亮相另一場(chǎng)頂會(huì) AISTATS 2026。

但從論文到大規(guī)模生產(chǎn)部署，中間隔著工程適配、不同架構(gòu)的兼容性測(cè)試、真實(shí)場(chǎng)景的性能驗(yàn)證，每一關(guān)都不輕松。

▲論文地址：https://arxiv.org/abs/2504.19874

有網(wǎng)友直接開炮，這篇論文的底層研究其實(shí)早在去年四月就已公開，根本談不上橫空出世，眼下的輿論熱潮，多少有點(diǎn)追著舊聞起哄的意思。

在他看來(lái)，如果存儲(chǔ)股因?yàn)橐黄惴ㄕ撐亩蟮∏”┞读耸袌?chǎng)里有多少人根本沒搞清楚這件事的邊界，并把這波反應(yīng)比作「豐田出了新混動(dòng)引擎，石油就該崩盤」。

更重要的是，TurboQuant 解決的只是推理（Inference）階段的顯存瓶頸，訓(xùn)練階段的顯存消耗依然是另一座大山。想從頭訓(xùn)練一個(gè)主流量級(jí)的大模型，需要的算力資源依然是天文數(shù)字。

在《硅谷》里，Pied Piper 的壓縮算法最終改變了整個(gè)互聯(lián)網(wǎng)。而在現(xiàn)實(shí)中，TurboQuant 的野心沒那么大，目標(biāo)只是讓 AI 在有限的物理空間里記得更多、算得更快、跑得更便宜。

現(xiàn)實(shí)終究不是好萊塢劇本，不必徹底改變互聯(lián)網(wǎng)，能和 AI 聊得更長(zhǎng)、不再半途報(bào)錯(cuò)，已經(jīng)是很多人想要的了。

附上 TurboQuant 官方技術(shù)博客：

https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/