看過 HBO 神劇《硅谷》（Silicon Valley）的朋友，想必都對那個名為 Pied Piper（魔笛手）的虛構(gòu)公司念念不忘。

在劇中，男主角 Richard Hendricks 發(fā)明了一種「中間壓縮算法」，能以極高的壓縮率無損處理文件，甚至因此改寫了整個互聯(lián)網(wǎng)的規(guī)則。

當時我們都以為這只是編劇的腦洞。直到 Google Research 正式發(fā)布了名為 TurboQuant 的 AI 壓縮算法。

這原本是一條枯燥的技術(shù)新聞，卻在社交網(wǎng)絡(luò)上引發(fā)了病毒式傳播，不到 24 小時，就收獲了 1280 萬次瀏覽。原因無他，這項技術(shù)的設(shè)定簡直就是 Pied Piper 的翻版：

在不損失模型性能的前提下，將 AI 的「工作記憶」壓縮至少 6 倍。

市場的反應(yīng)也極為真實，美股存儲芯片板塊盤中遭遇拋售，美光科技、閃迪等頭部企業(yè)股價齊齊收跌。

這不禁讓人好奇，一項純軟件層面的算法創(chuàng)新，為什么會讓賣硬件的先慌了神，而 Google 到底向當前的 AI 牌桌上扔了一張怎樣的底牌？

困在「記憶黑洞」里的大模型

拋開網(wǎng)絡(luò)熱梗，TurboQuant 的出現(xiàn)其實不僅是為了好玩，更是為了解決一個讓整個 AI 行業(yè)頭疼已久的真實瓶頸。

眾所周知，現(xiàn)在的 AI 模型越來越大，對顯存的胃口也像無底洞一樣。尤其是在推理階段（也就是你和 AI 聊天的時候），AI 需要記住上下文信息，這部分數(shù)據(jù)被稱為 KV Cache（鍵值緩存）。

每處理一個詞，模型都要把它轉(zhuǎn)成一個高維向量存進 GPU 顯存。對話越長，這份「數(shù)字備忘錄」膨脹越快，很快就把 GPU 顯存塞滿。這就是為什么你的 AI 助手聊久了會「變笨」或者直接報錯，腦容量不夠了。

更棘手的是，傳統(tǒng)的壓縮方法一直面臨一個兩難困境：壓縮數(shù)據(jù)時，需要額外存儲「量化常數(shù)」來告訴模型怎么解壓。這些元數(shù)據(jù)聽起來很小，加起來卻能把壓縮帶來的收益全部抵消掉。

Google 的 TurboQuant 的誕生正是基于此。

研究人員設(shè)計了一套兩階段的數(shù)學(xué)解法。第一階段叫 PolarQuant，把數(shù)據(jù)向量從傳統(tǒng)的直角坐標系轉(zhuǎn)換成極坐標系，拆分成「半徑」（表示大�。┖汀附嵌取梗ū硎痉较颍�。

這個幾何變換的妙處在于：轉(zhuǎn)換后角度的分布變得高度可預(yù)測，模型不再需要為每個數(shù)據(jù)塊單獨存儲昂貴的歸一化常數(shù)，直接映射到固定的圓形網(wǎng)格上就行了，開銷為零。

第二階段叫 QJL（量化 Johnson-Lindenstrauss 變換），充當數(shù)學(xué)層面的糾錯器。它把壓縮后殘留的誤差投影到低維空間，再把每個誤差值壓縮成一個符號位（+1 或 -1）。

這個設(shè)計保證了 AI 在計算「注意力分數(shù)」時，壓縮版本的結(jié)果與高精度原版在統(tǒng)計意義上完全一致。所謂注意力分數(shù)，就是模型判斷上下文里哪些詞最重要的關(guān)鍵步驟。

如果說以前 AI 記筆記是「逐字逐句抄寫」，那么 TurboQuant 就像發(fā)明了一套「極簡速記符號」：該記的一個不漏，占的空間卻少了六倍。

這套方法還有一個對企業(yè)來說格外友好的特性：無需重新訓(xùn)練模型。你現(xiàn)有的開源模型，或者自己微調(diào)過的模型，直接套上 TurboQuant 就能跑，不用額外的數(shù)據(jù)集，也不用重新跑一遍訓(xùn)練流程。

光說不練假把式，在「大海撈針」基準測試里，讓 AI 從 10 萬個詞里找出一句藏好的話，TurboQuant 在 Llama-3.1-8B 和 Mistral-7B 上跑出了滿分召回率，同時把 KV Cache 的顯存占用壓縮了至少 6 倍。

在 LongBench 綜合評測套件（涵蓋問答、代碼生成、長文摘要）上，TurboQuant 全面追平甚至超過了此前的最強基線方法 KIVI。

最硬核的數(shù)字來自英偉達 H100 GPU 的實測：4 位精度的 TurboQuant 在計算注意力邏輯上的速度，比未壓縮的 32 位方案快了整整 8 倍。

論文發(fā)布后的 24 小時內(nèi)，社區(qū)已經(jīng)開始動手驗證。

Apple Silicon MLX 框架的知名開發(fā)者 @Prince_Canuma 把算法移植到了 Apple Silicon 的 MLX 框架，測試 Qwen3.5-35B 模型，上下文長度從 8500 到 64000 token 全覆蓋，每個量化等級都跑出了 100% 的精確匹配。他還發(fā)現(xiàn)，2.5 位的 TurboQuant 能把 KV Cache 壓縮近 5 倍，準確率零損失。

Google 的「DeepSeek 時刻」？

對于 TurboQuant 的發(fā)布，Cloudflare CEO Matthew Prince 甚至將其稱為 Google 的「DeepSeek 時刻」。

把時間撥回一年前，DeepSeek 以極低的成本訓(xùn)練出了性能驚人的模型，徹底打破了硅谷大廠對高成本才能訓(xùn)練出高性能 AI 的迷信。那次沖擊也讓整個行業(yè)意識到：光有大模型不夠，還得跑得起、跑得快。

TurboQuant 也是這種背景下的產(chǎn)物。如果這項技術(shù)能從實驗室走向大規(guī)模應(yīng)用，它將帶來肉眼可見的商業(yè)價值。同樣一張 H100，推理成本理論上可以直接打折超過 50%；端側(cè)部署的門檻也會大幅降低，以前需要 32 位精度才能跑的大模型，放在 Mac Mini 或者本地服務(wù)器上也能運行，還不會有質(zhì)量損耗。

市場的反應(yīng)，已經(jīng)很說明問題了。TurboQuant 發(fā)布當天，美股存儲芯片板塊盤中遭遇明顯拋售。閃迪、美光科技等頭部企業(yè)股價顯著收跌，存儲芯片與硬件供應(yīng)鏈相關(guān)指數(shù)單日跌幅超過 2%。

究其原因，如果 AI 巨頭能用一套純軟件算法把顯存需求砍掉六分之五，那些押注 AI 會持續(xù)瘋狂消耗高帶寬顯存的多頭，就得重新盤算自己的倉位了。

而這種防御性反應(yīng)背后，也表明，過去兩年支撐存儲股估值的核心邏輯之一，是 AI 對顯存的需求只會越來越大。TurboQuant 第一次在技術(shù)層面正式動搖了這個假設(shè)。

當然，雖然聽起來很美好，還是要潑一盆冷水。

一方面，歷史上每次效率提升，往往反而帶動了總需求增長，經(jīng)濟學(xué)里叫「杰文斯悖論」。AI 跑得更便宜，可能意味著更多人更頻繁地用它，最終消耗的算力反而更多。所以這場「顯存危機」到底會不會因此化解，還真不好說。

另一方面，TurboQuant 目前仍處于實驗室階段，根據(jù)最新消息，Google 計劃在下個月的 ICLR 2026 大會上正式展示這項技術(shù)，屆時還將同步亮相另一場頂會 AISTATS 2026。

但從論文到大規(guī)模生產(chǎn)部署，中間隔著工程適配、不同架構(gòu)的兼容性測試、真實場景的性能驗證，每一關(guān)都不輕松。

▲論文地址：https://arxiv.org/abs/2504.19874

有網(wǎng)友直接開炮，這篇論文的底層研究其實早在去年四月就已公開，根本談不上橫空出世，眼下的輿論熱潮，多少有點追著舊聞起哄的意思。

在他看來，如果存儲股因為一篇算法論文而大跌，恰恰暴露了市場里有多少人根本沒搞清楚這件事的邊界，并把這波反應(yīng)比作「豐田出了新混動引擎，石油就該崩盤」。

更重要的是，TurboQuant 解決的只是推理（Inference）階段的顯存瓶頸，訓(xùn)練階段的顯存消耗依然是另一座大山。想從頭訓(xùn)練一個主流量級的大模型，需要的算力資源依然是天文數(shù)字。

在《硅谷》里，Pied Piper 的壓縮算法最終改變了整個互聯(lián)網(wǎng)。而在現(xiàn)實中，TurboQuant 的野心沒那么大，目標只是讓 AI 在有限的物理空間里記得更多、算得更快、跑得更便宜。

現(xiàn)實終究不是好萊塢劇本，不必徹底改變互聯(lián)網(wǎng)，能和 AI 聊得更長、不再半途報錯，已經(jīng)是很多人想要的了。

附上 TurboQuant 官方技術(shù)博客：

https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/