AI對內(nèi)存的需求，正在以連美光自己都沒預(yù)料到的速度爆炸式增長。

The Circuit播客近日發(fā)布了一期對話節(jié)目，主持人專訪了美光科技數(shù)據(jù)中心業(yè)務(wù)部門高級副總裁兼總經(jīng)理Jeremy Werner。對話圍繞AI時代內(nèi)存與存儲行業(yè)的結(jié)構(gòu)性變化展開。

Werner開門見山地表示，這一輪內(nèi)存行業(yè)的繁榮與以往的周期性波動有本質(zhì)區(qū)別。

內(nèi)存已經(jīng)成為數(shù)據(jù)中心推理環(huán)節(jié)突破瓶頸的關(guān)鍵戰(zhàn)略資產(chǎn)，也是訓(xùn)練全球最先進模型的核心支撐。我不認為這個趨勢會放緩。

AI推理的“內(nèi)存墻”：不夠用就得從頭算

Werner用一個直白的邏輯解釋了為什么推理對內(nèi)存的需求如此特殊。

訓(xùn)練和推理對內(nèi)存的使用方式截然不同。Werner說：“訓(xùn)練用內(nèi)存來學(xué)習(xí)，然后遺忘，最終輸出一個模型。但推理用內(nèi)存來記憶�！�

推理過程分為兩個階段：預(yù)填充（prefill）和解碼（decode）。在解碼階段，模型需要不斷調(diào)用此前的計算結(jié)果——也就是所謂的KV緩存（KV Cache）——來生成更準確的答案。

問題在于：如果內(nèi)存不夠存下這些歷史狀態(tài)，模型就必須從頭重新計算。Werner解釋了這意味著什么：

每一輪重新計算，所需的算力相當于此前所有輪次的總和。也就是說，算力需求是指數(shù)級增長的。而如果你能存下上一輪的狀態(tài)，每一輪只需要線性地多做一步。

換句話說，內(nèi)存不足會讓GPU的算力利用率急劇下降。反過來，Werner指出：“如果你能提供足夠快、足夠大的內(nèi)存，理論上可以從GPU中榨取出平方倍的算力�！�

推動KV緩存需求膨脹的因素有三個：上下文窗口越來越長、模型參數(shù)量越來越大、同時并發(fā)使用AI的用戶越來越多。Werner透露，目前上下文長度正以每年30倍的速度增長。

內(nèi)存層級：從HBM到SSD，一條完整的“存儲鏈”

Werner詳細梳理了AI數(shù)據(jù)中心的內(nèi)存層級結(jié)構(gòu)，從最靠近GPU的高帶寬內(nèi)存（HBM）到最遠端的海量SSD，構(gòu)成一條完整的“存儲鏈”。

第一層：HBM，緊貼GPU，典型容量在10至100GB之間，速度最快，但容量有限。

第二層：主內(nèi)存（Main Memory），連接至CPU，容量通常是HBM的4至20倍，但速度更慢、距離更遠。以英偉達Blackwell系統(tǒng)為例，主內(nèi)存連接至Grace CPU。

第三層：擴展內(nèi)存（Expansion Memory），通過光纖連接獨立內(nèi)存模塊，目前尚未大規(guī)模量產(chǎn)部署，但已是業(yè)界關(guān)注的方向。

第四層：上下文內(nèi)存存儲（Context Memory Storage），即用SSD來存儲KV緩存。Werner指出，英偉達CEO黃仁勛今年已公開談及這一方向。與HBM相比，SSD的延遲更高、帶寬更低，但容量可達HBM的1000倍。

第五層：數(shù)據(jù)湖，數(shù)據(jù)中心底層的海量SSD存儲，以EB（艾字節(jié)）計。

Werner表示，目前整個層級從上到下都處于供不應(yīng)求的狀態(tài)：“只要我們發(fā)布產(chǎn)品，他們就會消耗掉。只要我們提升容量和性能，他們就會找到方法部署�！�

HBM4與245TB SSD：美光的兩張王牌

面對上述需求，美光正在兩個方向同時發(fā)力。

HBM4方面，Werner透露，美光剛剛發(fā)布了HBM4產(chǎn)品，帶寬是上一代HBM3e的兩倍以上。他強調(diào)，提升帶寬的核心邏輯在于：當瓶頸不是算力而是內(nèi)存帶寬時，必須加快數(shù)據(jù)送達GPU的速度。

SSD方面，美光推出了一款245TB超大容量SSD，Werner形容“這個東西比一副撲克牌大不了多少”。

這款產(chǎn)品的意義不僅在于容量本身。Werner解釋，目前數(shù)據(jù)中心部署的硬盤容量普遍在30TB出頭，而245TB的SSD意味著同等存儲量所需的設(shè)備數(shù)量大幅減少，連帶減少了網(wǎng)絡(luò)連接、電源、風(fēng)扇等配套設(shè)施，最終將存儲占地面積壓縮逾80%，同時顯著降低功耗。

“你只需要為你真正需要的性能付費，而這些性能是以更高效的每瓦特GB來交付的�！盬erner說。

這直接回應(yīng)了數(shù)據(jù)中心當前最棘手的兩大約束：電力預(yù)算和物理空間。Werner表示：“如果電力是限制增長的瓶頸，那我們就必須在固定功耗預(yù)算內(nèi)，找到提供更高效性能的方法。這正是我們大量創(chuàng)新的來源�！�

產(chǎn)能已經(jīng)跟不上：全球五座晶圓廠同步開建

盡管需求旺盛，Werner坦承，內(nèi)存行業(yè)的產(chǎn)能已經(jīng)無法跟上需求。

“我們沒有在全球建造足夠多的晶圓廠。”他直接說道。

目前美光正在全球同步推進五座晶圓廠的建設(shè)：

愛達荷州博伊西：60萬平方英尺潔凈室，相當于10個足球場大小

紐約州北部：已宣布開工建設(shè)

弗吉尼亞州：現(xiàn)有晶圓廠擴建

新加坡：南部晶圓廠（Nanfab）破土動工

日本：DRAM生產(chǎn)設(shè)施擴建

中國臺灣：剛剛從PSMC收購一座晶圓廠

Werner表示，目前整個行業(yè)都受制于潔凈室空間，這一狀況短期內(nèi)難以改變。

我們已經(jīng)無法跟上需求了，其他所有人也一樣——英特爾、英偉達、臺積電都在說，我們已經(jīng)滿負荷了。晶圓廠不是說長就能長出來的。

市場還沒看懂這件事

對于市場的擔(dān)憂，Werner有不同看法。

他認為，市場目前看到云服務(wù)商（CSP）資本開支大幅增加，就開始擔(dān)心這是否可持續(xù)。但他的判斷是：“這些企業(yè)正在經(jīng)歷一場巨大的革命，其潛力仍然超出大多數(shù)人的想象�！�

Werner還指出，AI的應(yīng)用場景遠未飽和。訓(xùn)練時代已經(jīng)過去，推理時代剛剛開始，而Agentic AI（智能體AI）和物理AI（Physical AI）甚至還沒有真正大規(guī)模落地�！拔艺娴南嘈牛覀冎皇莿倓傆|及AI將要帶來的變革的表面�！�

他也承認，硅谷內(nèi)外對AI的認知存在巨大落差：

在硅谷，大家都非常興奮，很容易陷入自己的信息繭房。但當我和不在這個行業(yè)的朋友聊天，他們很多人還沒有意識到未來20年將會發(fā)生什么。

?星標華爾街見聞，好內(nèi)容不錯過?

本文不構(gòu)成個人投資建議，不代表平臺觀點，市場有風(fēng)險，投資需謹慎，請獨立判斷和決策。

覺得好看，請點“在看”