去年初，Groq初露崢嶸，同時挑戰(zhàn)英偉達和谷歌。今年底，谷歌TPU重寫AI敘事，黃仁勛的回應是，把研發(fā)了第一代TPU的Groq團隊收編回家。

這是一場典型的人才收購。英偉達向Groq支付200億美元，獲得其推理技術(shù)非排他性許可。Groq創(chuàng)始人兼CEO喬納森·羅斯（Jonathan Ross）、總裁Sunny Madra及多名核心工程師加入英偉達；被掏空的Groq公司及其云業(yè)務繼續(xù)運營。

市場對這次收購的解讀并不一致。一說是防御性收購。Cerebras產(chǎn)品營銷總監(jiān)James Wang就持這一觀點，認為Groq的微架構(gòu)不是魔法，它只不過押注了SRAM（靜態(tài)隨機存取存儲器），英偉達是為了避免未來損失2000億美元。

一說是技術(shù)與戰(zhàn)略的擴張。LPU能在推理時代提供低延遲的差異化服務，正如它在數(shù)年前收購的Mellanox，如今已經(jīng)成為貢獻約200億美元年收入的網(wǎng)絡(luò)業(yè)務。

還有一說則是討好監(jiān)管。白宮AI主管大衛(wèi)·薩克斯（David Sacks）的好友查馬斯（Chamath Palihapitiya），以及小特朗普（Donald Trump Jr.）都是Groq的投資人。

但是無論如何，能給英偉達帶來些許麻煩的潛在挑戰(zhàn)者，這下又少了一家。今年下半年，Meta收購了Rivos；英特爾也曾一度競購，而后又轉(zhuǎn)向了SambaNova。此外，Marvell收購了Celestial AI。剩下Cerebras，仍計劃盡快上市。行業(yè)正在加速整合，意味著這不僅僅“防御性”的，而是整個算力生態(tài)都在系統(tǒng)性擴張和重構(gòu)。

TPU改變了AI競爭，正在從模型轉(zhuǎn)向基礎(chǔ)設(shè)施，也壞了英偉達的好事。而這次英偉達收購的Groq核心團隊的底子，恰恰又是在谷歌TPU時期打下的，帶著幾分宿命感。Jonathan Ross曾設(shè)計并實現(xiàn)了第一代TPU芯片的核心元素。他從谷歌離職時，帶走了當時10人TPU核心團隊中的7人。他們?yōu)镚roq打造了LPU（語言處理單元），號稱對自然語言處理的速度是英偉達GPU的10倍，能耗也會更低。

LPU的魔法正是SRAM。這使得LPU無需像使用高帶寬存儲器（HBM）的GPU那樣，頻繁地從內(nèi)存中加載數(shù)據(jù)，也不需要依賴高速數(shù)據(jù)傳輸。LPU只進行推理計算，需要的數(shù)據(jù)量遠小于模型訓練，從外部內(nèi)存讀取的數(shù)據(jù)更少，消耗的電量也低于GPU。它還實現(xiàn)了多個TSP的無縫連接，避免了GPU集群中的瓶頸問題，顯著地提高了可擴展性。

(2024/02/21) 完整閱讀 >

正因如此，這是對英偉達AI工廠的增強，是一種主動的體系化的擴張。黃仁勛在一封內(nèi)部信中寫道，Groq對英偉達的技術(shù)許可，將擴展英偉達的服務能力，為客戶在更廣泛的AI推理任務中優(yōu)化實時工作負載。

推理對應廣泛而多元的場景，也就面臨不同的工作負載需求。在智能體場景中，低延遲和一致的性能，比峰值吞吐量更重要。短期內(nèi)，在這些應用場景中，能夠帶來差異化體驗的LPU，也將比傳統(tǒng)的GPU產(chǎn)生更高的token價值。

這是token的“多巴胺經(jīng)濟學”。幾個月前，Jonathan Ross曾拿消費品行業(yè)的利潤率做類比稱，決定利潤率的核心變量是什么成分作用于人體的速度，“每100毫秒的加速，帶來約8%的轉(zhuǎn)化率提升”。

更長期地看，英偉達也很可能將技術(shù)內(nèi)化，創(chuàng)造新的市場。英偉達早就不是一家單純的GPU廠商，它出售軟件、網(wǎng)絡(luò)，甚至將手伸向了機架與電源。AI工廠是一個系統(tǒng)級的解決方案，能擴展推理場景，提升服務價值，降低推理成本、延遲的產(chǎn)品，都將成為黃仁勛下一個并購目標。TPU就是依靠更低的總擁有成本，逐步?jīng)_擊著英偉達的市場地位。

盡管黃仁勛一直在財報電話會議上聲稱ASIC不是威脅，但當市場相信谷歌TPU開始改寫AI敘事的時候，他毫不猶豫地出手了。今年以來，英偉達已經(jīng)將錢砸向了網(wǎng)絡(luò)技術(shù)企業(yè)Enfabrica、芯片設(shè)計軟件企業(yè)新思科技（Synopsys）以及通信技術(shù)企業(yè)諾基亞等。

AI正在進入推理時代，創(chuàng)造了內(nèi)存超級周期的繁榮。市場一直都推測，很快，英偉達會收購一家內(nèi)存相關(guān)技術(shù)企業(yè)。在某種意義上，收購Groq，也算是符合這一預期。

如果HBM代表著“更大的帶寬”，那么通過SRAM層面的創(chuàng)新，實現(xiàn)“更近的距離”，也是業(yè)界正在嘗試的一條路徑。有HBM之父之譽的金正浩教授，今年公開至2038年的HBM路線圖，就提到在不久后的HBM5階段，嵌入SRAM緩存將成為標準。英偉達不會錯過驗證這個判斷的機會。

(2025/10/27) 完整閱讀 >

當然，另一方面，它也是防御性的。HBM越來越昂貴，在整套AI算力硬件中的占比越來越高，逐漸侵蝕了英偉達的利潤率。英偉達因此推出了Rubin CPX，證明并非所有階段都必須超高的內(nèi)存帶寬。Jonathan Ross就稱，相比英偉達，自己的優(yōu)勢在于不需要HBM。它至少是一種結(jié)構(gòu)性的對沖。對內(nèi)存廠商而言，HBM的擴產(chǎn)是一次重資產(chǎn)的冒險，但供給增加又將拖累利潤率。相比之下，SRAM在代工與封裝上則相對容易。

更大的沖擊在于，英偉達的供應鏈上下游，每個環(huán)節(jié)都在試圖擺脫英偉達的統(tǒng)治力。谷歌自研TPU已經(jīng)沖擊了英偉達的AI敘事。三星近年來也在強化系統(tǒng)設(shè)計能力，一方面醞釀自研GPU，另一方面加碼ASIC代工，并從端側(cè) AI芯片切入。

在這次收購之前，曾任Groq首席架構(gòu)師的Dennis Abts已經(jīng)提前投奔英偉達。Groq前戰(zhàn)略總監(jiān)Thomas Sohmers則在離開后創(chuàng)辦了另一家試圖挑戰(zhàn)英偉達的AI芯片公司 Positron，押注低延遲、低功耗的規(guī)?；评硇枨?，兼顧ASIC與FPGA路線。還有不少Groq工程師流向了同樣側(cè)重SRAM架構(gòu)的d-Matrix。

賬上躺著數(shù)百億美元的現(xiàn)金的英偉達，明年，會繼續(xù)收購、繼續(xù)吸納、繼續(xù)把挑戰(zhàn)者變成“隊友”嗎？而在大洋的另一側(cè)，仍處在碎片化競爭格局中的中國 AI 芯片企業(yè)，又該如何應對越滾越大的英偉達？