編輯｜張倩、+0

在被谷歌 TPU 挑戰(zhàn)霸主地位后，英偉達(dá)終于急了？

今天，人工智能芯片初創(chuàng)公司 Groq 發(fā)布了一則重磅消息，他們已經(jīng)與英偉達(dá)就 Groq 的推理技術(shù)達(dá)成了非排他性許可協(xié)議。

這個(gè)協(xié)議并不是說(shuō)英偉達(dá)要把 Groq 買(mǎi)下來(lái)，而是挖走 Groq 的幾員大將 —— 創(chuàng)始人兼 CEO Jonathan Ross、總裁 Sunny Madra 及多名核心工程師。要知道，Jonathan Ross 曾在谷歌主導(dǎo) TPU 的開(kāi)發(fā)。2016 年底，他從谷歌離職，并帶走了當(dāng)時(shí) TPU 核心 10 人團(tuán)隊(duì)中的 7 位 。這批人帶走了 TPU 最核心的技術(shù)理念和設(shè)計(jì)經(jīng)驗(yàn)，在加州山景城共同創(chuàng)辦了 AI 芯片公司 Groq。

這批人和他們的知識(shí)產(chǎn)權(quán)有多值錢(qián)？看看交易額就知道了。據(jù) Groq 投資者、Disruptive Technology Advisers 的首席執(zhí)行官 Alex Davis 透露，這筆交易價(jià)值約 200 億美元，這比該初創(chuàng)公司 9 月份的估值還高出 131 億美元。

交易過(guò)后，Groq 將繼續(xù)作為獨(dú)立公司運(yùn)營(yíng)，由首席財(cái)務(wù)官 Simon Edwards 接任 CEO，其 GroqCloud 云服務(wù)也將正常運(yùn)行。

通過(guò)這種方式，英偉達(dá)可以在不直接購(gòu)買(mǎi)的情況下獲得初創(chuàng)企業(yè)的人才和技術(shù)，被稱(chēng)為 Reverse Acquihire（反向收購(gòu)雇傭）。這種方式避免了與傳統(tǒng)收購(gòu)相關(guān)的反壟斷審查。在過(guò)去三年中，微軟、Meta 等科技巨頭已經(jīng)達(dá)成了多項(xiàng)此類(lèi)交易，以推進(jìn)其人工智能發(fā)展路線圖。

Groq 最引人注目的是其自主研發(fā)的 LPU（語(yǔ)言處理單元）芯片。與英偉達(dá)主導(dǎo)的 GPU 不同，LPU 專(zhuān)為 AI 推理場(chǎng)景設(shè)計(jì)，號(hào)稱(chēng)運(yùn)行大語(yǔ)言模型的速度可達(dá) GPU 的 10 倍，能耗卻只有十分之一。而這正是英偉達(dá)所需要的，因?yàn)?TPU 之所以能挑戰(zhàn)英偉達(dá)的霸主地位，「能耗、延遲方面能打」是一個(gè)關(guān)鍵優(yōu)勢(shì)。

英偉達(dá) CEO 黃仁勛在內(nèi)部郵件中表示，計(jì)劃將 Groq 的低延遲處理器整合到英偉達(dá) AI 工廠架構(gòu)中，以支持更廣泛的 AI 推理和實(shí)時(shí)工作負(fù)載。

TPU 之父帶隊(duì)

Groq 用 LPU 闖出一片天

Groq 成立于 2016 年，其誕生源于對(duì)傳統(tǒng)計(jì)算架構(gòu)的深刻反思。創(chuàng)始人 Jonathan Ross 曾師從 Yann LeCun，后來(lái)在 Google 任職。他參與了谷歌 TPU 項(xiàng)目（當(dāng)時(shí)為 20% 項(xiàng)目），負(fù)責(zé)設(shè)計(jì)和實(shí)現(xiàn)第一代 TPU 芯片的核心組件。TPU 的成功證明了專(zhuān)用架構(gòu)在 AI 計(jì)算上的巨大潛力，也成為了 Groq 技術(shù)的起點(diǎn)。

Google 有一個(gè)著名的「20% 自由時(shí)間」文化，允許工程師用工作時(shí)間的 20% 去做自己感興趣、但并非老板指派的「私活」或「創(chuàng)新項(xiàng)目」。

Ross 認(rèn)為，傳統(tǒng)的 CPU 和 GPU 架構(gòu)為了兼顧圖形渲染和通用計(jì)算，保留了復(fù)雜的緩存管理、分支預(yù)測(cè)及動(dòng)態(tài)硬件調(diào)度。這些設(shè)計(jì)雖然提高了通用性，但導(dǎo)致了計(jì)算性能的不可預(yù)測(cè)性，并非 AI 推理的必要組件?；诖?，Groq 確立了「軟件定義的確定性」這一核心理念。

LPU（Language Processing Unit）摒棄了傳統(tǒng)的硬件調(diào)度器，改由編譯器在編譯階段精確計(jì)算每一步數(shù)據(jù)的流動(dòng)和時(shí)序。這種設(shè)計(jì)消除了「緩存未命中」和「分支預(yù)測(cè)失敗」的風(fēng)險(xiǎn)，核心計(jì)算單元 TSP（Tensor Streaming Processor）采用流式處理模式，確保數(shù)據(jù)如流水線般處理，沒(méi)有任何閑置周期。

在存儲(chǔ)方案上，Groq 未采用 Nvidia GPU 常用的高帶寬內(nèi)存（HBM），而是將靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM）直接集成在芯片內(nèi)部。這種設(shè)計(jì)使單芯片內(nèi)存帶寬高達(dá) 80TB/s，是傳統(tǒng) HBM 方案的 20 倍以上。盡管 SRAM 占地面積大導(dǎo)致單芯片容量極?。s 230MB），但其極高的帶寬允許 LPU 在 Batch Size 為 1（即單次處理一個(gè)請(qǐng)求）的情況下依然保持計(jì)算單元滿(mǎn)載，從而實(shí)現(xiàn)極低的延遲。

由于單芯片內(nèi)存有限，運(yùn)行 Llama 3 70B 這樣的大模型通常需要數(shù)百?gòu)埿酒?jí)聯(lián)。為此，Groq 研發(fā)了 RealScale 互聯(lián)技術(shù)。該技術(shù)不依賴(lài)傳統(tǒng)的網(wǎng)絡(luò)交換機(jī)，而是通過(guò)直接線纜連接，并解決了「晶振漂移」導(dǎo)致的時(shí)鐘不同步問(wèn)題。在這一架構(gòu)下，整個(gè)集群實(shí)現(xiàn)了全局時(shí)鐘同步，數(shù)百?gòu)埿酒鹑缫幻毒薮蟮奶摂M芯片協(xié)同工作。

得益于上述設(shè)計(jì)，Groq 在處理大語(yǔ)言模型時(shí)展現(xiàn)出差異化的性能優(yōu)勢(shì)：在 Llama 系列模型的推理中，其響應(yīng)速度可達(dá)每秒 500 Tokens（相比之下 ChatGPT 約為 40 Tokens/s），且?guī)缀鯖](méi)有延遲抖動(dòng)，在實(shí)時(shí)交互場(chǎng)景中建立了獨(dú)特的競(jìng)爭(zhēng)壁壘。

但為了換取這種極致速度，Groq 方案在物理空間和功耗上付出了代價(jià)：一個(gè)標(biāo)準(zhǔn)機(jī)架滿(mǎn)載功耗約為 26kW 至 30kW，且需要比 GPU 方案更多的機(jī)架數(shù)量來(lái)承載同等規(guī)模的模型參數(shù)。

TPU 步步緊逼

英偉達(dá)急了？

英偉達(dá)這次的大手筆屬于形勢(shì)所迫，因?yàn)樗麄兊?AI 芯片霸主地位正面臨嚴(yán)峻挑戰(zhàn)。

目前，AI 算力市場(chǎng)的需求正從訓(xùn)練轉(zhuǎn)向推理。預(yù)計(jì)到 2030 年，推理將占 AI 計(jì)算總量的 75%，市場(chǎng)規(guī)模達(dá) 2550 億美元。但在推理方面，英偉達(dá)的芯片并不具備絕對(duì)優(yōu)勢(shì)，面臨谷歌 TPU、Groq LPU 等多方面競(jìng)爭(zhēng)。

先來(lái)說(shuō)谷歌 TPU。此前，SemiAnalysis 的一篇文章報(bào)道稱(chēng)，谷歌新出的 TPU v7 實(shí)現(xiàn)了很高的實(shí)際模型算力利用率，總體擁有成本比英偉達(dá) GB200 系統(tǒng)低約 30%～40%。也就是說(shuō)，用上 TPU 之后，企業(yè)可以省一大筆錢(qián)。而且，谷歌的 TPU 不再局限于自家使用，而是開(kāi)始大規(guī)模出貨，預(yù)計(jì) 2027 年實(shí)現(xiàn)年產(chǎn) 500 萬(wàn)顆的目標(biāo)。

市場(chǎng)的反應(yīng)也能說(shuō)明一切：2025 年 10 月，Anthropic 協(xié)議通過(guò)多達(dá) 100 萬(wàn)個(gè) TPU 獲取超過(guò) 10 億瓦的谷歌算力；11 月，Meta 開(kāi)始洽談?dòng)?2027 年在其數(shù)據(jù)中心使用谷歌 TPU。這樣的轉(zhuǎn)向足以給英偉達(dá)帶來(lái)壓力。

除了谷歌，Groq 也是不容小覷的競(jìng)爭(zhēng)對(duì)手。早期 Groq 保持相對(duì)低調(diào)。但隨著 2023 年至 2024 年生成式 AI 市場(chǎng)的爆發(fā)，行業(yè)重心從訓(xùn)練端向推理端延伸，Groq 憑借在模型推理上的速度優(yōu)勢(shì)受到關(guān)注，資本市場(chǎng)隨即跟進(jìn)。

最引人注目的是，今年 2 月，Groq 與沙特阿美數(shù)字公司簽訂 15 億美元協(xié)議，合作建設(shè)全球最大 AI 推理數(shù)據(jù)中心，初期部署 19000 個(gè) LPU 處理器。2025 年 12 月，Groq 又簽署協(xié)議加入美國(guó) AI「創(chuàng)世紀(jì)計(jì)劃」，成為 24 家簽署公司之一。

今年 9 月，Groq 剛剛完成 7.5 億美元融資，估值達(dá)到 69 億美元。公司透露，其平臺(tái)已服務(wù)超過(guò) 200 萬(wàn)名開(kāi)發(fā)者，較去年的 35.6 萬(wàn)人增長(zhǎng)了五倍多。

這些重要事件彰顯了 Groq 在 AI 芯片領(lǐng)域的潛力以及團(tuán)隊(duì)的硬核研發(fā)能力，足以讓英偉達(dá)動(dòng)心。

在這場(chǎng)交易之后，英偉達(dá)的霸主地位是否可以鞏固？我們拭目以待。

https://groq.com/blog/the-groq-lpu-explained

https://news.ycombinator.com/item?id=39431989

https://groq.com/blog/the-groq-lpu-explained