公眾號記得加星標(biāo)??，第一時間看推送不會錯過。

如今世界對人工智能的熱情如此高漲，以至于軟件公司都在投資核能，以滿足我們對生成文本、圖像和視頻的需求。但如果他們根本不需要這樣做呢？如果我們能夠魚與熊掌兼得，既擁有人工智能帶來的便利，又能以更高的效率（提高90%）完成更多工作，同時大幅降低能源消耗，那該多好？

這就是微軟支持的芯片初創(chuàng)公司d-Matrix的理念。其核心思想是：制造能夠提供更快、更便宜、更高效的推理的芯片，而這正是人工智能公司在回答用戶AI查詢時所做的。如果d-Matrix的觀點(diǎn)正確，人工智能的未來可能不再取決于誰訓(xùn)練的模型規(guī)模最大，而取決于誰能以最快、最便宜的方式回答問題。

“訓(xùn)練關(guān)乎表現(xiàn)，推理關(guān)乎效率，”首席執(zhí)行官 Sid Sheth 最近在卡塔爾網(wǎng)絡(luò)峰會上與我交談時說道。

這種區(qū)別是d-Matrix（他領(lǐng)導(dǎo)的位于硅谷的初創(chuàng)公司）的基石。訓(xùn)練如今的大型語言模型是一項(xiàng)極其繁重的工作，最好使用英偉達(dá)的高端GPU、谷歌的TPU或其他少數(shù)幾種芯片來完成。但謝思表示，GPU并非運(yùn)行AI模型回答問題的理想選擇。然而，這正是業(yè)界目前使用的技術(shù)……主要是因?yàn)闃I(yè)界只能使用GPU。

這就像用錘子和釘子打掃房子一樣，因?yàn)榉孔泳褪怯眠@些東西蓋的。

他說：“問題的關(guān)鍵在于你使用的是訓(xùn)練芯片。然后你說，‘哦，你知道嗎？我要在這些芯片上運(yùn)行推理，對吧？’但這并不是最好的方法?！?/p>

d-Matrix 的創(chuàng)立基于這樣的信念：推理最終將主導(dǎo)人工智能工作負(fù)載。該公司沒有對訓(xùn)練硬件進(jìn)行改造，而是從零開始構(gòu)建了新的架構(gòu)。Sheth 指出，為推理而設(shè)計的芯片和為訓(xùn)練而設(shè)計的芯片之間存在著核心的架構(gòu)差異。訓(xùn)練是一個計算問題，但推理不僅僅是一個計算問題，他說道。更確切地說，推理是一個計算和內(nèi)存問題。

而且，內(nèi)存部分還會增加延遲。

在大型語言模型中，初始的“處理”階段通常被稱為預(yù)填充。模型會接收提示信息，構(gòu)建上下文并將相關(guān)參數(shù)加載到內(nèi)存中。之后，它才會開始生成詞元（即“解碼”階段），從而提供用戶想要的答案。這種區(qū)別至關(guān)重要，因?yàn)橥评硇阅懿粌H受限于原始計算能力，還受限于數(shù)據(jù)在內(nèi)存和處理單元之間移動的速度。如果計算速度快但內(nèi)存訪問速度慢，詞元處理就會停滯。如果內(nèi)存訪問速度快但計算速度跟不上，吞吐量就會下降。無論哪種情況，用戶都會感受到延遲。

“這就好比我問你一個抽象的問題，”謝思解釋說，“你不會立刻脫口而出，對吧？你會先思考。然后兩三秒鐘后，你可能才會開始說話。說話的過程就是解碼。”

本質(zhì)上，當(dāng)今的大部分基礎(chǔ)設(shè)施都針對訓(xùn)練工作負(fù)載進(jìn)行了優(yōu)化，這些工作負(fù)載優(yōu)先考慮峰值性能而非平均響應(yīng)速度。然而，在推理過程中，尤其是在使用包含多個問答的交互式人工智能時，延遲就成為了決定性指標(biāo)。

“一旦你開始回應(yīng)，我希望你以一定的速度回應(yīng)，否則我可能不會聽，”他補(bǔ)充道。

實(shí)際上，這意味著要盡可能縮短從內(nèi)存中檢索模型權(quán)重和激活值并將其輸入到計算單元所需的時間，以便處理生成的每個詞元。傳統(tǒng)的GPU架構(gòu)將計算和高帶寬內(nèi)存分離為獨(dú)立的子系統(tǒng)，這可能會降低內(nèi)存密集型推理工作負(fù)載的效率。

d-Matrix 的解決方案是在其架構(gòu)中將計算和內(nèi)存緊密融合。通過將內(nèi)存物理位置更靠近計算位置，并專門針對推理模式優(yōu)化數(shù)據(jù)流，該公司旨在降低令牌延遲并提高每瓦每秒令牌數(shù)。此外，該公司沒有構(gòu)建單個龐大的單芯片處理器，而是將硅片切割成更小的模塊化構(gòu)建塊，稱為芯片組 (chiplet)。然后，根據(jù)工作負(fù)載需求，將這些芯片組以不同的數(shù)量組合起來。

從概念上講，它更接近蘋果的統(tǒng)一內(nèi)存設(shè)計，而不是傳統(tǒng)的 GPU 架構(gòu)：減少計算和內(nèi)存之間的距離，并圍繞效率而不是峰值基準(zhǔn)性能進(jìn)行優(yōu)化。

d-Matrix并沒有在針對訓(xùn)練優(yōu)化的芯片上進(jìn)行蠻力推理，而是基于推理將占據(jù)主導(dǎo)地位的假設(shè)來設(shè)計芯片。Sheth聲稱，其結(jié)果是更低的延遲和顯著更高的每瓦浮點(diǎn)運(yùn)算次數(shù)，尤其是在實(shí)時交互式工作負(fù)載方面。

這意味著成本優(yōu)勢。

Sheth表示，目前d-Matrix在運(yùn)行推理操作時，成本比GPU降低了約90%。而且未來還有更多優(yōu)勢。

“這就是今天的情況，”他說?！耙院笾粫絹碓胶??！?/p>

或許來得正是時候，甚至可能有點(diǎn)晚。OpenAI現(xiàn)在正使用 Cerebras 的巨型芯片（芯片大?。﹣磉\(yùn)行其 GPT-5.3-Codex-Spark 編碼模型的推理，與其他架構(gòu)相比，速度提升了 15 到 20 倍。Cerebras 的方法與 d-Matrix 完全不同，但目標(biāo)相似。

d-Matrix今天開始出貨芯片，但數(shù)量很少，只有幾百顆左右。Sheth表示，很快產(chǎn)量就會達(dá)到數(shù)千顆。他很快就需要達(dá)到數(shù)百萬顆的產(chǎn)量，并有望在今年實(shí)現(xiàn)。

“今年你就會看到它大規(guī)模量產(chǎn)了，”他告訴我。

都想把英偉達(dá)拉下馬

目前 ，英偉達(dá) 是AI芯片行業(yè)無可爭議的冠軍，其圖形處理單元主導(dǎo)著人工智能模型的訓(xùn)練和運(yùn)行市場——公司市值達(dá)到4.5萬億美元。

但創(chuàng)始人和投資者對替代方案的興趣越來越大?？蛻魰S嗎？其中一些已經(jīng)存在，盡管以實(shí)驗(yàn)形式存在，是對抗英偉達(dá)主導(dǎo)地位的對沖，或者僅僅是在這個異常緊張的市場中獲得更多芯片的途徑。

交易公司Jump的首席技術(shù)官Alex Davies表示：“幾乎所有人都在Nvidia上做一些事情——無論是訓(xùn)練還是推理——我們看到行業(yè)正在變化，而這還不是常態(tài)，Jump 本月向AI芯片初創(chuàng)公司Positron 進(jìn)行了2.3億美元的融資，同時也是Positron的客戶?！拔覀儾徽J(rèn)為會有一個贏家。”

尤其是，初創(chuàng)企業(yè)和投資者看到了推理領(lǐng)域中的一個空缺，即在AI模型訓(xùn)練完成后運(yùn)行它們——比如讓ChatGPT給出答案。英偉達(dá)首席執(zhí)行官黃仁勛本人也證實(shí)了其他公司可能在該領(lǐng)域有所貢獻(xiàn)的可能性，比如圣誕老人在圣誕夜（請考慮一下我們這些已經(jīng)在度假的人），據(jù)報道將獲得200億美元的賠償金，用于授權(quán)推理硬件初創(chuàng)公司Groq的技術(shù)，并聘用該公司大部分芯片團(tuán)隊成員， 其中包括首席執(zhí)行官喬納森·羅斯。

Groq收購案;Cerebras簽署的100億美元為OpenAI提供快速推理芯片的交易;以及Anthropic簽署多款非英偉達(dá)芯片協(xié)議的舉措，被視為更多半導(dǎo)體制造商市場機(jī)遇的例子。自Groq交易以來，多家初創(chuàng)公司表示，潛在投資者的興趣不斷上升，而老競爭對手SambaNova則結(jié)束了談判，以遠(yuǎn)低于上輪融資的估值出售，轉(zhuǎn)而注入新的資金。

“圍繞我們的討論已經(jīng)發(fā)生了變化，”SambaNova首席執(zhí)行官在彭博社看到的一封寫給員工的郵件中表示。

英偉達(dá)憑借其高帶寬內(nèi)存芯片，是企業(yè)提供大量數(shù)學(xué)計算所需電力的王者，這些計算將大量數(shù)據(jù)轉(zhuǎn)化為訓(xùn)練好的AI模型。但一些芯片初創(chuàng)公司正在尋求不同類型的內(nèi)存，以更快地回答用戶在推理過程中提出的逐一問題。此外，訓(xùn)練和推理的類別變得越來越模糊，因?yàn)橥评硇虯I模型在被查詢時會做出進(jìn)一步判斷，而非主要提前訓(xùn)練。

自從去年初中國開源推理模型DeepSeek亮相后，人們對這類快速推理芯片的興趣上升，人工智能芯片制造商D-Matrix的首席執(zhí)行官兼創(chuàng)始人Sid Sheth表示，D-Matrix是一家Microsoft支持的初創(chuàng)公司， 去年11月籌集了2.75億美元 。推理模型全年不斷進(jìn)步，促使公司開發(fā)更強(qiáng)大的人工智能應(yīng)用，需要更快的推理。

謝斯說：“現(xiàn)在模型在回應(yīng)前會思考不同的可能性，你希望加快思考過程?！薄八伎嫉迷娇?，響應(yīng)越快，應(yīng)用的互動性就越強(qiáng)?！?/p>

周四，OpenAI 發(fā)布了首個運(yùn)行在Cerebras芯片上的模型。Anthropic 與 亞馬遜的 Trainium 和谷歌的張量處理單元芯片達(dá)成協(xié)議。Microsoft上個月發(fā)布了其第二代AI芯片Maia，如果想用它開發(fā)產(chǎn)品，可以使用OpenAI的芯片知識產(chǎn)權(quán)。人工智能芯片初創(chuàng)公司Etched 上個月在一輪融資中籌集了約5億美元 ，以助力其與英偉達(dá)競爭的雄心。

話雖如此，英偉達(dá)已經(jīng)證明并很可能繼續(xù)成為一個異常強(qiáng)大的市場領(lǐng)導(dǎo)者。公司擁有多種產(chǎn)品線，并承諾每年推出一次芯片的全面重新設(shè)計。與Groq的合作為英偉達(dá)提供了進(jìn)一步擴(kuò)展的機(jī)會。 上個月被問 及該協(xié)議是否會導(dǎo)致新的專用推理芯片，黃明明未作任何承諾，表示“也許有一個地方，我們可以創(chuàng)造出獨(dú)特的東西?！?/p>

但Sheth預(yù)計Nvidia將在三月旗艦大會上宣布對快速推理芯片需求的回應(yīng)。

在不同時間點(diǎn)，初創(chuàng)公司和成熟公司聲稱他們能與英偉達(dá)競爭，但大多數(shù)情況下他們做不到、不能、也沒有。至少不是大規(guī)模或全面性的。這也是為什么即使是開發(fā)自家硅片的大公司——亞馬遜、谷歌、Microsoft、OpenAI——仍然大量使用英偉達(dá)GPU來支撐其AI產(chǎn)品和云服務(wù)。

然而，我們開始看到裂痕。還有誰能，或者是否有人能把這些資金拉開到足夠大的市場，為自己的芯片創(chuàng)造一個龐大的市場，還有待觀察。

“如果你看行業(yè)的增長速度，你會看到專用硬件，”Jump的戴維斯說。“這在工程史上一直如此。你一開始是個普通的東西，然后它瘋狂增長，最后有人發(fā)現(xiàn)你根本不能有一樣?xùn)|西?！?/p>

（來源：半導(dǎo)體行業(yè)觀察綜合）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4318期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時間看推送

求推薦