英特爾與SambaNova正在推出一種新型異構(gòu)推理架構(gòu)，旨在解決企業(yè)AI領(lǐng)域日益突出的痛點：如何在不過度依賴GPU的情況下，大規(guī)模運行智能體工作負載。

該架構(gòu)將推理過程分為三個層次——GPU負責(zé)預(yù)填充（prefill），SambaNova的可重構(gòu)數(shù)據(jù)流單元（RDU）負責(zé)解碼，英特爾Xeon 6 CPU則負責(zé)智能體任務(wù)的執(zhí)行與調(diào)度。這一設(shè)計折射出業(yè)界正在從單一GPU系統(tǒng)向多元化方向轉(zhuǎn)變的大趨勢。

推動這一變革的背景是：企業(yè)在實際運營中面臨推理成本攀升、功耗受限以及GPU利用率不足等問題，迫使各方重新審視以GPU為核心的系統(tǒng)架構(gòu)設(shè)計。

該方案預(yù)計于2026年下半年正式上線，目標(biāo)客戶為正在構(gòu)建編程智能體及其他多步驟系統(tǒng)的企業(yè)、云服務(wù)商以及主權(quán)AI部署方。

瓶頸從訓(xùn)練轉(zhuǎn)向執(zhí)行

這一方案的核心邏輯并非取代GPU，而是正視GPU的不足之處。GPU在并行處理提示詞方面依然表現(xiàn)出色，但智能體AI引入了一類工作負載——其均一性較差，更依賴系統(tǒng)協(xié)調(diào)、工具調(diào)用和實時決策。

SambaNova首席執(zhí)行官Rodrigo Liang在官方聲明中表示："智能體AI正在走向生產(chǎn)部署，我們觀察到的制勝模式是：由GPU啟動任務(wù)，由英特爾Xeon 6運行任務(wù)，再由SambaNova RDU快速完成任務(wù)。"

編程智能體是一個典型案例。它們需要持續(xù)編譯和執(zhí)行代碼、調(diào)用API、查詢數(shù)據(jù)庫并協(xié)調(diào)工作流，這些步驟對CPU和內(nèi)存帶寬的依賴程度極高，使CPU在推理流程中扮演著舉足輕重的角色。

SambaNova產(chǎn)品副總裁Anton McGonnell表示："GPU非常擅長對輸入處理進行矩陣運算的并行化，但在解碼方面表現(xiàn)欠佳，尤其是在對延遲敏感的工作負載場景下。"

行業(yè)分析師普遍認同這一轉(zhuǎn)變正在發(fā)生，但尚未形成定論。

Moor Insights & Strategy首席執(zhí)行官兼首席分析師Patrick Moorhead表示："我們已經(jīng)到了異構(gòu)計算勢在必行的階段。我們需要提升效率，因此要讓合適的計算資源承擔(dān)合適的任務(wù)，無論是訓(xùn)練、預(yù)填充、解碼，還是智能體調(diào)度。"

這一轉(zhuǎn)變標(biāo)志著基礎(chǔ)設(shè)施建設(shè)重心正從以訓(xùn)練為中心，轉(zhuǎn)向針對延遲、調(diào)度與成本優(yōu)化的推理系統(tǒng)。

三層推理流水線

該架構(gòu)將推理過程劃分為不同階段，由各類處理器分別承擔(dān)工作流的不同部分。GPU處理提示詞并生成鍵值緩存，RDU在解碼階段負責(zé)Token生成，CPU則負責(zé)智能體任務(wù)的調(diào)度與執(zhí)行。

其核心論點簡單明了：沒有任何一種處理器能在所有階段都達到最優(yōu)性能，在推理過程日趨交互化和有狀態(tài)化的背景下尤為如此。

英特爾數(shù)據(jù)中心XPU產(chǎn)品與解決方案副總裁兼總經(jīng)理Jeff McVeigh表示："最關(guān)鍵的是確保用戶所購置的資產(chǎn)都能得到充分利用。"

這一表述將討論焦點從峰值性能轉(zhuǎn)向系統(tǒng)效率——讓推理的每個階段都保持滿負荷運轉(zhuǎn)，而非將壓力集中在單一處理器上。

SambaNova的RDU被定位為解碼階段的核心組件，該階段的Token生成速度與效率直接決定了延遲表現(xiàn)和運營成本。

英特爾方面則著力強調(diào)生態(tài)系統(tǒng)的既有優(yōu)勢。英特爾數(shù)據(jù)中心事業(yè)部執(zhí)行副總裁兼總經(jīng)理Kevork Kechichian表示："數(shù)據(jù)中心軟件生態(tài)系統(tǒng)是建立在x86架構(gòu)之上的。"他將Xeon定位為企業(yè)部署的穩(wěn)定基石。

效率提升伴隨復(fù)雜度增加

兩家公司并未聲稱在性能上全面超越純GPU系統(tǒng)，其賣點在于效率——更高的利用率、更低的單位工作負載成本以及更均衡的系統(tǒng)架構(gòu)。

McVeigh表示："一刀切的方案顯然行不通，工作流的每個階段都需要針對性的優(yōu)化。"

Moorhead認為，這套方案的代價是系統(tǒng)復(fù)雜度的提升，但換來了更高的效率。他表示："關(guān)鍵是要建立一個跨工作負載的簡化軟件層，以降低整體復(fù)雜度。"

軟件層是整個方案的樞紐。若缺乏有效的軟件層，將工作負載分布在GPU、RDU和CPU之間，反而可能引入額外的運維開銷，從而抵消效率提升所帶來的收益。

SambaNova援引內(nèi)部基準(zhǔn)測試數(shù)據(jù)稱，Xeon 6在編譯時間和向量數(shù)據(jù)庫性能方面均有所提升，但上述數(shù)據(jù)系基于公司內(nèi)部測試，尚未經(jīng)過第三方獨立驗證。

未來看點

異構(gòu)推理并非新鮮事物。超大規(guī)模云服務(wù)商早已將工作負載分布于CPU、GPU和定制加速器之上。英特爾與SambaNova此舉的真正意義，在于將這一模式打包成可供企業(yè)客戶復(fù)用的標(biāo)準(zhǔn)化方案。

目前懸而未決的問題集中在落地執(zhí)行層面：RDU需要在成本與生態(tài)系統(tǒng)成熟度上證明自身競爭力，企業(yè)客戶也必須看到切實可量化的效率提升。此外，軟件層必須讓整套系統(tǒng)真正易用，而不只是技術(shù)上可行。

鑒于正式發(fā)布時間定于2026年下半年，這是英特爾與SambaNova對智能體AI工作負載未來演進方向所做的一次前瞻性押注。

Q&A

Q1：異構(gòu)推理架構(gòu)的三層流水線是如何分工的？

A：該架構(gòu)將推理過程分為三個層次：GPU負責(zé)處理提示詞并生成鍵值緩存（預(yù)填充階段），SambaNova的RDU負責(zé)解碼階段的Token生成，英特爾Xeon 6 CPU則負責(zé)智能體任務(wù)的調(diào)度與執(zhí)行。三類處理器各司其職，核心邏輯是沒有任何一種處理器能在所有階段都達到最優(yōu)性能，通過分工協(xié)作提升整體系統(tǒng)效率。

Q2：為什么GPU不適合處理智能體AI的全部工作負載？

A：GPU擅長對輸入處理進行矩陣運算的并行化，但在解碼階段表現(xiàn)欠佳，尤其面對延遲敏感的工作負載時更為明顯。智能體AI需要持續(xù)協(xié)調(diào)、工具調(diào)用和實時決策，這類任務(wù)對CPU和內(nèi)存帶寬的依賴程度更高。以編程智能體為例，其編譯代碼、調(diào)用API、查詢數(shù)據(jù)庫等操作都嚴(yán)重依賴CPU，單靠GPU難以高效應(yīng)對。

Q3：英特爾與SambaNova的異構(gòu)推理方案何時可以使用？

A：該方案預(yù)計于2026年下半年正式上線，目標(biāo)客戶包括企業(yè)、云服務(wù)商以及主權(quán)AI部署方，尤其面向正在構(gòu)建編程智能體及其他多步驟系統(tǒng)的用戶。目前，SambaNova援引的內(nèi)部基準(zhǔn)測試數(shù)據(jù)尚未經(jīng)過第三方獨立驗證，RDU的成本競爭力與生態(tài)系統(tǒng)成熟度也有待進一步驗證。