芯東西（公眾號：aichip001）
作者 ZeR0
編輯 漠影

芯東西2月25日報道，2月24日，英特爾宣布向美國AI芯片獨角獸SambaNova的超過3.5億美元（約合人民幣24億元）E輪戰(zhàn)略融資注資，具體金額未披露。

同時，SambaNova推出其第五代AI芯片SN50，號稱這是“唯一一款能夠提供智能體AI所需速度和吞吐量的芯片”，最高速度達同類芯片的5倍，經(jīng)多芯互連可支持的單模型參數(shù)規(guī)模達10萬億、上下文長度達1000萬個token。

據(jù)SambaNova披露，與Blackwell B200 GPU相比，SN50的最大速度是其5倍，智能體推理的吞吐量是其3倍以上，這在Meta的Llama 3.3 70B等一系列模型上得到充分體現(xiàn)。

據(jù)外媒報道，在此之前，英特爾曾討論過以約16億美元（約合人民幣110億元）收購SambaNova，但談判最終破裂。不過雙方均未回應(yīng)過此事。

SambaNova由多位斯坦福大學(xué)教授在2017年創(chuàng)立，在2021年融資后估值達到50億美元（約合人民幣344億元）。其董事長是英特爾CEO陳立武。英特爾曾多次投資SambaNova。

在最新公告中，SambaNova與英特爾宣布達成了一項多年戰(zhàn)略合作計劃，旨在提供高性能、高性價比的AI推理解決方案，打造下一代異構(gòu)AI數(shù)據(jù)中心，整合英特爾至強處理器、英特爾GPU、英特爾網(wǎng)絡(luò)和存儲及SambaNova系統(tǒng)，以釋放數(shù)十億美元的推理市場機遇。

消息公布后，英特爾在美東時間周二股價漲超5%。

一、5倍算力、4倍網(wǎng)絡(luò)帶寬，能支撐10萬億參數(shù)大模型

SN50芯片基于SambaNova的可重構(gòu)數(shù)據(jù)流單元（RDU）架構(gòu)，超低延遲可提供實時響應(yīng)，能支持數(shù)千個并發(fā)AI會話，并通過更高的硬件利用率降低了每個token的成本。

每塊芯片的算力提高到第四代SN40L的5倍，網(wǎng)絡(luò)帶寬提高至4倍。

SambaRack SN50將16塊SN50芯片組合在一起，可運行多達10萬億個參數(shù)、1000萬個token的超大模型。

互連的SambaRack可通過每秒數(shù)TB的互連速度連接多達256塊芯片，從而縮短首次token生成時間，并支持更大的批處理規(guī)模，因此可以部署具有更高吞吐量和響應(yīng)速度的模型。

SambaRack的功耗平均僅需20kW，可在現(xiàn)有的風(fēng)冷數(shù)據(jù)中心中運行。這為運行g(shù)pt-oss等模型的推理服務(wù)提供商帶來了總擁有成本（TCO）優(yōu)勢，其節(jié)能效果是B200 GPU的8倍。

SN50將于2026年下半年開始發(fā)貨。軟銀集團將成為首家在日本下一代AI數(shù)據(jù)中心部署SN50的客戶。

二、基于數(shù)據(jù)流、三層內(nèi)存架構(gòu)，跑大模型時更快更高能效

SambaNova團隊認為，智能體需要智能、預(yù)測性和彈性的基礎(chǔ)架構(gòu)，要實現(xiàn)可行智能體，硬件必須能夠即時適應(yīng)突發(fā)性工作負載，在專家模型之間無延遲切換。

GPU擅長AI模型訓(xùn)練，但AI推理是數(shù)據(jù)移動和內(nèi)存優(yōu)化方面的挑戰(zhàn)，需要不同的架構(gòu)方法。

為了執(zhí)行AI推理，GPU必須多次冗余地調(diào)用片外內(nèi)存，每次內(nèi)存調(diào)用都會增加處理延遲并消耗能量，會導(dǎo)致高功耗問題。

在GPU上部署多個模型的標(biāo)準方法是將模型加載到高帶寬內(nèi)存（HBM）中，但GPU HBM資源稀缺且成本高昂。

當(dāng)工作負載需要一個未加載的模型時，系統(tǒng)必須卸載當(dāng)前模型并獲取新模型，這個過程通常以秒為單位。即便使用vLLM的1級睡眠模式，喚醒一個小型模型也需要0.1到0.8秒。

對于智能體所需的大型推理模型而言，這種喚醒時間會造成3到6秒的延遲。對于執(zhí)行涉及5個不同模型的10步推理過程的AI智能體來說，這些延遲累積起來會達到30秒，導(dǎo)致實時智能體工作流程無法使用。

SambaNova的RDU正是為解決這一問題而設(shè)計的。

RDU將給定AI模型的計算圖映射到處理器上數(shù)據(jù)傳輸?shù)淖钣行窂健＿@種方法消除了冗余的內(nèi)存調(diào)用，可顯著降低延遲和功耗。

與受限于單卡HBM容量的GPU不同，SN50 RDU采用獨特的三層內(nèi)存架構(gòu)，結(jié)合了片上SRAM、海量HBM和超高速SRAM。

這種分層結(jié)構(gòu)使芯片能承載最大的模型，支持在毫秒級時間內(nèi)運行和切換多個模型。

此外，借助SN50，輸入token可緩存在內(nèi)存中，從而減少預(yù)填充處理時間和請求的首token獲取時間（TTFT）。

結(jié)合這些優(yōu)勢，其內(nèi)存架構(gòu)非常適合作為智能體的緩存，能夠更高效地處理任務(wù)。

SambaNova還在SambaStack上推出了由RDU支持的可配置模型包，與傳統(tǒng)的GPU架構(gòu)和vLLM等推理框架相比，這些模型包的切換速度更快。

三、與英特爾聯(lián)手，加速推出AI云平臺

作為多年戰(zhàn)略合作的一部分，英特爾計劃對SambaNova進行戰(zhàn)略投資，以加速推出基于英特爾技術(shù)的AI云平臺。

此次合作預(yù)計將涵蓋三個關(guān)鍵領(lǐng)域：

（1）AI云擴展：SambaNova正在擴展其垂直整合的AI云平臺，該平臺基于英特爾至強處理器構(gòu)建，并針對大語言模型和多模態(tài)模型進行了優(yōu)化。該平臺將提供低延遲、高吞吐量的AI服務(wù)，并由參考架構(gòu)、部署藍圖以及與系統(tǒng)集成商和軟件供應(yīng)商的合作關(guān)系提供支持。

（2）集成AI基礎(chǔ)設(shè)施：將SambaNova的系統(tǒng)與英特爾的CPU、加速器和網(wǎng)絡(luò)技術(shù)相結(jié)合，為推理、代碼生成、多模態(tài)應(yīng)用和智能體工作流提供可擴展的、可用于生產(chǎn)的推理能力。

（3）市場推廣執(zhí)行：通過英特爾的全球企業(yè)、云和合作伙伴渠道進行聯(lián)合銷售和聯(lián)合營銷，以加速AI生態(tài)系統(tǒng)的普及。

據(jù)英特爾披露，此次合作是對英特爾現(xiàn)有數(shù)據(jù)中心GPU投入的補充，并不會改變其在AI領(lǐng)域的競爭戰(zhàn)略，英特爾將繼續(xù)加大對GPU知識產(chǎn)權(quán)、架構(gòu)、產(chǎn)品、軟件和系統(tǒng)的投資，并強化其從邊緣到云端AI戰(zhàn)略路線圖。

結(jié)語：AI推理市場迎來新組合

隨著AI推理蓬勃發(fā)展，科技公司們都在尋求更高速度和效率、更低企業(yè)級AI部署成本的AI硬件基礎(chǔ)設(shè)施方案。

許多云端AI芯片創(chuàng)企都將自家產(chǎn)品的賣點放在了高能效上，既順應(yīng)AI推理需求旺盛的趨勢，又能避開英偉達強于AI訓(xùn)練的鋒芒。

通過合作，SambaNova可以借助英特爾的全球影響力擴大其AI處理器的規(guī)模，英特爾也增強了在AI推理領(lǐng)域的綜合實力。這將為日趨多元化的AI推理市場提供一個有競爭力的選擇。