SambaNova發(fā)布了其最新芯片SN50，聲稱其速度比英偉達(dá)Blackwell快五倍，吞吐量高三倍，足以為超過10萬億參數(shù)的智能體AI模型提供動力。該公司還宣布將SN50部署到日本軟銀，與英特爾建立新的合作伙伴關(guān)系，以及完成3.5億美元融資輪。

背景與架構(gòu)

AI繁榮及其引發(fā)的數(shù)據(jù)處理無限需求使SambaNova成為新興芯片制造商之一。該公司開發(fā)了其可重構(gòu)數(shù)據(jù)單元(RDU)架構(gòu)，該架構(gòu)實現(xiàn)自定義處理管道，數(shù)據(jù)在其中流經(jīng)完整計算圖，以解決傳統(tǒng)CPU和GPU使用的指令集架構(gòu)(ISA)中遇到的數(shù)據(jù)移動低效問題。

SN50芯片特性

與SN40一樣，SN50采用分層內(nèi)存架構(gòu)，結(jié)合了64GB高帶寬內(nèi)存(HBM)、432MB靜態(tài)隨機(jī)存取存儲器(SRAM)和256GB至2TB的DDR5。SambaNova表示，這種內(nèi)存架構(gòu)使其能夠托管最大的AI模型，包括高達(dá)10萬億參數(shù)的模型。

"駐留在HBM和SRAM中的模型可以在幾毫秒內(nèi)進(jìn)行數(shù)據(jù)交換，這是智能體工作負(fù)載在多個模型之間頻繁切換所必需的能力。"該公司在一篇博客文章中寫道。

SambaNova表示，與SN40相比，SN50每個加速器提供五倍的計算能力和四倍的網(wǎng)絡(luò)帶寬。該公司表示，內(nèi)部基準(zhǔn)測試顯示，與英偉達(dá)的Blackwell B200 GPU相比，SN50在運行像Meta的Llama 3.3 70B等模型的智能體推理工作負(fù)載時提供5倍的最大速度和超過3倍的吞吐量。

擴(kuò)展與部署

SambaNova將芯片預(yù)先配置在名為SambaRacks的機(jī)架中銷售，每個機(jī)架最多可容納16個獨立SN50。該公司支持將其SambaRacks向外擴(kuò)展，以支持通過每秒多T字節(jié)帶寬連接最多256個SN50集群。每個SambaRack平均消耗20kW電力，這使其能夠使用風(fēng)冷而非液冷。

專注AI推理

AI推理工作負(fù)載是SambaNova及其芯片的目標(biāo)，這一原則在SN50上沒有改變。該公司表示，其在內(nèi)存中緩存輸入令牌（Token）的能力減少了相對于主流GPU架構(gòu)的首令牌時間(TTFT)。它還聲稱可以在內(nèi)存中保持多個AI模型，并以比英偉達(dá)GPU所需更少時間進(jìn)行數(shù)據(jù)交換。

客戶與合作

SambaNova表示，軟銀將是首家部署SN50的公司。該日本公司將在其下一代AI數(shù)據(jù)中心部署SN50。該公司還宣布與英特爾的新合作，據(jù)報道英特爾曾在一月份嘗試以16億美元收購SambaNova。而當(dāng)下，英特爾是SambaNova價值3.5億美元的E輪融資的參與者，SambaNova表示將用這筆資金擴(kuò)大制造和云能力。

展望未來

"AI不再是構(gòu)建最大模型的競賽。"SambaNova聯(lián)合創(chuàng)始人兼首席執(zhí)行官Rodrigo Liang在新聞稿中說。"憑借SN50和我們與英特爾的深度合作，真正的競賽是誰能夠用能夠即時回答、從不卡頓、且成本使AI從實驗轉(zhuǎn)變?yōu)樵贫俗钣娴闹悄荏w點亮整個數(shù)據(jù)中心。"