AI 是由 Token 驅(qū)動(dòng)的。每個(gè)提示、推理步驟和智能體交互都會(huì)生成 Token。過去一年，Token 的消耗量增長了數(shù)倍，現(xiàn)在每年已超過 1 億億 Token。雖然 Token 的大部分由人類與 AI 交互生成，但在新時(shí)代，大多數(shù) Token 將由 AI 與 AI 交互生成。

現(xiàn)代智能體系統(tǒng)可規(guī)劃任務(wù)、調(diào)用工具、執(zhí)行代碼、檢索數(shù)據(jù)，并在由多個(gè) AI 智能體參與的連續(xù)多步驟工作流中進(jìn)行協(xié)同。這些交互會(huì)生成大量推理 Token，擴(kuò)大 KV 占用緩存，并且需要基于 CPU 的沙盒環(huán)境來測試和驗(yàn)證加速計(jì)算系統(tǒng)生成的結(jié)果。這對 GPU、CPU、縱向擴(kuò)展（scale-up）域、橫向擴(kuò)展（scale-out）網(wǎng)絡(luò)和存儲(chǔ)提出了低延遲、高吞吐量的要求。

為這些現(xiàn)代智能體系統(tǒng)提供有價(jià)值的智能，需要一組專門構(gòu)建的機(jī)架級系統(tǒng)，這些系統(tǒng)作為一個(gè)統(tǒng)一的 AI 超級計(jì)算機(jī)協(xié)同運(yùn)行。

隆重推出 NVIDIA Vera Rubin POD

NVIDIA Vera Rubin 通過對涵蓋計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的七款芯片進(jìn)行極致協(xié)同設(shè)計(jì)，構(gòu)建了迄今最復(fù)雜的 POD 級 AI 平臺(tái)。該平臺(tái)包含 40 個(gè)機(jī)架、1200 萬億個(gè)晶體管、近 20,000 個(gè) NVIDIA 裸片、1,152 個(gè) NVIDIA Rubin GPU、60 exaflops 和 10 PB/s 的縱向擴(kuò)展總帶寬。

Vera Rubin POD 引入了五種全新的專用機(jī)架級擴(kuò)展系統(tǒng)，適用于需要高吞吐量、超低延遲推理、高密度 CPU 沙盒和大規(guī)模上下文內(nèi)存存儲(chǔ)的代理式 AI 工作負(fù)載。這些機(jī)架共同構(gòu)成了一個(gè)統(tǒng)一的系統(tǒng)，將為全球最具能效和和成本效益的數(shù)據(jù)中心提供動(dòng)力支持。

NVIDIA Vera Rubin POD 包含 5 個(gè)機(jī)架級系統(tǒng)、1 臺(tái) AI 超級計(jì)算機(jī)、1 臺(tái) NVIDIA MGX 機(jī)架架構(gòu)和生態(tài)系統(tǒng)

POD 中的每個(gè)芯片都通過第三代 NVIDIA MGX 機(jī)架進(jìn)行擴(kuò)展，并由 80 多家 NVIDIA MGX 生態(tài)系統(tǒng)合作伙伴組成的全球供應(yīng)鏈提供支持。由于所有 NVIDIA MGX 機(jī)架在供電、冷卻和機(jī)械結(jié)構(gòu)上保持一致，因此可以實(shí)現(xiàn)快速部署和無縫過渡。

本文將介紹 NVIDIA Vera Rubin POD，其由五個(gè)專用機(jī)架級系統(tǒng)組成，基于第三代 NVIDIA MGX 機(jī)架架構(gòu)構(gòu)建，專為代理式 AI 時(shí)代打造。

通過以下幾個(gè)方面具體了解：

• 隆重推出 NVIDIA Vera Rubin POD
• • NVIDIA Vera Rubin NVL72 GPU 機(jī)架：四大擴(kuò)展定律平臺(tái)
  • NVIDIA Groq 3 LPX 機(jī)架：推理加速器機(jī)架
  • NVIDIA Vera CPU 機(jī)架：大規(guī)模代理式 AI 和強(qiáng)化學(xué)習(xí)
  • NVIDIA BlueField-4 STX 存儲(chǔ)機(jī)架：AI 原生存儲(chǔ)
  • NVIDIA Spectrum-6 SPX 以太網(wǎng)機(jī)架：網(wǎng)絡(luò)機(jī)架
• 第三代 NVIDIA MGX 機(jī)架級架構(gòu)
• • 實(shí)現(xiàn)彈性和可擴(kuò)展性
  • 確保從芯片到電網(wǎng)的峰值能效
  • 釋放更多計(jì)算能源預(yù)算
  • 開放標(biāo)準(zhǔn)
• NVIDIA MGX NVL 機(jī)架
• • NVIDIA Vera Rubin NVL72 的簡化設(shè)計(jì)
  • NVIDIA Vera Rubin Ultra NVL576
  • NVIDIA Kyber NVL1152：下一代
• NVIDIA MGX ETL 機(jī)架
• • NVIDIA Spectrum-X 以太網(wǎng) spine
  • 芯片間 spine 直連
• NVIDIA Vera Rubin DSX AI 工廠平臺(tái)

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：NVIDIA Vera Rubin POD：7 個(gè)芯片、5 個(gè)機(jī)架級系統(tǒng)、1 臺(tái) AI 超級計(jì)算機(jī) - NVIDIA 技術(shù)博客