• NVIDIA BlueField-4 為 NVIDIA 推理上下文記憶存儲(chǔ)平臺(tái)提供支持，這是一種專為超大規(guī)模級(jí)推理而設(shè)計(jì)的新型 AI 原生存儲(chǔ)基礎(chǔ)設(shè)施，旨在加速和擴(kuò)展代理式 AI。
• 全新存儲(chǔ)處理器平臺(tái)專為長(zhǎng)上下文處理的代理式 AI 系統(tǒng)而構(gòu)建，并具備超快速的長(zhǎng)短期記憶功能。
• 推理上下文記憶存儲(chǔ)平臺(tái)可擴(kuò)展 AI 智能體的長(zhǎng)期記憶，并實(shí)現(xiàn)了機(jī)架規(guī)模 AI 系統(tǒng)集群之間的高帶寬上下文共享，從而將每秒處理的 token 數(shù)量和能效提升高達(dá) 5 倍。
• 憑借 NVIDIA Spectrum-X 以太網(wǎng)，多輪 AI 智能體的擴(kuò)展上下文記憶可提高響應(yīng)速度、提高每個(gè) GPU 的吞吐量，并支持智能體推理的高效擴(kuò)展。

NVIDIA 宣布，NVIDIA BlueField?-4 數(shù)據(jù)處理器作為全棧 NVIDIA BlueField 平臺(tái)的一部分，為 NVIDIA 推理上下文記憶存儲(chǔ)平臺(tái)提供支持，這是一種新型 AI 原生存儲(chǔ)基礎(chǔ)設(shè)施，專為 AI 新前沿而打造。

隨著 AI 模型擴(kuò)展到數(shù)萬(wàn)億參數(shù)和多步驟推理，它們會(huì)生成大量的上下文數(shù)據(jù)，并以鍵值（KV）緩存表示，這對(duì)準(zhǔn)確性、用戶體驗(yàn)和連續(xù)性至關(guān)重要。

鍵值（KV）緩存無(wú)法長(zhǎng)期存儲(chǔ)在 GPU 上，因?yàn)檫@會(huì)成為多智能體系統(tǒng)中實(shí)時(shí)推理的瓶頸。AI 原生應(yīng)用需要一種新型的可擴(kuò)展基礎(chǔ)設(shè)施來(lái)存儲(chǔ)和共享這些數(shù)據(jù)。

NVIDIA 推理上下文記憶存儲(chǔ)平臺(tái)通過(guò)擴(kuò)展 GPU 內(nèi)存容量，為上下文記憶提供基礎(chǔ)設(shè)施，實(shí)現(xiàn)跨節(jié)點(diǎn)的高速共享，與傳統(tǒng)存儲(chǔ)相比，可將每秒處理的 token 數(shù)量和能效提升高達(dá) 5 倍。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI 正在徹底改變整個(gè)計(jì)算堆棧，現(xiàn)在，存儲(chǔ)也加入了這場(chǎng)變革。AI 不再是那種單次交互的聊天機(jī)器人，而是能夠理解物理世界、進(jìn)行長(zhǎng)期推理、基于事實(shí)、使用工具完成實(shí)際工作并兼具短期和長(zhǎng)期記憶的智能協(xié)作伙伴。借助 BlueField-4，NVIDIA 及其軟硬件合作伙伴正在為 AI 新前沿重塑存儲(chǔ)堆棧?！?/p>

以上為新聞?wù)獌?nèi)容，如需閱讀新聞全文，請(qǐng)?jiān)L問(wèn)鏈接：https://blogs.nvidia.cn/blog/nvidia-bluefield-4-powers-new-class-of-ai-native-storage-infrastructure-for-the-next-frontier-of-ai/