NVIDIA 今日宣布，用于大規(guī)模生成式和智能體推理的開(kāi)源軟件 NVIDIA Dynamo 1.0 現(xiàn)已在全球范圍內(nèi)被廣泛采用。Dynamo 1.0 與 NVIDIA Blackwell 平臺(tái)相結(jié)合，助力云服務(wù)提供商、AI 創(chuàng)新者和全球企業(yè)能夠以無(wú)與倫比的規(guī)模、效率和速度提供高性能的 AI 推理服務(wù)。

隨著代理式 AI 系統(tǒng)在各行各業(yè)的應(yīng)用，數(shù)據(jù)中心內(nèi)的推理擴(kuò)展已成為一項(xiàng)復(fù)雜的資源編排挑戰(zhàn)，不同規(guī)模、不同模態(tài)的請(qǐng)求以及性能目標(biāo)會(huì)以不可預(yù)測(cè)的突發(fā)形式出現(xiàn)。

正如計(jì)算機(jī)的操作系統(tǒng)協(xié)調(diào)硬件和應(yīng)用程序一樣，Dynamo 1.0 作為 AI 工廠的分布式“操作系統(tǒng)”，在集群中無(wú)縫地協(xié)調(diào) GPU 和顯存、內(nèi)存等存儲(chǔ)資源，以驅(qū)動(dòng)復(fù)雜的 AI 工作負(fù)載。

此外，通過(guò)將 NVIDIA Dynamo 和 NVIDIA TensorRT? LLM 庫(kù)優(yōu)化集成到 LangChain、llm-d、LMCache、SGLang、vLLM 等各大供應(yīng)商的熱門框架中，NVIDIA 正在加速開(kāi)源生態(tài)系統(tǒng)的發(fā)展。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“推理是智能的引擎，驅(qū)動(dòng)了每一次查詢、每一個(gè)智能體以及每一個(gè)應(yīng)用。通過(guò) NVIDIA Dynamo，我們創(chuàng)建了首個(gè)面向 AI 工廠的‘操作系統(tǒng)’。整個(gè)生態(tài)系統(tǒng)中的快速采用表明新一波代理式 AI 浪潮已經(jīng)到來(lái)，NVIDIA 正在全球范圍內(nèi)推動(dòng)其發(fā)展?！?/p>

以上為新聞?wù)獌?nèi)容，如需閱讀新聞全文，請(qǐng)點(diǎn)擊鏈接：NVIDIA 推出 Dynamo 生產(chǎn)版本：廣泛采用的 AI 工廠推理操作系統(tǒng) | NVIDIA 英偉達(dá)博客