這一全新開放模型系列引入了開放的混合 Mamba-Transformer MoE (mixture-of-experts) 架構(gòu)，使多智能體系統(tǒng)能夠進行快速長上下文推理。

NVIDIA Nemotron 3 系列開放模型 (Nano、Super、Ultra)、數(shù)據(jù)集和技術(shù)專為在新時代構(gòu)建專業(yè)代理式 AI 而設(shè)計。該系列引入了混合 Mamba-Transformer MoE 架構(gòu)、交互式環(huán)境強化學(xué)習(xí) (reinforcement learning, RL)，以及原生 100 萬 token 上下文窗口，可為多智能體應(yīng)用提供高吞吐量、長時推理能力。

• Nemotron 3 的核心技術(shù)：Nemotron 3 將三種架構(gòu)整合成一個主干：

1. Mamba 層：實現(xiàn)高效序列建模
2. Transformer 層：保障推理精度
3. MoE 路由：實現(xiàn)可擴展計算效率

Mamba 層擅長以極低顯存開銷追蹤長程依賴，即使處理數(shù)十萬 token 仍能保持穩(wěn)定的性能。Transformer 層通過精細注意力機制對此進行了補充，捕捉例如代碼操作、數(shù)學(xué)推理或復(fù)雜規(guī)劃等任務(wù)所需的結(jié)構(gòu)與邏輯關(guān)聯(lián)。

MoE 組件在不增加密集計算開銷的前提下提升了有效參數(shù)數(shù)量。每個 token 僅激活一部分專家，從而降低了延遲并提高了吞吐量。

圖 1：Nemotron 3 混合架構(gòu)。通過交錯部署 Mamba-2 與 MoE 層，輔以少量自注意力層，在保持領(lǐng)先精度的同時實現(xiàn)推理吞吐量最大化。

為使 Nemotron 3 契合真實代理式行為，該模型在 NeMo Gym（一個用于構(gòu)建和擴展 RL 環(huán)境的開源庫）中通過跨多種環(huán)境的強化學(xué)習(xí)進行后訓(xùn)練。這種基于軌跡的強化學(xué)習(xí)帶來了在多步驟工作流中表現(xiàn)穩(wěn)定的模型，減少推理漂移，并能處理代理式管道中常見的結(jié)構(gòu)化操作。

圖 2：Nemotron 3 Nano 通過混合 MoE 架構(gòu)實現(xiàn)極高的吞吐效率，并借助 NeMo Gym 的先進強化學(xué)習(xí)技術(shù)達到領(lǐng)先精度

Nemotron 3 的 100 萬 token 上下文使其能夠在大型代碼庫、長文檔、擴展對話及聚合檢索內(nèi)容中進行持續(xù)推理。智能體無需依賴碎片化的分塊啟發(fā)式方法，就可以在單個上下文窗口中完整保留證據(jù)集、歷史緩沖及多階段計劃。

• Nemotron 3 Super 與 Ultra 的核心技術(shù)：Nemotron 3 Super 與 Ultra 引入了潛在 MoE，其中專家先在共享潛在表示中運行，然后再將輸出結(jié)果投影回 token 空間。該方法使模型能夠在相同推理成本下調(diào)用多達 4 倍的專家，從而更好地圍繞微妙語義結(jié)構(gòu)、領(lǐng)域抽象或多跳推理模式實現(xiàn)專業(yè)化。

圖 3：標準 MoE 與潛在 MoE 架構(gòu)對比。在潛在 MoE 中，token 被投影至更小的潛在維度進行專家路由與計算，在降低通信成本的同時支持更多專家參與，并提高每字節(jié)精度。

多 token 預(yù)測 (MTP) 使模型能夠在一次前向傳播中預(yù)測多個未來 token，從而顯著提高長推理序列和結(jié)構(gòu)化輸出的吞吐量。

圖 4：多 token 預(yù)測（源自論文《通過多 token 預(yù)測實現(xiàn)更優(yōu)更快的大語言模型》）可同時預(yù)測多個未來 token，在訓(xùn)練階段將精度提高約 2.4%，在推理階段實現(xiàn)了推測性解碼加速。

Super 與 Ultra 模型采用 NVFP4 精度進行預(yù)訓(xùn)練，NVIDIA 的 4 位浮點格式可為訓(xùn)練與推理提供業(yè)界領(lǐng)先的成本精度比。我們?yōu)?Nemotron 3 設(shè)計了更新版 NVFP4 方案，確保在 25 萬億 token 預(yù)訓(xùn)練數(shù)據(jù)集上能夠?qū)崿F(xiàn)精準且穩(wěn)定的預(yù)訓(xùn)練。預(yù)訓(xùn)練過程中的大部分浮點乘加運算均采用 NVFP4 格式。

以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：深入解析 NVIDIA Nemotron 3：使其高效精準的技術(shù)、工具與數(shù)據(jù) - NVIDIA 技術(shù)博客