AI智能體必須能夠在大型上下文和長期時間段內(nèi)進行合作、協(xié)調(diào)和執(zhí)行，Nvidia表示，這需要一種新型的基礎設施，一種開放的基礎設施。

該公司表示，它已經(jīng)找到了答案——推出全新的Nemotron 3開放模型家族。

開發(fā)人員和工程師可以使用這些新模型來創(chuàng)建特定領域的AI智能體或應用程序，而無需從頭構(gòu)建基礎模型。Nvidia還發(fā)布了其大部分訓練數(shù)據(jù)和強化學習（RL）庫，供任何希望構(gòu)建AI智能體的人使用。

"這是Nvidia對DeepSeek擾亂AI市場的回應，"西北AI咨詢公司的Wyatt Mayham表示。"他們提供了一個具有企業(yè)支持和硬件優(yōu)化的'業(yè)務就緒'開放替代方案。"

Nemotron 3具有Nvidia所稱的"突破性混合潛在專家混合（MoE）架構(gòu)"。該模型有三種規(guī)模：

Nano：最小且最具"計算成本效益"的版本，專為定向、高效的任務而設計，如快速信息檢索、軟件調(diào)試、內(nèi)容摘要和AI助手工作流程。這個300億參數(shù)模型一次激活30億參數(shù)以提升速度，擁有100萬Token的上下文窗口，使其能夠在多步驟任務中記憶和連接信息。

Super：一個先進的高精度推理模型，擁有大約1000億參數(shù)，每個Token最多激活100億參數(shù)。它專為需要多個協(xié)作智能體來處理復雜任務的應用而設計，如深度研究和戰(zhàn)略規(guī)劃，具有低延遲特性。

Ultra：一個大型推理引擎，專為復雜AI應用而設計。它擁有5000億參數(shù)，每個Token最多激活500億參數(shù)。

Nemotron 3 Nano現(xiàn)已在Hugging Face以及其他推理服務提供商和企業(yè)AI及數(shù)據(jù)基礎設施平臺上提供。它很快將通過Amazon Bedrock在AWS上可用，并將在Google Cloud、CoreWeave、Microsoft Foundry和其他公共基礎設施上得到支持。它還作為預構(gòu)建的Nvidia NIM微服務提供。

Nemotron 3 Super和Ultra預計將在2026年上半年可用。

專家指出，這里的戰(zhàn)略定位與API提供商根本不同。

"Nvidia并不試圖與OpenAI或Anthropic的托管服務競爭——他們將自己定位為企業(yè)構(gòu)建和擁有自己AI智能體的基礎設施層，"Mayham說道。

Info-Tech研究集團的首席研究總監(jiān)Brian Jackson同意Nemotron模型不是現(xiàn)成的產(chǎn)品。"它們更像是開發(fā)人員可以開始使用的預制餐包，"他說，"并在過程中進行所需的修改，以獲得他們想要的確切效果。"

到目前為止，Nemotron 3似乎在效率和性能方面表現(xiàn)出令人印象深刻的提升；根據(jù)第三方基準測試公司Artificial Analysis的數(shù)據(jù)，Nano在同等規(guī)模的模型中最為高效，并在準確性方面領先。

Nvidia表示，Nano的混合Mamba-Transformer MoE架構(gòu)將三種架構(gòu)集成到單一骨干網(wǎng)絡中，支持這種效率。Mamba層提供高效的序列建模，Transformer層提供精確推理，MoE路由提供可擴展的計算效率。該公司表示，這種設計相比Nemotron 2 Nano提供了4倍更高的Token吞吐量，同時將推理Token生成減少了高達60%。

"吞吐量是智能體AI的關鍵指標，"Mayham說。"當你協(xié)調(diào)數(shù)十個并發(fā)智能體時，推理成本會急劇上升。更高的吞吐量意味著每個Token的成本更低，實時智能體行為響應更快。"

他指出，推理Token生成減少60%解決了"冗長問題"，即思維鏈（CoT）模型在產(chǎn)生有用輸出之前會生成過多的內(nèi)部推理。"對于構(gòu)建多智能體系統(tǒng)的開發(fā)人員來說，這直接轉(zhuǎn)化為更低的延遲和更少的計算成本。"

即將推出的Nemotron 3 Super，Nvidia表示，在需要多個協(xié)作智能體以低延遲實現(xiàn)復雜任務的應用中表現(xiàn)出色，而Nemotron 3 Ultra將作為需要深度研究和戰(zhàn)略規(guī)劃的AI工作流程的高級推理引擎。

Mayham解釋說，這些尚未發(fā)布的模型具有潛在MoE功能，在專家路由之前將Token投影到較小的潛在維度中，"理論上"能夠在相同推理成本下實現(xiàn)4倍的專家數(shù)量，因為它減少了GPU之間的通信開銷。

Mayham表示，Nemotron 3背后結(jié)合Mamba-2層、稀疏Transformer和MoE路由的混合架構(gòu)"在其組合方面確實新穎"，盡管每種技術(shù)在其他地方都單獨存在。

最終，Nemotron的定價是"有吸引力的"，他說；開放權(quán)重可以免費下載并在本地運行。他指出，DeepInfra上的第三方API定價從每百萬輸入Token 0.06美元開始，"明顯比GPT-4o便宜"。

為了強調(diào)其對開源的承諾，Nvidia正在揭示Nemotron 3的一些內(nèi)部工作原理，發(fā)布具有真實世界遙測數(shù)據(jù)的安全評估數(shù)據(jù)集，以及Nemotron 3的預訓練、后訓練和RL數(shù)據(jù)集的3萬億Token。

此外，Nvidia正在開源其NeMo Gym和NeMo RL庫，它們提供Nemotron 3的訓練環(huán)境和后訓練基礎，以及NeMo Evaluator，幫助構(gòu)建者驗證模型安全性和性能。這些現(xiàn)在都在GitHub和Hugging Face上可用。其中，Mayham指出，NeMo Gym可能是此次發(fā)布中最"具有戰(zhàn)略意義"的部分。

Mayham解釋說，預訓練教模型預測Token，而不是完成特定領域的任務，傳統(tǒng)的人類反饋強化學習（RLHF）無法為復雜的智能體行為擴展。NeMo Gym啟用了具有可驗證獎勵的RL——本質(zhì)上是任務完成的計算驗證，而不是主觀的人類評分。也就是說，代碼是否通過了測試？數(shù)學是否正確？工具是否被正確調(diào)用？

這為構(gòu)建特定領域智能體的開發(fā)人員提供了基礎設施，讓他們在自己的工作流程上訓練模型，而無需了解完整的RL訓練循環(huán)。

Moor Insights & Strategy的副總裁兼首席分析師Jason Andersen解釋說："這個想法是NeMo Gym將加速模型RL作業(yè)的設置和執(zhí)行。重要的區(qū)別是NeMo Gym將RL環(huán)境與訓練本身分離，因此它可以輕松設置和創(chuàng)建多個訓練實例（或'健身房'）。"

Mayham稱這種"前所未有的開放性"是Nemotron 3發(fā)布的真正差異化因素。"沒有主要競爭對手提供這種程度的完整性，"他說。"對于企業(yè)來說，這意味著對定制、本地部署和成本優(yōu)化的完全控制，這是封閉提供商根本無法匹配的。"

但Mayham指出，在能力方面存在權(quán)衡：Claude和GPT-4o在編程基準等專業(yè)任務上仍然優(yōu)于Nemotron 3。然而，Nemotron 3似乎針對的是不同的買家：需要部署靈活性且不希望供應商鎖定的企業(yè)。

"對企業(yè)的價值主張不是原始能力，而是開放權(quán)重、訓練數(shù)據(jù)、部署靈活性和Nvidia生態(tài)系統(tǒng)集成的結(jié)合，這是封閉提供商無法匹配的，"他說。

Q&A

Q1：Nemotron 3有哪些規(guī)格型號？各自的特點是什么？

A：Nemotron 3有三個型號：Nano（300億參數(shù)，計算成本最低，適用于信息檢索、軟件調(diào)試等高效任務）、Super（1000億參數(shù)，高精度推理，適用于多智能體協(xié)作的復雜任務）、Ultra（5000億參數(shù)，大型推理引擎，專為復雜AI應用設計）。

Q2：Nemotron 3相比傳統(tǒng)模型有哪些技術(shù)優(yōu)勢？

A：Nemotron 3采用混合Mamba-Transformer MoE架構(gòu)，相比Nemotron 2 Nano提供4倍更高的Token吞吐量，推理Token生成減少60%。這種設計結(jié)合了Mamba層的高效序列建模、Transformer層的精確推理和MoE路由的可擴展計算效率。

Q3：如何獲取和使用Nemotron 3？價格如何？

A：Nemotron 3 Nano現(xiàn)已在Hugging Face等平臺提供，開放權(quán)重免費下載本地運行。第三方API價格從每百萬輸入Token 0.06美元起，比GPT-4o便宜。Nvidia還開源了訓練數(shù)據(jù)、強化學習庫和評估工具供開發(fā)者使用。