智東西
作者 ZeR0
編輯 漠影

智東西12月16日報道，今日，英偉達推出了NVIDIA Nemotron 3系列開放模型、數(shù)據(jù)和庫，并公布Nemotron 3 Nano模型的技術(shù)報告。

Nemotron 3模型包括Nano、Super、Ultra三種規(guī)模，可幫助大規(guī)模開發(fā)并部署可靠的多智能體系統(tǒng)，實現(xiàn)快速、長上下文推理。

• Nemotron 3 Nano：擁有300億參數(shù)的小型模型，每次運行最多激活30億參數(shù)，適用于針對性、高效的任務(wù)，主打高計算成本效益，展現(xiàn)了增強的智能體、推理和聊天能力，針對軟件調(diào)試、內(nèi)容摘要、AI助手工作流及信息檢索等任務(wù)進行了優(yōu)化。
• Nemotron 3 Super：擁有約1000億參數(shù)的高精度推理模型，每個token最多激活100億參數(shù)，適用于多智能體應用，在需要多智能體協(xié)作完成低延遲復雜任務(wù)的應用中表現(xiàn)出色。
• Nemotron 3 Ultra：擁有約5000億參數(shù)的大型推理引擎，每個token最多激活500億參數(shù)，適用于復雜的AI應用，可服務(wù)于需要深度研究和策略規(guī)劃的AI工作流。

Nemotron 3系列模型引入了混合Mamba-Transformer MoE架構(gòu)、跨交互式環(huán)境的強化學習、原生100萬個token的上下文窗口，為多智能體應用實現(xiàn)高吞吐量、長時域推理。

該模型引入了多項創(chuàng)新，直接滿足了智能體系統(tǒng)的需求：

• 采用混合Mamba-Transformer MoE主干網(wǎng)，實現(xiàn)卓越的測試時間效率和長距離推理能力。
• 圍繞真實世界的智能體任務(wù)設(shè)計的多環(huán)境強化學習。
• 支持深度多文檔推理和長時間運行的智能體記憶的100萬個token上下文長度。
• 一個開放、透明的訓練流程，包括數(shù)據(jù)、權(quán)重和配方。

根據(jù)技術(shù)報告，相比類似參數(shù)規(guī)模的開放模型（如GPT-OSS 20B和Qwen3-30B-A3B-Thinking-2507），Nemotron 3 Nano實現(xiàn)了多達3.3倍的推理吞吐量。

Nemotron 3 Nano已上線Hugging Face平臺，并通過Baseten、Deepinfra、Fireworks、FriendliAI、OpenRouter、Together AI等推理服務(wù)商提供。

Hugging Face地址：huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8

Nemotron 3 Nano體驗地址：build.nvidia.com/nvidia/nemotron-3-nano-30b-a3b

Nemotron 3 Super和Ultra預計將于2026年上半年推出。這兩款模型采用了基于NVIDIA Blackwell架構(gòu)的超高效4位NVFP4訓練格式和創(chuàng)新的潛在MoE架構(gòu)，可顯著降低顯存需求，加速訓練進程，提高模型質(zhì)量。

這兩款更高性能模型，將是明年開源社區(qū)期待的重點產(chǎn)品。

除了整套前沿開放模型外，英偉達還發(fā)布了面向?qū)I(yè)AI智能體開發(fā)者的訓練數(shù)據(jù)集與前沿強化學習庫集合，多方位助力構(gòu)建高精度、高效的專業(yè)AI智能體。

值得關(guān)注的是，英偉達并不只是追求基準測試成績，而是通過開源開放，將訓練數(shù)據(jù)、強化學習環(huán)境、訓練代碼等傾囊放出，希望更多開發(fā)者得以利用更優(yōu)質(zhì)的數(shù)據(jù)構(gòu)建更好的模型，大幅降低開發(fā)門檻。

Nemotron 3模型權(quán)重根據(jù)英偉達開放模型許可協(xié)議公開發(fā)布。英偉達的合成預訓練語料庫（近10萬億個token）可供查閱或重新利用。開發(fā)者還可以訪問Nemotron GitHub代碼庫中的詳細訓練和訓練后處理方案，從而實現(xiàn)完全的可復現(xiàn)性和自定義性。

此外，英偉達今日宣布收購AI開源工作負載管理系統(tǒng)提供商SchedMD。SchedMD由Slurm軟件開發(fā)人員Morris “Moe” Jette和Danny Auble于2010年在美國加州利弗莫爾創(chuàng)立。其提供開源的Slurm技術(shù)，可幫助安排可能占用數(shù)據(jù)中心服務(wù)器容量很大一部分的大型計算作業(yè)。

英偉達稱將繼續(xù)以開源方式分發(fā)SchedMD的軟件，英偉達與SchedMD聯(lián)手正在加強開源軟件生態(tài)系統(tǒng)，以促進各行各業(yè)、各個規(guī)模的高性能計算和AI創(chuàng)新。

一、多項基準測試分數(shù)超30B Qwen3和20B GPT-OSS

Nemotron 3系列的首款產(chǎn)品Nemotron 3 Nano，專為DGX Spark、H100和B200 GPU設(shè)計，實現(xiàn)了高吞吐量效率。

獨立AI基準測試機構(gòu)Artificial Analysis評定該模型為同等規(guī)模模型中兼具極高開放性和效率及高精度的模型。

根據(jù)Nemotron 3 Nano技術(shù)報告，相比相似規(guī)模的Qwen3-30B-A3B-Thinking-2507和GPT-OSS-20B模型，Nemotron 3 Nano在多個基準測試中實現(xiàn)了同等或更好的精度。

在大多數(shù)通用知識、代碼、數(shù)學、常識理解，閱讀理解，多語言和長上下文基準中，Nemotron 3 Nano均取得了高于Qwen3-30B-A3B-Base模型的分數(shù)。

在數(shù)學和科學推理、編程、智能體工具使用、指令遵循、長期上下文理解和多語言能力等綜合性能評估中，Nemotron 3 Nano在所有類別均超過了GPT-OSS 20B和Qwen3-30B-A3B-Thinking-2507。

在推理基準上，Nemotron 3 Nano超過了Qwen3模型，并與之前在這些類別中最好的模型GPT-OSS比肩。在智能體、聊天和長上下文類別中，Nemotron 3 Nano顯著優(yōu)于其他兩種模型。

Nemotron系列模型的早期用戶包括埃森哲、Cadence、CrowdStrike、Cursor、德勤、安永、Oracle Cloud Infrastructure、Perplexity、ServiceNow、西門子、新思科技和Zoom。他們正將Nemotron系列模型集成到制造、網(wǎng)絡(luò)安全、軟件開發(fā)、媒體、通信等行業(yè)的AI工作流中。

該模型已上線多個企業(yè)級AI與數(shù)據(jù)基礎(chǔ)設(shè)施平臺，包括Couchbase、DataRobot、H2O.ai、JFrog、Lambda及UiPath。

此外，Nemotron 3 Nano將通過Amazon Bedrock（無服務(wù)器模式）在亞馬遜云科技（AWS）平臺上提供給使用公有云的客戶，并且也即將支持Google Cloud、Coreweave、Crusoe、Microsoft Foundry、Nebius、Nscale及Yotta。

Nemotron 3 Nano同時以NVIDIA NIM形式提供，可在NVIDIA加速基礎(chǔ)設(shè)施上進行安全、可擴展的部署，具有極高的隱私性與可控性。

二、混合Mamba-Transformer、多環(huán)境強化學習訓練、4位NVFP4訓練

英偉達意在打造出更實用的模型，這在其模型設(shè)計中可見一斑。

1、混合Mamba-Transformer

Nemotron 3將三種架構(gòu)集成到一個單一的主干網(wǎng)中：

• 用于高效序列建模的Mamba層；
• 用于精確推理的Transformer層；
• MoE路由實現(xiàn)可擴展的計算效率。

Mamba擅長以最小的內(nèi)存開銷跟蹤長距離依賴關(guān)系，即使處理數(shù)十萬個token也能保持持續(xù)的性能。Transformer層通過精細的注意力機制對此進行補充，這些機制可以捕獲代碼操作、數(shù)學推理或復雜規(guī)劃等任務(wù)所需的結(jié)構(gòu)和邏輯關(guān)系。

MoE組件在不增加密集計算成本的情況下，顯著提升了有效參數(shù)數(shù)量。每個token僅激活一部分專家，從而降低延遲并提高吞吐量。這種架構(gòu)尤其適用于智能體集群，因為在集群中，許多輕量級智能體需要并發(fā)運行——每個智能體生成計劃、檢查上下文或執(zhí)行基于工具的工作流。

▲Nemotron 3混合架構(gòu)。該模型將Mamba-2和MoE層與少量自注意力層交錯排列，在保持最先進準確率的同時，極大限度地提高了推理吞吐量。

Nemotron 3 Nano使用25T個token進行訓練，batch size為3072，并采用Warmup-Stable-Decay（WSD）學習率調(diào)度策略，其中包含8B個token的學習率預熱階段，峰值學習率為1e-3，最小學習率為1e-5。

模型共有52層，其中23層為MoE層，23層為Mamba-2層，其余6層使用分組查詢注意力機制（GQA），分為2個組。每個MoE層包含128個專家和1個共享專家，每個token激活6個專家。

該模型共有35億個活躍參數(shù)和300億個總參數(shù)，支持英語、德語、西班牙語、法語、意大利語和日語，使用Qwen進行了改進。

這一設(shè)計使其token吞吐量較Nemotron 2 Nano最高提升4倍，并減少了多達60%的推理token生成量，大大降低了推理成本。

▲Nemotron 3 Nano架構(gòu)

2、多環(huán)境強化學習訓練

為了使Nemotron 3更貼近真實的智能體行為，英偉達使用一個用于構(gòu)建和擴展強化學習環(huán)境的開源庫NeMo Gym在多種環(huán)境中對模型進行后訓練。這些環(huán)境評估模型執(zhí)行一系列動作的能力。

這種基于軌跡的強化訓練方法能夠生成在多步驟工作流程中表現(xiàn)可靠的模型，減少推理漂移，并處理智能體管道中常見的各種結(jié)構(gòu)化操作。

這些環(huán)境和強化學習數(shù)據(jù)集，連同NeMo Gym，都是開源的。開發(fā)者可在為特定領(lǐng)域任務(wù)定制模型時，重用、擴展甚至創(chuàng)建自己的環(huán)境。

3、100萬token上下文長度

Nemotron 3的百萬級上下文容量，具有更強的記憶能力，在處理長時間多步驟任務(wù)時能更精準地關(guān)聯(lián)信息，支持對大型代碼庫、長文檔、擴展對話和聚合檢索內(nèi)容進行持續(xù)推理。

智能體不再依賴碎片化的分塊啟發(fā)式方法，而是可以將完整的證據(jù)集、歷史緩沖區(qū)和多階段計劃保存在單個上下文窗口中。

其混合Mamba-Transformer架構(gòu)能夠高效地處理超大型序列，實現(xiàn)長上下文窗口。MoE路由也降低了每個token的計算量，使得在推理時處理這些大型序列成為可能。

不過由于Hugging Face配置中VRAM要求較高，默認上下文大小為256k。

4、潛在MoE（latent MoE）

Nemotron 3 Super和Ultra引入了潛在MoE，其中專家在將輸出投影回token空間之前，先對共享的潛在表示進行操作。

這種方法使得模型能夠在相同的推理成本下調(diào)用4倍的專家，從而更好地針對微妙的語義結(jié)構(gòu)、領(lǐng)域抽象或多跳推理模式進行專門化。

▲標準MoE與潛在MoE架構(gòu)對比。在潛在MoE中，token被投影到更小的潛在維度進行專家路由和計算，從而降低通信成本，同時支持更多專家并提高每字節(jié)的準確率。

5、多token預測（MTP）

MTP使模型能夠在一次前向傳播中預測多個未來token，顯著提高長推理序列和結(jié)構(gòu)化輸出的吞吐量。

對于規(guī)劃、軌跡生成、擴展思維鏈或代碼生成，MTP可降低延遲并提高智能體的響應速度。

▲多token預測，同時預測多個未來token，在訓練期間將準確率提高約2.4%，同時在推理時實現(xiàn)推測性解碼速度的提升。

6、NVFP4訓練

Super和Ultra模型均采用NVFP4格式進行預訓練。NVFP4是英偉達的4位浮點格式，可在訓練和推理方面提供一流的成本精度比，可顯著降低顯存需求并加速訓練進程。

英偉達為Nemotron 3設(shè)計了更新的NVFP4算法，以確保在其25T token預訓練數(shù)據(jù)集上實現(xiàn)準確穩(wěn)定的預訓練。預訓練期間的大部分浮點乘加運算均采用NVFP4格式。

這種效率使更大規(guī)模模型能在現(xiàn)有基礎(chǔ)設(shè)施上進行訓練，不會因更高精度格式而犧牲準確性。

三、推出全新開放工具與數(shù)據(jù)，用于AI智能體定制

NVIDIA還發(fā)布了面向?qū)I(yè)AI智能體開發(fā)者的訓練數(shù)據(jù)集與前沿強化學習庫集合，以前所未有的透明度展現(xiàn)了高性能、可信賴的模型是如何構(gòu)建的。

3萬億token規(guī)模的全新Nemotron預訓練、后訓練及強化學習數(shù)據(jù)集，為開發(fā)高性能特定領(lǐng)域智能體提供了豐富的推理、編碼及多步驟工作流范例。

Nemotron Agentic Safety數(shù)據(jù)集則提供真實場景的遙測數(shù)據(jù)，幫助團隊評估并提升復雜智能體系統(tǒng)的安全性。

新數(shù)據(jù)集亮點包括：

• Nemotron預訓練3萬億個token的數(shù)據(jù)集，對代碼、數(shù)學和推理的覆蓋范圍更廣，并通過合成增強和標注管道得到增強。
• Nemotron后訓練3.0：包含1300萬個樣本的語料庫，用于監(jiān)督微調(diào)和強化學習，為 Nemotron 3 Nano的對齊和推理提供支持。
• Nemotron-RL數(shù)據(jù)集：精選的強化學習數(shù)據(jù)集和環(huán)境集合，用于工具使用、規(guī)劃和多步驟推理。
• Nemotron智能體安全數(shù)據(jù)集：包含近11000個AI智能體工作流程軌跡的集合，旨在幫助研究人員評估和減輕智能體系統(tǒng)中新出現(xiàn)的安全風險。

為加速開發(fā)進程，英偉達發(fā)布了NeMo Gym與NeMo RL開源庫，為Nemotron模型提供訓練環(huán)境及后訓練基礎(chǔ)，同時還推出用于驗證模型安全性和性能的NeMo Evaluator。

結(jié)合英偉達NeMo Gym、RL、Data Designer和Evaluator等開源庫，上述開源數(shù)據(jù)集使開發(fā)者能夠訓練、增強和評估他們自己的Nemotron模型。

這些工具及數(shù)據(jù)集已上線GitHub和Hugging Face平臺。

Nemotron 3已獲得LM Studio、llama.cpp、SGLang和vLLM支持。此外，Prime Intellect與Unsloth正將NeMo Gym的即用型訓練環(huán)境直接集成至其工作流，使團隊能夠更加快速、便捷地獲得強大的強化學習訓練能力。

同時，英偉達維護著一個開源的Nemotron GitHub代碼庫，其中包括：

• 預訓練方案（已提供）展示了Nemotron 3 Nano的訓練方式；
• 用于多環(huán)境優(yōu)化的強化學習對齊方法；
• 數(shù)據(jù)處理流程、分詞器配置和長上下文設(shè)置；
• 未來的更新將包括更多訓練后調(diào)整和微調(diào)的配方。

GitHub存儲庫提供了文檔、配置和工具，可端到端地重現(xiàn)關(guān)鍵步驟。

使用英偉達的開放資源，用戶可以運行模型、部署模型、檢查模型的構(gòu)建方式，以及訓練自己的模型。

四、四個階段訓練方法公開

英偉達已披露NVIDIA-Nemotron-3-Nano-30B-A3B-BF16模型的訓練方法。

該模型使用英語以及其他19種語言和43種編程語言進行訓練。其數(shù)據(jù)源涵蓋多種文檔類型，如網(wǎng)頁、對話、文章和其他書面材料，語料庫涉及法律、數(shù)學、科學、金融等多個領(lǐng)域。

為了提高模型準確率，英偉達還加入了一小部分問答和對齊類型的數(shù)據(jù)。該模型使用約25萬億個token進行訓練。

該模型的的后訓練語料庫包含高質(zhì)量的精選數(shù)據(jù)和合成數(shù)據(jù)。后訓練使用的主要語言包括英語、德語、西班牙語、法語、意大利語和日語。

第一階段：預訓練

NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16模型使用爬取和合成的代碼、數(shù)學、科學和通用知識數(shù)據(jù)進行預訓練。所有數(shù)據(jù)集均在Hugging Face上披露。預訓練語料庫的大部分已發(fā)布在Nemotron-Pre-Training-Datasets數(shù)據(jù)集中。

預訓練所用軟件：Megatron-LM

第二階段：監(jiān)督式微調(diào)

該模型在合成代碼、數(shù)學、科學、工具調(diào)用、指令執(zhí)行、結(jié)構(gòu)化輸出和通用知識數(shù)據(jù)上進行了進一步的微調(diào)。所有數(shù)據(jù)集均已公開。微調(diào)語料庫的主要部分已發(fā)布在Nemotron-Post-Training-v3數(shù)據(jù)集中。

用于監(jiān)督式微調(diào)的軟件：Megatron-LM

第三階段：強化學習

該模型在數(shù)學、代碼、科學、指令跟隨、多步驟工具使用、多輪對話和結(jié)構(gòu)化輸出等多種環(huán)境下，采用同步GRPO（群體相對策略優(yōu)化）進行多環(huán)境強化學習。對話質(zhì)量通過使用生成式獎勵模型的RLHF進一步提升。

所有數(shù)據(jù)集均在本文檔的“訓練、測試和評估數(shù)據(jù)集”部分中公開。強化學習環(huán)境和數(shù)據(jù)集已作為NeMo Gym的一部分發(fā)布。

用于強化學習的軟件：NeMo RL、NeMo Gym

第四階段：訓練后量化

包含KV緩存的模型被量化為FP8。為了在提高效率的同時保持準確性，英偉達采用了選擇性量化策略，將注意力層和輸入到這些注意力層的Mamba層保留為BF16。

用于量化的軟件：模型優(yōu)化器

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8模型是上述工作的成果。完整的端到端訓練方案可在NVIDIA Nemotron開發(fā)者代碼庫中找到。評估結(jié)果可使用NeMo Evaluator SDK進行復現(xiàn)。

結(jié)語：瞄準多智能體系統(tǒng)，追求透明與高效

“開放創(chuàng)新是AI進步的基礎(chǔ)。通過Nemotron，我們將先進AI轉(zhuǎn)化成開放平臺，為開發(fā)者提供構(gòu)建大規(guī)模代理式系統(tǒng)所需的透明度與效率。”英偉達創(chuàng)始人兼CEO黃仁勛說。

隨著企業(yè)從單模型對話機器人轉(zhuǎn)向協(xié)作式多智能體AI系統(tǒng)，開發(fā)者面臨通信開銷、上下文漂移和高推理成本等挑戰(zhàn)。此外，開發(fā)者需要模型具備透明度，才能信任其用于自動化復雜工作流。

Nemotron 3開放模型則直面這些挑戰(zhàn)，提供開發(fā)專業(yè)化代理式AI所需的性能與開放性，使初創(chuàng)公司能夠更快開發(fā)和迭代AI智能體，并加快從原型到企業(yè)級部署的創(chuàng)新進程。

單一工作流中，在前沿模型與Nemotron之間進行任務(wù)路由，不僅能提供更強大的智能體，還可以優(yōu)化token經(jīng)濟效益。

英偉達不僅僅是把目光放在單個模型上，而是押注于更龐大的智能體系統(tǒng)。要能對這些系統(tǒng)委以信任，開放、透明、可檢查的基礎(chǔ)架構(gòu)至關(guān)重要。

Mayfield管理合伙人Navin Chaddha認為，英偉達的開放模型堆棧與NVIDIA初創(chuàng)加速計劃為初創(chuàng)公司提供了各類模型、工具及經(jīng)濟高效的基礎(chǔ)設(shè)施，助力其開展試驗、實現(xiàn)差異化發(fā)展并快速擴展規(guī)模。Nemotron 3可以讓創(chuàng)始人在構(gòu)建代理式AI應用和AI隊友方面取得先機，并幫助他們利用NVIDIA龐大的用戶基礎(chǔ)。