對于許多企業(yè)來說，AI技術(shù)的采用很大程度上依賴于高質(zhì)量開源權(quán)重模型的可用性。將敏感的客戶數(shù)據(jù)或來之不易的知識產(chǎn)權(quán)暴露給API以使用ChatGPT等封閉模型是不可接受的。

除了中國AI實(shí)驗(yàn)室之外，目前可用的少數(shù)開源權(quán)重模型與OpenAI或Anthropic等公司的專有模型相比并不占優(yōu)勢。

這不僅是企業(yè)采用的問題，也是英偉達(dá)智能體AI愿景的障礙，這家GPU巨頭急于清除這一障礙。周一，該公司在其武器庫中增加了三個自主設(shè)計(jì)的新開源權(quán)重模型。

開源權(quán)重模型對英偉達(dá)來說并不新鮮——該公司的大部分員工都是軟件工程師。然而，其最新一代的Nemotron大語言模型是迄今為止最強(qiáng)大和最開放的。

當(dāng)這些模型發(fā)布時，將提供三種規(guī)模：Nano、Super和Ultra，參數(shù)量分別約為300億、1000億和5000億。

除了模型權(quán)重（將在未來幾個月內(nèi)在Hugging Face等熱門AI倉庫上推出，本周首先推出Nemotron 3 Nano）之外，英偉達(dá)還承諾發(fā)布訓(xùn)練數(shù)據(jù)和用于創(chuàng)建這些模型的強(qiáng)化學(xué)習(xí)環(huán)境，為未來高度定制化的模型版本打開了大門。

這些模型還采用了新穎的"混合潛在專家混合"架構(gòu)，旨在最小化處理長輸入序列時的性能損失，比如攝取大型文檔并處理相關(guān)查詢。

這通過在模型層中結(jié)合使用Mamba-2和Transformer架構(gòu)來實(shí)現(xiàn)。Mamba-2在處理長序列時通常比Transformer更高效，從而縮短提示處理時間并提高Token生成速度的一致性。

英偉達(dá)表示，它使用Transformer層來保持"精確推理"并防止模型失去相關(guān)信息的上下文，這是在攝取長文檔或在擴(kuò)展聊天會話中跟蹤細(xì)節(jié)時的已知挑戰(zhàn)。

說到這里，這些模型原生支持一百萬Token的上下文窗口——相當(dāng)于大約3000頁雙倍行距的文本。

所有這些模型都采用專家混合架構(gòu)，這意味著對于處理和生成的每個Token，只有總參數(shù)數(shù)量的一小部分被激活。這減少了對內(nèi)存子系統(tǒng)的壓力，在相同硬件上實(shí)現(xiàn)比等效密集模型更快的吞吐量。

例如，Nemotron 3 Nano有300億個參數(shù)，但每生成一個Token只激活30億個參數(shù)。

雖然nano模型采用了與gpt-oss或Qwen3-30B-A3B中看到的相當(dāng)標(biāo)準(zhǔn)的專家混合架構(gòu)，但更大的Super和Ultra模型使用英偉達(dá)的NVFP4數(shù)據(jù)類型進(jìn)行預(yù)訓(xùn)練，并使用新的潛在專家混合架構(gòu)。

正如英偉達(dá)解釋的那樣，使用這種方法，"專家在共享潛在表示上操作，然后輸出被投影回Token空間。這種方法允許模型以相同的推理成本調(diào)用4倍多的專家，從而在微妙的語義結(jié)構(gòu)、領(lǐng)域抽象或多跳推理模式方面實(shí)現(xiàn)更好的專業(yè)化。"

最后，這些模型被設(shè)計(jì)為使用"多Token預(yù)測"，這是推測解碼的一種變體，通過在生成新Token時預(yù)測未來Token，可以將推理性能提高多達(dá)3倍。推測解碼在智能體應(yīng)用中特別有用，在這些應(yīng)用中需要重復(fù)處理和重新生成大量信息，比如代碼助手。

英偉達(dá)的300億參數(shù)Nemotron 3 Nano本周發(fā)布，設(shè)計(jì)為在企業(yè)硬件（如該供應(yīng)商的L40S或RTX Pro 6000服務(wù)器版）上高效運(yùn)行。然而，使用模型的4位量化版本，應(yīng)該可以將其塞入僅有24GB顯存的GPU中。

根據(jù)Artificial Analysis的數(shù)據(jù)，該模型提供與gpt-oss-20B或Qwen3 VL 32B和30B-A3B等模型相當(dāng)?shù)男阅?，同時為企業(yè)提供更大的定制靈活性。

模型定制的常用方法之一是強(qiáng)化學(xué)習(xí)，它使用戶能夠通過試錯來教授模型新信息或方法，其中理想的結(jié)果得到獎勵，而不理想的結(jié)果受到懲罰。除了新模型之外，英偉達(dá)還發(fā)布了強(qiáng)化學(xué)習(xí)數(shù)據(jù)集和訓(xùn)練環(huán)境（稱為NeMo Gym），以幫助企業(yè)針對其特定應(yīng)用或智能體工作流程微調(diào)模型。

Nemotron 3 Super和Ultra預(yù)計(jì)將在明年上半年首次亮相。

Q&A

Q1：英偉達(dá)Nemotron 3模型有哪些規(guī)格？

A：Nemotron 3模型提供三種規(guī)格：Nano（300億參數(shù)）、Super（1000億參數(shù)）和Ultra（5000億參數(shù)）。所有模型都支持一百萬Token的上下文窗口，相當(dāng)于約3000頁雙倍行距文本，并采用專家混合架構(gòu)來提高處理效率。

Q2：Nemotron 3 Nano的硬件要求是什么？

A：Nemotron 3 Nano設(shè)計(jì)為在英偉達(dá)L40S或RTX Pro 6000服務(wù)器版等企業(yè)硬件上高效運(yùn)行。使用4位量化版本的模型，可以在僅有24GB顯存的GPU上運(yùn)行，大大降低了硬件門檻。

Q3：英偉達(dá)為什么要發(fā)布開源權(quán)重模型？

A：英偉達(dá)發(fā)布開源權(quán)重模型主要是為了填補(bǔ)美國AI市場的空白，解決企業(yè)不愿將敏感數(shù)據(jù)暴露給封閉API的問題。這也是推進(jìn)其智能體AI愿景的重要步驟，為企業(yè)提供更大的定制靈活性和數(shù)據(jù)安全保障。