新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】AI不應(yīng)是巨頭游戲，模型也不是越大越聰明。近日，「Transformer八子」中的Ashish Vaswani和Parmar共同推出了一個(gè)8B的開源小模型，劍指Scaling Law軟肋，為輕量化、開放式AI探索了新方向。

近期，一個(gè)80億參數(shù)的「小模型」引發(fā)AI圈熱議。

這個(gè)名為Rnj-1的開源模型，由Ashish Vaswani與Niki Parmar創(chuàng)辦的Essential AI Labs推出。

他們是2017年那篇著名論文《注意力就是你所需要的一切》（Attention is All You Need）作者中的兩位。

以上八位作者同等貢獻(xiàn) ，其中Ashish與Illia共同設(shè)計(jì)并實(shí)現(xiàn)了首個(gè)Transformer 模型，并深度參與了全部研究工作。

Ashish Vaswani

Niki在研究的早期階段負(fù)責(zé)設(shè)計(jì)、實(shí)現(xiàn)、調(diào)優(yōu)并評(píng)估了大量模型變體，是模型架構(gòu)探索與實(shí)驗(yàn)驗(yàn)證的核心貢獻(xiàn)者之一。

Niki Parmar

ChatGPT、Gemini、Claude、Llama……幾乎所有我們熟知的大模型都采用了Transformer框架。

這些早期玩家們?cè)趲啄旰髮⒄麄€(gè)行業(yè)引向了比拼參數(shù)規(guī)模的AI軍備競(jìng)賽。

前不久，Google DeepMind CEO哈薩比斯（Demis Hassabis）還斷言，要實(shí)現(xiàn)通用人工智能（AGI），當(dāng)下主流大模型必須把「擴(kuò)規(guī)?！惯@件事推到極致。

他所指的「擴(kuò)規(guī)?！故歉鄶?shù)據(jù)、更多算力、更大的模型，并強(qiáng)調(diào)它「至少是通往 AGI 的關(guān)鍵組件，甚至可能就是全部路徑」。

哈薩比斯的觀點(diǎn)，在一定程度上代表了大模型領(lǐng)域由Transformer和Scaling Law所催生的「模型越大越強(qiáng)」的主流觀點(diǎn)。

7年后，同為Transformer論文的作者，Ashish Vaswani和Niki Parmar開始向這一主流觀點(diǎn)發(fā)起了挑戰(zhàn)：

模型不一定越大就越聰明。

至少從算力效率的角度來看，就像上面這位網(wǎng)友說的那樣：

「大模型時(shí)代已經(jīng)結(jié)束，真正懂行的人打造的小模型時(shí)代開始了?！?/p>

在ChatGPT、Gemini、Claude之外，以Rnj-1為代表的小模型開辟了另一種思路。

Vaswani的擔(dān)憂與Rnj-1的誕生

過去幾年，砸向AI領(lǐng)域的錢越來越多、模型越來越大、訓(xùn)練越來越昂貴。

Vaswani認(rèn)為，AI領(lǐng)域巨額資金的涌入可能會(huì)妨礙技術(shù)本身的發(fā)展，因?yàn)橐岳麧?rùn)為導(dǎo)向的企業(yè)逐漸從科學(xué)家和學(xué)者手中奪取了主導(dǎo)權(quán)：

「少數(shù)公司掌控著先進(jìn)AI技術(shù)的生產(chǎn)、節(jié)奏和方向。他們決定了AI的演化方式，也決定了誰能從中受益……我們不能讓封閉式的AI開發(fā)阻礙我們探索新的前沿?！?/p>

Vaswani和Parmar希望推動(dòng)構(gòu)建一個(gè)健康、開放的生態(tài)，而不是封閉的塔尖。

Essential AI Labs以及它的首款開源模型Rnj-1正是在這種理念下誕生的。

Essential AI將構(gòu)建前沿開源平臺(tái)和智能工具作為自己的使命。

Rnj-1的名稱，則是來自著名數(shù)學(xué)家拉馬努金（Srinivasa Ramanujan）。

據(jù)Essential AI官方介紹，這款從零開始訓(xùn)練的80億參數(shù)模型，在代碼、數(shù)學(xué)與「智能體」推理上可「對(duì)齊前沿」水平，還可以在消費(fèi)級(jí)GPU上運(yùn)行，自由使用與修改。

一把「瑞士軍刀」式的小模型

和動(dòng)輒萬億參數(shù)的前沿大模型相比，Rnj-1并不起眼。

它只是一個(gè)80億參數(shù)的小模型，僅僅32k的上下文長(zhǎng)度，遵循開源Gemma 3架構(gòu)。

既然不能和比別人比「身板」，就要拼技術(shù)。

Rnj-1采用全局自注意力機(jī)制（global self-attention）和YaRN技術(shù)。

global self-attention好比為模型配備了一雙「全景眼睛」，無論給它多長(zhǎng)的輸入，都能一次全部看清。

而YaRN則像是「長(zhǎng)距離閱讀輔助器」，讓模型能在32k上下文中仍然保持清晰思考。

Rnj-1的基礎(chǔ)版與指令版在同尺寸開源模型中表現(xiàn)十分亮眼。

代碼生成

在HumanEval+、MBPP+ 等算法類代碼任務(wù)，以及BigCodeBench這類更廣泛的編程任務(wù)中，Rnj-1 Base與Instruct的表現(xiàn)能與最強(qiáng)同規(guī)模開源模型競(jìng)爭(zhēng)，有時(shí)甚至超越更大的GPT OSS 20B。

智能體能力

Rnj-1 Instruct是Rnj-1重點(diǎn)打造的能力之一， 在智能體式編碼任務(wù)中表現(xiàn)尤為突出。

在SWE-bench 上，Rnj-1 Instruct的表現(xiàn)比同尺寸模型強(qiáng)出近一個(gè)數(shù)量級(jí)，已接近大規(guī)模模型的水平。

它會(huì)用 profiler（性能分析器）檢查瓶頸，然后主動(dòng)提出優(yōu)化方案，甚至多輪迭代。

例如在Enamel這一考察高效算法實(shí)現(xiàn)的任務(wù)中，Rnj-1 Instruct 超過了強(qiáng)力基線。

在伯克利函數(shù)調(diào)用排行榜（BFCL）中，Rnj-1 Instruct的工具使用能力也領(lǐng)先同類模型。

數(shù)學(xué)與科學(xué)推理

在AIME'25（高難度高中數(shù)學(xué)）中，Rnj-1 Instruct的數(shù)學(xué)能力可與最強(qiáng)開源模型匹敵。

Rnj-1 Base在Minerva-MATH上也與同規(guī)模模型保持一致。

在GPQA-Diamond（包含生物、物理、化學(xué)的高難度題目）上，Rnj-1的表現(xiàn)也接近同尺寸模型中的領(lǐng)先水平。

量化穩(wěn)定，不掉質(zhì)量

Rnj-1對(duì)量化也非常穩(wěn)健。

這意味著它能在更便宜、更省電的顯卡上跑得很快，模型質(zhì)量幾乎不受影響，真正實(shí)現(xiàn)人人可用。

從BF16到FP8再到NVFP4，在顯著提升提示密集型工作負(fù)載的token吞吐量的同時(shí)，模型質(zhì)量幾乎不受影響。

Token吞吐量數(shù)據(jù)基于NVIDIA B200 GPU測(cè)得，其中KV Cache的數(shù)據(jù)類型設(shè)為FP8，批大小為128。

回到起點(diǎn)，不想再做「宇宙巨獸」了

今年2月，Essential AI做了一個(gè)重要的決定：

專注于基礎(chǔ)能力的本身。

在做研究和做產(chǎn)品兩者之間，Essential AI更傾向于提升模型能力。

DeepSeek R1發(fā)布后，世界都在討論RL的強(qiáng)大，但Vaswani認(rèn)為，壓縮是模擬智能的核心要素，而語言模型的預(yù)測(cè)式預(yù)訓(xùn)練才是更合理的路徑。

Essential AI在早期預(yù)訓(xùn)練階段便觀察到模型出現(xiàn)反思與探索式推理的跡象，這印證了「強(qiáng)預(yù)訓(xùn)練是下游成功基礎(chǔ)」的判斷。

他們認(rèn)為強(qiáng)大的預(yù)訓(xùn)練本身就會(huì)產(chǎn)生推理能力，而不是靠后期堆RL補(bǔ)課。

這是Essential AI迄今為止第一個(gè)也是最具根本性的抉擇。

上圖記錄了Essential AI在每個(gè)階段所取得的進(jìn)展。

Rnj-1是Essential AI從頭開始訓(xùn)練的大模型。

他們希望大模型在學(xué)習(xí)階段不僅是「看很多數(shù)據(jù)」，而是能自己把數(shù)據(jù)分類、轉(zhuǎn)換、混合，形成更好的理解方式。

這樣模型的「可測(cè)能力」（比如數(shù)學(xué)、代碼、科學(xué)等可驗(yàn)證任務(wù)）會(huì)更強(qiáng)。

研究團(tuán)隊(duì)通過數(shù)據(jù)分類研究，得到了一種新的「帶重復(fù)懲罰的數(shù)據(jù)分布聚類與混合方法」，這種方法尤其提升了模型在STEM（科學(xué)、技術(shù)、工程、數(shù)學(xué)）方面的能力。

此外，訓(xùn)練模型需要「優(yōu)化器」來調(diào)整參數(shù)。

Essential AI證明了Muon優(yōu)化器相較AdamW更高效， 并開發(fā)了適配大模型的分片策略。

Essential AI的研究人員認(rèn)為，大模型應(yīng)該不僅能理解代碼，更應(yīng)該模擬程序在不同環(huán)境中的執(zhí)行行為，Rnj-1在這一方向上進(jìn)行了大規(guī)模嘗試。

為了讓基礎(chǔ)模型學(xué)會(huì)自動(dòng)「改進(jìn)代碼」，研究人員還投入研究「代碼演化」的建模。

這些方向均在小模型上通過驗(yàn)證，顯著提升了Rnj-1的工程能力。

在預(yù)訓(xùn)練末期，Essential AI團(tuán)隊(duì)確信Rnj-1已具備數(shù)學(xué)、編程與科學(xué)知識(shí)等潛在能力。

接下來的問題是如何通過適量監(jiān)督微調(diào)，喚醒其指令遵循與復(fù)雜推理能力，并驗(yàn)證其在長(zhǎng)對(duì)話與現(xiàn)實(shí)難題中的表現(xiàn)。

Essential AI在后訓(xùn)練方案上借鑒了YaRN長(zhǎng)上下文中期訓(xùn)練、Nemotron以及簡(jiǎn)單智能體環(huán)境。

其后訓(xùn)練主要有三項(xiàng)任務(wù)：

• 研究定向數(shù)據(jù)對(duì)推理與智能體能力的影響；

• 團(tuán)隊(duì)親自「上手體驗(yàn)」模型，觀察質(zhì)變；

• 收集下游反饋，為下一輪預(yù)訓(xùn)練下注提供依據(jù)

Vaswani認(rèn)為，有許多令人難以抗拒的想法正在爭(zhēng)奪研究團(tuán)隊(duì)的注意力。

比如，他們對(duì)條件計(jì)算、擴(kuò)展并增強(qiáng)模型處理更長(zhǎng)上下文的能力，以及低精度訓(xùn)練充滿熱情。

在中期內(nèi)，Essential AI將繼續(xù)推進(jìn)壓縮這一核心理念，拓展計(jì)劃模擬的程序行為的類型和范圍，并推動(dòng)代碼演化。

Vaswani預(yù)計(jì)，諸如將強(qiáng)化學(xué)習(xí)等擴(kuò)展性思路用于培養(yǎng)復(fù)雜推理能力的方法，將很快出現(xiàn)在Essential AI的路線圖上。

在官方博客中，Vaswani用先驅(qū)計(jì)算機(jī)科學(xué)家Alan Perlis的話表達(dá)了自己的心聲：

我認(rèn)為，在計(jì)算機(jī)科學(xué)領(lǐng)域，我們必須始終讓計(jì)算保持趣味性，這一點(diǎn)極其重要……

我認(rèn)為，我們有責(zé)任不斷拓展計(jì)算機(jī)的邊界，引領(lǐng)它們走向新的方向，并讓這種樂趣持續(xù)存在……

最重要的是，我希望我們不要變成傳教士。不要覺得自己像個(gè)推銷圣經(jīng)的推銷員。這世上那樣的人已經(jīng)太多了。你所了解的計(jì)算知識(shí)，別人終會(huì)學(xué)到。不要覺得成功計(jì)算的鑰匙只掌握在你手中。

我相信并希望，你手中握有的是智慧：一種能夠超越最初接觸機(jī)器時(shí)的認(rèn)知，看到它更多可能性，并讓它變得更強(qiáng)的能力。

開源平臺(tái)Essential AI的創(chuàng)建，以及此次Rnj-1的推出，旨在推動(dòng)美國AI開源領(lǐng)域的發(fā)展，搶奪在輕量化開源生態(tài)話語權(quán)，目前這一領(lǐng)域正由中國企業(yè)主導(dǎo)。

開源生態(tài)，將推動(dòng)大模型在「越大越好」行業(yè)競(jìng)爭(zhēng)格局之外，探索開放、輕量化的新路徑，加速AI人人可用時(shí)代的到來。

參考資料：

https://www.bloomberg.com/news/articles/2025-12-08/transformer-paper-authors-at-ai-startup-debut-open-source-model?srnd=phx-ai%20

https://www.essential.ai/research/rnj-1

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！