當(dāng)人工智能模型越來越龐大的時候，有沒有想過一個只有30億參數(shù)的小模型也能做到大模型才能做的事情？老板直聘旗下的南北閣大語言模型實驗室最近發(fā)布了一項令人矚目的研究成果，他們成功打造了一個名為Nanbeige4.1-3B的小型通用語言模型。這項研究發(fā)表于2026年2月，論文編號為arXiv:2602.13367v1，有興趣深入了解的讀者可以通過該編號查詢完整論文。

這個模型就像一把瑞士軍刀，雖然體積小巧，但功能齊全。它能夠同時勝任復(fù)雜推理、代碼生成和智能體任務(wù)，而這在以往通常需要幾十倍大小的模型才能實現(xiàn)。更令人驚喜的是，它不僅能處理常見的問答任務(wù)，還能進行長達600輪的工具調(diào)用，持續(xù)解決復(fù)雜問題，這種能力即使在大型模型中也極為罕見。

研究團隊面臨的核心挑戰(zhàn)就像在一個小箱子里裝下整套工具箱的所有功能。傳統(tǒng)的小模型往往只擅長某一個領(lǐng)域，比如有的擅長數(shù)學(xué)推理，有的擅長寫代碼，但很少有模型能在如此有限的參數(shù)規(guī)模下同時掌握多種技能。這就好比讓一個人既要是數(shù)學(xué)家，又要是程序員，還要是個能干的助手，而且還不能占用太多"存儲空間"。

為了解決這個問題，研究團隊設(shè)計了一套精巧的訓(xùn)練方法。他們將訓(xùn)練過程分成幾個階段，就像培養(yǎng)一個全能型人才一樣，先讓模型掌握基礎(chǔ)技能，然后逐步強化各個專業(yè)領(lǐng)域的能力。在推理能力方面，他們結(jié)合了點式和對式獎勵建模，確保模型既能獨立給出高質(zhì)量回答，也能在比較中表現(xiàn)出色。在代碼生成方面，他們不僅要求代碼功能正確，還特別注重算法效率，讓模型學(xué)會寫出既能工作又跑得快的代碼。

最有趣的是他們對智能體能力的訓(xùn)練方法。研究團隊通過復(fù)雜的數(shù)據(jù)合成技術(shù)構(gòu)建訓(xùn)練數(shù)據(jù)，并在訓(xùn)練過程中加入了回合級別的監(jiān)督信號。這就像教一個助手不僅要完成單個任務(wù)，還要學(xué)會制定長期計劃并持續(xù)執(zhí)行。通過這種方法，Nanbeige4.1-3B能夠可靠地執(zhí)行多達600輪的工具調(diào)用，這意味著它能夠處理非常復(fù)雜的多步驟問題。

實驗結(jié)果顯示，這個小模型的表現(xiàn)令人驚嘆。在多項基準(zhǔn)測試中，它不僅顯著超越了同等規(guī)模的其他模型，如Nanbeige4-3B-2511和Qwen3-4B，甚至在某些任務(wù)上的表現(xiàn)超過了參數(shù)量是其十倍的大型模型，如Qwen3-30B-A3B。這就像一個輕量級拳手在擂臺上擊敗了重量級選手，證明了小模型同樣可以擁有強大的綜合能力。

一、訓(xùn)練秘籍：讓小模型身兼數(shù)職的精妙設(shè)計

要讓一個小模型同時掌握多種技能，就像要在一個小廚房里同時準(zhǔn)備中餐、西餐和日料一樣challenging。研究團隊采用了一套巧妙的分階段訓(xùn)練策略，確保模型在有限的參數(shù)空間內(nèi)實現(xiàn)最大化的能力整合。

在通用能力的培養(yǎng)階段，研究團隊首先對基礎(chǔ)訓(xùn)練數(shù)據(jù)進行了精心調(diào)配。他們增加了代碼相關(guān)數(shù)據(jù)的比例，同時引入了更多具有挑戰(zhàn)性的數(shù)學(xué)和通用領(lǐng)域問題。這種調(diào)整就像給學(xué)生換了一套更有難度的教材，目的是鼓勵更深層次的推理能力發(fā)展，提高在困難基準(zhǔn)測試上的表現(xiàn)。

更值得關(guān)注的是，他們將上下文長度從之前的兩階段課程（32k到64k）擴展到三階段，最終達到256k tokens。在最后的256k階段，他們采用了專門設(shè)計的數(shù)據(jù)混合方案，包含代碼（27%）、深度搜索（26%）、STEM科目（23%）、工具使用（13%）和通用領(lǐng)域（10%）。這種精確的配比確保了模型在長文本處理和復(fù)雜推理場景中的強大表現(xiàn)。

研究團隊還進一步優(yōu)化了解決方案精煉和思維鏈重構(gòu)框架。他們擴大了解決方案精煉循環(huán)中的迭代次數(shù)，允許更強的批判-修訂循環(huán)產(chǎn)生更高質(zhì)量的最終解決方案。同時，他們訓(xùn)練了一個更強大的思維鏈重構(gòu)模型，能夠從精煉答案生成更清晰、更忠實的推理軌跡。

在強化學(xué)習(xí)階段，研究團隊采用了點式和對式相結(jié)合的獎勵建模方法。點式強化學(xué)習(xí)階段主要解決了模型輸出中的格式錯誤和冗余推理問題。他們訓(xùn)練了一個通用獎勵模型來評估回滾響應(yīng)，這個模型自然地抑制了過度冗余、重復(fù)和低可讀性的答案。通過GRPO算法，他們對每個提示采樣8個回滾，使用通用獎勵模型為每個響應(yīng)評分作為訓(xùn)練信號。

對式強化學(xué)習(xí)階段則進一步利用了強弱模型比較中的偏好信息。研究團隊在涵蓋代碼生成和對話的配對比較數(shù)據(jù)上訓(xùn)練了對式獎勵模型，生成響應(yīng)對時采用強模型和弱模型，然后應(yīng)用清單過濾策略得到可靠的勝負(fù)標(biāo)簽。為了減輕位置偏差，他們還添加了交換一致性正則化器，定義為響應(yīng)對的預(yù)測獎勵差異與交換對的負(fù)獎勵差異之間的均方誤差。

二、深度搜索：讓AI成為超級偵探

在人工智能領(lǐng)域，深度搜索能力就像是給AI配備了一雙"火眼金睛"和一顆"偵探大腦"。這種能力讓模型能夠在海量信息中抽絲剝繭，通過多輪工具交互來解決復(fù)雜的搜索導(dǎo)向任務(wù)。研究團隊為了讓Nanbeige4.1-3B具備這種超級偵探般的能力，設(shè)計了一套完整的數(shù)據(jù)構(gòu)建和訓(xùn)練流程。

數(shù)據(jù)構(gòu)建過程就像建造一個巨大的案例庫。研究團隊首先從維基百科構(gòu)建實體關(guān)系圖譜，然后進行時間感知的頭實體選擇。他們提取過去六個月內(nèi)更新過的信息實體，確保合成問答數(shù)據(jù)的時效性和復(fù)雜性。接著，他們構(gòu)建實體關(guān)系圖并執(zhí)行條件隨機游走，提取預(yù)定義長度的關(guān)系路徑。這些鏈條連同詳細(xì)的時間上下文一起被輸入到強大的大語言模型中，用于合成復(fù)雜的問題。

軌跡合成和回合級判斷是整個過程的核心環(huán)節(jié)。研究團隊采用多智能體框架來處理生成的查詢，采樣多樣化的推理路徑集合。這些軌跡隨后被映射到統(tǒng)一智能體視角的多輪工具調(diào)用序列中。為了進一步保證合成數(shù)據(jù)的質(zhì)量，他們實施了嚴(yán)格的回合級判斷機制，使用評判模型基于邏輯合理性、工具調(diào)用準(zhǔn)確性和信息獲取三個維度評估交互的每個步驟。任何不滿足這些標(biāo)準(zhǔn)的回合都不會參與模型訓(xùn)練或為模型提供負(fù)獎勵，這種細(xì)粒度的過濾確保最終軌跡為監(jiān)督微調(diào)和偏好對齊提供高保真信號。

為了驗證這套方法的有效性，研究團隊進行了初步實驗。他們使用Nanbeige4-3B-2511作為基礎(chǔ)模型，專門在通過所述方法生成的合成多跳問答和搜索軌跡上進行訓(xùn)練，有意排除其他開源數(shù)據(jù)。實驗結(jié)果令人振奮，在xBench-DeepSearch-2505基準(zhǔn)上，模型性能從33.0大幅提升到76.0，充分證明了他們的數(shù)據(jù)合成管道能夠有效賦予模型強大的多跳推理和長上下文搜索能力。

這種訓(xùn)練方法的巧妙之處在于，它不是簡單地讓模型記住大量的問答對，而是教會模型如何像真正的偵探一樣思考和行動。模型學(xué)會了如何分解復(fù)雜問題，如何選擇合適的工具，如何從獲得的信息中提取關(guān)鍵線索，以及如何將這些線索串聯(lián)起來得出最終答案。這種能力的培養(yǎng)使得Nanbeige4.1-3B能夠在面對復(fù)雜的多步搜索任務(wù)時，表現(xiàn)得如同經(jīng)驗豐富的專業(yè)調(diào)研員。

三、編程高手的養(yǎng)成：從正確到高效的進化

讓AI寫代碼就像培養(yǎng)一個程序員，不僅要會寫，還要寫得好、寫得快。研究團隊在提升Nanbeige4.1-3B的編程能力時，采用了一套漸進式的訓(xùn)練策略，從基礎(chǔ)的功能正確性逐步提升到算法效率的優(yōu)化。

研究團隊首先構(gòu)建了一個統(tǒng)一的判斷系統(tǒng)，這個系統(tǒng)就像一位嚴(yán)格的代碼審查員，能夠從多個角度評估代碼質(zhì)量。這個系統(tǒng)結(jié)合了多語言沙箱執(zhí)行環(huán)境和專門的指導(dǎo)判斷模型，前者用于基于執(zhí)行的正確性檢查，后者專門用于時間復(fù)雜度比較。這個指導(dǎo)模型經(jīng)過專門訓(xùn)練，能夠在強化學(xué)習(xí)環(huán)境中快速進行復(fù)雜度評估，通過將模型生成解決方案的預(yù)測時間復(fù)雜度與參考最優(yōu)界限進行在線比較，提供高效的反饋。

在數(shù)據(jù)構(gòu)建階段，研究團隊采用了兩套互補的策略。對于監(jiān)督微調(diào)數(shù)據(jù)構(gòu)建，他們使用判斷系統(tǒng)從兩個關(guān)鍵方面評估解決方案質(zhì)量：通過在沙箱中執(zhí)行程序進行功能正確性檢查，以及通過結(jié)合執(zhí)行信號和基于模型的復(fù)雜度分析進行時間復(fù)雜度評估。在數(shù)據(jù)生成過程中，他們?yōu)槊總€問題采樣多個候選解決方案，然后通過判斷系統(tǒng)驗證這些候選方案，保留那些被判定為時間最優(yōu)（或在最佳復(fù)雜度類別中）的解決方案。

對于強化學(xué)習(xí)數(shù)據(jù)構(gòu)建，每個樣本包含問題陳述、測試用例、時間復(fù)雜度最優(yōu)解決方案以及相應(yīng)的最優(yōu)復(fù)雜度標(biāo)簽。最優(yōu)解決方案和復(fù)雜度是通過提示多個強大的大語言模型獲得的，然后使用強大的大語言模型將候選方案合成為單一最佳解決方案，這些作為獎勵塑形和難度控制的監(jiān)督信號。

訓(xùn)練過程采用了巧妙的兩階段策略。從通用強化學(xué)習(xí)檢查點開始，研究團隊進一步進行了兩個階段的代碼強化學(xué)習(xí)。在第一階段，他們使用通過率獎勵優(yōu)化解決方案正確性，通過率獎勵定義為每個問題通過的測試用例比例。在第二階段，當(dāng)策略能夠可靠地解決問題后，他們通過引入僅在所有測試用例通過時才激活的時間復(fù)雜度獎勵來鼓勵更高質(zhì)量的解決方案，否則獎勵退化為僅基于正確性的信號。

這種門控時間復(fù)雜度獎勵設(shè)計特別巧妙。具體來說，判斷系統(tǒng)通過比較模型輸出與參考最優(yōu)復(fù)雜度并檢查生成的解決方案是否與參考最優(yōu)解決方案匹配來提供在線反饋。只有當(dāng)解決方案完全正確時，時間復(fù)雜度獎勵才會被激活，這確保了模型在追求效率的同時不會犧牲正確性。

在整個兩階段代碼強化學(xué)習(xí)過程中，研究團隊觀察到了一致的改進。在第一階段，正確性獎勵急劇增加，反映了產(chǎn)生有效和正確解決方案方面的快速收益。在第二階段，正確性獎勵的改進更為溫和，而門控時間獎勵大幅上升，表明策略確實在已經(jīng)實現(xiàn)正確性的基礎(chǔ)上優(yōu)化時間復(fù)雜度。這種漸進式的能力提升確保了模型不僅能寫出能跑的代碼，更能寫出跑得好的代碼。

四、實戰(zhàn)驗證：小模型的大能量

為了驗證Nanbeige4.1-3B的真實實力，研究團隊設(shè)計了一套全方位的評估體系，涵蓋了從基礎(chǔ)推理到復(fù)雜智能體任務(wù)的各個維度。這些測試就像給這個AI小鋼炮進行全面體檢，結(jié)果令人印象深刻。

在通用任務(wù)評估中，研究團隊從五個主要類別對模型進行了測試。在代碼生成方面，他們使用了LiveCodeBench-V5、LiveCodeBench-V6以及LiveCodeBench-Pro等基準(zhǔn)，評估代碼生成能力和基于執(zhí)行的正確性。在數(shù)學(xué)推理方面，測試包括IMO-Answer-Bench、HMMT以及AIME-2026-I等競賽級別的問題求解任務(wù)?？茖W(xué)推理則通過GPQA和HLE等基準(zhǔn)來測量多步科學(xué)推理和領(lǐng)域知識整合能力。

在對齊性測試中，研究團隊使用Arena-Hard-V2和Multi-Challenge來評估偏好建模的魯棒性和在對抗性或挑戰(zhàn)性提示下的響應(yīng)質(zhì)量。工具使用能力則通過BFCL和Tau2-Bench進行評估，這些基準(zhǔn)測試函數(shù)調(diào)用可靠性和多步工具使用能力。

評估結(jié)果顯示，Nanbeige4.1-3B在所有被評估的領(lǐng)域中都大幅超越了同等規(guī)模的模型。更令人驚喜的是，盡管只有30億參數(shù)，它在大多數(shù)基準(zhǔn)測試中都始終超越了300億到320億參數(shù)級別的模型，包括Qwen3-30B-A3B-2507和Qwen3-32B，特別是在代碼、對齊和工具使用任務(wù)上。在基于執(zhí)行的編碼基準(zhǔn)如LiveCodeBench-V6和LiveCodeBench-Pro-Medium上，Nanbeige4.1-3B取得了較大的絕對優(yōu)勢。

深度搜索任務(wù)的評估更是展現(xiàn)了這個小模型的驚人潛力。研究團隊將其與多個類別的現(xiàn)有模型進行了對比，包括配備工具的通用基礎(chǔ)模型、專門的搜索智能體模型，以及超過1000億參數(shù)的大規(guī)模開源基礎(chǔ)模型。結(jié)果顯示，Nanbeige4.1-3B相比基線Nanbeige4-3B-2511實現(xiàn)了顯著的性能飛躍，并且在所有基準(zhǔn)測試中明顯超越了其他小型工具型基礎(chǔ)模型。

最引人注目的是，Nanbeige4.1-3B在幾乎所有評估基準(zhǔn)上都達到了最先進的結(jié)果，包括GAIA（69.90）、xBench-DeepSearch-05（75.00）和SEAL-0（41.44）。這些分?jǐn)?shù)不僅超越了小型模型類別中的直接競爭對手，甚至與許多更大規(guī)模的研究智能體和大型工具型基礎(chǔ)模型的性能相當(dāng)或超越。

為了進一步驗證模型的實際應(yīng)用能力，研究團隊還在真實世界的算法挑戰(zhàn)中對其進行了測試。他們將Nanbeige4.1-3B應(yīng)用于最近的LeetCode周賽問題，在標(biāo)準(zhǔn)競技編程設(shè)置下解決比賽問題。生成的解決方案直接提交到官方LeetCode平臺，性能通過最終接受率衡量。結(jié)果顯示，Nanbeige4.1-3B成功解決了20個問題中的17個，達到85.0%的總體通過率。在虛擬參與模式下，模型在第487周賽中獲得第1名，在第488周賽中獲得第3名。

五、技術(shù)創(chuàng)新的核心密碼

Nanbeige4.1-3B之所以能在如此緊湊的參數(shù)規(guī)模下實現(xiàn)多項能力的完美融合，關(guān)鍵在于研究團隊對訓(xùn)練策略的精心設(shè)計和創(chuàng)新性突破。整個訓(xùn)練過程就像精心編排的交響樂，每個階段都有其獨特的作用和價值。

整個訓(xùn)練流程從Nanbeige4-3B-Base開始，經(jīng)過結(jié)構(gòu)化的后訓(xùn)練管道，結(jié)合大規(guī)模監(jiān)督微調(diào)和級聯(lián)強化學(xué)習(xí)。研究團隊首先進行了擴展的監(jiān)督微調(diào)，將最大上下文長度從64K增加到256K，這種更長的上下文窗口對于支持長期推理和多輪深度搜索規(guī)劃至關(guān)重要。

在強化學(xué)習(xí)階段，研究團隊采用了分階段優(yōu)化策略。通用強化學(xué)習(xí)通過點式強化學(xué)習(xí)和對式強化學(xué)習(xí)依次執(zhí)行，以增強獨立響應(yīng)質(zhì)量和比較偏好對齊。代碼強化學(xué)習(xí)分兩個階段進行：正確性階段最大化執(zhí)行通過率，然后是門控時間復(fù)雜度階段，僅在實現(xiàn)完全正確性時激活效率獎勵。最后，他們應(yīng)用輕量級智能體強化學(xué)習(xí)階段來加強工具使用和搜索行為。

這種統(tǒng)一訓(xùn)練方案的巧妙之處在于，它讓Nanbeige4.1-3B能夠在嚴(yán)格的容量約束下保持強大的領(lǐng)域特定性能，同時成為一個平衡良好的通用模型。每個訓(xùn)練階段都經(jīng)過精心設(shè)計，確保不會因為優(yōu)化某一方面的能力而損害其他方面的表現(xiàn)。

數(shù)據(jù)混合策略也體現(xiàn)了研究團隊的深層思考。他們在整個訓(xùn)練過程中采用了仔細(xì)的監(jiān)督微調(diào)數(shù)據(jù)混合和多階段強化學(xué)習(xí)，以保持這些領(lǐng)域之間的平衡。這種平衡的實現(xiàn)需要對不同類型數(shù)據(jù)的特性有深刻理解，同時還要考慮到模型容量的限制和各種能力之間可能存在的相互影響。

更值得關(guān)注的是，研究團隊還特別關(guān)注了長期規(guī)劃和多步驟執(zhí)行能力的培養(yǎng)。他們通過Wiki圖譜隨機游走構(gòu)建高質(zhì)量訓(xùn)練數(shù)據(jù)，并在交互層面和完整軌跡層面定義獎勵，讓模型能夠在數(shù)百個步驟的規(guī)劃和執(zhí)行過程中獲得適當(dāng)?shù)男庞梅峙?。這種設(shè)計使得Nanbeige4.1-3B具備了在通用小語言模型中極為罕見的深度搜索和長期智能體行為能力。

六、實際應(yīng)用價值和未來展望

Nanbeige4.1-3B的成功不僅僅是技術(shù)上的突破，更為人工智能的實際應(yīng)用開辟了新的可能性。這種小而全的模型設(shè)計理念，為資源受限環(huán)境下的AI部署提供了全新的解決方案。

從實用角度來看，這種緊湊型的全能模型特別適合那些需要在邊緣設(shè)備或資源有限環(huán)境中部署AI系統(tǒng)的場景。傳統(tǒng)的大型模型雖然功能強大，但往往需要昂貴的硬件支持和大量的能耗，這限制了它們的應(yīng)用范圍。而Nanbeige4.1-3B這樣的小型全能模型，能夠在保持高性能的同時大大降低部署成本和硬件要求。

在代碼生成和軟件開發(fā)輔助方面，這個模型展現(xiàn)出的不僅是編寫正確代碼的能力，更重要的是對算法效率的優(yōu)化意識。這種特性使其特別適合于需要高效算法解決方案的開發(fā)環(huán)境，能夠幫助程序員不僅寫出功能正確的代碼，還能寫出性能優(yōu)異的代碼。

深度搜索能力的突破則為信息檢索和知識工作領(lǐng)域帶來了新的工具。傳統(tǒng)的搜索工具往往只能進行淺層的信息匹配，而具備深度搜索能力的AI助手能夠進行多輪推理，從不同角度分析問題，整合多個信息源，最終提供更加全面和深入的答案。這種能力在研究、咨詢、新聞?wù){(diào)查等需要深度信息挖掘的工作中具有重要價值。

研究團隊已經(jīng)將Nanbeige4.1-3B開源，這為AI研究社區(qū)提供了一個重要的參考案例，證明了在嚴(yán)格的容量約束下聯(lián)合訓(xùn)練推理、編程和長期行為的可行性。這種開放的態(tài)度不僅有助于推動整個領(lǐng)域的發(fā)展，也為其他研究者提供了學(xué)習(xí)和改進的機會。

展望未來，研究團隊計劃進一步推動緊湊模型在復(fù)雜編程和研究智能體場景中的邊界。他們希望通過讓任務(wù)能夠用更短的輸出和更少的工具調(diào)用來解決，從而提高推理效率。同時，他們也在探索架構(gòu)創(chuàng)新，以進一步增強緊湊通用模型的潛力。

這種對小型全能模型的深入研究，代表了AI發(fā)展的一個重要方向。在追求更大、更強模型的同時，如何在有限的資源下實現(xiàn)最大化的能力，如何讓AI技術(shù)更加普及和易于部署，這些問題的答案將直接影響AI技術(shù)的實際應(yīng)用范圍和社會影響力。Nanbeige4.1-3B的成功為這些問題提供了一個很好的答案樣本。

說到底，Nanbeige4.1-3B的意義遠超其技術(shù)成就本身。它向我們展示了一種新的思路：不是所有的AI應(yīng)用都需要超大規(guī)模的模型，通過巧妙的設(shè)計和精心的訓(xùn)練，小模型同樣可以擁有強大而全面的能力。這種理念不僅有助于降低AI技術(shù)的使用門檻，也為AI技術(shù)在更廣泛領(lǐng)域的應(yīng)用鋪平了道路。歸根結(jié)底，真正有價值的技術(shù)創(chuàng)新不僅要追求性能的極致，更要考慮實際應(yīng)用的可行性和普及性。Nanbeige4.1-3B在這兩個方面都做出了很好的示范，為AI技術(shù)的民主化和普及化貢獻了重要力量。研究團隊開源這個模型的舉動，更是體現(xiàn)了對技術(shù)共享和共同進步的理想追求。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過論文編號arXiv:2602.13367v1查詢完整的研究報告。

Q&A

Q1：Nanbeige4.1-3B相比其他小模型有什么特別之處？

A：Nanbeige4.1-3B最大的特點是在只有30億參數(shù)的情況下，同時具備推理、編程和智能體三大能力，這在小模型中極為罕見。它不僅能寫代碼、做數(shù)學(xué)題，還能執(zhí)行長達600輪的復(fù)雜工具調(diào)用，甚至在某些任務(wù)上超越了參數(shù)量十倍的大模型。

Q2：這個模型能處理多復(fù)雜的編程任務(wù)？

A：Nanbeige4.1-3B在編程方面不僅能寫出功能正確的代碼，還特別注重算法效率。在真實的LeetCode周賽中，它成功解決了85%的問題，并在兩次比賽中分別獲得第1名和第3名的成績，證明了其處理競技編程級別問題的能力。

Q3：普通用戶如何使用Nanbeige4.1-3B？

A：研究團隊已經(jīng)將Nanbeige4.1-3B完全開源，用戶可以在HuggingFace平臺上下載模型。由于它只有30億參數(shù)，相比大模型對硬件要求更低，更適合在資源有限的環(huán)境中部署，這大大降低了使用AI技術(shù)的門檻。