新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】中國(guó)科學(xué)院團(tuán)隊(duì)推出類腦大模型「瞬悉2.0」，通過優(yōu)化架構(gòu)與編碼路徑，顯著提升了長(zhǎng)序列處理效率與低功耗部署能力。該模型在保持高性能的同時(shí)，大幅降低訓(xùn)練與推理成本，為人工智能輕量化與多模態(tài)應(yīng)用開辟新方向。

隨著大模型上下文長(zhǎng)度的快速擴(kuò)展，代碼倉(cāng)庫(kù)理解、智能體以及多模態(tài)交互等場(chǎng)景對(duì)模型的長(zhǎng)序列處理能力提出了更高要求。

傳統(tǒng)Transformer在推理時(shí)的計(jì)算開銷和顯存占用隨序列長(zhǎng)度不斷增長(zhǎng)，嚴(yán)重制約其實(shí)際部署。

近日，中國(guó)科學(xué)院自動(dòng)化研究所李國(guó)齊、徐波團(tuán)隊(duì)在類腦脈沖大模型「瞬悉1.0」研究基礎(chǔ)上，針對(duì)當(dāng)前大模型長(zhǎng)序列處理與低功耗部署等核心瓶頸，推出SpikingBrain2.0-5B（簡(jiǎn)稱SpB2.0-5B）模型系列。

該系列模型與瞬悉1.0均以類腦機(jī)制為核心，在模型架構(gòu)、訓(xùn)練算法和應(yīng)用廣度上實(shí)現(xiàn)全面升級(jí)。研究團(tuán)隊(duì)已經(jīng)開源了瞬悉2.0-5B語言模型與瞬悉2.0-VL-5B視覺語言模型。

論文鏈接：https://arxiv.org/abs/2604.22575

代碼鏈接：https://github.com/BICLab/SpikingBrain2.0

此次發(fā)布的瞬悉2.0以超過瞬悉1.0十倍的訓(xùn)練開銷節(jié)省，續(xù)訓(xùn)數(shù)據(jù)量從瞬悉1.0的150B降低至瞬悉1.0的14B：

即僅需32張A100顯卡，9天內(nèi)即可完成對(duì)當(dāng)前主流Transformer架構(gòu)大模型（如Qwen3系列模型）的持續(xù)預(yù)訓(xùn)練，通用知識(shí)（如MMLU、ARC-C、BBH等任務(wù)）以及SFT后推理能力（如數(shù)學(xué)推理GSM8K、MATH，代碼HumanEval、MBPP等任務(wù)）的表現(xiàn)可與強(qiáng)基線Qwen3比肩且實(shí)現(xiàn)比瞬悉1.0更優(yōu)綜合性能；

并在4M序列長(zhǎng)度下達(dá)到主流Transformer模型Qwen3的10.13倍首Token生成加速，F(xiàn)P8量化路徑下4M長(zhǎng)度下相比Qwen3 BF16基線提速達(dá)15.13倍，整數(shù)-脈沖化編碼路徑下，精度損失僅為0.69%，且脈沖稀疏度高達(dá)64.3%

模擬結(jié)果顯示，該方案在測(cè)試場(chǎng)景下相比INT8矩陣乘法基線，有望使得面向類腦大模型的神經(jīng)形態(tài)芯片面積減小70.6%，在250/500MHz工作頻率下功耗降低48.1%/46.5%。

瞬悉2.0在長(zhǎng)序列處理效率、訓(xùn)練開銷、綜合Benchmark性能、跨硬件平臺(tái)適配性及應(yīng)用場(chǎng)景拓展等方面顯著提升，為輕量級(jí)、多模態(tài)高效脈沖基礎(chǔ)模型的研發(fā)提供了可行路徑，為新一代人工智能創(chuàng)新發(fā)展注入新動(dòng)力。

研究背景

當(dāng)前，大模型發(fā)展正從「參數(shù)和數(shù)據(jù)規(guī)模驅(qū)動(dòng)」逐步延展至「上下文能力驅(qū)動(dòng)」。

在智能體、代碼理解、長(zhǎng)文檔分析等應(yīng)用中，模型需要處理數(shù)十萬甚至百萬級(jí)token。

但傳統(tǒng)Transformer在長(zhǎng)序列處理及資源受限場(chǎng)景下的部署仍面臨諸多痛點(diǎn)。因此，如何以極低成本構(gòu)建基礎(chǔ)模型，打破Transformer在不同序列長(zhǎng)度、不同硬件平臺(tái)下的能耗瓶頸，成為大模型領(lǐng)域的關(guān)鍵探索方向。

針對(duì)該問題，團(tuán)隊(duì)此前發(fā)布的瞬悉1.0已率先嘗試將類腦機(jī)制與高效大模型相結(jié)合，為低耗大模型研發(fā)提供了初步探索。此次發(fā)布的瞬悉2.0通過引入更豐富的類腦機(jī)制——包括稀疏化記憶建模、更精細(xì)化的脈沖激活值編碼等，在瞬悉1.0的基礎(chǔ)上實(shí)現(xiàn)全方位升級(jí)。

架構(gòu)設(shè)計(jì)

短序列場(chǎng)景中，Transformer的計(jì)算瓶頸源于大量前饋矩陣乘法；長(zhǎng)序列場(chǎng)景中，計(jì)算瓶頸則向注意力模塊轉(zhuǎn)移，導(dǎo)致推理效率大幅下降。瞬悉2.0因此對(duì)注意力和前饋矩陣乘操作分別做出針對(duì)性設(shè)計(jì)，期望緩解Transformer的能耗問題。

（1）雙空間混合稀疏注意力

瞬悉2.0提出雙空間稀疏注意力（Dual-Space Sparse Attention, DSSA），用于在層間混合稀疏Softmax注意力MoBA與稀疏線性注意力Sparse State Expansion （SSE）。其中，MoBA對(duì)完整的KV cache進(jìn)行塊級(jí)稀疏計(jì)算，SSE則對(duì)壓縮式狀態(tài)表征進(jìn)行稀疏計(jì)算。這一設(shè)計(jì)對(duì)應(yīng)類腦化的稀疏記憶機(jī)制，實(shí)現(xiàn)了優(yōu)良的長(zhǎng)序列性能-效率權(quán)衡。

瞬悉2.0架構(gòu)概覽

（2）雙路徑激活值編碼策略

瞬悉2.0采用了包括FP8和INT8-Spiking兩種對(duì)偶激活值編碼路徑：

1. FP8編碼路徑：利用低比特Tensor Core加速矩陣乘運(yùn)算，該路徑面向工業(yè)GPU部署（如NVIDIA Hopper GPU）；

2. INT8-Spiking編碼路徑：把激活值轉(zhuǎn)為脈沖序列，可將密集矩陣乘法替換為事件驅(qū)動(dòng)的整數(shù)累加，大幅降低部署功耗，該路徑面向異步神經(jīng)形態(tài)芯片部署。

瞬悉2.0對(duì)偶編碼路徑

轉(zhuǎn)換訓(xùn)練流程

瞬悉2.0采用比瞬悉1.0更高效、模態(tài)更廣的架構(gòu)轉(zhuǎn)換流程（Transformer-to-Hybrid Conversion），依托極少量開源數(shù)據(jù)和計(jì)算資源，分別為語言模型與多模態(tài)模型構(gòu)建兩條獨(dú)立的續(xù)訓(xùn)轉(zhuǎn)換路徑，大幅降低開發(fā)成本。

（1）LLM轉(zhuǎn)換路徑：包括短上下文蒸餾、三階段長(zhǎng)上下文擴(kuò)展（最高至512k）以及兩階段的通用加推理SFT，同時(shí)開展了在策略蒸餾探索。

（2）VLM轉(zhuǎn)換路徑：包括知識(shí)蒸餾與指令微調(diào)。本文還同時(shí)分享了實(shí)踐過程中的關(guān)鍵Takeaways，為社區(qū)研究提供參考。

瞬悉2.0轉(zhuǎn)換訓(xùn)練Pipeline

模型性能

1. 長(zhǎng)序列處理效率顯著提升

（1）在Huggingface序列并行框架下，瞬悉2.0在4M長(zhǎng)度相比Qwen3實(shí)現(xiàn)10.13倍的首token生成時(shí)延（TTFT）加速（2）在vLLM張量并行框架下，512k長(zhǎng)度端到端生成延遲降低4.3倍，128k長(zhǎng)度下總吞吐提升1.57倍、請(qǐng)求并發(fā)數(shù)提升3.17倍；

（3）依托vLLM框架，8卡A100即可支持長(zhǎng)達(dá)10M序列的推理，而Qwen3基線在4M長(zhǎng)度時(shí)已超出顯存限制，展現(xiàn)出突出的長(zhǎng)序列處理優(yōu)勢(shì)。

2. 訓(xùn)練成本大幅降低

瞬悉2.0-5B語言與多模態(tài)模型的總轉(zhuǎn)換開銷低至7k A100卡時(shí)以下，僅需32張A100，9天內(nèi)即可完成對(duì)Qwen3-4B和Qwen3-VL-4B的全部轉(zhuǎn)換訓(xùn)練，相較于SpB1.0，訓(xùn)練成本減少10倍以上（LLM CPT數(shù)據(jù)量從150B降至14B），實(shí)現(xiàn)了高效低成本的模型開發(fā)。

3. 模型性能保持競(jìng)爭(zhēng)力

（1）瞬悉2.0語言模型在通用知識(shí)（如MMLU、ARC-C、BBH等任務(wù)）以及SFT后推理能力（如數(shù)學(xué)推理GSM8K、MATH，代碼HumanEval、MBPP等任務(wù)）的表現(xiàn)可與強(qiáng)基線Qwen3比肩且實(shí)現(xiàn)比瞬悉1.0更優(yōu)綜合性能。

（2）瞬悉2.0-VL模型性能實(shí)現(xiàn)對(duì)Qwen3-VL的有效恢復(fù)，可與強(qiáng)基線Qwen2.5-VL比肩（如圖表推理AI2D、通用視覺推理MMStar等任務(wù)），在瞬悉1.0的基礎(chǔ)上實(shí)現(xiàn)了多模態(tài)能力的突破。

4. 跨硬件平臺(tái)適配性突出

瞬悉2.0可靈活適配不同硬件平臺(tái)：

（1）采用FP8路徑時(shí)，精度損失僅為0.24%；在H100上實(shí)測(cè)顯示，256k序列長(zhǎng)度下TTFT提速相比瞬悉2.0 BF16版本超2.5倍，同時(shí)在4M長(zhǎng)度下相比Qwen3 BF16基線提速達(dá)15.13倍；

（2）采用INT8-Spiking路徑時(shí)，精度損失僅為0.69%，且脈沖稀疏度高達(dá)64.3%；后仿模擬結(jié)果顯示，該方案在測(cè)試場(chǎng)景下相比INT8矩陣乘法基線，面積減小70.6%，在250/500MHz工作頻率下，功耗降低48.1%/46.5%，有望破解端側(cè)部署的功耗瓶頸。

瞬悉2.0系列模型的發(fā)布，為輕量級(jí)、多模態(tài)高效脈沖基礎(chǔ)模型的研發(fā)提供了可行路徑，進(jìn)一步驗(yàn)證了類腦機(jī)制與高效模型架構(gòu)結(jié)合的廣闊前景。

同時(shí)，該模型為端側(cè)、資源受限場(chǎng)景的大模型部署提供了高性價(jià)比解決方案，也為低功耗神經(jīng)形態(tài)計(jì)算的后續(xù)研發(fā)提供重要參考。研究團(tuán)隊(duì)將繼續(xù)秉承類腦大模型技術(shù)「概念一致、迭代升級(jí)」的理念，持續(xù)研發(fā)可比肩主流大模型的低功耗神經(jīng)形態(tài)計(jì)算。

參考資料：

https://arxiv.org/abs/2604.22575