SpikingBrain：大模型的第二條進(jìn)化鏈。

作者丨鄭佳美

編輯丨馬曉寧

過(guò)去幾年，大模型幾乎都依賴 Transformer，它支撐了 GPT、Claude、Gemini 等一眾前沿模型的進(jìn)步，但也一直被詬?。阂坏┪谋咀冮L(zhǎng)，計(jì)算量和內(nèi)存消耗就會(huì)成倍膨脹，百萬(wàn)級(jí) token 幾乎不可承受。與此同時(shí)，大模型訓(xùn)練幾乎完全依賴 NVIDIA 的 GPU 體系。從算力到軟件棧，整個(gè)行業(yè)被牢牢綁定在 CUDA 上，硬件自主化成了遲遲邁不過(guò)去的門(mén)檻。

正因?yàn)槿绱?，業(yè)界一直在尋找“下一條路”。有人嘗試混合架構(gòu)，有人研究稀疏專家，也有人試水類腦計(jì)算。但這些探索往往停留在小規(guī)模實(shí)驗(yàn)，很少能真正跑到大模型層面。

直到最近，中科院團(tuán)隊(duì)拋出了一篇新論文，提出了一個(gè)全新系列的類腦大模型SpikingBrain。他們通過(guò)引入spiking 神經(jīng)元、線性注意力和稀疏專家機(jī)制，不僅在超長(zhǎng)文本處理上實(shí)現(xiàn)了百倍加速，還首次在國(guó)產(chǎn) GPU 平臺(tái) MetaX上穩(wěn)定訓(xùn)練出 76B 規(guī)模的模型。

同時(shí)，SpikingBrain的問(wèn)世也證明了大模型并不是只能依賴 Transformer + NVIDIA 的組合，另一條通往未來(lái)的道路正在被打開(kāi)。

論文鏈接：https://www.arxiv.org/pdf/2509.05276

01

大模型的新答案

在實(shí)驗(yàn)中，研究團(tuán)隊(duì)在超長(zhǎng)上下文任務(wù)上取得了突破性成果。以SpikingBrain-7B為例，當(dāng)輸入長(zhǎng)度達(dá)到400 萬(wàn) token時(shí)，其Time-to-First-Token（首個(gè) token 生成延遲）比傳統(tǒng) Transformer 快了100 倍。換句話說(shuō)，原本需要長(zhǎng)時(shí)間等待的超長(zhǎng)文本任務(wù)，如今幾乎可以做到即時(shí)響應(yīng)。

由于脈沖神經(jīng)元只在必要時(shí)才會(huì)“放電”，模型在推理過(guò)程中保持了69.15% 的稀疏激活率——也就是說(shuō)，大多數(shù)神經(jīng)元在大部分時(shí)間處于靜默狀態(tài)，不參與計(jì)算。相比始終全量激活的 Transformer，這種機(jī)制顯著降低了算力消耗和能耗。

在訓(xùn)練規(guī)模上，研究團(tuán)隊(duì)共使用1500 億 token，先后訓(xùn)練了兩個(gè)核心模型：SpikingBrain-7B和SpikingBrain-76B。盡管所用數(shù)據(jù)量遠(yuǎn)少于許多主流開(kāi)源大模型，這兩款模型在多項(xiàng)基準(zhǔn)測(cè)試中的表現(xiàn)依然能夠接近，甚至在部分任務(wù)上追平傳統(tǒng) Transformer。

更關(guān)鍵的是，這些訓(xùn)練完全在國(guó)產(chǎn) MetaX C550 GPU 集群上完成。實(shí)驗(yàn)結(jié)果顯示，7B 模型在該平臺(tái)上達(dá)到了23.4% 的 FLOPs 利用率，充分證明了它在非 NVIDIA 硬件環(huán)境下依舊能夠保持穩(wěn)定高效的運(yùn)行。

02

從不可微到可擴(kuò)展

為了實(shí)現(xiàn)這些結(jié)果，研究團(tuán)隊(duì)在模型結(jié)構(gòu)、訓(xùn)練方法和系統(tǒng)工程三個(gè)層面都做了實(shí)驗(yàn)探索。

在架構(gòu)實(shí)驗(yàn)中，團(tuán)隊(duì)對(duì)傳統(tǒng) Transformer 做了關(guān)鍵改造。首先，他們將全連接注意力替換為 線性注意力和混合注意力，從根本上緩解了計(jì)算復(fù)雜度隨序列長(zhǎng)度平方級(jí)增長(zhǎng)的瓶頸。

與此同時(shí)，他們引入了spiking 神經(jīng)元，讓模型像大腦一樣“按需放電”：只有在需要時(shí)才被激活，大多數(shù)時(shí)間保持靜默。這種類腦機(jī)制帶來(lái)了天然的稀疏性，大幅降低了無(wú)效計(jì)算，是 SpikingBrain 在能效上實(shí)現(xiàn)提升的關(guān)鍵所在。

而在系統(tǒng)實(shí)驗(yàn)中，最棘手的挑戰(zhàn)來(lái)自硬件環(huán)境。團(tuán)隊(duì)沒(méi)有沿用 NVIDIA 的成熟體系，而是選擇在國(guó)產(chǎn)MetaX GPU集群上完成全部訓(xùn)練。

為了讓大模型在這一平臺(tái)穩(wěn)定運(yùn)行，他們對(duì)底層系統(tǒng)進(jìn)行了大規(guī)模優(yōu)化：重寫(xiě)關(guān)鍵算子庫(kù)，改造分布式通信機(jī)制，并針對(duì)長(zhǎng)時(shí)間訓(xùn)練中常見(jiàn)的內(nèi)存溢出與死鎖問(wèn)題設(shè)計(jì)了專門(mén)的解決方案。

憑借這些工程改造，SpikingBrain 不僅在數(shù)百?gòu)?MetaX GPU 上成功完成了 7B 模型的穩(wěn)定訓(xùn)練，還順利擴(kuò)展到 76B 參數(shù)規(guī)模，并在此基礎(chǔ)上引入 MoE 稀疏專家機(jī)制，進(jìn)一步提升了模型的性能與效率。

到了訓(xùn)練實(shí)驗(yàn)環(huán)節(jié)，為了讓新架構(gòu)真正跑通，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)conversion-based pipeline，把 Transformer 成熟的訓(xùn)練經(jīng)驗(yàn)遷移到 SpikingBrain。配合事件觸發(fā)的 spike 編碼，模型中的脈沖神經(jīng)元依然可以通過(guò)反向傳播學(xué)習(xí)，避免了“不可微”帶來(lái)的訓(xùn)練障礙。通過(guò)這種遷移式實(shí)驗(yàn)設(shè)計(jì)，他們?cè)诒ＷC穩(wěn)定性的同時(shí)，也逐步擴(kuò)展了模型規(guī)模。

03

一條被點(diǎn)亮的新路線

總體來(lái)看，SpikingBrain 的價(jià)值不只是跑通了一個(gè)新模型，而是用系統(tǒng)性的嘗試回應(yīng)了當(dāng)下大模型最核心的幾個(gè)痛點(diǎn)。它在百萬(wàn)級(jí) token 的長(zhǎng)文本上實(shí)現(xiàn)了數(shù)量級(jí)的加速，說(shuō)明類腦機(jī)制在大規(guī)模模型里并不是紙上談兵，而是能帶來(lái)真實(shí)收益的方向。

同時(shí)，它第一次在國(guó)產(chǎn) GPU 上完成了 76B 規(guī)模訓(xùn)練，讓人看到大模型不一定要綁死在 CUDA 上，硬件路線其實(shí)有多種可能。再加上稀疏激活機(jī)制顯著降低了能耗，SpikingBrain 給“大模型能否可持續(xù)”這個(gè)老問(wèn)題提供了一個(gè)新答案。

當(dāng)然，SpikingBrain 暫時(shí)還不能取代 Transformer，它更像是給行業(yè)提供了一個(gè)全新的實(shí)驗(yàn)樣本：證明大模型還有其他路徑可走。至于它能否在更復(fù)雜任務(wù)、更大規(guī)模下保持穩(wěn)定，以及類腦機(jī)制能否發(fā)展成成熟的工具鏈，還需要時(shí)間和進(jìn)一步驗(yàn)證?！?/p>

但至少現(xiàn)在，我們已經(jīng)看到，大模型的發(fā)展并不是只有一條路，新的路徑正在一點(diǎn)點(diǎn)被點(diǎn)亮。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。