聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

破解AI胡說(shuō)八道的關(guān)鍵，居然是給大模型砍斷99.9%的連接線？

OpenAI悄悄開(kāi)源新模型，僅有0.4B參數(shù)，且99.9%的權(quán)重為零。

也就是Circuit Sparsity技術(shù)的開(kāi)源實(shí)現(xiàn)。

這是一種通過(guò)人為約束模型內(nèi)部連接的稀疏性，讓模型計(jì)算過(guò)程可拆解、可理解的大語(yǔ)言模型變體，本質(zhì)上是為了解決傳統(tǒng)稠密Transformer的黑箱問(wèn)題，讓內(nèi)部的計(jì)算電路能被人類清晰解讀，知道AI是如何做決策的，避免輕易相信AI的胡話（doge）。

更有人直言這種「極致稀疏+功能解耦」的思路可能會(huì)讓當(dāng)下熱門的MoE（混合專家模型）走上末路。

那么，當(dāng)Transformer的權(quán)重被訓(xùn)練到近乎全0，會(huì)發(fā)生什么呢？

放棄粗糙近似，追求原生稀疏

先說(shuō)說(shuō)為啥這個(gè)模型的思考過(guò)程能像電路圖一樣好懂。

咱們平時(shí)用的傳統(tǒng)大模型，內(nèi)部神經(jīng)元連接得密密麻麻，權(quán)重矩陣幾乎全為非零值，信息傳遞呈現(xiàn)出高度疊加狀態(tài)，就像一團(tuán)扯不開(kāi)的亂線，沒(méi)人能說(shuō)清它是怎么得出某個(gè)結(jié)論的。

而Circuit Sparsity模型反其道而行之，基于GPT-2風(fēng)格的Transformer架構(gòu)訓(xùn)練時(shí)，通過(guò)嚴(yán)格約束讓權(quán)重的L0范數(shù)極小，直接把99.9%的無(wú)效連接砍斷，只留下千分之一的有效通路。

這些留存的非零權(quán)重連接就像電路圖里的導(dǎo)線，信息只能沿著固定路徑傳遞；同時(shí)，模型還會(huì)通過(guò)均值屏蔽剪枝方法，為每個(gè)任務(wù)拆出專屬的最小電路

比如處理Python引號(hào)閉合任務(wù)時(shí)，僅需2個(gè)MLP神經(jīng)元和1個(gè)注意力頭就能構(gòu)成核心電路，包含專門的引號(hào)檢測(cè)器、類型分類器等功能模塊，就像電路圖里的電阻、電容，各自管各自的事。

實(shí)驗(yàn)數(shù)據(jù)顯示，在預(yù)訓(xùn)練損失相同的前提下，稀疏模型的任務(wù)專屬電路規(guī)模比稠密模型小16倍，且具備嚴(yán)格的必要性與充分性——保留這些模塊就能完成任務(wù)，刪掉任一節(jié)點(diǎn)則直接失效。

這樣，每一步的邏輯都能精準(zhǔn)追蹤。

那這時(shí)候就不得不提當(dāng)下主流的MoE模型了。

MoE的核心思路是通過(guò)門控網(wǎng)絡(luò)將模型拆分為多個(gè)專家子網(wǎng)絡(luò)，每個(gè)專家負(fù)責(zé)處理一部分任務(wù)，靠路由器分配任務(wù)來(lái)提升效率，本質(zhì)上是用拆分專家這種粗糙的方式近似稀疏性，目的只是為了適配硬件的稠密矩陣計(jì)算需求。

但這種架構(gòu)存在致命缺陷：

• 一是會(huì)割裂模型的特征流形，導(dǎo)致專家同質(zhì)化嚴(yán)重、知識(shí)冗余等問(wèn)題，不同專家間的信息協(xié)同依賴復(fù)雜的負(fù)載均衡損失函數(shù)調(diào)控，穩(wěn)定性堪憂；
• 二是專家功能邊界模糊，無(wú)法像Circuit Sparsity模型那樣實(shí)現(xiàn)微觀機(jī)制的精準(zhǔn)拆解。

反觀Circuit Sparsity，追求的是模型原生的稀疏性，通過(guò)把特征投射到超大維度，再嚴(yán)格限制有效激活的節(jié)點(diǎn)數(shù)量，從設(shè)計(jì)上就讓每個(gè)特征變得單義、正交，從根源上解決了傳統(tǒng)模型一個(gè)概念分散在多個(gè)節(jié)點(diǎn)的疊加問(wèn)題，不用靠路由器這種hack手段也能避免信息干擾。

不過(guò)Circuit Sparsity目前也有明顯的短板，最突出的就是算力成本極高。

訓(xùn)練和推理的計(jì)算量是傳統(tǒng)稠密模型的100-1000倍，暫時(shí)還達(dá)不到頂尖大模型的能力；

而MoE模型在算力效率和性能平衡上已經(jīng)很成熟，短期內(nèi)依然會(huì)是工業(yè)界的主流選擇。

并且，這項(xiàng)工作也只是AI可解釋性探索的早期一步，未來(lái)團(tuán)隊(duì)計(jì)劃將技術(shù)擴(kuò)展到更大的模型，解鎖更復(fù)雜的推理電路。

目前，團(tuán)隊(duì)發(fā)現(xiàn)有兩種克服稀疏模型訓(xùn)練效率低下的方法：

• 一個(gè)是直接從現(xiàn)有的密集模型中提取稀疏電路，這樣直接復(fù)用基礎(chǔ)框架，不額外訓(xùn)練稀疏模型，能大幅降低成本；
• 另一種途徑則是不放棄從頭訓(xùn)練可解釋稀疏模型的這種思路，但針對(duì)訓(xùn)練慢、成本高的短板，從技術(shù)層面優(yōu)化訓(xùn)練機(jī)制，造出原生可解釋、且能高效落地的模型。

那么就期待研究人員后續(xù)用更成熟的工具或技術(shù)，逐步揭開(kāi)大模型的黑箱面紗了。

[1]https://openai.com/zh-Hans-CN/index/understanding-neural-networks-through-sparse-circuits/
[2]https://x.com/byebyescaling/status/1999672833778287033?s=20

— 完 —