我們創(chuàng)造出了能寫(xiě)詩(shī)、能編程、能回答各種問(wèn)題的AI，卻對(duì)它內(nèi)部的運(yùn)作方式幾乎一無(wú)所知。比如咖啡機(jī)，每次按下按鈕都能得到完美的拿鐵，但你完全不知道機(jī)器里面發(fā)生了什么，豆子是怎么被研磨的？牛奶是怎么被打出泡沫的？這種"只知其然，不知其所以然"的狀態(tài)，在AI領(lǐng)域被稱為"黑箱問(wèn)題"。

有時(shí)候我們向AI提問(wèn)，它會(huì)顯示“思考中”，甚至還能看見(jiàn)思考內(nèi)容，這是它最真實(shí)的思考嗎？未必，有人發(fā)現(xiàn)AI后續(xù)的回答和先前的思考并不一致。那么對(duì)于AI真實(shí)思考的研究，只能到此為止了嗎？

2025年11月，OpenAI提出了一種讓AI變得可理解的新方法，核心思路非常簡(jiǎn)單，讓AI的大腦變得更稀疏。

假如某人的大腦有1000億個(gè)神經(jīng)元，每個(gè)神經(jīng)元都和其他所有神經(jīng)元相連，那要理解他的任何一個(gè)想法，就需要追蹤天文數(shù)字級(jí)別的連接。但如果每個(gè)神經(jīng)元只和少數(shù)幾個(gè)其他神經(jīng)元相連呢？這時(shí)候，追蹤一個(gè)想法的路徑就變得容易多了。OpenAI的研究者們正是利用這個(gè)原理，訓(xùn)練出了一種特殊的AI，它的"神經(jīng)連接"被刻意壓縮到只剩下正常AI的千分之一左右。結(jié)果令人驚喜：這種稀疏的AI不僅能正常工作，而且它的"思維過(guò)程"終于變得可以被人類理解了。

為什么AI的大腦像一團(tuán)亂麻

現(xiàn)代AI，尤其是像ChatGPT這樣的大型語(yǔ)言模型，本質(zhì)上是一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)。你可以把它想象成一個(gè)由無(wú)數(shù)開(kāi)關(guān)組成的超級(jí)復(fù)雜的電路板。當(dāng)你向AI提問(wèn)時(shí)，信息會(huì)從輸入端流入，經(jīng)過(guò)層層處理，最后從輸出端給出答案。問(wèn)題在于，這個(gè)"電路板"上的每一個(gè)開(kāi)關(guān)都和其他很多開(kāi)關(guān)相連，而且這些連接的強(qiáng)度（我們稱之為"權(quán)重"）是在訓(xùn)練過(guò)程中自動(dòng)學(xué)會(huì)的。

研究者們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象，他們稱之為"疊加"。這就好比你的大腦用同一組神經(jīng)元來(lái)同時(shí)存儲(chǔ)"貓"、"狗"和"兔子"三個(gè)概念，而不是為每個(gè)概念分配專門(mén)的神經(jīng)元。雖然這種方式非常節(jié)省空間，但也讓追蹤單個(gè)概念變得極其困難，當(dāng)你看到某個(gè)神經(jīng)元激活時(shí)，你不知道它代表的是貓、狗還是兔子，也可能三者都有一點(diǎn)。

這種"概念疊加"的現(xiàn)象導(dǎo)致了一個(gè)嚴(yán)重的問(wèn)題：即使研究者們想要理解AI是如何完成某個(gè)特定任務(wù)的，他們也很難把相關(guān)的"電路"從整個(gè)網(wǎng)絡(luò)中分離出來(lái)。這就像試圖在一碗意大利面里找出某一根面條的完整路徑，當(dāng)所有面條都糾纏在一起時(shí)，這幾乎是不可能的任務(wù)。

減法帶來(lái)的驚喜：讓AI變稀疏

OpenAI研究團(tuán)隊(duì)的解決方案可以用四個(gè)字概括：做減法。

他們的核心想法是這樣的：既然密集連接的網(wǎng)絡(luò)難以理解，那就訓(xùn)練一個(gè)連接稀疏的網(wǎng)絡(luò)。具體來(lái)說(shuō)，他們強(qiáng)制讓神經(jīng)網(wǎng)絡(luò)中的絕大多數(shù)"權(quán)重"（也就是神經(jīng)元之間連接的強(qiáng)度）保持為零。在他們最稀疏的模型中，只有大約千分之一的連接是有效的。

這個(gè)方法聽(tīng)起來(lái)簡(jiǎn)單，實(shí)施起來(lái)卻需要很多技巧。研究者們采用了一種叫做"Top-K"的策略，在每一步訓(xùn)練中，只保留每個(gè)權(quán)重矩陣中絕對(duì)值最大的那些權(quán)重，其余全部清零。他們還使用了一種漸進(jìn)式的"退火"過(guò)程：訓(xùn)練開(kāi)始時(shí)網(wǎng)絡(luò)是密集的，然后逐漸變得稀疏，這樣可以讓網(wǎng)絡(luò)有機(jī)會(huì)找到最重要的連接。

為了讓這個(gè)比喻更具體一些，想象你正在裝修一個(gè)新家。一開(kāi)始，你在每面墻上都裝了各種插座、開(kāi)關(guān)和線路，因?yàn)槟氵€不確定哪些是必需的。但隨著你慢慢熟悉生活需求，你發(fā)現(xiàn)其實(shí)只需要在特定位置保留幾個(gè)關(guān)鍵的開(kāi)關(guān)就夠了，客廳的主燈開(kāi)關(guān)、臥室床頭的閱讀燈開(kāi)關(guān)、廚房的排氣扇開(kāi)關(guān)。那些不常用的線路被一一拆除，最后剩下的都是真正必要的連接。稀疏訓(xùn)練就是這樣一個(gè)"精簡(jiǎn)電路"的過(guò)程。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，單純讓權(quán)重稀疏還不夠，他們還需要讓"激活"也變得稀疏。激活是什么意思呢？可以把它理解為神經(jīng)元在處理特定輸入時(shí)的"活躍程度"。在正常的AI中，面對(duì)任何輸入，大量神經(jīng)元都會(huì)同時(shí)活躍起來(lái)。但在研究者們?cè)O(shè)計(jì)的稀疏模型中，他們使用了一種叫做"AbsTopK"的激活函數(shù)，每次只允許大約四分之一的神經(jīng)元活躍。

權(quán)重稀疏和激活稀疏這兩種稀疏性的結(jié)合，產(chǎn)生了神奇的效果。每個(gè)神經(jīng)元現(xiàn)在只能從少數(shù)幾個(gè)其他神經(jīng)元那里獲取信息，也只能向少數(shù)幾個(gè)其他神經(jīng)元發(fā)送信息。這就大大限制了"概念疊加"的可能性，因?yàn)橐讯鄠€(gè)概念塞進(jìn)同一個(gè)神經(jīng)元變得更加困難了。

像考古學(xué)家一樣挖掘AI的思維電路

訓(xùn)練出稀疏模型只是第一步。接下來(lái)，研究者們需要一種方法來(lái)提取出AI用于完成特定任務(wù)的電路。

他們?cè)O(shè)計(jì)了一套精巧的任務(wù)來(lái)測(cè)試AI的能力。這些任務(wù)都是簡(jiǎn)單但需要特定技能的Python編程預(yù)測(cè)問(wèn)題。比如，有一個(gè)任務(wù)是預(yù)測(cè)字符串應(yīng)該用單引號(hào)還是雙引號(hào)來(lái)結(jié)束，如果字符串是用雙引號(hào)開(kāi)始的，AI就需要預(yù)測(cè)雙引號(hào)作為結(jié)束符。另一個(gè)任務(wù)是追蹤變量的類型，如果一個(gè)變量被初始化為集合（set），AI需要記住這一點(diǎn)，并在后面正確預(yù)測(cè)使用".add"方法而不是"+="操作符。

有了這些任務(wù)，研究者們就可以使用一種叫做剪枝的技術(shù)來(lái)找出相關(guān)的電路。剪枝的過(guò)程很像雕塑：你從一塊完整的石頭開(kāi)始，然后一點(diǎn)點(diǎn)敲掉不需要的部分，直到露出里面的形狀。在這里，研究者們從完整的稀疏模型開(kāi)始，然后逐步"刪除"那些對(duì)完成特定任務(wù)不重要的神經(jīng)元。被刪除的神經(jīng)元會(huì)被設(shè)置為它們?cè)谡麄€(gè)訓(xùn)練數(shù)據(jù)上的平均值，這樣就相當(dāng)于把它們"靜音"了。

這個(gè)剪枝過(guò)程使用了一種學(xué)習(xí)算法：研究者們?yōu)槊總€(gè)神經(jīng)元分配一個(gè)"掩碼參數(shù)"，這個(gè)參數(shù)決定了神經(jīng)元是保留還是刪除。通過(guò)優(yōu)化這些掩碼參數(shù)，他們可以找到最小的神經(jīng)元集合，使得這個(gè)集合仍然能夠很好地完成任務(wù)。最終剩下的神經(jīng)元及其之間的連接，就構(gòu)成了完成該任務(wù)的電路。

研究結(jié)果令人印象深刻。在相同的任務(wù)損失水平下，稀疏模型的電路大小只有密集模型的大約十六分之一。這意味著理解稀疏模型如何完成任務(wù)變得容易多了，你只需要分析十幾個(gè)神經(jīng)元和幾十個(gè)連接，而不是成百上千個(gè)。

解剖AI的思維：三個(gè)迷人的電路故事

最精彩的部分來(lái)了。研究者們花費(fèi)了大量時(shí)間來(lái)人工分析這些提取出來(lái)的電路，試圖理解AI到底是如何思考的。他們選擇了三個(gè)任務(wù)進(jìn)行深入研究，每個(gè)任務(wù)大約花費(fèi)了一個(gè)研究員一天的時(shí)間。讓我們逐一來(lái)看這些發(fā)現(xiàn)。

第一個(gè)故事關(guān)于字符串引號(hào)匹配。當(dāng)AI需要預(yù)測(cè)用單引號(hào)還是雙引號(hào)來(lái)結(jié)束一個(gè)字符串時(shí)，它使用了一個(gè)非常簡(jiǎn)潔的兩步策略。在第一步，模型最早的一個(gè)MLP層會(huì)處理輸入的引號(hào)標(biāo)記。它把雙引號(hào)和單引號(hào)的信息轉(zhuǎn)換成兩個(gè)特殊的"信號(hào)"：一個(gè)是"引號(hào)檢測(cè)器"，無(wú)論是單引號(hào)還是雙引號(hào)都會(huì)激活它；另一個(gè)是"引號(hào)類型分類器"，雙引號(hào)時(shí)是正值，單引號(hào)時(shí)是負(fù)值。在第二步，一個(gè)注意力頭會(huì)使用"引號(hào)檢測(cè)器"來(lái)決定關(guān)注哪個(gè)位置（也就是開(kāi)頭的引號(hào)），然后把"引號(hào)類型分類器"的值復(fù)制到當(dāng)前位置，從而預(yù)測(cè)正確的結(jié)束引號(hào)。整個(gè)電路只用了12個(gè)節(jié)點(diǎn)和9條連接！

第二個(gè)故事更加復(fù)雜，涉及計(jì)算括號(hào)嵌套深度。當(dāng)AI需要判斷是輸出"]"還是"]]"來(lái)正確關(guān)閉列表時(shí)，它展現(xiàn)了一種巧妙的計(jì)數(shù)機(jī)制。首先，每個(gè)"["符號(hào)在進(jìn)入模型時(shí)，它的嵌入向量會(huì)寫(xiě)入幾個(gè)特定的殘差通道，形成"開(kāi)括號(hào)檢測(cè)器"。然后，一個(gè)注意力頭會(huì)把整個(gè)上下文中所有開(kāi)括號(hào)檢測(cè)器的值求平均。這個(gè)平均值被寫(xiě)入一個(gè)新的殘差通道，代表"嵌套深度"，嵌套越深，這個(gè)值就越大。最后，另一個(gè)注意力頭會(huì)對(duì)這個(gè)深度值進(jìn)行"閾值判斷"：如果深度超過(guò)某個(gè)閾值，就輸出雙括號(hào)；否則輸出單括號(hào)。

這個(gè)發(fā)現(xiàn)引出了一個(gè)有趣的預(yù)測(cè)：既然模型是通過(guò)求平均來(lái)計(jì)算深度的，那么如果上下文中有很多無(wú)關(guān)的標(biāo)記，平均值就會(huì)被"稀釋"，導(dǎo)致模型出錯(cuò)。研究者們驗(yàn)證了這個(gè)預(yù)測(cè)，當(dāng)他們故意在代碼注釋中加入額外的未匹配開(kāi)括號(hào)時(shí)，模型果然被騙了！更有趣的是，這種"上下文稀釋攻擊"甚至對(duì)相同能力級(jí)別的密集模型也有效，說(shuō)明這可能是一種普遍的算法模式。

第三個(gè)故事展示了AI如何追蹤變量類型。當(dāng)模型需要記住一個(gè)變量是集合還是字符串，并在后面做出正確預(yù)測(cè)時(shí)，它使用了一個(gè)兩跳的注意力機(jī)制。首先，一個(gè)注意力頭會(huì)把變量名復(fù)制到初始化位置（比如"set()"或空字符串）。然后，當(dāng)模型需要預(yù)測(cè)這個(gè)變量的方法時(shí)，另一個(gè)注意力頭會(huì)用變量名作為"查詢"，找到之前存儲(chǔ)的初始化信息，并把它復(fù)制到當(dāng)前位置用于預(yù)測(cè)。

這三個(gè)電路故事有一個(gè)共同點(diǎn)：它們都可以被理解為人類可以手動(dòng)驗(yàn)證的簡(jiǎn)單算法。這是一個(gè)巨大的突破，以前，我們只知道AI給出了正確答案，但不知道它是怎么得到答案的；現(xiàn)在，我們可以看到它的"解題步驟"了。

能力與可解釋性的權(quán)衡：天下沒(méi)有免費(fèi)的午餐

當(dāng)然，讓AI變得可理解是有代價(jià)的。研究者們發(fā)現(xiàn)，稀疏性和能力之間存在一個(gè)清晰的權(quán)衡關(guān)系。

具體來(lái)說(shuō)，如果你把模型訓(xùn)練得更稀疏（也就是保留更少的連接），模型在預(yù)訓(xùn)練任務(wù)上的表現(xiàn)就會(huì)變差，但電路會(huì)變得更小、更容易理解。這就像一個(gè)光譜：一端是完全密集的模型，能力很強(qiáng)但像一團(tuán)亂麻；另一端是極度稀疏的模型，容易理解但能力有限。

不過(guò)，研究者們也發(fā)現(xiàn)了一個(gè)令人鼓舞的結(jié)果：增加模型的總參數(shù)量可以改善這個(gè)權(quán)衡。也就是說(shuō)，如果你把模型做得更大，你可以在保持相同稀疏度的情況下獲得更好的能力，或者在保持相同能力的情況下獲得更稀疏（更容易理解）的電路。這就像是用更大的畫(huà)布來(lái)畫(huà)同樣的內(nèi)容，你有更多的空間來(lái)分離不同的元素，讓畫(huà)面變得更清晰。

研究者們測(cè)試了從大約100萬(wàn)到1500萬(wàn)非零參數(shù)的模型規(guī)模。結(jié)果顯示，在這個(gè)范圍內(nèi)，更大的模型確實(shí)能夠獲得更好的"能力-可解釋性"前沿。然而，他們也承認(rèn)，如何在保持可解釋性的同時(shí)將模型擴(kuò)展到數(shù)千萬(wàn)非零參數(shù)以上，仍然是一個(gè)挑戰(zhàn)。

架起橋梁：讓稀疏模型理解密集模型

到目前為止，所有結(jié)果都來(lái)自于從零開(kāi)始訓(xùn)練的稀疏模型。但這引出了一個(gè)自然的問(wèn)題：我們能不能用這種方法來(lái)理解已經(jīng)存在的密集模型呢？畢竟，比如GPT-4等這些強(qiáng)大的AI，基本都是密集模型，我們不可能重新訓(xùn)練它們。

研究者們探索了一種叫做"橋接"的技術(shù)來(lái)解決這個(gè)問(wèn)題。核心思想是這樣的：同時(shí)訓(xùn)練一個(gè)稀疏模型和一系列"翻譯器"（橋），這些翻譯器可以把密集模型的內(nèi)部表示轉(zhuǎn)換成稀疏模型的表示，反之亦然。如果訓(xùn)練成功，稀疏模型就可以作為密集模型的一個(gè)"可解釋版本"，你可以在稀疏模型中找到某個(gè)概念的表示，然后通過(guò)橋把這個(gè)表示映射回密集模型，從而理解密集模型是如何表示這個(gè)概念的。

研究者們進(jìn)行了初步實(shí)驗(yàn)來(lái)驗(yàn)證這個(gè)想法。他們訓(xùn)練了一個(gè)4層的密集模型和一個(gè)對(duì)應(yīng)的橋接稀疏模型，然后嘗試在稀疏模型中找到代表"引號(hào)類型"的神經(jīng)元。找到這個(gè)神經(jīng)元后，他們修改它的值來(lái)模擬"單引號(hào)"的情況，然后通過(guò)橋把這個(gè)修改映射到密集模型。結(jié)果很鼓舞人心：密集模型的行為確實(shí)發(fā)生了預(yù)期的變化，輸出單引號(hào)的概率大幅增加。

這個(gè)結(jié)果雖然是初步的，但它暗示了一條令人興奮的道路：也許我們可以通過(guò)訓(xùn)練"可解釋的影子模型"來(lái)理解那些無(wú)法直接解釋的大型AI。

至頂AI實(shí)驗(yàn)室洞見(jiàn)

說(shuō)到底，這項(xiàng)研究的核心價(jià)值在于它向我們展示了一種可能性：AI不必是不可理解的黑箱。

當(dāng)前，我們對(duì)AI的信任在很大程度上是"盲目"的，我們看到它給出正確的答案，就假設(shè)它是以正確的方式得到這些答案的。但我們并不真正知道AI內(nèi)部在做什么，它可能是通過(guò)我們完全意想不到的"捷徑"來(lái)解決問(wèn)題的。這種不確定性是AI安全的一個(gè)重大隱患。

OpenAI的這項(xiàng)研究提供了一條通往"可理解AI"的道路。雖然目前這種方法只能應(yīng)用于相對(duì)較小的模型和簡(jiǎn)單的任務(wù)，但它證明了原則上是可行的。未來(lái)，隨著方法的改進(jìn)和計(jì)算效率的提升，也許我們能夠理解更大、更強(qiáng)的AI是如何工作的。

研究者們特別提到了幾個(gè)令人期待的方向。一是創(chuàng)建一系列"可解釋的模型生物"，一組不同規(guī)模的稀疏模型，可以用來(lái)研究AI的普遍計(jì)算模式。如果稀疏模型和密集模型使用類似的"電路模式"來(lái)解決問(wèn)題，那么理解稀疏模型就能幫助我們理解密集模型。二是將橋接技術(shù)應(yīng)用于特定的安全相關(guān)任務(wù)，比如理解AI是如何決定是否拒絕某個(gè)請(qǐng)求的。即使我們不能完全理解一個(gè)AI，理解它在安全關(guān)鍵場(chǎng)景下的行為也是有價(jià)值的。

這項(xiàng)工作也為自動(dòng)化解釋AI提供了新的基礎(chǔ)。稀疏電路可以被視為一種新的"語(yǔ)言"來(lái)描述AI的計(jì)算，在這種語(yǔ)言中，復(fù)雜的行為可以被分解為簡(jiǎn)單的、可追蹤的步驟。研究者們猜測(cè)，目前自動(dòng)解釋AI的方法可能受限于缺乏這樣的基礎(chǔ)表示方式，而稀疏電路可能是突破這個(gè)瓶頸的關(guān)鍵。

本文來(lái)自至頂AI實(shí)驗(yàn)室，一個(gè)專注于探索生成式AI前沿技術(shù)及其應(yīng)用的實(shí)驗(yàn)室。致力于推動(dòng)生成式AI在各個(gè)領(lǐng)域的創(chuàng)新與突破，挖掘其潛在的應(yīng)用場(chǎng)景，為企業(yè)和個(gè)人提供切實(shí)可行的解決方案。

Q&A

Q1：稀疏模型是什么意思？

A：稀疏模型是指神經(jīng)網(wǎng)絡(luò)中大部分連接權(quán)重被設(shè)為零的模型。在這項(xiàng)研究中，最稀疏的模型只有約千分之一的連接是有效的，這樣做的目的是讓AI的計(jì)算過(guò)程更容易被人類理解和分析。

Q2：這種方法能用來(lái)理解ChatGPT嗎？

A：目前還不能直接理解像ChatGPT這樣的大型密集模型。這項(xiàng)研究主要針對(duì)從零訓(xùn)練的小規(guī)模稀疏模型，不過(guò)研究者們探索了"橋接"技術(shù)，未來(lái)可能幫助我們間接理解密集模型的部分行為，但距離完全解釋ChatGPT還有很長(zhǎng)的路要走。

Q3：讓AI變得可理解有什么實(shí)際用處？

A：最重要的用處是提升AI安全性。如果我們能理解AI是如何做決策的，就能發(fā)現(xiàn)它可能存在的隱藏偏見(jiàn)或錯(cuò)誤推理，也能更好地預(yù)測(cè)它在新情況下的行為，這對(duì)于在醫(yī)療、法律等關(guān)鍵領(lǐng)域部署AI尤為重要。