這項由谷歌智能范式團(tuán)隊的小林世人、雅尼克·施林夫、馬克西米利安·施萊格爾等多名研究者共同完成的突破性研究，發(fā)表于2024年12月的arXiv論文庫（編號：2512.20605v2）。有興趣深入了解的讀者可以通過論文編號查詢完整研究內(nèi)容。

想象你正在學(xué)習(xí)一門復(fù)雜的技能，比如駕駛汽車。作為新手，你需要分別思考每一個動作：踩離合器、掛擋、松離合器、踩油門。但隨著技能的熟練，你開始將這些單獨的動作組合成更高層次的"起步"這一整體操作。這種從細(xì)節(jié)操作到抽象概念的轉(zhuǎn)變，正是人類智能的核心特征之一。

現(xiàn)在，谷歌的研究團(tuán)隊在人工智能領(lǐng)域?qū)崿F(xiàn)了類似的突破。他們發(fā)現(xiàn)了如何讓大型語言模型在內(nèi)部進(jìn)行這種分層思考，不再局限于逐個字符的簡單預(yù)測，而是能夠形成更高層次的抽象行動策略。

當(dāng)前的AI系統(tǒng)面臨著一個根本性的限制。它們像一個只會按食譜逐字逐句照做的新手廚師，必須嚴(yán)格按照每一個具體步驟執(zhí)行，無法跳躍到"準(zhǔn)備醬料"或"處理主菜"這樣的抽象層面。這種局限性在需要長期規(guī)劃的復(fù)雜任務(wù)中表現(xiàn)得尤為明顯。比如，當(dāng)AI需要完成一個包含多個子目標(biāo)的復(fù)雜任務(wù)時，它往往會在細(xì)節(jié)中迷失，無法把握整體的策略方向。

研究團(tuán)隊的核心洞察是，這些大型語言模型在訓(xùn)練過程中實際上已經(jīng)學(xué)會了某種形式的抽象思維，只是這種能力被埋藏在模型的內(nèi)部表示中，沒有被充分利用。就像一位天賦異稟的學(xué)生，雖然具備了理解復(fù)雜概念的潛力，但缺乏有效的方法來組織和運用這些能力。

一、發(fā)現(xiàn)模型內(nèi)部的"思維層次"

研究團(tuán)隊首先進(jìn)行了一項重要的探索實驗。他們訓(xùn)練了自回歸模型來預(yù)測專家代理的行為序列，然后仔細(xì)分析模型內(nèi)部的激活模式。這個過程就像解剖一個熟練工匠的大腦，試圖理解他們?nèi)绾螌?fù)雜的技能分解為不同層次的思維過程。

通過線性探測技術(shù)，研究者發(fā)現(xiàn)了一個令人興奮的現(xiàn)象。模型的內(nèi)部表示中確實包含了關(guān)于抽象目標(biāo)的信息。具體來說，在模型的中間層，激活模式能夠準(zhǔn)確反映出當(dāng)前正在執(zhí)行的高層次目標(biāo)。這就像發(fā)現(xiàn)了大腦中負(fù)責(zé)規(guī)劃的區(qū)域，即使表面上看起來只是在執(zhí)行具體動作，但內(nèi)部實際上在進(jìn)行更高層次的思考。

更令人驚喜的是，這些抽象表示不僅存在，還具有可控性。研究團(tuán)隊發(fā)現(xiàn)，通過在模型的特定層插入線性控制器，可以直接操控這些內(nèi)部表示，從而引導(dǎo)模型執(zhí)行特定的抽象行動。這個發(fā)現(xiàn)的意義重大，因為它表明模型內(nèi)部存在著一個可以被直接訪問和操作的"意圖空間"。

二、構(gòu)建無監(jiān)督的元控制器

基于這個發(fā)現(xiàn)，研究團(tuán)隊開發(fā)了一個創(chuàng)新的元控制器架構(gòu)。這個元控制器的工作原理就像一個經(jīng)驗豐富的項目經(jīng)理，能夠?qū)?fù)雜的項目分解為幾個關(guān)鍵的執(zhí)行階段，并在適當(dāng)?shù)臅r機(jī)切換到下一個階段。

元控制器的核心組件包括三個部分。首先是控制器編碼器，它負(fù)責(zé)從完整的行為序列中推斷出潛在的抽象行動。這個過程類似于觀察一位大廚的完整烹飪過程，然后總結(jié)出"準(zhǔn)備食材"、"調(diào)制醬料"、"炒制主菜"等關(guān)鍵步驟。

第二個關(guān)鍵組件是時間切換單元。這個單元能夠?qū)W習(xí)何時從一個抽象行動切換到另一個。它不是簡單地按照固定的時間間隔切換，而是根據(jù)當(dāng)前任務(wù)的進(jìn)展情況智能地決定切換時機(jī)。這種動態(tài)切換能力使得模型能夠處理不同長度和復(fù)雜度的任務(wù)階段。

第三個組件是控制器解碼器，它將抽象的行動代碼轉(zhuǎn)換為具體的內(nèi)部控制信號。這個過程就像將"準(zhǔn)備晚餐"這個高層次指令轉(zhuǎn)換為一系列具體的烹飪操作。

元控制器的訓(xùn)練過程采用了變分推理的方法。與傳統(tǒng)的監(jiān)督學(xué)習(xí)不同，這種方法不需要人工標(biāo)注的抽象行動標(biāo)簽。相反，它通過最大化數(shù)據(jù)的似然性，同時對潛在變量施加適當(dāng)?shù)恼齽t化約束，自動發(fā)現(xiàn)數(shù)據(jù)中隱藏的抽象結(jié)構(gòu)。

三、內(nèi)部強(qiáng)化學(xué)習(xí)的創(chuàng)新范式

研究的最大突破在于提出了"內(nèi)部強(qiáng)化學(xué)習(xí)"這一全新概念。傳統(tǒng)的強(qiáng)化學(xué)習(xí)在原始動作空間中進(jìn)行探索和學(xué)習(xí)，這就像讓一個人通過嘗試每一個可能的肌肉收縮組合來學(xué)習(xí)投籃。而內(nèi)部強(qiáng)化學(xué)習(xí)則直接在發(fā)現(xiàn)的抽象動作空間中進(jìn)行學(xué)習(xí)，這相當(dāng)于讓學(xué)習(xí)者直接練習(xí)"瞄準(zhǔn)"、"發(fā)力"、"跟進(jìn)"這些高層次的技能組件。

內(nèi)部強(qiáng)化學(xué)習(xí)的工作流程是這樣的：首先，將預(yù)訓(xùn)練的自回歸模型和部分元控制器組件視為環(huán)境的一部分。然后，在由元控制器發(fā)現(xiàn)的抽象動作空間中訓(xùn)練一個新的策略網(wǎng)絡(luò)。這個策略網(wǎng)絡(luò)不再需要處理底層的動作細(xì)節(jié)，而是專注于選擇合適的抽象行動序列。

這種方法帶來了顯著的優(yōu)勢。由于動作空間的維度大大降低，學(xué)習(xí)過程變得更加高效。同時，由于每個抽象動作對應(yīng)于一段時間內(nèi)的連貫行為，信用分配問題也得到了很好的解決。這就像從學(xué)習(xí)控制每個琴鍵的按壓力度，轉(zhuǎn)變?yōu)閷W(xué)習(xí)演奏音符和樂句，學(xué)習(xí)的效率自然大大提高。

四、在層次化任務(wù)中的卓越表現(xiàn)

研究團(tuán)隊在兩類環(huán)境中測試了他們的方法。第一類是離散的網(wǎng)格世界環(huán)境，智能體需要按特定順序訪問不同顏色的位置。第二類是連續(xù)控制環(huán)境，基于MuJoCo物理模擬器，四足機(jī)器人需要在復(fù)雜的環(huán)境中導(dǎo)航到指定位置。

在網(wǎng)格世界環(huán)境中，智能體面臨的挑戰(zhàn)是需要組合基本的導(dǎo)航技能來完成復(fù)雜的任務(wù)序列。比如，一個任務(wù)可能要求智能體依次訪問紅色、綠色、藍(lán)色、黃色的位置，每個基本的"前往某顏色"技能需要被組合成更長的任務(wù)鏈。

在連續(xù)控制環(huán)境中，四足機(jī)器人不僅需要掌握基本的運動控制，還需要進(jìn)行高層次的路徑規(guī)劃。這種環(huán)境更加接近真實世界的復(fù)雜性，因為它同時涉及低層次的運動控制和高層次的任務(wù)規(guī)劃。

實驗結(jié)果顯示，內(nèi)部強(qiáng)化學(xué)習(xí)方法的表現(xiàn)遠(yuǎn)超傳統(tǒng)方法。在稀疏獎勵任務(wù)中，傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法幾乎完全失敗，成功率接近于零。相比之下，內(nèi)部強(qiáng)化學(xué)習(xí)方法能夠達(dá)到很高的成功率，并且學(xué)習(xí)速度快了幾個數(shù)量級。

這種巨大的性能差異源于兩個關(guān)鍵因素。首先，抽象動作空間的探索效率遠(yuǎn)高于原始動作空間。當(dāng)智能體在抽象層面進(jìn)行探索時，每次嘗試都對應(yīng)于一個有意義的行為片段，而不是隨機(jī)的動作組合。其次，時間抽象大大縮短了有效的決策時間跨度，使得智能體能夠更快地將獎勵信號與導(dǎo)致該獎勵的決策聯(lián)系起來。

五、深入機(jī)制分析與理論驗證

為了驗證他們發(fā)現(xiàn)的機(jī)制，研究團(tuán)隊進(jìn)行了一系列深入的分析實驗。他們首先通過速率失真分析驗證了預(yù)訓(xùn)練模型凍結(jié)的重要性。結(jié)果表明，只有當(dāng)基礎(chǔ)自回歸模型保持凍結(jié)狀態(tài)時，元控制器才能學(xué)到與真實子目標(biāo)切換時間一致的抽象行動表示。如果同時訓(xùn)練基礎(chǔ)模型和元控制器，系統(tǒng)往往會退化為無意義的切換模式。

這個發(fā)現(xiàn)揭示了一個重要的原理：預(yù)訓(xùn)練過程為模型建立了與任務(wù)相關(guān)的內(nèi)部表示結(jié)構(gòu)，這種結(jié)構(gòu)為后續(xù)的抽象行動發(fā)現(xiàn)提供了必要的基礎(chǔ)。這就像一棟建筑的地基，只有地基穩(wěn)固，才能在上面建造更復(fù)雜的結(jié)構(gòu)。

研究團(tuán)隊還分析了元控制器學(xué)習(xí)到的切換模式。他們發(fā)現(xiàn)，切換單元確實學(xué)會了在任務(wù)的自然邊界處進(jìn)行切換，即使沒有明確的監(jiān)督信號。這種行為的出現(xiàn)是變分目標(biāo)和適當(dāng)正則化共同作用的結(jié)果。

通過對學(xué)習(xí)到的抽象動作的詳細(xì)分析，研究者發(fā)現(xiàn)這些抽象動作具有良好的泛化性。即使在新的環(huán)境配置中，學(xué)習(xí)到的抽象動作仍然能夠有效地指導(dǎo)智能體的行為。這表明元控制器確實捕獲了任務(wù)的本質(zhì)結(jié)構(gòu)，而不是簡單地記憶訓(xùn)練數(shù)據(jù)中的特定模式。

六、方法局限與未來展望

盡管取得了重要突破，研究團(tuán)隊也誠實地承認(rèn)了當(dāng)前方法的局限性。首先，實驗環(huán)境相對簡單，主要集中在導(dǎo)航類任務(wù)上。在更復(fù)雜的現(xiàn)實世界任務(wù)中，比如涉及物體操作或復(fù)雜推理的任務(wù)，這種方法是否仍然有效還需要進(jìn)一步驗證。

其次，抽象動作的發(fā)現(xiàn)過程依賴于任務(wù)具有明顯的層次化結(jié)構(gòu)。對于那些本身不具備清晰層次結(jié)構(gòu)的任務(wù)，比如某些創(chuàng)造性的任務(wù)或開放式的探索任務(wù)，當(dāng)前方法可能效果有限。

此外，元控制器的訓(xùn)練過程仍然需要高質(zhì)量的專家演示數(shù)據(jù)。雖然不需要明確的抽象動作標(biāo)簽，但仍然需要足夠好的行為序列來學(xué)習(xí)有意義的抽象表示。在專家數(shù)據(jù)稀缺的領(lǐng)域，這可能成為一個制約因素。

展望未來，這項研究為多個方向開辟了可能性。首先，將這種方法擴(kuò)展到更大規(guī)模的語言模型和更復(fù)雜的任務(wù)中是一個自然的發(fā)展方向。特別是在需要長期推理的任務(wù)中，比如數(shù)學(xué)問題求解或科學(xué)發(fā)現(xiàn)，內(nèi)部強(qiáng)化學(xué)習(xí)可能會展現(xiàn)出更大的優(yōu)勢。

另一個有前景的方向是將這種方法與現(xiàn)有的模型解釋性技術(shù)結(jié)合。通過分析學(xué)習(xí)到的抽象動作，我們可能能夠更好地理解大型語言模型的內(nèi)部工作機(jī)制，這對于提高AI系統(tǒng)的可解釋性和可控性具有重要意義。

研究團(tuán)隊還提到了這種方法在模型引導(dǎo)和控制方面的潛在應(yīng)用。與現(xiàn)有的稀疏自編碼器等技術(shù)類似，元控制器可以作為一種新的模型解釋和控制工具，為人們提供更精細(xì)的方式來引導(dǎo)AI系統(tǒng)的行為。

七、對AI發(fā)展的深遠(yuǎn)影響

這項研究的意義遠(yuǎn)超出了技術(shù)層面的創(chuàng)新。它為我們理解智能本身提供了新的視角。長期以來，人工智能研究主要專注于在特定任務(wù)上的性能優(yōu)化，而對智能系統(tǒng)如何形成和運用抽象概念的理解相對有限。這項研究表明，即使是通過簡單的下一個詞預(yù)測訓(xùn)練的模型，也能夠自發(fā)地形成復(fù)雜的層次化表示結(jié)構(gòu)。

從更廣的角度來看，這項研究為實現(xiàn)更通用的人工智能指出了一個可能的方向。通過在不同的抽象層次上進(jìn)行學(xué)習(xí)和推理，AI系統(tǒng)可能能夠更好地處理復(fù)雜的現(xiàn)實世界任務(wù)。這種能力對于構(gòu)建真正智能的AI助手至關(guān)重要，因為現(xiàn)實世界的任務(wù)往往需要在多個時間尺度和抽象層次上進(jìn)行協(xié)調(diào)。

這項研究也為AI安全研究提供了新的思路。通過直接操作模型的內(nèi)部抽象表示，我們可能能夠更精確地控制AI系統(tǒng)的行為，減少意外或有害行為的出現(xiàn)。這種內(nèi)部控制能力比傳統(tǒng)的輸出層面的監(jiān)督更加深入和可靠。

對于AI行業(yè)的發(fā)展，這項研究預(yù)示著一個重要的趨勢轉(zhuǎn)變。未來的AI系統(tǒng)可能不再是簡單的輸入輸出映射器，而是具備復(fù)雜內(nèi)部結(jié)構(gòu)和多層次推理能力的智能體。這種轉(zhuǎn)變可能會催生新的AI應(yīng)用范式，特別是在需要長期規(guī)劃和復(fù)雜決策的領(lǐng)域。

說到底，這項來自谷歌智能范式團(tuán)隊的研究為我們展示了一個激動人心的可能性：AI系統(tǒng)不僅能夠模仿人類的表面行為，還能夠?qū)W會類似人類的思維方式。通過發(fā)現(xiàn)和利用模型內(nèi)部的抽象表示，我們正在向構(gòu)建真正智能的AI系統(tǒng)邁出重要的一步。雖然距離實現(xiàn)通用人工智能還有很長的路要走，但這種內(nèi)部強(qiáng)化學(xué)習(xí)的方法為我們指明了一個充滿希望的方向。

當(dāng)然，像所有突破性的科學(xué)發(fā)現(xiàn)一樣，這項研究也帶來了新的問題和挑戰(zhàn)。如何確保這些內(nèi)部抽象表示與人類的價值觀保持一致？如何在更復(fù)雜的環(huán)境中擴(kuò)展這種方法？如何處理可能出現(xiàn)的內(nèi)部表示偏差或錯誤？這些都是未來研究需要解決的重要問題。

但無論如何，這項研究已經(jīng)為AI的發(fā)展開辟了一個全新的領(lǐng)域。它不僅在技術(shù)上取得了重要突破，更在概念上改變了我們對機(jī)器學(xué)習(xí)和人工智能的理解。隨著更多研究者加入到這個領(lǐng)域，我們有理由期待更多激動人心的發(fā)現(xiàn)和應(yīng)用。

Q&A

Q1：什么是內(nèi)部強(qiáng)化學(xué)習(xí)？

A：內(nèi)部強(qiáng)化學(xué)習(xí)是谷歌研究團(tuán)隊提出的全新AI訓(xùn)練方法，它不在原始動作空間進(jìn)行學(xué)習(xí)，而是直接在AI模型內(nèi)部發(fā)現(xiàn)的抽象動作空間中訓(xùn)練。就像從學(xué)習(xí)控制每個手指的細(xì)微動作轉(zhuǎn)向?qū)W習(xí)"寫字"、"畫畫"這樣的高級技能，大大提高了學(xué)習(xí)效率和任務(wù)完成能力。

Q2：為什么傳統(tǒng)強(qiáng)化學(xué)習(xí)在復(fù)雜任務(wù)中效果不好？

A：傳統(tǒng)強(qiáng)化學(xué)習(xí)就像讓人通過嘗試每一個可能的肌肉收縮來學(xué)習(xí)打籃球，效率極低。它必須逐步探索每個細(xì)微動作，在稀疏獎勵的復(fù)雜任務(wù)中往往需要數(shù)百萬次嘗試才可能碰到正確的動作組合，而內(nèi)部強(qiáng)化學(xué)習(xí)直接在"投籃"、"傳球"等抽象層面學(xué)習(xí)，效率提高數(shù)千倍。

Q3：這項技術(shù)什么時候能應(yīng)用到日常AI產(chǎn)品中？

A：目前這還是基礎(chǔ)研究階段，主要在導(dǎo)航類簡單任務(wù)中驗證了效果。要應(yīng)用到復(fù)雜的現(xiàn)實場景還需要解決很多技術(shù)挑戰(zhàn)，比如如何在更復(fù)雜的任務(wù)中發(fā)現(xiàn)有效的抽象動作，如何確保系統(tǒng)的穩(wěn)定性和可控性等。預(yù)計需要幾年時間才能在實際AI產(chǎn)品中看到這種技術(shù)的應(yīng)用。