新智元報道

編輯：peter東

【新智元導讀】傳統(tǒng)AI模型在稀疏獎勵環(huán)境中，往往會找不到激勵難以學會層次化思考。如今，谷歌團隊通過引入元控制器操控模型內部殘差流，讓智能體學會了「跳躍式思考」。該研究揭示了大模型內部可自發(fā)形成了類似人腦的層次化決策機制，為AI在需要多步的復雜任務提供了全新的訓練范式。

AI智能體最大的「硬傷」，是算力不夠？

并不是，獎勵太少、路太長才是。

在稀疏獎勵的長序列任務里，傳統(tǒng)token-by-token探索像蒙眼走迷宮：沒有路標、沒有提示，只有走到終點才知道對不對。

結果就是一個尷尬現(xiàn)實：想讓智能體做點復雜事，往往必須外掛規(guī)劃器「扶著走」。

而谷歌這項研究直接換打法：在迷宮里要求智能體按順序踏過一串彩色子目標，且只有全程無誤才給獎勵——用最殘酷的稀疏獎勵，逼出真正的層次化決策能力。

真正的突破在于：他們不再只優(yōu)化輸出，而是開始操控模型內部的「認知過程」。

在稀疏獎勵下，

智能體如何高效探索

傳統(tǒng)的大模型，依賴逐詞生成（token-by-token）的探索方式，而這對于需要多個正確步驟才能獲得獎勵的復雜任務，由于獎勵稀疏，導致智能體難以完成需要層次化決策的長序列任務。

這好比讓一個人蒙著眼睛走迷宮，只有到達終點才能獲得反饋，期間沒有任何指引，不論這個人嘗試多少次也找不到出口。

這導致當下的大模型智能體需要外帶一個規(guī)劃器，才能完成復雜的，需要多步才能完成的任務。而谷歌這項研究做的，就是讓智能體在迷宮中，按特定順序訪問一系列彩色位置（子目標），且只有在完全正確的序列完成后才能獲得獎勵。

圖1：智能體需要在迷宮中按順序走過不同顏色的方塊

這種「組合式任務」要求智能體必須掌握層次化解決問題的能力，不止需要低級的運動控制技能，又需要高級的時序規(guī)劃能力。

這就如同人類搬運水杯的任務，相當于執(zhí)行「拿起水杯→走到桌前→放下水杯」這樣的連貫動作。

「大腦中的大腦」

AI自我發(fā)現(xiàn)抽象動作

那谷歌團隊是如何解決稀疏獎勵帶來的問題的？

答案是元控制器（Metacontroller）。

元控制器通過接收基模型的殘差流，能夠生成一系列簡單的內部控制器。

每個控制器對應一個時序抽象動作，每個時序抽象動作對應一個時間軸，并附帶終止條件。通過按時間組合多個控制器，智能體能夠在新任務上實現(xiàn)高效探索。

圖2：元控制器引導預訓練自回歸模型的殘差流激活。

通過自監(jiān)督的下一步動作預測，元控制器發(fā)現(xiàn)如何生成時間上稀疏變化的簡單內部控制器序列 。

在分層結構任務中，每個內部控制器對應一個時序抽象動作，引導基礎自回歸模型實現(xiàn)一個有意義的初級目標。

圖3：元控制器的架構

經(jīng)由強化學習，研究者發(fā)現(xiàn)元控制器能夠通過變分推理自動識別有意義的行為模塊，這相當于無監(jiān)督發(fā)現(xiàn)抽象動作該怎么完成。

用上元控制器，訓練機器人給人泡茶，就不必由手工編碼將任務拆解成多步了。

此外，元控制器還能動態(tài)時間整合，它能通過開關單元控制抽象每一步動作的持續(xù)時間。并且能組合泛化，將學到的抽象動作重新組合解決新任務。

圖4：自監(jiān)督元控制器在預訓練的自回歸模型中發(fā)現(xiàn)時序抽象動作。

元控制器學習到的開關模式還能與真實子目標切換完美對齊，盡管模型從未接收過子目標標簽。這種根據(jù)環(huán)境，切換使用那個子目標的方式是涌現(xiàn)產生的，表明模型內部形成了類似「選項」的分層結構。

內部強化學習

提效數(shù)個量級的新訓練范式

該研究最令人驚訝的，是使用元控制器后的內部強化學習，與傳統(tǒng)強化學習在原始動作空間進行微調不同，內部強化學習在發(fā)現(xiàn)的抽象動作空間中進行學習，搜索空間大幅減小。在需要組合泛化的任務中，內部強化學習的成功率顯著高于所有基線方法，包括先前最先進的分層強化學習方法CompILE。

圖5：不同強化學習方式的成功率

之所以智能體能夠以更大的可能性，學會某一個需要多步驟才能完成的任務，是因為有了元控制器，模型隱含地學會了將長序列任務分解為可重用的子程序（如「移動到某色塊」），這就讓搜索空間變小，獎勵也不再稀疏。

相當于通過對動作空間降維，將高維殘差流空間壓縮到低維抽象空間。再加上在抽象時間尺度上操作，縮短有效時間跨度。使得在抽象層面進行獎勵分配更加高效。

「覺醒-睡眠」訓練循環(huán)的具體實現(xiàn)

在2015年的論文[2]中，Jürgen Schmidhuber提出了「覺醒-睡眠」訓練循環(huán)的理論框架。

其核心思想是構建一個迭代的、自我改進的循環(huán)，兩個階段交替執(zhí)行，旨在構建能夠形成并利用時間抽象和計劃能力的自主智能系統(tǒng)。

睡眠階段智能體回顧其過往的經(jīng)歷（觀察和行動序列），通過自監(jiān)督學習訓練一個內部世界模型。

「覺醒」階段智能體利用在「睡眠」階段學到的世界模型內部表征，進行強化學習和規(guī)劃，以發(fā)現(xiàn)新的、有價值的行為。在「覺醒」階段獲得的新經(jīng)驗數(shù)據(jù)，又會被加入到經(jīng)驗庫中，用于下一輪的「睡眠」階段，以改進世界模型。

而谷歌的這項研究，可看成是「覺醒-睡眠」訓練循環(huán)的具體實現(xiàn)，自回歸基礎模型預訓練對應睡眠階段。模型通過下一個token（此處是下一動作或觀察）預測的目標，在大量未標注的行為數(shù)據(jù)上進行訓練。

這個過程正是自監(jiān)督學習，模型學會了推斷智能體的潛在目標（如子目標），并在其殘差流激活中形成了時間抽象的表征。

覺醒階段則是元控制器及其驅動的內部強化學習。它學習如何操控基礎模型（世界模型）的內部殘差流激活，從而生成有意義的、持續(xù)多個時間步的抽象動作（如「前往藍色位置」）。

這相當于在世界模型的內部狀態(tài)空間中進行規(guī)劃和控制。

圖6：在發(fā)現(xiàn)時序抽象動作時，預訓練的自回歸模型被凍結的重要性。

而只有如圖6所示，當基礎自回歸模型在元控制器訓練期間被凍結時，才會涌現(xiàn)出與子目標對齊的正確切換表征。

這一發(fā)現(xiàn)強烈支持了「覺醒-睡眠」循環(huán)的分階段迭代思想：首先通過預訓練建立一個高質量、穩(wěn)定的世界模型（基礎模型）。

然后，在此基礎上，再通過元控制器學習驅動內部強化學習，從而學到控制策略。

如果兩者同時訓練（共訓練），模型會收斂到一個退化的解決方案，無法發(fā)現(xiàn)有意義的時間抽象。

這印證了分階段、迭代式訓練的理論優(yōu)越性。而這符合Jürgen Schmidhuber提出的「先睡眠（構建模型）、后覺醒（學習控制）」的循環(huán)訓練方案。

終結隨機鸚鵡爭論

在大模型研究中，一直有批評人士認為自回歸模型無論參數(shù)量多大，都不過是「隨機鸚鵡」，難以形成一致的時間抽象和規(guī)劃。

而該研究表明，預測下一個詞的訓練方式，只要結合元控制器，就能夠誘導出層次化的時間抽象，這與人類的問題解決方式高度相似。

在不依賴手動獎勵塑形的情況下解決需要多步才能完成的任務，是邁向能夠導航復雜、開放式搜索空間的自主智能體的關鍵一步，在這些空間中，中間進度的定義往往未知。

谷歌團隊的這項研究標志著AI研究從單純優(yōu)化模型輸出，轉向理解和操控模型內部認知過程，為開發(fā)具有真正層次化推理能力的通用AI系統(tǒng)提供了堅實的實踐基礎，說明了模仿人類睡眠，才能夠實現(xiàn)復雜時間序列任務的高效學習。

與稀疏自編碼器（SAEs）等解釋性方法相比，元控制器具有顯著優(yōu)勢。它直接通過殘差流干預降低預測誤差，具有內部記憶，支持長時間跨度的干預，且能夠發(fā)現(xiàn)可解釋的、長時間持續(xù)的干預策略。

這項技術的潛在應用極其廣泛。

在機器人控制中，可讓機器人執(zhí)行需要多步協(xié)調的復雜任務；對于數(shù)學推理，能自主將復雜問題分解為可管理的推理步驟；對于科學發(fā)現(xiàn)，也可讓智能體在稀疏獎勵環(huán)境中進行高效探索和假設檢驗。

谷歌提出的內部強化學習范式，尤其適合需要長期規(guī)劃和組合推理的場景，為實現(xiàn)真正通用的智能系統(tǒng)提供了新路徑。

參考資料：

https://arxiv.org/abs/2512.20605