本文第一作者夏翰宸為上?？茖W(xué)智能研究院強(qiáng)化學(xué)習(xí)研究員，碩士畢業(yè)于上海交通大學(xué)，研究方向?yàn)?Agentic RL 和多模態(tài)擴(kuò)散語(yǔ)言模型。本文的通訊作者是復(fù)旦大學(xué)朱思語(yǔ)教授。

在經(jīng)典強(qiáng)化學(xué)習(xí)問題中，動(dòng)作空間通常是離散且有限的。例如在圍棋中，一步棋就是一次行動(dòng)；在機(jī)器人控制或視覺 - 語(yǔ)言 - 行動(dòng)（VLA）模型中，動(dòng)作往往來(lái)自一個(gè)有限的控制指令集合。

這樣的設(shè)置使得搜索算法（如 MCTS）能夠在一個(gè)結(jié)構(gòu)清晰的決策空間中展開，每個(gè)分支都對(duì)應(yīng)一個(gè)真實(shí)且不同的決策。

但語(yǔ)言模型的情況截然不同。

如果把token 序列直接視為動(dòng)作，那么語(yǔ)言模型的動(dòng)作空間幾乎是無(wú)限的。同一個(gè)語(yǔ)義決策，可以被大量不同的字符串表達(dá)。

著名語(yǔ)言學(xué)家、哲學(xué)家維特根斯坦在《哲學(xué)研究》的開篇提出了一個(gè)著名的例子，用來(lái)說(shuō)明語(yǔ)言與行動(dòng)之間的關(guān)系：在一個(gè)建筑工地上，一名工人只需要喊出「Slab!」（石板），他的同伴就會(huì)把石板遞過來(lái)。在特定語(yǔ)境中，一句話的意義并不取決于它的字面形式，而取決于它在「語(yǔ)境」（context）中的功能。

對(duì) LLM Agent 來(lái)說(shuō)，同一個(gè)語(yǔ)義動(dòng)作，可以被不同的字符串實(shí)現(xiàn)：不同的措辭、格式變體、tool-call 寫法，看起來(lái)是不同分支，本質(zhì)上卻在做同一件事。這意味著，把 token sequence 直接當(dāng)成「策略」，會(huì)系統(tǒng)性地高估語(yǔ)言搜索樹的 branching factor。模型表面上在「廣泛探索」，實(shí)際上卻可能只是在不同 paraphrase 之間來(lái)回打轉(zhuǎn)。

語(yǔ)言推理的問題，不只是搜索樹太大，而是搜索樹里有大量「看起來(lái)不同、其實(shí)等價(jià)」的分支。

如果再疊加 RLVR 的稀疏獎(jiǎng)勵(lì)問題，情況會(huì)更糟。很多任務(wù)只有極少量終點(diǎn)路徑能被規(guī)則驗(yàn)證為正確，而且驗(yàn)證信號(hào)往往只在最后一步出現(xiàn)。于是，一邊是搜索預(yù)算被近重復(fù)分支大量消耗，另一邊是中間過程缺乏穩(wěn)定反饋，credit assignment 也就變得異常脆弱。

圍繞「對(duì)于 LLM 來(lái)說(shuō)，何為 policy」這個(gè)本質(zhì)問題，上?？茖W(xué)智能研究院聯(lián)合復(fù)旦大學(xué)提出 LaPha（Latent Poincaré Shaping for Agentic Reinforcement Learning）：把智能體的行為樹映射到 LLM 自身的潛空間，用幾何距離定義勢(shì)函數(shù)，構(gòu)造密集的過程獎(jiǎng)勵(lì)，并訓(xùn)練類 AlphaZero 的 LLM Agent。

• 論文鏈接：https://arxiv.org/pdf/2602.09375

先看最硬的結(jié)論

LaPha 的亮點(diǎn)可以用三句話概括：

• 在隱空間分配公平、密集的過程獎(jiǎng)勵(lì)；
• 在隱空間進(jìn)行策略剪枝；
• 在隱空間訓(xùn)練 Value Network，以極低的開銷換取大幅度 test-time scaling；

效果直接反映在基準(zhǔn)上：

• Qwen2.5-Math-1.5B on MATH-500 / Gaokao'23 (En)：66.0% →88.2%/ 46.5% →67.7%；
• Qwen2.5-Math-7B on AIME'24/25：10.0% →60.0%/ 16.7% →53.3%。

輕量改造的核心：把「樹結(jié)構(gòu)」搬進(jìn)負(fù)曲率幾何

LaPha 的做法很直接：對(duì)每個(gè)搜索節(jié)點(diǎn)，把 LLM 的最后一個(gè)隱層做平均池化，得到一個(gè)狀態(tài)向量；再以 prompt 的隱向量為原點(diǎn)做「平移中心化」，最后把所有狀態(tài)的隱向量映射到 Poincaré 球內(nèi)。此后搜索、獎(jiǎng)勵(lì)、價(jià)值、剪枝都在同一潛空間上完成。

為什么是雙曲（hyperbolic）空間？

• 樹的分支數(shù)隨深度指數(shù)增長(zhǎng)，而負(fù)曲率空間的有效容量也隨半徑指數(shù)擴(kuò)張，樹節(jié)點(diǎn)數(shù)量隨深度膨脹，歐式空間出現(xiàn)「粘連」，而雙曲空間上的節(jié)點(diǎn)因?yàn)榭臻g膨脹，節(jié)點(diǎn)仍能夠相互區(qū)分；
• RMSNorm 后的隱層分布在高維超球面，球面向量不具備單調(diào)性，無(wú)法刻畫「進(jìn)展」；而 Poincaré 球上可以觀察到清晰的從根節(jié)點(diǎn)向邊界「生長(zhǎng)」的 Agent 行為樹。

用幾何勢(shì)函數(shù)，把稀疏驗(yàn)證獎(jiǎng)勵(lì)「變密」

上圖可視化了 LaPha-Math-1.5B 搜索正確答案的過程，Agent 的「動(dòng)作」產(chǎn)生了一棵自「問題」向邊界生長(zhǎng)的搜索樹。LaPha 主要通過以下幾步將「終點(diǎn)對(duì)錯(cuò)」轉(zhuǎn)成每一步都可以學(xué)習(xí)的過程信號(hào)。

• 雙曲測(cè)地距離（Poincaré 球的距離）

• 構(gòu)造勢(shì)函數(shù)（取值在 [0,1]），離 root 越遠(yuǎn)、離最近「正確解」越近，勢(shì)能越高

• 沿邊的過程獎(jiǎng)勵(lì)就是勢(shì)能差分。這一步很關(guān)鍵：用勢(shì)能差分做獎(jiǎng)勵(lì)，能在理論上保持「最優(yōu)策略不變」的性質(zhì)，同時(shí)把稀疏終點(diǎn)信號(hào)變成密集的中間獎(jiǎng)勵(lì)。

輕量 value head：把「幾何進(jìn)展」學(xué)成一個(gè)便宜的排序器

光有過程獎(jiǎng)勵(lì)還不夠 —— 推理端看不到「正確葉子集合」，怎么辦？

LaPha 在同一份 pooled hidden state 上掛了一個(gè)非常輕的 value head（線性 + sigmoid），去擬合上面勢(shì)函數(shù)定義出來(lái)的目標(biāo)。訓(xùn)練完成后，value head 直接作為 MCTS 的啟發(fā)式信號(hào)，在 test-time 引導(dǎo)選擇與擴(kuò)展。

• value head 形式

• value loss（用勢(shì)函數(shù)做監(jiān)督）

訓(xùn)練中，self-guided Pass@1 逐漸超過葉子平均正確率，說(shuō)明 value head 學(xué)到了獨(dú)立于 policy head 的額外信息。

潛空間剪枝

語(yǔ)言動(dòng)作空間的最大浪費(fèi)，是 MCTS 反復(fù)擴(kuò)展一堆幾乎等價(jià)的表達(dá)。

LaPha 在潛空間里按雙曲距離對(duì)非終止節(jié)點(diǎn)聚類，對(duì)每個(gè)簇禁用一部分近重復(fù)節(jié)點(diǎn)，再重建 frontier 繼續(xù)搜。這樣能顯著減少「語(yǔ)義坍縮」，提升覆蓋率，讓同樣的模擬預(yù)算探索到更多真正不同的思路。