機器之心報道

機器之心編輯部

AI 時代，智能體對短期對話的處理能力已不再是難題。真正的挑戰(zhàn)是讓智能體在數(shù)百步的探索中依然保持清晰的推理與穩(wěn)健的決策。

傳統(tǒng)的強化學習框架在幾十步內尚能應付，但一旦任務延展至數(shù)百步，獎勵稀疏、歷史冗長、策略崩塌便接踵而至。

為了應對這些挑戰(zhàn)，來自卡內基梅隆大學、香港大學等機構的研究者提出了 Verlog ，試圖打破這一困境。

具體而言，Verlog 是一個多輪強化學習框架，專為具有高度可變回合（episode）長度的長時程（long-horizon） LLM-Agent 任務而設計。

它在繼承 VeRL 和 BALROG 的基礎上，并遵循 pytorch-a2c-ppo-acktr-gail 的成熟設計原則，引入了一系列專門優(yōu)化手段，從而在任務跨度從短暫交互到數(shù)百回合時，依然能夠實現(xiàn)穩(wěn)定而高效的訓練。

以往的框架（如 VeRL 和 RAGEN）能夠較好地處理約 10 回合的任務，verl-agent 則可擴展至 50 回合。而 Verlog 則被設計用于超過 400 回合的環(huán)境，使其在復雜的長期決策任務中具備獨特優(yōu)勢。

這一能力已在 BabyAI、BabaIsAI 和 Crafter 等高難度領域得到驗證。以 Crafter 為例，其回合長度范圍在 70 到 400 步之間，平均約為 190 步。在這些充滿挑戰(zhàn)的環(huán)境中，Verlog 都能夠開箱即用地展現(xiàn)出強勁的性能。

• 博客地址：https://blog.ml.cmu.edu/2025/09/15/verlog-a-multi-turn-rl-framework-for-llm-agents/
• 項目主頁：https://agentic-intelligence-lab.org/2025/08/15/technical-post.html

方法介紹

基礎模型

在模型方面，本文基于 Qwen-2.5 的 Instruct 變體（Qwen-2.5-3B/7B-Instruct）構建。

這樣做主要有兩個原因：

一是，它可以與 BALROG 無縫集成（BALROG 是一個旨在評估 Instruct 模型在一系列基準測試中零樣本性能的框架）；

其次，它允許研究者可以直接使用基準測試提示，而無需太多修改。

BabyAI 使用的提示模板

記憶機制

本文不是將整個軌跡全部放入上下文窗口中，而是僅保留最新的 n + 1 個回合。

這樣做帶來的影響是，對于 3B 參數(shù)的 Qwen 模型，性能在 n = 1 或 2 時達到峰值，而當 n 增加到 4 或 8 時性能下降。

作者推測，模型性能下降的原因是 3B 模型在處理長上下文方面的能力有限，例如，當 n = 8 時，提示詞長度約為 4600 個 token。

不過，這一趨勢是否適用于更大規(guī)模的模型，仍待研究。

Dual Discounting GAE 算法

此外，本文 GAE 是遞歸計算的：

其中，

遞歸從最后一輪的最后一個 token 開始，向后進行。處理完最后一輪的所有 token 后，移至倒數(shù)第二輪的最后一個 token，并繼續(xù)遞歸執(zhí)行此過程。在此過程中，所有狀態(tài) token 都會被跳過。

實驗結果

該研究在三個頗具挑戰(zhàn)性的基準上測試了 Verlog：包括 Crafter、BabyAI 和 BabaIsAI。實驗模型包括 Qwen2.5-Instruct 。

在 Crafter 環(huán)境中，本文使用 8 張 H100（82GB 顯存）GPU 對 Qwen2.5-7B-Instruct 模型訓練了大約 36 小時。此外，針對 BabyAI 與 BabaIsAI 環(huán)境，本文采用 4 張 A40（48GB 顯存）GPU 對 Qwen2.5-3B-Instruct 模型訓練約 24 小時。

三個實驗環(huán)境表明，Verlog 展現(xiàn)出穩(wěn)定的訓練能力，不管是在長周期、稀疏獎勵，還是在可變 episode 長度條件下。這也證明了該框架能自然適應從短周期到超長周期多回合任務的規(guī)模化訓練。

總結

Verlog 針對在構建長時程、多回合任務的 LLM Agent 時面臨的若干核心工程挑戰(zhàn)，提出了系統(tǒng)性的解決方案，包括：

• 長交互歷史的處理：通過記憶機制和回合級抽象來管理歷史信息。
• 稀疏獎勵下的訓練穩(wěn)定性：結合 dual-discounting GAE 和價值函數(shù)預訓練來增強穩(wěn)定性。
• 軌跡長度可變的管理：通過固定回合批處理（fixed-turn batching）和自舉式價值估計來處理變長軌跡。
• 提升動作有效性：利用針對性的提示工程和默認動作替換，使訓練過程中 >95% 的動作均為有效動作。

作者表示，Verlog 的定位是一個靈活的研究平臺，目的是推動長時程 LLM-Agent 強化學習的發(fā)展。