離線強(qiáng)化學(xué)習(xí)（Offline RL）的一大難點(diǎn)是：訓(xùn)練數(shù)據(jù)固定、質(zhì)量參差不齊。近兩年，Decision Transformer（DT）等基于 Transformer 的方法因?yàn)榘褯Q策建模成條件序列生成而受到關(guān)注，但它們往往把「整條軌跡」作為學(xué)習(xí)單位：如果一條軌跡的最終回報(bào)不高，軌跡中間即便出現(xiàn)過有效動(dòng)作與局部成功，也容易被整體低回報(bào)「稀釋」。

針對(duì)這一痛點(diǎn)，山東大學(xué)、中科院、理想汽車與清華大學(xué)的研究團(tuán)隊(duì)聯(lián)合提出了一種名為PRGS（Peak-Return Greedy Slicing）的新框架。

PRGS 的目標(biāo)是在不改變離線數(shù)據(jù)來源的前提下，從原始軌跡中自動(dòng)篩選出更有學(xué)習(xí)價(jià)值的子軌跡（sub-trajectories），用于訓(xùn)練 Transformer 型離線 RL 方法，并在推理階段進(jìn)一步避免「糟糕歷史」對(duì)當(dāng)前決策的干擾。

在 D4RL、BabyAI 等主流榜單上，PRGS 不僅超越各種基線方法，更讓 Transformer 類方法的平均性能提升了 15.8%！

本論文的第一作者徐志偉，山東大學(xué)通用智能實(shí)驗(yàn)室助理教授。于 2024 年在中國(guó)科學(xué)院自動(dòng)化研究所獲博士學(xué)位，研究?jī)?nèi)容主要為強(qiáng)化學(xué)習(xí)、多智能體系統(tǒng)與基于大語言模型的 AI Agent。曾獲得 2025 年度中國(guó)智能體與多智能體系統(tǒng)優(yōu)秀博士論文提名等榮譽(yù)。

目前，該論文已接收于國(guó)際計(jì)算機(jī)頂級(jí)會(huì)議 ICLR 2026。ICLR（International Conference on Learning Representations）是機(jī)器學(xué)習(xí)與表示學(xué)習(xí)領(lǐng)域的國(guó)際頂級(jí)會(huì)議之一，與 NeurIPS、ICML 并列為人工智能方向最具影響力的學(xué)術(shù)會(huì)議。本次 ICLR 2026 共有接近 19000 篇有效投稿，接收率約為 28%。

• 論文標(biāo)題：Peak-Return Greedy Slicing: Subtrajectory Selection for Transformer-Based Offline RL
  
• 論文鏈接：
• https://openreview.net/pdf?id=7vpehpWnnY

01 痛點(diǎn)：按「整條軌跡」學(xué)習(xí)，粒度不夠細(xì)

在離線 RL 中，數(shù)據(jù)是固定的，不能像在線 RL 那樣去不斷試錯(cuò)。現(xiàn)有的 Transformer-based 方法（如 DT），本質(zhì)上是在做條件序列建模。它們通常以「最終回報(bào)（Final Return）」為條件來生成動(dòng)作。

這帶來的問題是顯而易見的：

• 粒度偏粗：模型只能看到一條軌跡的整體回報(bào)信號(hào)，難以區(qū)分軌跡內(nèi)部不同時(shí)間段的質(zhì)量差異。

• 縫合能力缺失：由于缺乏局部?jī)?yōu)化目標(biāo)，模型很難從多個(gè)平庸策略中提取出最優(yōu)片段并組合成新的完美策略。

雖然也有研究試圖通過重采樣或加權(quán)來緩解，但大多治標(biāo)不治本，沒有深入到時(shí)間步（Timestep）級(jí)別去精細(xì)化操作。而PRGS 的出現(xiàn)，正是為了打破這一僵局。

02 核心解法：從全局建模到精細(xì)化切片

PRGS（Peak-Return Greedy Slicing）可以理解為一個(gè)面向 Transformer 離線 RL 的數(shù)據(jù)處理與推理增強(qiáng)框架，包含三部分：回報(bào)估計(jì)、貪心切片、推理時(shí)自適應(yīng)截?cái)唷?/p>

它的核心邏輯非常像人類的學(xué)習(xí)過程：回顧過去的經(jīng)歷，哪怕結(jié)局是失敗的，也要找出其中做得最好的那一段，刻在腦子里。

PRGS 包含三個(gè)環(huán)環(huán)相扣的模塊：

第一步：MMD-based Return Estimator：用分布視角做更「樂觀」的回報(bào)估計(jì)

PRGS 首先需要回答：在軌跡內(nèi)部，哪些時(shí)間段更可能帶來高回報(bào)？為此作者引入基于最大均值差異（MMD）的回報(bào)估計(jì)器，用來刻畫狀態(tài)-動(dòng)作對(duì)的潛在回報(bào)分布。

不同于傳統(tǒng)的均值預(yù)測(cè)，MMD 估計(jì)器能預(yù)測(cè)狀態(tài)-動(dòng)作對(duì)的潛在回報(bào)分布。通過對(duì)分布采樣并取 Top-n 均值，PRGS 獲得了一個(gè)樂觀的回報(bào)估計(jì)值。簡(jiǎn)單來說就是：它能挖掘出當(dāng)前狀態(tài)下可能達(dá)到的最好結(jié)果，而不是平均結(jié)果。

第二步：Greedy Subtrajectory Slicing：圍繞峰值回報(bào)做遞歸切片

在得到每個(gè)時(shí)間步的「樂觀回報(bào)」后，PRGS 對(duì)單條軌跡執(zhí)行貪心切片：PRGS 會(huì)掃描整條軌跡，計(jì)算每個(gè)時(shí)間步的「樂觀回報(bào)」。然后，它會(huì)找到那個(gè)回報(bào)最高的點(diǎn)——峰值點(diǎn)（Peak Point）。

• 切。以這個(gè)峰值點(diǎn)為界，從起點(diǎn)到峰值點(diǎn)的這一段，被認(rèn)定為「高質(zhì)量子軌跡」，直接拿去訓(xùn)練 Transformer。

• 再切。剩下的部分，再重新找峰值，繼續(xù)切，直到切完為止。

這種遞歸式的貪心策略，把長(zhǎng)軌跡拆成一組更短、質(zhì)量更聚焦的子軌跡，從而讓 Transformer 在訓(xùn)練中更頻繁地接觸到「相對(duì)高回報(bào)」的決策片段。

第三步：Adaptive History Truncation：推理階段的自適應(yīng)截?cái)?/strong>

PRGS 還考慮了一個(gè)實(shí)際問題：模型訓(xùn)練時(shí)看到的是「從軌跡中段截取出來的子軌跡」，推理時(shí)如果始終把所有歷史上下文都喂給模型，早期的低質(zhì)量動(dòng)作可能會(huì)干擾后續(xù)決策。

PRGS 引入了一種自適應(yīng)歷史截?cái)鄼C(jī)制（AHT）：每走一步，模型都會(huì)評(píng)估當(dāng)前狀態(tài)的價(jià)值。如果發(fā)現(xiàn)現(xiàn)在的處境比歷史記錄顯示的更有前途，說明之前的歷史已經(jīng)不僅沒用，反而成了累贅。這時(shí)候，模型會(huì)果斷失憶，丟掉歷史上下文，輕裝上陣。

03 實(shí)驗(yàn)：多場(chǎng)景達(dá)到 SOTA 表現(xiàn)，復(fù)雜場(chǎng)景更強(qiáng)

研究團(tuán)隊(duì)在D4RL（連續(xù)控制）、BabyAI（自然語言指令跟隨）以及AuctionNet（大規(guī)模廣告競(jìng)價(jià)）三個(gè)截然不同的基準(zhǔn)上進(jìn)行了測(cè)試。

D4RL 場(chǎng)景中表現(xiàn)驚艷

在經(jīng)典的 MuJoCo 和 AntMaze 任務(wù)中，PRGS 的表現(xiàn)堪稱驚艷。特別是在需要極強(qiáng)「縫合能力」的Maze2D-Large迷宮任務(wù)中，DT-PRGS 的得分高達(dá)127.5，而原始 DT 只有不到 30 分。

在迷宮任務(wù)中的可視化結(jié)果也顯示，通過 PRGS 提取出的子軌跡，精準(zhǔn)地覆蓋了通往目標(biāo)的「黃金路徑」，幾乎剔除了所有繞彎路的無效探索。

真實(shí)業(yè)務(wù)場(chǎng)景的潛力

除了學(xué)術(shù)榜單，PRGS 在AuctionNet（阿里媽媽開源的廣告競(jìng)價(jià)數(shù)據(jù)集）上也表現(xiàn)出色。相比于 BC（行為克?。?，加持了 PRGS 后的 BC 算法在多個(gè)周期內(nèi)實(shí)現(xiàn)了顯著的利潤(rùn)提升。

04 總結(jié)與展望

PRGS 的成功證明了一件事：在離線強(qiáng)化學(xué)習(xí)中，數(shù)據(jù)不僅要「多」，更要「精」。

通過MMD 估計(jì)器、貪心切片和自適應(yīng)截?cái)噙@套組合拳，PRGS 成功地讓 Transformer 具備了「取其精華，去其糟粕」的能力。這一成果也為自動(dòng)駕駛、機(jī)器人控制等工業(yè)級(jí)應(yīng)用提供了極具價(jià)值的技術(shù)參考。