「Rainbow DQN最重要的組件之一，在某些任務(wù)上其實(shí)是累贅?！?/p>

我在拆解Rainbow DQN時(shí)做了個(gè)反直覺(jué)的實(shí)驗(yàn)：刪掉優(yōu)先經(jīng)驗(yàn)回放（PER），結(jié)果Snake AI的世界紀(jì)錄從134分飆到153分——在20×20網(wǎng)格上，這比完整版Rainbow高了14%，是2021年頂會(huì)論文最好成績(jī)的2.5倍。

Hessel等人2018年的經(jīng)典論文把PER列為Rainbow兩大核心組件之一。他們的測(cè)試方法很直接：每次去掉一個(gè)組件，看Atari游戲分?jǐn)?shù)掉多少。PER和多步回報(bào)并列第一，去掉任意一個(gè)，性能跌幅最大。這個(gè)結(jié)論成了深度強(qiáng)化學(xué)習(xí)社區(qū)的共識(shí)：PER必不可少。

但沒(méi)人驗(yàn)證過(guò)，這套排名在非Atari任務(wù)上是否成立。

PER的原理聽(tīng)起來(lái)很合理：不按均勻隨機(jī)采樣，而是根據(jù)TD誤差給每條經(jīng)驗(yàn)打優(yōu)先級(jí)。模型猜錯(cuò)的樣本多回放，猜對(duì)的少管。別在已經(jīng)學(xué)會(huì)的東西上浪費(fèi)時(shí)間，專注攻克難點(diǎn)。為了抵消這種有偏采樣對(duì)梯度的扭曲，PER用重要性采樣權(quán)重做數(shù)學(xué)修正，beta參數(shù)控制修正強(qiáng)度，從0.4逐漸退火到1.0。

問(wèn)題出在我的配置和默認(rèn)參數(shù)嚴(yán)重錯(cuò)配。PER的beta按梯度步數(shù)退火，大多數(shù)實(shí)現(xiàn)默認(rèn)給單環(huán)境訓(xùn)練設(shè)計(jì)——大概每回合1次梯度更新。我跑了2048個(gè)并行環(huán)境，每全局步4次梯度更新，折合每回合約8192次梯度步。

按常見(jiàn)的beta_anneal_steps=100000計(jì)算，beta在第12回合就頂?shù)?.0了。不是12000回合，是12回合。IS修正全程火力全開(kāi)時(shí)，智能體還沒(méi)入門；剩下的30萬(wàn)回合里，PER頂著最大梯度壓制，處理的優(yōu)先級(jí)全是噪聲。

訓(xùn)練輪還沒(méi)蹬就卸了輔助輪，車沒(méi)學(xué)會(huì)走先讓人跑馬拉松。

修正這個(gè)配置錯(cuò)誤后，我干脆測(cè)試了「無(wú)PER版Rainbow」——結(jié)果它碾壓了完整版。那個(gè)被奉為圭臬的組件，在Snake上成了負(fù)優(yōu)化。

這個(gè)發(fā)現(xiàn)本身不算顛覆，但暴露了一個(gè)更深層的問(wèn)題：社區(qū)把Atari上的結(jié)論當(dāng)成普適真理，卻懶得問(wèn)一句「你的任務(wù)像Atari嗎」。Snake的狀態(tài)空間結(jié)構(gòu)、獎(jiǎng)勵(lì)稀疏度、回合長(zhǎng)度和Atari完全不同，組件的重要性排序自然可能洗牌。

我在系列前兩篇講過(guò)編碼優(yōu)化和內(nèi)存改進(jìn)，這篇的核心收獲是：別迷信論文里的組件排名，你的任務(wù)可能屬于「PER有害」的那一類。測(cè)了才知道。