最近觀望了強(qiáng)化學(xué)習(xí)在頂會(huì)上的表現(xiàn)，發(fā)現(xiàn)RL+大模型組合、動(dòng)態(tài)通信多智能體學(xué)習(xí)、自監(jiān)督RL、基于模型的RL+DMs這幾個(gè)方向比較好出成果（見(jiàn)下文）。

其他的，比如多模態(tài)輸入的RL任務(wù)等也不錯(cuò)，想搞新興領(lǐng)域+細(xì)分的可以試試。不過(guò)無(wú)論選哪個(gè)方向，緊跟你同一方向的高質(zhì)量文章，分析它們的創(chuàng)新點(diǎn)和實(shí)驗(yàn)設(shè)計(jì)，依然是快速找到突破口的關(guān)鍵。

本文整理了193篇強(qiáng)化學(xué)習(xí)前沿論文，基本涵蓋了當(dāng)前強(qiáng)化學(xué)習(xí)的主流研究熱點(diǎn)，你想做的方向應(yīng)該都能找到參考，開源代碼也整理了，下面掃碼就能無(wú)償獲取。

掃碼添加小享，回復(fù)“強(qiáng)化161”

免費(fèi)獲取全部論文+開源代碼

強(qiáng)化學(xué)習(xí)+大模型

現(xiàn)在與大模型結(jié)合在頂會(huì)（NeurIPS/ICLR/ICML）上屬于“流量密碼”，無(wú)論是將RL用于對(duì)齊微調(diào)（比如RLHF）、agent決策規(guī)劃，還是用LLM生成獎(jiǎng)勵(lì)函數(shù)/環(huán)境，都容易產(chǎn)生novelty。

STARLING: Self-supervised Training of Text-based Reinforcement Learning Agent with Large Language Models

方法：論文提出 STARLING 方法，借助大語(yǔ)言模型（如 GPT3）自動(dòng)生成聚焦特定技能的文本游戲作為自監(jiān)督預(yù)訓(xùn)練任務(wù)，結(jié)合強(qiáng)化學(xué)習(xí)訓(xùn)練文本型強(qiáng)化學(xué)習(xí)智能體，提升其在目標(biāo)文本游戲環(huán)境中的性能與泛化能力。

創(chuàng)新點(diǎn)：

• 借助GPT3與Inform7引擎，自動(dòng)生成含特定技能訓(xùn)練的文本游戲，無(wú)需大量人工標(biāo)注，快速構(gòu)建多樣化訓(xùn)練數(shù)據(jù)集。

• 提出STARLING自監(jiān)督環(huán)境，以生成游戲?yàn)檩o助任務(wù)預(yù)訓(xùn)練TBRL代理，助力技能遷移，提升目標(biāo)環(huán)境泛化能力。

• 采用模塊化生成流程，結(jié)合槽填充與k-shot示例，規(guī)范LLM輸出并轉(zhuǎn)化為游戲代碼，保障游戲可用性與靈活性。

多智能體系統(tǒng)本身是長(zhǎng)期熱點(diǎn)，而GNN是多智能體系統(tǒng)中建模通信和協(xié)作圖結(jié)構(gòu)的核心技術(shù)，引入動(dòng)態(tài)圖通信能解決非穩(wěn)態(tài)、通信效率等問(wèn)題，既符合分布式系統(tǒng)趨勢(shì)，又適合理論+實(shí)驗(yàn)融合。

Optimizing Age of Information in Vehicular Edge Computing with Federated Graph Neural Network Multi-Agent Reinforcement Learning

方法：論文提出 FGNN-MADRL 方法，將圖神經(jīng)網(wǎng)絡(luò)（GNN）與多智能體深度強(qiáng)化學(xué)習(xí)（MADRL）結(jié)合，融入聯(lián)邦學(xué)習(xí)框架，通過(guò)構(gòu)建車路圖提取車輛特征、優(yōu)化聚合權(quán)重，實(shí)現(xiàn)車載邊緣計(jì)算中任務(wù)卸載的信息新鮮度（AoI）優(yōu)化。

創(chuàng)新點(diǎn)：

• 首次將道路場(chǎng)景構(gòu)建為車路圖數(shù)據(jù)結(jié)構(gòu)，以路段為GNN節(jié)點(diǎn)、車車通信關(guān)系為邊，有效適配車輛數(shù)量動(dòng)態(tài)變化的場(chǎng)景。

• 提出融合分布式本地聚合與集中式全局聚合的GNN聯(lián)邦學(xué)習(xí)框架，通過(guò)GNN提取車輛特征生成個(gè)性化聚合權(quán)重，兼顧模型個(gè)性化與穩(wěn)定性。

• 設(shè)計(jì)新型 MADRL 算法，車輛依自身觀測(cè)獨(dú)立決策，結(jié)合 SAC 算法提升動(dòng)態(tài)場(chǎng)景適應(yīng)性。

掃碼添加小享，回復(fù)“強(qiáng)化161”

免費(fèi)獲取全部論文+開源代碼

物理信息強(qiáng)化學(xué)習(xí)

常與Model-based RL結(jié)合，引入擴(kuò)散模型等生成模型來(lái)學(xué)習(xí)復(fù)雜物理系統(tǒng)的動(dòng)力學(xué)，實(shí)現(xiàn)高保真、概率性的環(huán)境建模。這塊實(shí)驗(yàn)可驗(yàn)證性比較強(qiáng)，在機(jī)器人操控、自動(dòng)駕駛、流體控制等領(lǐng)域很火。

Reinforcement Learning with Physics-Informed Symbolic Program Priors for Zero-Shot Wireless Indoor Navigation

方法：論文提出 PiPRL 框架，將物理先驗(yàn)編碼為領(lǐng)域特定語(yǔ)言（DSL）的符號(hào)程序，以神經(jīng)符號(hào)融合方式引導(dǎo)強(qiáng)化學(xué)習(xí)，提升無(wú)線室內(nèi)導(dǎo)航任務(wù)的樣本效率與零 - shot 泛化能力。

創(chuàng)新點(diǎn)：

• 用領(lǐng)域特定語(yǔ)言（DSL）將物理先驗(yàn)編碼為符號(hào)程序，作為歸納偏置注入強(qiáng)化學(xué)習(xí)，兼具可讀性與可解釋性。

• 提出PiPRL神經(jīng)符號(hào)融合框架，通過(guò)感知模塊、符號(hào)程序模塊與RL控制模塊的分層協(xié)作，銜接物理先驗(yàn)與實(shí)際控制。

• 設(shè)計(jì)程序引導(dǎo)RL機(jī)制，通過(guò)動(dòng)作限制、獎(jiǎng)勵(lì)校正等方式，讓RL在物理約束下搜索最優(yōu)策略，提升樣本效率與泛化性。

因?yàn)橐徑釸L樣本效率低的根本問(wèn)題，自監(jiān)督RL這賽道還是有很多機(jī)會(huì)的，就比如這個(gè)。Transformer在RL中的核心優(yōu)勢(shì)就是表征學(xué)習(xí)，通過(guò)自監(jiān)督預(yù)訓(xùn)練提升樣本效率和泛化。

MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

方法：論文提出 MINEDOJO 框架，基于 Minecraft 構(gòu)建含數(shù)千任務(wù)的開放環(huán)境與互聯(lián)網(wǎng)級(jí)知識(shí)庫(kù)，通過(guò) Transformer 預(yù)訓(xùn)練的 MINECLIP 模型提供語(yǔ)言條件化獎(jiǎng)勵(lì)，結(jié)合 PPO 與自模仿學(xué)習(xí)實(shí)現(xiàn)強(qiáng)化學(xué)習(xí) agent 的多任務(wù)學(xué)習(xí)與泛化。

創(chuàng)新點(diǎn)：

• 構(gòu)建基于Minecraft的MINEDOJO框架，包含數(shù)千個(gè)自然語(yǔ)言描述的開放任務(wù)，覆蓋生存、建造等多類型，支持通用agent訓(xùn)練。

• 打造互聯(lián)網(wǎng)規(guī)模多模態(tài)知識(shí)庫(kù)，整合百萬(wàn)級(jí)YouTube視頻、Wiki頁(yè)面等，為agent提供海量任務(wù)相關(guān)先驗(yàn)知識(shí)。

• 提出MINECLIP模型，基于Transformer進(jìn)行視頻-文本對(duì)比預(yù)訓(xùn)練，生成語(yǔ)言條件化獎(jiǎng)勵(lì)，結(jié)合PPO與自模仿學(xué)習(xí)提升RL訓(xùn)練效率。

掃碼添加小享，回復(fù)“強(qiáng)化161”

免費(fèi)獲取全部論文+開源代碼