北京時(shí)間11月26日(周三)晚8點(diǎn)，由清華RLinf團(tuán)隊(duì)策劃、將門(mén)-TechBeat人工智能社區(qū)組織的分享活動(dòng)“RL可以為VLA帶來(lái)什么? ”將在視頻號(hào)準(zhǔn)時(shí)直播。

本次直播我們很開(kāi)心邀請(qǐng)到——清華大學(xué)交叉信息研究院博士生高楓、卡耐基梅隆大學(xué)計(jì)算機(jī)學(xué)院機(jī)器人所研究生張同和和 清華大學(xué)博士后/助理研究員于超。他們將從NeurIPS 2025中稿文章出發(fā)，一起 聊聊VLA和RL。

點(diǎn)擊下方“預(yù)約”，鎖定直播

直播介紹

主題：RL可以為VLA帶來(lái)什么？

時(shí)間：北京時(shí)間11月26日 (周三) 20:00-21:30

簡(jiǎn)介：

視覺(jué)-語(yǔ)言-動(dòng)作模型（Vision-language-action models, VLAs）以圖像和語(yǔ)言指令為輸入，輸出可執(zhí)行的機(jī)器人動(dòng)作，能夠?qū)崿F(xiàn)直觀且靈活的人機(jī)交互，被認(rèn)為是具身智能領(lǐng)域高潛力解決方案。

當(dāng)前，VLA的訓(xùn)練方法遵循標(biāo)準(zhǔn)的“預(yù)訓(xùn)練-監(jiān)督微調(diào)（Supervised Fine-tune, SFT）”范式，即在預(yù)訓(xùn)練VLM的基礎(chǔ)上，VLA模型在大規(guī)模異質(zhì)人類(lèi)演示數(shù)據(jù)集上進(jìn)行微調(diào)，隨后在目標(biāo)任務(wù)上進(jìn)一步SFT，以使其能力與特定的機(jī)器人實(shí)體和環(huán)境對(duì)齊。

然而，對(duì)SFT的依賴帶來(lái)了一個(gè)核心挑戰(zhàn)：大規(guī)模、高質(zhì)量的專(zhuān)家軌跡既繁瑣又昂貴，且通過(guò)SFT得到的模型容易過(guò)擬合于專(zhuān)家演示。RLinf團(tuán)隊(duì)致力于探索如何將強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL) 應(yīng)用于VLA模型。

本次直播將分享團(tuán)隊(duì)在 NeurIPS 2025中稿的兩篇文章，分別是 (1) RL4VLA：強(qiáng)化學(xué)習(xí)可以對(duì)VLA模型帶來(lái)何種程度的泛化？ (2) ReinFlow：在線強(qiáng)化學(xué)習(xí)微調(diào)流匹配策略。

文章提綱：

(1) What Can RL Bring to VLA Generalization? An Empirical Study

本研究系統(tǒng)探討了強(qiáng)化學(xué)習(xí) (RL) 對(duì)視覺(jué)-語(yǔ)言-動(dòng)作 (VLA) 模型泛化能力的促進(jìn)作用。針對(duì)現(xiàn)有VLA主要依賴監(jiān)督微調(diào) (SFT) 導(dǎo)致的誤差累積與分布偏移問(wèn)題，我們構(gòu)建了一個(gè)覆蓋視覺(jué)、語(yǔ)義與執(zhí)行三大維度的泛化能力評(píng)測(cè)基準(zhǔn)，并系統(tǒng)比較RL微調(diào)與SFT的差異。實(shí)驗(yàn)結(jié)果表明，采用PPO進(jìn)行RL微調(diào)可顯著提升語(yǔ)義理解與執(zhí)行魯棒性，同時(shí)保持與SFT相當(dāng)?shù)囊曈X(jué)泛化表現(xiàn)。研究進(jìn)一步發(fā)現(xiàn)，PPO在VLA場(chǎng)景中整體優(yōu)于源自LLM范式的DPO與GRPO方法?；谶@些發(fā)現(xiàn)，我們提出一套高效可復(fù)用的PPO訓(xùn)練方案，降低在大規(guī)模VLA上應(yīng)用強(qiáng)化學(xué)習(xí)的門(mén)檻，并驗(yàn)證其在提升泛化性能方面的實(shí)際價(jià)值。

(2) ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning

本研究針對(duì)流匹配策略提出了一種高效的在線強(qiáng)化學(xué)習(xí) (RL) 框架 — ReinFlow。現(xiàn)有的流模型（如Rectified Flow與Shortcut Models）基于行為克隆，其探索能力不足，成功率受制于專(zhuān)家數(shù)據(jù)的質(zhì)和量，而且一次訓(xùn)練結(jié)束后，性能很難繼續(xù)提升。ReinFlow可以對(duì)通過(guò)行為克隆得到的流策略開(kāi)展強(qiáng)化學(xué)習(xí)，通過(guò)模型自主采集數(shù)據(jù)來(lái)提高成功率。ReinFlow從RL理論出發(fā)，通過(guò)引入噪聲估計(jì)網(wǎng)絡(luò)，將確定性的流路徑轉(zhuǎn)化為離散時(shí)間馬爾可夫過(guò)程，從而實(shí)現(xiàn)精確且直接的似然估計(jì)。在包括足式運(yùn)動(dòng)控制、視覺(jué)輸入機(jī)械臂操作的場(chǎng)景中，ReinFlow的微調(diào)顯著提升了性能，相比擴(kuò)散策略，大幅減少了推理的時(shí)鐘時(shí)間。本工作為今天主流的機(jī)器人操作策略的強(qiáng)化學(xué)習(xí)提供了科學(xué)的研究基礎(chǔ)。例如，近期團(tuán)隊(duì)成功將Reinflow集成RLinf系統(tǒng)，首次將大規(guī)模并行在線強(qiáng)化學(xué)習(xí)應(yīng)用于接收稀疏獎(jiǎng)勵(lì)的流匹配 VLA 模型，展示了卓越的微調(diào)性能。

參考資料

論文鏈接： https://arxiv.org/ 2510.25889

論文鏈接： https://arxiv.org/abs/ 2505.19789

論文鏈接： https://arxiv.org/abs/2510.06710

論文鏈接： https://arxiv.org/abs/2505.22094

講者介紹

高楓

清華大學(xué)交叉信息院博士生

高楓，清華大學(xué)交叉信息院博士在讀，導(dǎo)師吳翼。主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)與機(jī)器人學(xué)習(xí)，曾在CoRL，ICML，NeurIPS，AAMAS，RAL等會(huì)議/期刊發(fā)表多篇論文。

張同和

卡耐基梅隆大學(xué)計(jì)算機(jī)學(xué)院機(jī)器人所研究生

張同和，卡耐基梅隆大學(xué)計(jì)算機(jī)學(xué)院機(jī)器人所研究生，師從Guanya Shi和Max Simchowitz。主要研究方向?yàn)閿U(kuò)散模型、強(qiáng)化學(xué)習(xí)與機(jī)器人學(xué)習(xí)，曾在ICML，NeurIPS，ICRA等會(huì)議發(fā)表多篇論文。

于超

清華大學(xué)博士后/助理研究員

于超，博士畢業(yè)于清華大學(xué)電子工程系，師從汪玉和吳翼教授。研究方向?yàn)閺?qiáng)化學(xué)習(xí)驅(qū)動(dòng)的決策智能。迄今以第一/通訊作者在頂級(jí)國(guó)際會(huì)議和期刊發(fā)表論文40余篇，谷歌學(xué)術(shù)總引用4600余次。其中，以第一作者發(fā)表于NeurIPS 2022的多智能體強(qiáng)化學(xué)習(xí)算法MAPPO論文引用逾2000次，發(fā)表于IROS 2018的機(jī)器人論文引用超1000次。曾獲清華大學(xué)優(yōu)秀博士畢業(yè)生、優(yōu)秀博士論文、優(yōu)秀碩士論文、2024年度中國(guó)智能體與多智能體系統(tǒng)優(yōu)秀博士論文提名獎(jiǎng)、國(guó)家獎(jiǎng)學(xué)金等榮譽(yù)。博士后期間入選清華大學(xué)“水木學(xué)者”計(jì)劃；主持國(guó)家自然科學(xué)基金青年項(xiàng)目、博士后基金特別資助與面上項(xiàng)目等。

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專(zhuān)注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈