本期為TechBeat人工智能社區(qū)第715期線上Talk。

北京時(shí)間9月11日(周四) 20:00，香港大學(xué)博士生陳奕的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！

她與大家分享的主題是:Moto - “潛在運(yùn)動(dòng)語(yǔ)言”賦能機(jī)器人視頻動(dòng)作學(xué)習(xí)，屆時(shí)她將解釋一種以潛在運(yùn)動(dòng)標(biāo)記（Latent Motion Token）作為“橋梁語(yǔ)言”的創(chuàng)新方法——Moto-GPT。相關(guān)工作已入選ICCV 2025 Oral。

Talk·信息

主題：Moto - “潛在運(yùn)動(dòng)語(yǔ)言”賦能機(jī)器人視頻動(dòng)作學(xué)習(xí)

嘉賓：香港大學(xué) · 博士生 - 陳奕

時(shí)間：北京時(shí)間9月11日(周四) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

如何讓機(jī)器人像人類(lèi)一樣，通過(guò)觀察視頻自主學(xué)習(xí)復(fù)雜的操作技能？本次分享將介紹我們?nèi)脒xICCV 2025 Oral的最新工作 — Moto。

我們提出了一種以潛在運(yùn)動(dòng)標(biāo)記 (Latent Motion Token) 作為“橋梁語(yǔ)言”的創(chuàng)新方法，將視頻內(nèi)容編碼為緊湊的序列表示，并基于此構(gòu)建生成式預(yù)訓(xùn)練模型Moto-GPT。該方法能夠從大規(guī)模無(wú)標(biāo)注視頻中自動(dòng)提取與動(dòng)作密切相關(guān)的運(yùn)動(dòng)知識(shí)，并通過(guò)我們?cè)O(shè)計(jì)的協(xié)同微調(diào)策略，將學(xué)習(xí)到的運(yùn)動(dòng)先驗(yàn)高效遷移至真實(shí)機(jī)器人控制任務(wù)中。

實(shí)驗(yàn)表明，經(jīng)過(guò)微調(diào)的Moto-GPT能有效提升下游機(jī)器人操作任務(wù)的性能，驗(yàn)證了從視頻數(shù)據(jù)中遷移學(xué)習(xí)視覺(jué)操作知識(shí)的可行性與有效性。

Talk大綱

1. 背景與動(dòng)機(jī)：機(jī)器人學(xué)習(xí)的瓶頸與人類(lèi)啟示

2. 方法亮點(diǎn)：從視頻到機(jī)器人動(dòng)作的三階段訓(xùn)練框架

- 視頻運(yùn)動(dòng)語(yǔ)義編碼

- 運(yùn)動(dòng)軌跡生成式預(yù)訓(xùn)練

- 協(xié)同微調(diào)策略

3. 實(shí)驗(yàn)驗(yàn)證與性能表現(xiàn)

- 潛在運(yùn)動(dòng)語(yǔ)言的可解釋性

- 預(yù)訓(xùn)練效果驗(yàn)證

- 實(shí)際任務(wù)表現(xiàn)

4. 總結(jié)與展望：潛在運(yùn)動(dòng)語(yǔ)言的應(yīng)用前景

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/abs/2412.04445 項(xiàng)目主頁(yè)： https://chenyi99.github.io/moto/

Talk·提問(wèn)交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call和問(wèn)題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

陳奕???????????

香港大學(xué) · 博士生
???

陳奕，香港大學(xué)IDS，HKU-MMLAB二年級(jí)博士生，主要研究方向?yàn)槎嗄B(tài)大模型和具身智能。她曾在ICCV, ACL, EMNLP, SIGIR等人工智能領(lǐng)域的著名國(guó)際會(huì)議發(fā)表多篇學(xué)術(shù)論文。

個(gè)人主頁(yè): https://www.techbeat.net/grzytrkj?id=45528 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊(duì)專(zhuān)場(chǎng) | 錄播or直播 | 閉門(mén)交流

多種方式任你選擇！

推薦講者成功也有獎(jiǎng)勵(lì)哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門(mén)創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。

我們希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。

期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk