Sergey Levine簡介/Physical Intelligence (PI)聯(lián)合創(chuàng)始人、加州理工大學(xué)伯克利分校（UC Berkeley）副教授。他以流匹配架構(gòu)與混合專家模型，突破機(jī)器人控制瓶頸，并以VLA融合模型重新定義了通用機(jī)器人的學(xué)習(xí)范式。

7月27日，在2025 WAIC上，由智元機(jī)器人主辦的「智啟具身論壇」如期舉辦。在其重量級嘉賓陣容中，RoboX首先編譯整理了Sergey Levine的演講內(nèi)容，供大家參考：

開端：RT-2的「視覺問答」

“幾年前，基于首個(gè)機(jī)器人基礎(chǔ)模型，我的學(xué)生凱文·布萊克發(fā)送了一個(gè)指令——‘把茄子放進(jìn)鍋里’。當(dāng)時(shí)的基礎(chǔ)模型運(yùn)行在遠(yuǎn)程服務(wù)器上，且運(yùn)行的是一個(gè)我們沒有開發(fā)、也不太清楚工作原理的模型。凱文能夠向這個(gè)模型發(fā)送指令，然后機(jī)器人就完成了任務(wù)?！?/p>

在演講的開頭，Levine回憶道，像這樣簡單的任務(wù)，卻已經(jīng)讓凱文研究了很長一段時(shí)間。因此，這一指令的成功，讓他們看到了新型系統(tǒng)勢的能力，以及其不可阻擋的趨勢：

“隨著我們開發(fā)出可遠(yuǎn)程調(diào)用的機(jī)器人基礎(chǔ)模型，這將釋放出一種力量，使任何機(jī)器人都能執(zhí)行任何任務(wù)。”

他介紹稱，首個(gè)機(jī)器人VLA模型是RT-2（谷歌DeepMind于2023年7月 推出）。RT-2其實(shí)是一個(gè)非常簡單的模型，它基于能夠處理圖像的大語言模型，并進(jìn)一步訓(xùn)練以實(shí)現(xiàn)機(jī)器人控制，所以它仍屬于語言模型，并可以處理「視覺問答」類任務(wù)——向它們展示一張圖片，問一個(gè)問題，模型就會嘗試回答問題。

“為了使模型適應(yīng)機(jī)器人操控，我們只需將機(jī)器人的規(guī)控表述為一個(gè)問題，而問題的答案就是應(yīng)該發(fā)送給機(jī)器人的電機(jī)指令。RT-2基于PaLI-X和PaLM-E兩種預(yù)訓(xùn)練的VLM，構(gòu)建出一個(gè)相當(dāng)復(fù)雜的VLA模型，它可以執(zhí)行各種基礎(chǔ)的語言指令?！盠evine說道。

但是，要充分釋放機(jī)器人基礎(chǔ)模型的潛力，還需要一些其他條件——合適的數(shù)據(jù)集。

RT-X帶來質(zhì)變

“我認(rèn)為，朝著這一目標(biāo)邁出的另一步意義重大，那就是RT-X數(shù)據(jù)集的開發(fā)。”（編者注：DeepMind于2023年發(fā)布了RT-X通用大模型，并開放了訓(xùn)練數(shù)據(jù)集Open X-Embodiment。）

Levine表示，RT-X的數(shù)據(jù)集是一個(gè)跨具身數(shù)據(jù)集，其數(shù)據(jù)來自34個(gè)不同的研究實(shí)驗(yàn)室、22種不同類型的機(jī)器人。

在這一數(shù)據(jù)集中，可以看到各種各樣不同的機(jī)械臂、場景及任務(wù)。如今，這個(gè)數(shù)據(jù)集具備了訓(xùn)練機(jī)器人基礎(chǔ)模型所需的多樣性和可變性的雛形。

“我們通過RT-X發(fā)現(xiàn)的一個(gè)非常有趣的現(xiàn)象是，基于這些數(shù)據(jù)訓(xùn)練的通用模型，其表現(xiàn)能夠優(yōu)于那些專門針對特定場景進(jìn)行調(diào)整的專業(yè)模型?！?/strong>

Levine表示，平均而言，跨具身模型在這些實(shí)驗(yàn)室中的表現(xiàn)比各自單獨(dú)研發(fā)的模型要好約50%。

“這相當(dāng)令人振奮，因?yàn)槊總€(gè)實(shí)驗(yàn)室都在研發(fā)最適合自身場景的模型。而這個(gè)包含來自所有其他機(jī)器人數(shù)據(jù)的跨具身模型，表現(xiàn)反而更出色。所以，這在一定程度上體現(xiàn)了我們在自然語言處理和計(jì)算機(jī)視覺等其他領(lǐng)域所期望看到的通用性優(yōu)勢的開端?！?/p>

他指出，對于分布外指令（即訓(xùn)練數(shù)據(jù)中未涵蓋的指令），RT-X的表現(xiàn)比僅基于單個(gè)機(jī)器人數(shù)據(jù)訓(xùn)練的模型好約3倍。

VLA的模型的迭代

RT-2實(shí)際上是第一代VLA模型，它的設(shè)計(jì)方法很簡單，只是將機(jī)器人控制問題構(gòu)建成問答問題，這是一種相當(dāng)直接簡單的實(shí)現(xiàn)方式。

現(xiàn)在，行業(yè)已經(jīng)有了性能好得多的模型，它們能夠更出色地處理復(fù)雜且多樣的任務(wù)。Levine對于這些模型也進(jìn)行了介紹——

首先，從語言模型說起：語言模型是一個(gè)大型的Transformer，用于預(yù)測文本中后續(xù)的Token。

為了讓大語言模型也能處理圖像，可以將圖像嵌入到與文本相同的嵌入空間中，這樣就得到了視覺語言模型。

而第一代VLA模型，是簡單地將視覺語言模型的輸出后綴，替換為用離散Token的機(jī)器人指令，來進(jìn)行訓(xùn)練。

“第一代VLA模型的架構(gòu)與VLM的架構(gòu)完全相同。而在開發(fā)第二代的VLA模型時(shí)，人們意識到動(dòng)作并非離散Token，而是連續(xù)的。因此，第二代VLA模型采用了連續(xù)動(dòng)作分布，通常由高容量的多模態(tài)模型來表示，例如擴(kuò)散模型或流匹配模型?！?/p>

這些模型能夠利用基礎(chǔ)VLM的內(nèi)部表示，同時(shí)生成連續(xù)動(dòng)作，通常是以動(dòng)作片段的時(shí)間跨度形式生成，這意味著它們能同時(shí)生成多個(gè)未來動(dòng)作步驟，從而顯著提升了性能。

第二代VLA的設(shè)計(jì)方法

如今，第二代VLA模型有著多種不同的設(shè)計(jì)方法。但它們有個(gè)共同點(diǎn)——都采用了單獨(dú)的生成機(jī)制，這種機(jī)制更適合生成連續(xù)動(dòng)作，通常適用于實(shí)現(xiàn)更高頻率和更靈活精細(xì)的控制。

它們擁有專門的連續(xù)采樣機(jī)制，能夠?qū)ｉT針對運(yùn)動(dòng)控制進(jìn)行優(yōu)化，就像是一種虛擬的運(yùn)動(dòng)皮層。

在此背景下，Levine向大家介紹了PI（Physical Intelligence）的第二代VLA模型——π0，它基于擁有30億參數(shù)的Polyglot – LLM（多語言大語言模型）開發(fā)，并在此基礎(chǔ)上增加了動(dòng)作專家模塊。

而且，它們可以采用專家混合模型，即利用不同的權(quán)重為不同的Token生成輸出。

在π0模型中，有一個(gè)獨(dú)立的動(dòng)作專家模塊，不過這個(gè)模塊比專門用于生成連續(xù)動(dòng)作片段的基礎(chǔ)VLM要小很多。

π0模型的輸入根據(jù)機(jī)器人的具體形態(tài)而定，包括1-3張圖像和一條語言指令。動(dòng)作專家模塊會關(guān)注基礎(chǔ)語言模型中的所有內(nèi)部激活狀態(tài)，同時(shí)處理像關(guān)節(jié)角度這樣的連續(xù)信息，并輸出一個(gè)包含50個(gè)時(shí)間步的動(dòng)作片段，其維度足夠高，能夠控制數(shù)據(jù)集中的任何機(jī)器人.

π0的數(shù)據(jù)集

現(xiàn)在，π0的模型只是機(jī)器人基礎(chǔ)模型整體設(shè)計(jì)中的一小部分，另一部分則是用于訓(xùn)練π0的數(shù)據(jù)集。

“我們已經(jīng)收集了一個(gè)規(guī)模非常大的數(shù)據(jù)集，包含來自各種不同機(jī)器人的約10,000小時(shí)數(shù)據(jù)，并將其與之前收集的數(shù)據(jù)集（如RT-X的數(shù)據(jù)集）進(jìn)行合并。一旦在這個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，我們就能快速將模型微調(diào)至新任務(wù)，包括非常復(fù)雜的任務(wù)。”

Levine展示了一個(gè)相關(guān)的任務(wù)示例——將一個(gè)盒子進(jìn)行折疊，使其完全組裝好。從視頻來看，只需將盒子放在機(jī)器人面前，它便開始工作。

這是一個(gè)極具挑戰(zhàn)性的任務(wù)，因?yàn)樗枰獧C(jī)器人具備極高的靈活性。而且，在折疊盒子時(shí)，機(jī)器人需要利用桌面來支撐盒子，并且在恰當(dāng)?shù)臅r(shí)機(jī)正確施力。

不過，Levine坦言，這一方案遠(yuǎn)非完美，所以有時(shí)也會犯錯(cuò)。但它確實(shí)能在多種不同的位置成功折疊盒子。根據(jù)實(shí)際測試，在三項(xiàng)任務(wù)中的兩項(xiàng)里，通過預(yù)訓(xùn)練獲得了非常大的性能提升。

據(jù)他介紹，現(xiàn)在，π0還能執(zhí)行較為復(fù)雜的任務(wù)，例如折疊衣物：它能相當(dāng)可靠地折疊各種衣物，包括短褲、T恤等等。它會犯一些錯(cuò)誤，但最終能恢復(fù)過來并正確折疊衣物。

并能在多種不同的環(huán)境中完成這項(xiàng)任務(wù)，也能用不同的機(jī)器人來完成。

“真正令人興奮的一點(diǎn)是，它能從預(yù)訓(xùn)練中吸收大量知識，這意味著它能夠從干擾中恢復(fù)過來?！?/p>

在一些視頻中可以看到，在機(jī)器人折疊衣物時(shí)，旁邊的人會在桌上添加衣物、或者去擺弄衣物，但機(jī)器人最終都能從干擾中恢復(fù)過來。

基于π0的機(jī)器人，可以將多個(gè)不同的任務(wù)，組合成一個(gè)連續(xù)的的執(zhí)行過程。例如，機(jī)器人可以先把衣物從烘干機(jī)里拿出來，帶到折疊桌旁，然后按順序折疊所有的衣物。

π0.5：可執(zhí)行長期持續(xù)任務(wù)

至于最新的版本——π0.5，也融合了許多其他功能。

據(jù)Levine介紹，π0.5的設(shè)計(jì)目標(biāo)，是在全新環(huán)境中執(zhí)行非常長期的任務(wù)。例如清理臥室——讓機(jī)器人進(jìn)入全新的家中，收拾地上衣物、扔掉垃圾以及整理床鋪等。

為了這些長期任務(wù)，PI對π0.5增加了高層和低層推理的能力——與直接收簡單指令、輸出動(dòng)作的π0不同，π0.5可以接收類似「打掃臥室」這樣的高層指令，然后進(jìn)行高層推理，在任務(wù)執(zhí)行的當(dāng)前節(jié)點(diǎn)選擇合適的子步驟；接著，它將這個(gè)低層指令傳遞給模型的其余部分，繼續(xù)選擇合適的動(dòng)作。

“這也是一種從海量網(wǎng)絡(luò)數(shù)據(jù)中進(jìn)行訓(xùn)練、從而更有效地遷移知識的方法。因?yàn)橥茢噙@些語義步驟是VLM應(yīng)該非常擅長的。我們?yōu)?strong>π0.5使用了非常復(fù)雜的任務(wù)組合，其中包含了許多不同機(jī)器人的數(shù)據(jù)。同時(shí)，我們采用了多種訓(xùn)練目標(biāo)，包括對問答問題、邊界框檢測問題以及機(jī)器人任務(wù)（如預(yù)測語義子步驟和預(yù)測動(dòng)作）進(jìn)行訓(xùn)練。”

在進(jìn)行總結(jié)后，Levine還指出了一點(diǎn)：移動(dòng)操作類數(shù)據(jù)僅占π0.5訓(xùn)練數(shù)據(jù)集的3%。這類數(shù)據(jù)很難獲取，因?yàn)檫@些機(jī)器人都很復(fù)雜。

實(shí)際上，絕大多數(shù)數(shù)據(jù)（97%）來自非移動(dòng)機(jī)器人形態(tài)，包括可以放置在各種不同位置的更簡單的機(jī)械臂、在實(shí)驗(yàn)室收集的機(jī)器人數(shù)據(jù)等等。

盡管如此，π0.5卻能在現(xiàn)實(shí)場景中進(jìn)行廣泛應(yīng)用。例如，在真實(shí)的廚房里疊毛巾、進(jìn)行清潔工作等等。這些實(shí)驗(yàn)都是在訓(xùn)練數(shù)據(jù)中未出現(xiàn)過的場景中進(jìn)行的，是全新的住宅環(huán)境。

未來的VLA：與強(qiáng)化學(xué)習(xí)結(jié)合

盡管現(xiàn)在的機(jī)器人已經(jīng)有了通用模型，且該模型在一系列復(fù)雜的任務(wù)中表現(xiàn)出色，但仍存在一些不足之處。

其中一點(diǎn)不足在于，這個(gè)模型完全是通過模仿學(xué)習(xí)進(jìn)行訓(xùn)練的，它并沒有真正直接針對任務(wù)成功、魯棒性和速度進(jìn)行優(yōu)化。

“更具前瞻性的是即將出現(xiàn)的強(qiáng)化學(xué)習(xí)技術(shù)，我們可以將其納入未來的VLA模型，以大大提高其魯棒性和性能。”

Levine打了個(gè)比方，在訓(xùn)練標(biāo)準(zhǔn)基礎(chǔ)模型(比如LLMs和VLMs)時(shí)，通常分兩個(gè)階段進(jìn)行：

首先，是預(yù)訓(xùn)練階段，也就是從網(wǎng)絡(luò)上收集大量數(shù)據(jù)。這個(gè)階段的目的并非讓模型真正地執(zhí)行任務(wù)，而是將大量知識融入模型中。

接著，是后訓(xùn)練階段，也叫對齊階段——使用高質(zhì)量的監(jiān)督微調(diào)（SFT）數(shù)據(jù)集，或者采用某種強(qiáng)化學(xué)習(xí)方法。這一階段的目的不一定是獲取新知識，而是專門教導(dǎo)模型如何執(zhí)行用戶的任務(wù)，以及如何穩(wěn)健、高效地執(zhí)行這些任務(wù)。

“我認(rèn)為，在機(jī)器人基礎(chǔ)模型中，我們也會看到同樣的階段劃分，會有預(yù)訓(xùn)練階段和后訓(xùn)練階段。在后訓(xùn)練階段，目標(biāo)是利用強(qiáng)化學(xué)習(xí)和高質(zhì)量數(shù)據(jù)，讓機(jī)器人能夠出色地完成各項(xiàng)任務(wù)。”

Levine表示，經(jīng)過過去幾年的研究，他們發(fā)現(xiàn)現(xiàn)實(shí)世界中的強(qiáng)化學(xué)習(xí)，能夠通過「帶先驗(yàn)數(shù)據(jù)的RLPD算法」變得非常高效。

它是一種離策略（off - policy）的演員-評論家（Actor - Critic）方法，且通過示范數(shù)據(jù)進(jìn)行初始化。

例如，主要觀測數(shù)據(jù)來自機(jī)械臂腕部攝像頭的原始圖像，使用預(yù)訓(xùn)練的視覺編碼器至關(guān)重要。

而獎(jiǎng)勵(lì)機(jī)制由一個(gè)圖像分類器構(gòu)成，該分類器只需判斷機(jī)器人是否成功完成任務(wù)，因此這是一個(gè)非常稀疏的獎(jiǎng)勵(lì)。

因此，為了提高效率，也可以將人工干預(yù)納入系統(tǒng)，即當(dāng)機(jī)器人任務(wù)失敗時(shí)，人員可以介入并提出修正建議，這既能提供額外的獎(jiǎng)勵(lì)信號，也能提供額外的數(shù)據(jù)。訓(xùn)練過程中的人工干預(yù)，能讓學(xué)習(xí)過程高效得多。

這就像一位老師，在指導(dǎo)機(jī)器人如何執(zhí)行任務(wù)的同時(shí)，也讓它自己嘗試完成任務(wù)。這套系統(tǒng)在學(xué)習(xí)各種單個(gè)任務(wù)時(shí)非常有效。

Levine指出，VLA是一種通用型架構(gòu)，而強(qiáng)化學(xué)習(xí)（RL，Reinforcement Learning）系統(tǒng)實(shí)際上是一個(gè)用于訓(xùn)練「專家」的系統(tǒng)，不過它也能為各種廣泛的任務(wù)訓(xùn)練出非常出色的專家。

這些任務(wù)包括給齒輪安裝正時(shí)皮帶、組裝家具、翻煎蛋，還有一些高度動(dòng)態(tài)的任務(wù)。這些都是相當(dāng)復(fù)雜、難以學(xué)習(xí)的任務(wù)。

將VLA與DLA整合互補(bǔ)

VLA的這種能力與DLA（Deep Learning Architecture）具有很強(qiáng)的互補(bǔ)性，PI真正想做的是將它們整合在一起。這樣，專家數(shù)據(jù)就可以指導(dǎo)通用型體系，使其變得更出色。

從視頻演示來看，當(dāng)機(jī)器人給齒輪安裝正時(shí)皮帶時(shí)，即便面對干擾，機(jī)器人也恢復(fù)得相當(dāng)專業(yè)。

“目前，如何將這些專家整合到一個(gè)通用型體系中，仍然是一個(gè)尚未解決的問題。不過，我們已經(jīng)朝著解決這個(gè)問題邁出了初步的步伐?！?/p>

其中一步所采用的方法，即為RLDG（編者注：Robotic Generalist Policy Distillation via Reinforcement Learning，一種通過強(qiáng)化學(xué)習(xí)蒸餾提升機(jī)器人通才策略的方法）。該方法直接利用強(qiáng)化學(xué)習(xí)Agent，來生成用于訓(xùn)練VLA的數(shù)據(jù)。

“我認(rèn)為，就這類研究而言，目前仍處于早期階段，但我認(rèn)為它極具潛力。在我們的RLDG原型中，成功訓(xùn)練出了用于插入各種連接器的專才策略，比如VGA連接器、USB連接器等等?！?/p>

之后，Levine利用來自這些「專家數(shù)據(jù)」對VLA進(jìn)行訓(xùn)練，結(jié)果發(fā)現(xiàn)，VLA能夠?qū)⑦@些所學(xué)知識泛化到全新的Agent上。類似疊衣服、搭盒子那樣的任務(wù)，只是初步的進(jìn)展。

“未來，我們會在將強(qiáng)化學(xué)習(xí)與VLA相結(jié)合，并取得大量進(jìn)展。這或許會催生出性能更可靠、更出色的系統(tǒng)?！?/strong>

他認(rèn)為，目前已經(jīng)出現(xiàn)了非常高效的強(qiáng)化學(xué)習(xí)算法，以及將強(qiáng)化學(xué)習(xí)技能提煉到VLA中的方法，但仍存在一些尚未解決的問題。

“我們?nèi)匀粵]有一套穩(wěn)定、有效且可靠的端到端訓(xùn)練流程，用于借助強(qiáng)化學(xué)習(xí)訓(xùn)練VLA。我認(rèn)為，在借助VLA促進(jìn)探索和隨機(jī)應(yīng)變能力，以切實(shí)輔助強(qiáng)化學(xué)習(xí)上，我們還有大量的系統(tǒng)構(gòu)建工作有待完成?！?/p>