這項(xiàng)由華為技術(shù)有限公司聯(lián)合多倫多大學(xué)共同完成的研究發(fā)表于2026年的arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2603.22078v2。有興趣深入了解的讀者可以通過該編號(hào)查詢完整論文內(nèi)容。

在機(jī)器人技術(shù)飛速發(fā)展的今天，如何讓機(jī)器人在復(fù)雜多變的真實(shí)環(huán)境中穩(wěn)定工作，一直是科學(xué)家們面臨的重大挑戰(zhàn)。就像人類在陌生環(huán)境中需要依靠經(jīng)驗(yàn)和預(yù)判能力一樣，機(jī)器人也需要某種"智慧"來應(yīng)對(duì)各種突發(fā)狀況。目前主流的機(jī)器人控制方案主要分為兩大流派：一種是讓機(jī)器人"博覽群書"，通過大量的視覺和語言數(shù)據(jù)訓(xùn)練獲得廣泛知識(shí)；另一種則是讓機(jī)器人學(xué)會(huì)"預(yù)知未來"，通過觀看大量視頻來理解世界如何運(yùn)轉(zhuǎn)變化。

華為技術(shù)團(tuán)隊(duì)的這項(xiàng)研究就像是在兩種不同教育方式之間進(jìn)行了一場全面對(duì)比。第一種方式可以比作讓學(xué)生通過閱讀百科全書來學(xué)習(xí)世界知識(shí)，這就是所謂的視覺-語言-行動(dòng)模型（VLA）。第二種方式則像是讓學(xué)生通過觀看大量紀(jì)錄片來理解事物發(fā)展規(guī)律，這就是世界行動(dòng)模型（WAM）。研究團(tuán)隊(duì)想要回答一個(gè)關(guān)鍵問題：當(dāng)機(jī)器人面對(duì)從未遇到過的環(huán)境變化時(shí)，哪種學(xué)習(xí)方式能讓它表現(xiàn)得更加穩(wěn)定可靠？

一、兩種"教育方式"的根本差異

要理解這兩種方法的區(qū)別，可以用培養(yǎng)一個(gè)廚師的過程來類比。傳統(tǒng)的視覺-語言-行動(dòng)模型就像是讓廚師通過閱讀大量菜譜和食材介紹來學(xué)習(xí)烹飪。這種方法讓機(jī)器人能夠理解"番茄是紅色的"、"刀具用來切割"這樣的靜態(tài)知識(shí)，并且能夠根據(jù)語言指令執(zhí)行相應(yīng)動(dòng)作。就像一個(gè)讀過很多菜譜的廚師，能夠按照食譜一步步制作出美味佳肴。

而世界行動(dòng)模型則采用了完全不同的學(xué)習(xí)策略，它更像是讓廚師通過觀看無數(shù)個(gè)烹飪視頻來學(xué)習(xí)。在這些視頻中，廚師能夠看到油溫如何影響食材變化、調(diào)料添加后食物顏色如何改變、火候控制如何影響最終口感等動(dòng)態(tài)過程。這種學(xué)習(xí)方式讓機(jī)器人不僅知道"應(yīng)該怎么做"，更重要的是理解"這樣做之后會(huì)發(fā)生什么"。

研究團(tuán)隊(duì)發(fā)現(xiàn)，這種差異帶來了截然不同的學(xué)習(xí)需求。視覺-語言-行動(dòng)模型需要在訓(xùn)練過程中接觸大量多樣化的數(shù)據(jù)，包括不同的機(jī)器人操作視頻、各種環(huán)境下的任務(wù)演示，甚至還需要網(wǎng)絡(luò)上的圖片和文本數(shù)據(jù)來建立廣泛的世界知識(shí)。這就像培養(yǎng)一個(gè)全才廚師，需要讓他了解各國菜系、不同食材特性、營養(yǎng)搭配原理等方方面面的知識(shí)。

相比之下，世界行動(dòng)模型的訓(xùn)練過程要簡潔得多。由于這類模型的"大腦"已經(jīng)通過觀看海量視頻學(xué)會(huì)了理解世界動(dòng)態(tài)變化的規(guī)律，在針對(duì)具體機(jī)器人任務(wù)進(jìn)行訓(xùn)練時(shí)，只需要相對(duì)較少的演示數(shù)據(jù)就能快速掌握操作技能。這就像一個(gè)已經(jīng)通過觀看大量烹飪節(jié)目掌握了食材變化規(guī)律的人，學(xué)習(xí)新菜譜時(shí)會(huì)比完全的新手快得多。

二、設(shè)計(jì)嚴(yán)苛測試檢驗(yàn)真實(shí)能力

為了公平比較這兩種方法的優(yōu)劣，研究團(tuán)隊(duì)設(shè)計(jì)了一套極其嚴(yán)格的測試方案，就像是為機(jī)器人安排了一場"全方位壓力測試"。他們不僅使用了現(xiàn)有的LIBERO-Plus基準(zhǔn)測試，還專門開發(fā)了一個(gè)全新的RoboTwin 2.0-Plus測試平臺(tái)。

這個(gè)測試平臺(tái)的設(shè)計(jì)理念很有意思，它模擬了機(jī)器人在真實(shí)世界中可能遇到的各種"意外情況"。研究團(tuán)隊(duì)識(shí)別出了七個(gè)主要的干擾類型，每一種都代表著現(xiàn)實(shí)世界中常見的變化因素。

攝像頭視角的變化是最直觀的一種干擾。就像你平時(shí)在家里從某個(gè)角度看客廳，突然換到另一個(gè)位置，整個(gè)房間的布局看起來就完全不同了。機(jī)器人也面臨同樣的挑戰(zhàn)，當(dāng)攝像頭位置、角度或距離發(fā)生變化時(shí)，原本熟悉的環(huán)境可能變得"面目全非"。

機(jī)器人自身狀態(tài)的變化則更加復(fù)雜。研究團(tuán)隊(duì)會(huì)隨機(jī)調(diào)整機(jī)器人關(guān)節(jié)的初始位置，或者改變機(jī)械手的開合狀態(tài)。這就像是讓一個(gè)習(xí)慣了右手寫字的人突然改用左手，需要重新適應(yīng)全新的操作感受。

語言指令的變化考驗(yàn)的是機(jī)器人的理解能力。同樣是"按響鈴鐺"這個(gè)任務(wù)，測試中可能會(huì)改成"按下服務(wù)鈴"或者"讓鈴鐺發(fā)出聲音"。這種變化看似簡單，但對(duì)機(jī)器人的語言理解和任務(wù)泛化能力提出了很高要求。

光照條件的變化可能是最接近真實(shí)世界的挑戰(zhàn)。研究團(tuán)隊(duì)會(huì)改變燈光的顏色、亮度、方向和陰影效果，模擬從清晨到深夜、從室內(nèi)到室外的各種光照環(huán)境。就像人類在不同光照條件下識(shí)別物體的能力一樣，機(jī)器人也需要適應(yīng)這些變化。

背景環(huán)境的改變則測試機(jī)器人的抗干擾能力。研究團(tuán)隊(duì)會(huì)更換桌面材質(zhì)、改變墻壁顏色，甚至添加各種紋理和圖案。這就像是讓機(jī)器人在完全陌生的房間里執(zhí)行熟悉的任務(wù)，看它是否還能保持穩(wěn)定的表現(xiàn)。

圖像噪聲的添加更是對(duì)機(jī)器人視覺系統(tǒng)的嚴(yán)峻考驗(yàn)。研究團(tuán)隊(duì)會(huì)在機(jī)器人的視覺輸入中添加運(yùn)動(dòng)模糊、高斯模糊、縮放模糊、霧化效果和玻璃模糊等五種不同類型的噪聲。這就像是讓機(jī)器人在霧天、雨天或者透過毛玻璃觀察世界一樣困難。

最后，物體布局的變化則考驗(yàn)機(jī)器人在雜亂環(huán)境中的工作能力。研究團(tuán)隊(duì)會(huì)在工作臺(tái)上隨機(jī)添加3到15個(gè)無關(guān)物體，并且輕微移動(dòng)目標(biāo)物體的位置和方向。這模擬了真實(shí)世界中環(huán)境總是不夠整潔、物品位置經(jīng)常發(fā)生微調(diào)的情況。

三、令人意外的測試結(jié)果

當(dāng)所有測試完成后，結(jié)果讓研究團(tuán)隊(duì)感到既驚喜又深思。在RoboTwin 2.0-Plus這個(gè)專門針對(duì)雙臂協(xié)作機(jī)器人設(shè)計(jì)的測試平臺(tái)上，世界行動(dòng)模型展現(xiàn)出了顯著的優(yōu)勢(shì)。以LingBot-VA為代表的世界行動(dòng)模型在原始任務(wù)中就達(dá)到了92.1%的成功率，而在面對(duì)各種干擾時(shí)，總體成功率仍然保持在74.2%的高水平。

相比之下，經(jīng)過精心設(shè)計(jì)和大量數(shù)據(jù)訓(xùn)練的π0.5模型雖然在某些單項(xiàng)測試中表現(xiàn)不俗，但總體穩(wěn)定性明顯不如世界行動(dòng)模型，綜合成功率為58.6%。更有趣的是，一些混合方法，比如MOTUS模型，它既使用了視頻生成技術(shù)，又保留了傳統(tǒng)的視覺-語言處理模塊，其表現(xiàn)恰好介于兩者之間，達(dá)到了71.5%的成功率。

在LIBERO-Plus這個(gè)針對(duì)單臂機(jī)器人的測試平臺(tái)上，結(jié)果同樣支持了研究團(tuán)隊(duì)的發(fā)現(xiàn)。Cosmos-Policy這個(gè)世界行動(dòng)模型在原始任務(wù)中達(dá)到了驚人的98.5%成功率，即使在各種干擾條件下，仍然保持了82.2%的優(yōu)異表現(xiàn)。令人驚訝的是，傳統(tǒng)方法中表現(xiàn)最好的π0.5模型在這個(gè)平臺(tái)上反而取得了85.7%的最高綜合成績，甚至超過了一些世界行動(dòng)模型。

這種看似矛盾的結(jié)果實(shí)際上揭示了一個(gè)重要現(xiàn)象：不同的機(jī)器人平臺(tái)和任務(wù)類型對(duì)這兩種方法的敏感度是不同的。雙臂協(xié)作任務(wù)由于其復(fù)雜性，更能體現(xiàn)出世界行動(dòng)模型在理解動(dòng)態(tài)交互方面的優(yōu)勢(shì)。而單臂任務(wù)雖然相對(duì)簡單，但如果訓(xùn)練數(shù)據(jù)足夠豐富多樣，傳統(tǒng)方法仍然能夠取得優(yōu)異成績。

四、不同干擾類型下的表現(xiàn)差異

深入分析具體的測試結(jié)果，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)非常有趣的規(guī)律：世界行動(dòng)模型在面對(duì)視覺類干擾時(shí)表現(xiàn)格外出色，而對(duì)幾何配置變化的適應(yīng)能力相對(duì)較弱。

在光照變化測試中，LingBot-VA保持了89.0%的高成功率，而π0.5則下降到49.6%。這種差異的根源在于兩種模型的學(xué)習(xí)機(jī)制不同。世界行動(dòng)模型通過觀看大量視頻，見識(shí)過各種光照條件下物體的變化過程，就像一個(gè)經(jīng)驗(yàn)豐富的攝影師，無論在什么光線下都能準(zhǔn)確判斷物體的真實(shí)狀態(tài)。

在圖像噪聲干擾測試中，這種優(yōu)勢(shì)更加明顯。當(dāng)研究團(tuán)隊(duì)在機(jī)器人的視覺輸入中添加各種模糊和噪聲效果時(shí)，LingBot-VA的成功率仍然保持在80.9%，而π0.5則大幅下降至64.9%。通過對(duì)Cosmos-Policy預(yù)測結(jié)果的可視化分析，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人驚嘆的現(xiàn)象：即使輸入圖像被噪聲嚴(yán)重干擾，這個(gè)模型預(yù)測的未來畫面仍然非常清晰準(zhǔn)確，就像具備了某種"去噪"能力。

物體布局變化的測試同樣展現(xiàn)了世界行動(dòng)模型的優(yōu)勢(shì)。當(dāng)工作臺(tái)上出現(xiàn)大量干擾物體時(shí)，LingBot-VA的成功率保持在87.9%，而π0.5則降至56.8%。這說明通過視頻學(xué)習(xí)獲得的空間理解能力幫助機(jī)器人更好地在雜亂環(huán)境中鎖定目標(biāo)物體。

然而，當(dāng)測試涉及攝像頭視角變化時(shí)，情況變得復(fù)雜起來。LingBot-VA的成功率降至28.9%，甚至低于π0.5的45.6%。這個(gè)結(jié)果提醒我們，雖然世界行動(dòng)模型在理解動(dòng)態(tài)變化方面有優(yōu)勢(shì)，但對(duì)于幾何空間關(guān)系的泛化能力仍有提升空間。

機(jī)器人初始狀態(tài)變化的測試結(jié)果更加發(fā)人深省。LingBot-VA在這種干擾下的成功率降至36.2%，而π0.5為27.6%。這說明當(dāng)機(jī)器人自身的物理配置發(fā)生變化時(shí)，兩種方法都面臨挑戰(zhàn)，但世界行動(dòng)模型略勝一籌。

五、性能優(yōu)勢(shì)背后的代價(jià)

雖然世界行動(dòng)模型在穩(wěn)定性測試中表現(xiàn)優(yōu)異，但研究團(tuán)隊(duì)也發(fā)現(xiàn)了一個(gè)不容忽視的問題：計(jì)算效率。這就像是擁有了一輛性能卓越的超級(jí)跑車，但油耗也相當(dāng)驚人。

在推理速度測試中，最快的傳統(tǒng)模型π0.5每次決策只需要63毫秒，而最慢的世界行動(dòng)模型LingBot-VA在某些配置下需要5.23秒，相差超過80倍。這種巨大的速度差異主要來源于視頻生成過程的復(fù)雜性。

世界行動(dòng)模型需要先預(yù)測未來的視覺狀態(tài)，然后基于這個(gè)預(yù)測來生成動(dòng)作指令。這個(gè)過程就像是讓機(jī)器人先在腦海中"演練"一遍動(dòng)作，然后再執(zhí)行，雖然能夠獲得更好的效果，但時(shí)間成本也大大增加。

具體來說，影響計(jì)算速度的關(guān)鍵因素是"去噪步數(shù)"。在視頻生成過程中，模型需要通過多次迭代逐步從噪聲中恢復(fù)出清晰的未來畫面，就像是用橡皮擦一點(diǎn)點(diǎn)擦除草稿中的錯(cuò)誤線條。去噪步數(shù)越多，預(yù)測結(jié)果越準(zhǔn)確，但所需時(shí)間也越長。

例如，GE-Act模型通過將視覺預(yù)測的去噪步數(shù)設(shè)置為1，將動(dòng)作預(yù)測的去噪步數(shù)設(shè)置為10，實(shí)現(xiàn)了相對(duì)較快的推理速度（300毫秒），但仍然比π0.5慢近5倍。而LingBot-VA為了獲得最佳效果，在RoboTwin 2.0測試中使用了25步視覺去噪和50步動(dòng)作去噪，導(dǎo)致了極慢的推理速度。

為了解決這個(gè)問題，一些研究團(tuán)隊(duì)開始探索新的優(yōu)化策略。Fast-WAM和GigaWorld-Policy等新方法嘗試在測試時(shí)跳過視頻生成過程，直接預(yù)測動(dòng)作，將推理時(shí)間分別減少到190毫秒和360毫秒。雖然仍然比傳統(tǒng)方法慢，但已經(jīng)有了顯著改善。

這種性能與速度之間的權(quán)衡反映了當(dāng)前技術(shù)發(fā)展的現(xiàn)狀：我們可以選擇追求最高的任務(wù)成功率，但需要接受較長的響應(yīng)時(shí)間；或者選擇更快的響應(yīng)速度，但可能需要在某些復(fù)雜場景下妥協(xié)性能。

六、混合方法的啟示

在這次大規(guī)模對(duì)比研究中，最有啟發(fā)性的發(fā)現(xiàn)之一是混合方法的表現(xiàn)。這些方法就像是在兩種教育理念之間尋找平衡點(diǎn)，既不完全依賴"博覽群書"，也不純粹追求"預(yù)知未來"，而是將兩者的優(yōu)勢(shì)巧妙結(jié)合。

MOTUS模型采用了一種特別有趣的設(shè)計(jì)思路。它使用預(yù)訓(xùn)練的視頻生成模型來理解動(dòng)態(tài)變化，同時(shí)保留獨(dú)立的視覺-語言模塊來處理動(dòng)作生成。這種設(shè)計(jì)就像是讓一個(gè)廚師既通過觀看烹飪節(jié)目學(xué)習(xí)食材變化規(guī)律，又通過閱讀菜譜掌握具體的操作步驟。結(jié)果顯示，MOTUS在機(jī)器人初始狀態(tài)變化測試中表現(xiàn)最佳，成功率達(dá)到85.0%，甚至超過了純粹的世界行動(dòng)模型。

VLA-JEPA則采用了另一種混合策略。它在傳統(tǒng)的視覺-語言模型基礎(chǔ)上，添加了通過人類視頻學(xué)習(xí)得到的未來狀態(tài)預(yù)測能力。這就像是給一個(gè)通過閱讀學(xué)習(xí)的學(xué)生補(bǔ)充了一些實(shí)際觀察經(jīng)驗(yàn)。雖然這種預(yù)測能力不如專門的視頻生成模型那么強(qiáng)大，但仍然為模型帶來了顯著的穩(wěn)定性提升，在LIBERO-Plus測試中取得了77.9%的綜合成功率。

這些混合方法的成功表明，將動(dòng)態(tài)理解能力引入機(jī)器人控制系統(tǒng)的方式是多樣的，不一定需要完全采用世界行動(dòng)模型的架構(gòu)。關(guān)鍵在于如何恰當(dāng)?shù)亟Y(jié)合兩種學(xué)習(xí)機(jī)制的優(yōu)勢(shì)，避免各自的劣勢(shì)。

更重要的是，混合方法的表現(xiàn)驗(yàn)證了研究團(tuán)隊(duì)的一個(gè)重要推測：讓機(jī)器人具備預(yù)測能力確實(shí)能夠提升其穩(wěn)定性，但這種預(yù)測能力的獲得方式可以是靈活的?？梢酝ㄟ^專門的視頻生成模型來獲得，也可以通過在傳統(tǒng)方法中引入預(yù)測任務(wù)來實(shí)現(xiàn)。

七、對(duì)未來發(fā)展的思考

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面的比較，它為整個(gè)機(jī)器人領(lǐng)域的發(fā)展方向提供了重要啟示。就像GPS導(dǎo)航技術(shù)的出現(xiàn)改變了人們的出行方式一樣，世界行動(dòng)模型可能代表著機(jī)器人智能發(fā)展的一個(gè)重要轉(zhuǎn)折點(diǎn)。

從數(shù)據(jù)需求的角度來看，世界行動(dòng)模型展現(xiàn)出了一種更加高效的學(xué)習(xí)模式。傳統(tǒng)的視覺-語言-行動(dòng)模型需要大量精心標(biāo)注的機(jī)器人操作數(shù)據(jù)，而且這些數(shù)據(jù)通常需要涵蓋各種不同的環(huán)境和條件。這就像是培養(yǎng)一個(gè)全科醫(yī)生，需要讓他在各個(gè)科室都實(shí)習(xí)一遍。

相比之下，世界行動(dòng)模型的"大腦"已經(jīng)通過互聯(lián)網(wǎng)上的海量視頻掌握了基本的物理規(guī)律和動(dòng)態(tài)變化模式，在轉(zhuǎn)向具體的機(jī)器人任務(wù)時(shí)，只需要相對(duì)較少的演示數(shù)據(jù)就能快速適應(yīng)。這種學(xué)習(xí)模式更接近人類的學(xué)習(xí)方式：我們不需要親身體驗(yàn)每一種可能的情況，而是通過觀察和理解一般規(guī)律來應(yīng)對(duì)新的挑戰(zhàn)。

但是，研究也揭示了當(dāng)前技術(shù)的局限性。計(jì)算效率問題仍然是制約世界行動(dòng)模型實(shí)際應(yīng)用的主要障礙。在需要快速響應(yīng)的場景中，比如自動(dòng)駕駛或者工業(yè)生產(chǎn)線，幾秒鐘的決策延遲可能是不可接受的。

更深層的問題在于，當(dāng)前的世界行動(dòng)模型對(duì)幾何空間關(guān)系的理解仍然不夠深入。當(dāng)機(jī)器人需要從不同角度觀察同一個(gè)場景，或者適應(yīng)不同的物理配置時(shí)，這些模型的表現(xiàn)還有很大提升空間。這提醒我們，真正的機(jī)器人智能不僅需要理解動(dòng)態(tài)變化，還需要具備強(qiáng)大的空間推理能力。

從更宏觀的角度來看，這項(xiàng)研究預(yù)示著機(jī)器人技術(shù)正在向更加智能化的方向發(fā)展。未來的機(jī)器人可能不再是簡單的指令執(zhí)行者，而是具備預(yù)測和規(guī)劃能力的智能體。它們能夠在執(zhí)行任務(wù)之前就預(yù)見可能的結(jié)果，并據(jù)此調(diào)整自己的行為策略。

說到底，這項(xiàng)研究告訴我們一個(gè)重要道理：在人工智能的世界里，"預(yù)知未來"的能力可能比"博學(xué)多聞"更加重要。當(dāng)機(jī)器人能夠理解行動(dòng)的后果，預(yù)測環(huán)境的變化時(shí)，它們就能在復(fù)雜多變的真實(shí)世界中表現(xiàn)得更加穩(wěn)定可靠。這不僅僅是技術(shù)上的進(jìn)步，更可能是機(jī)器人從"工具"向"伙伴"轉(zhuǎn)變的關(guān)鍵一步。當(dāng)然，這個(gè)轉(zhuǎn)變過程中還有很多技術(shù)挑戰(zhàn)需要解決，比如如何提高計(jì)算效率、如何增強(qiáng)空間理解能力等。但毫無疑問，這個(gè)方向代表著機(jī)器人技術(shù)發(fā)展的一個(gè)重要趨勢(shì)，值得我們持續(xù)關(guān)注和深入研究。

Q&A

Q1：什么是世界行動(dòng)模型WAM？

A：世界行動(dòng)模型是一種新的機(jī)器人控制方法，它通過觀看大量視頻來學(xué)習(xí)世界如何運(yùn)轉(zhuǎn)變化，能夠預(yù)測自己的行動(dòng)會(huì)帶來什么結(jié)果。就像讓機(jī)器人先在腦海中"預(yù)演"一遍動(dòng)作，然后再實(shí)際執(zhí)行，這樣能讓機(jī)器人在面對(duì)新環(huán)境時(shí)表現(xiàn)更穩(wěn)定。

Q2：世界行動(dòng)模型比傳統(tǒng)視覺語言行動(dòng)模型VLA強(qiáng)在哪里？

A：世界行動(dòng)模型在應(yīng)對(duì)環(huán)境變化時(shí)更穩(wěn)定可靠。當(dāng)光照條件改變、出現(xiàn)圖像噪聲或環(huán)境變得雜亂時(shí)，世界行動(dòng)模型的成功率能保持在80-90%，而傳統(tǒng)方法可能下降到50-60%。這是因?yàn)樗ㄟ^視頻學(xué)習(xí)掌握了物體變化的規(guī)律，就像經(jīng)驗(yàn)豐富的師傅能在各種條件下都保持穩(wěn)定發(fā)揮。

Q3：世界行動(dòng)模型有什么缺點(diǎn)嗎？

A：最大的缺點(diǎn)是速度太慢。傳統(tǒng)方法做決策只需要63毫秒，而世界行動(dòng)模型可能需要幾秒鐘，因?yàn)樗枰阮A(yù)測未來畫面再生成動(dòng)作。另外，當(dāng)攝像頭角度發(fā)生變化或機(jī)器人初始姿態(tài)改變時(shí)，世界行動(dòng)模型的適應(yīng)能力也不如預(yù)期，這說明它對(duì)空間幾何關(guān)系的理解還有待提升。