金磊 發(fā)自 杭州
量子位 | 公眾號(hào) QbitAI

從3000小時(shí)到整整20000小時(shí)。

真實(shí)世界數(shù)據(jù)里的Scaling Law，直接喂出了個(gè)最強(qiáng)VLA（Vision-Language-Action）基座模型！

這就是螞蟻靈波今天開源的具身智能基座模型——LingBot-VLA。

為什么說(shuō)它是目前最強(qiáng)？先看數(shù)據(jù)。

從“20000小時(shí)”這個(gè)量上來(lái)看，LingBot-VLA已經(jīng)解鎖了迄今為止開源的最大規(guī)模真實(shí)機(jī)器人數(shù)據(jù)之一。

并且性能也是夠打，在權(quán)威評(píng)測(cè)中也全面超越了此前公認(rèn)最強(qiáng)Physical Intelligence的π0.5，以及英偉達(dá)GR00T N1.6等一眾國(guó)際頂尖模型。

再看實(shí)際表現(xiàn)。

此前具身智能圈子一個(gè)很頭疼的問(wèn)題，就是一旦環(huán)境發(fā)生變化，VLA就不太好使了：

換了個(gè)機(jī)器人，F(xiàn)ail；
換了個(gè)攝像頭，F(xiàn)ail；
換個(gè)桌子高度，F(xiàn)ail……

但在LingBot-VLA加持下的機(jī)器人，腦子一下子就變聰明了，學(xué)會(huì)了見招拆招。

例如面對(duì)復(fù)雜的收納操作——把桌面物體放進(jìn)包里并拉上拉鏈，機(jī)器人雙手各司其職，動(dòng)作一氣呵成：

視頻地址：https://mp.weixin.qq.com/s/5d_nTy6YnkHJqA0C0QIOdQ

更復(fù)雜一點(diǎn)的餐具清潔整理——配合多種工具完成餐具清洗并歸位，可以看到，機(jī)器人依舊是能精準(zhǔn)拿捏各種各樣的物體。

即便是像透明玻璃杯這樣往往讓機(jī)器人看不清的物體，它也能輕松hold�。�

視頻地址：https://mp.weixin.qq.com/s/5d_nTy6YnkHJqA0C0QIOdQ

并且同樣的任務(wù)，因?yàn)橛辛艘粋�(gè)聰明的腦子，不論是放在AgileX、AgibotG1還是Galaxea三個(gè)不同的機(jī)器人身上，統(tǒng)統(tǒng)都能迎刃而解：

視頻地址：https://mp.weixin.qq.com/s/5d_nTy6YnkHJqA0C0QIOdQ

而縱觀整項(xiàng)研究，除了數(shù)據(jù)性能和實(shí)際表現(xiàn)之外，更關(guān)鍵的一點(diǎn)是，LingBot-VLA還指明了一條通用具身智能發(fā)展路徑：

從3000小時(shí)到20000小時(shí)，首次在真實(shí)世界場(chǎng)景中，系統(tǒng)性地驗(yàn)證了VLA模型性能會(huì)隨著數(shù)據(jù)規(guī)模擴(kuò)大而持續(xù)提升的Scaling Law。

并且是在20000小時(shí)之后，性能提升還沒(méi)有失效的那種。

正如網(wǎng)友總結(jié)的那般：

• 更多真實(shí)數(shù)據(jù) → 更高成功率 → 還未達(dá)到飽和。

• 一個(gè)大腦，多個(gè)身體，這就是規(guī)模化之道。

那么LingBot-VLA具體又是如何實(shí)現(xiàn)的？我們繼續(xù)往下看。

主打一個(gè)真實(shí)

在談LingBot-VLA是怎么煉成的之前，我們還需要先了解一下機(jī)器人的困境。

之前像Physical Intelligence的π系列這樣的頂尖VLA模型，一個(gè)很大的問(wèn)題就是，它們預(yù)訓(xùn)練的數(shù)據(jù)大量依賴仿真環(huán)境。

仿真的好處是成本低、可并行，卻與真實(shí)物理世界的質(zhì)感存在難以彌合的鴻溝。

打個(gè)比方，一個(gè)機(jī)器人在仿真環(huán)境里能絲滑地疊衣服，但到了真實(shí)世界里可能連個(gè)衣角都抓不穩(wěn)。

因此，螞蟻靈波團(tuán)隊(duì)的選擇是這樣的：仿真的不好使，那就全部采用真實(shí)世界的機(jī)器人操作數(shù)據(jù)。

從2023年開始，他們聯(lián)合星海圖、松靈機(jī)器人等展開合作，在一間間真實(shí)的實(shí)驗(yàn)室里，通過(guò)遙控操作的方式，讓機(jī)器人完成成千上萬(wàn)次抓取、放置、組裝等動(dòng)作。

數(shù)據(jù)規(guī)模從最初的3000小時(shí)，一路擴(kuò)展到20000小時(shí)，全部源自物理世界。

并且這些數(shù)據(jù)并非來(lái)自單一機(jī)器人。

研究團(tuán)隊(duì)動(dòng)用了9種不同品牌和構(gòu)型的雙臂機(jī)器人，包括AgileX、Agibot G1、Galaxea R1Pro/R1Lite、Realman Rs-02、Leju Kuavo 4 Pro、青龍機(jī)器人、ARX Lift2以及Bimanual Franka。

這意味著，模型從“小時(shí)候”開始就見識(shí)了不同機(jī)械臂的運(yùn)動(dòng)方式、不同攝像頭的視角、不同夾爪的特性。

這種數(shù)據(jù)的異構(gòu)性和豐富性，成了LingBot-VLA具有很強(qiáng)泛化能力的基礎(chǔ)。

為了將這些海量視頻數(shù)據(jù)轉(zhuǎn)化為模型可學(xué)習(xí)的教材，團(tuán)隊(duì)還采用了一個(gè)巧妙的半自動(dòng)標(biāo)注流程：

• 人工將多視角視頻按原子動(dòng)作拆分成片段；
• 利用強(qiáng)大的視覺語(yǔ)言模型，為每一段視頻生成精確的自然語(yǔ)言描述，例如“用左手夾爪靠近紅色積木”、“將水杯平穩(wěn)地放入微波爐”。

最終，這20000小時(shí)、涵蓋無(wú)數(shù)原子動(dòng)作的多模態(tài)數(shù)據(jù)，構(gòu)成了LingBot-VLA的養(yǎng)料。

除了海量真實(shí)數(shù)據(jù)之外，模型架構(gòu)上的創(chuàng)新，也是LingBot-VLA的關(guān)鍵所在。

它采用了一種名為專家混合Transformer的架構(gòu)，可以將其理解為為機(jī)器人設(shè)計(jì)了一套大腦與小腦協(xié)同工作的系統(tǒng)：

• 大腦：一個(gè)已經(jīng)過(guò)預(yù)訓(xùn)練的強(qiáng)大視覺語(yǔ)言模型。它的職責(zé)是進(jìn)行高層次的語(yǔ)義理解——觀察環(huán)境（多視角圖像），理解任務(wù)指令（自然語(yǔ)言），并思考出當(dāng)前狀況和任務(wù)目標(biāo)。
• 小腦：一個(gè)專門初始化的動(dòng)作專家模塊。它的職責(zé)是接收來(lái)自大腦的語(yǔ)義信息，結(jié)合機(jī)器人當(dāng)前的自身狀態(tài)，規(guī)劃并生成具體、連續(xù)、可執(zhí)行的動(dòng)作序列。

而且二者之間并非是各玩各的，它們通過(guò)一個(gè)共享的自注意力機(jī)制進(jìn)行深度耦合，實(shí)現(xiàn)了在模型每一層的信息交互。

在動(dòng)作生成技術(shù)上，LingBot-VLA還摒棄了傳統(tǒng)的離散預(yù)測(cè)，引入了先進(jìn)的流匹配模型。

簡(jiǎn)單來(lái)說(shuō)，它不再預(yù)測(cè)“下一步關(guān)節(jié)應(yīng)該轉(zhuǎn)多少度”這樣一個(gè)具體的點(diǎn)，而是學(xué)習(xí)整個(gè)動(dòng)作變化的平滑流場(chǎng)。

這使得機(jī)器人產(chǎn)生的動(dòng)作更加絲滑、連貫，更接近人類演示的自然度，對(duì)于需要精細(xì)控制的長(zhǎng)序列任務(wù)至關(guān)重要。

除此之外，深度感知，是另一個(gè)技術(shù)上的點(diǎn)睛之筆。

為的就是讓機(jī)器人不僅看得見，還能感知距離——引入了自研的LingBot-Depth深度估計(jì)模型提供的深度信息。

也就是昨天螞蟻靈波開源的讓機(jī)器人能看清透明和反光物體的新技術(shù)。

這種方法通過(guò)一種可學(xué)習(xí)的查詢對(duì)齊技術(shù)，將深度信息蒸餾注入到VLA模型的視覺理解中。

相當(dāng)于讓機(jī)器人獲得了對(duì)三維空間的直觀感知能力，使其在面對(duì)“將芯片插入狹小卡槽”、“避免抓取時(shí)碰撞杯壁”等需要精確空間關(guān)系的任務(wù)時(shí)，表現(xiàn)大幅提升。

然而，要將20000小時(shí)高維度的視頻和動(dòng)作數(shù)據(jù)訓(xùn)練成一個(gè)模型，對(duì)算力是恐怖的消耗。

螞蟻靈波團(tuán)隊(duì)對(duì)此的回應(yīng)是：對(duì)訓(xùn)練基礎(chǔ)設(shè)施進(jìn)行系統(tǒng)級(jí)優(yōu)化，打造了一個(gè)高性能開源代碼庫(kù)。

他們?cè)诜植际讲呗�、算子�?jí)別和數(shù)據(jù)處理管道上進(jìn)行了全方位革新：

• 采用完全分片數(shù)據(jù)并行策略，極致優(yōu)化GPU內(nèi)存占用。
• 針對(duì)動(dòng)作專家模塊設(shè)計(jì)特定的分片組，大幅降低通信開銷。
• 利用FlexAttention等技術(shù)對(duì)稀疏注意力計(jì)算進(jìn)行加速。

效果是立竿見影的。

在8卡GPU的配置下，LingBot-VLA代碼庫(kù)實(shí)現(xiàn)了每秒每GPU 261個(gè)樣本的吞吐量；與社區(qū)主流的OpenPI、StarVLA等框架相比，訓(xùn)練速度提升了1.5倍至2.8倍。

以往需要一個(gè)月完成的實(shí)驗(yàn)，現(xiàn)在可能只需一到兩周就能搞定了。

這不僅大大降低了科研創(chuàng)新的周期和成本，更重要的是，它讓基于萬(wàn)小時(shí)級(jí)真實(shí)數(shù)據(jù)迭代VLA模型，從此變得可行。效率的提升，是解鎖數(shù)據(jù)縮放定律的前提。

100個(gè)任務(wù)，22500次的全面測(cè)試

模型好不好，不能只在論文里說(shuō)。

為此，螞蟻靈波團(tuán)隊(duì)在權(quán)威的評(píng)測(cè)體系做了測(cè)試——GM-100基準(zhǔn)。

這一測(cè)評(píng)集是由上海交通大學(xué)等機(jī)構(gòu)聯(lián)合研發(fā)，旨在為衡量機(jī)器人大腦（智能模型）與身體（物理執(zhí)行）的協(xié)同能力，提供一個(gè)更系統(tǒng)、開放且可復(fù)現(xiàn)的評(píng)估基準(zhǔn)。

它包含100個(gè)從易到難的精細(xì)操作任務(wù)，從簡(jiǎn)單的“抓取積木”，到復(fù)雜的“制作三明治”、“疊放衣服”。

評(píng)測(cè)在Agibot G1、AgileX和Galaxea R1Pro三種真實(shí)機(jī)器人平臺(tái)上進(jìn)行。

每個(gè)模型在每個(gè)任務(wù)上都要進(jìn)行多輪測(cè)試，總計(jì)產(chǎn)生了22500次真實(shí)機(jī)器人測(cè)試錄像。所有錄像均已開源，確保了評(píng)測(cè)的完全可復(fù)現(xiàn)和透明。

在這場(chǎng)同臺(tái)競(jìng)技中，LingBot-VLA迎來(lái)了三位重量級(jí)對(duì)手：π0.5、英偉達(dá)的GR00T N1.6，以及WALL-OSS。

所有模型都在相同的數(shù)據(jù)、相同的超參數(shù)下進(jìn)行后訓(xùn)練，以確保公平比較。

在綜合了任務(wù)成功率和進(jìn)度得分兩項(xiàng)核心指標(biāo)后，LingBot-VLA（無(wú)深度版本）已在三項(xiàng)指標(biāo)上全面領(lǐng)先WALL-OSS與GR00T N1.6。

而融合了深度信息的LingBot-VLA，則在三項(xiàng)指標(biāo)上均顯著超越了目前公認(rèn)的強(qiáng)基準(zhǔn)——π0.5。

例如，在AgileX平臺(tái)上，LingBot-VLA（含深度）的平均任務(wù)成功率達(dá)到了18.93%，而π0.5為17.20%；在更具挑戰(zhàn)性的Galaxea R1Pro平臺(tái)上，優(yōu)勢(shì)同樣明顯（20.98% vs 14.10%）。

在仿真基準(zhǔn)RoboTwin 2.0上，優(yōu)勢(shì)依舊明顯。

在物體位置、背景、燈光高度隨機(jī)化的復(fù)雜場(chǎng)景中，LingBot-VLA相比π0.5取得了近10個(gè)百分點(diǎn)的絕對(duì)成功率提升。

這證明其學(xué)到的能力是魯棒的、可泛化的，而非對(duì)特定環(huán)境的過(guò)擬合。

更重要的是，研究團(tuán)隊(duì)通過(guò)控制預(yù)訓(xùn)練數(shù)據(jù)量（從3000小時(shí)到20000小時(shí)）進(jìn)行的實(shí)驗(yàn)清晰表明：

隨著真實(shí)世界數(shù)據(jù)量的增加，模型在下游各項(xiàng)任務(wù)上的性能呈現(xiàn)持續(xù)、穩(wěn)定的提升，且尚未看到飽和跡象。

不造機(jī)器人，但要搞個(gè)聰明大腦

最后，來(lái)談一談螞蟻靈波要做的事情。

與當(dāng)前機(jī)器人行業(yè)存在的一個(gè)核心痛點(diǎn)息息相關(guān)，即場(chǎng)景碎片化與硬件非標(biāo)化。

不同的機(jī)器人本體，關(guān)節(jié)構(gòu)型、傳感器配置、驅(qū)動(dòng)方式千差萬(wàn)別。傳統(tǒng)的解決方式是為每個(gè)場(chǎng)景、每種硬件定制開發(fā)算法，成本高、周期長(zhǎng)、難以復(fù)制。

LingBot-VLA提供的是一種通用智能基座思路，也就是不做機(jī)器人的本體，但求做一個(gè)通用大腦：通過(guò)在海量異構(gòu)真實(shí)數(shù)據(jù)上預(yù)訓(xùn)練，模型學(xué)會(huì)了跨越不同硬件平臺(tái)的、本質(zhì)性的操作邏輯和物理理解。

就像一個(gè)學(xué)會(huì)了“抓握”本質(zhì)概念的人，無(wú)論給他筷子、夾子還是機(jī)械爪，他都能通過(guò)簡(jiǎn)單適應(yīng)掌握使用方法。

LingBot-VLA展示的跨本體泛化能力正是如此。

模型在9種機(jī)器人數(shù)據(jù)上預(yù)訓(xùn)練后，在3種未見過(guò)的機(jī)器人平臺(tái)上依然表現(xiàn)優(yōu)異，證明了其能力并非綁定于特定硬件。

這為實(shí)現(xiàn) “一次訓(xùn)練，多端部署” 的規(guī)�；涞卦妇疤峁┝藞�(jiān)實(shí)的技術(shù)基礎(chǔ)。

為了降低行業(yè)的使用門檻，螞蟻靈波團(tuán)隊(duì)不僅開源了模型和代碼，還貢獻(xiàn)了 “交鑰匙”式的評(píng)估基準(zhǔn)和高效后訓(xùn)練方案：

1. 可復(fù)現(xiàn)的評(píng)估：GM-100基準(zhǔn)與全部22500次測(cè)試錄像開源，樹立了行業(yè)評(píng)測(cè)新標(biāo)準(zhǔn)。
2. 低成本后訓(xùn)練：高效的代碼庫(kù)與數(shù)據(jù)高效性優(yōu)勢(shì)（實(shí)驗(yàn)顯示，僅用對(duì)手60%的數(shù)據(jù)量就能達(dá)到更好效果），讓企業(yè)能用更少的數(shù)據(jù)、更低的算力成本完成對(duì)特定場(chǎng)景的適配。

遙想2024年，π0的開源雖然引爆了全球VLA的研究熱潮，但它主要基于仿真數(shù)據(jù)，在真機(jī)落地上存在局限。

而LingBot-VLA的價(jià)值在于，它首次提供了一個(gè)基于萬(wàn)小時(shí)級(jí)真機(jī)數(shù)據(jù)開源的全棧解決方案，推動(dòng)行業(yè)從實(shí)驗(yàn)室演示邁向可規(guī)�；涞氐男码A段。

如果說(shuō)螞蟻靈波LingBot-VLA是一個(gè)單點(diǎn)，那么它所影射的是螞蟻集團(tuán)在通往AGI探索的技術(shù)路徑與行業(yè)愿景：

• 螞蟻百靈：作為底層基礎(chǔ)大模型，提供通用的語(yǔ)言與邏輯能力基石。
• 螞蟻靈光：面向應(yīng)用的通用AI助手，探索AI的交互與服務(wù)邊界。
• 螞蟻靈波：正是本文主角，專注攻克具身智能，旨在為物理世界中的智能體賦予大腦。

從基礎(chǔ)大模型到多模態(tài)，再到如今的具身智能，螞蟻的AGI拼圖正在一塊塊補(bǔ)全。

這條路，注定是漫長(zhǎng)且需要生態(tài)協(xié)作的。但當(dāng)行業(yè)領(lǐng)先者開始體系化布局，并主動(dòng)拆掉圍墻，或許正如他們所期待的那樣——那個(gè)屬于通用人工智能的未來(lái)，會(huì)以更開放、更協(xié)作的方式，更早地到來(lái)。

或許在不久的將來(lái)，人們的生活就會(huì)變得像《連線》雜志所說(shuō)的那樣：

你的第一個(gè)機(jī)器人同事，大概率是個(gè)“中國(guó)人”。

項(xiàng)目主頁(yè)：
https://technology.robbyant.com/lingbot-vla

GitHub：
https://github.com/robbyant/lingbot-vla

模型權(quán)重：
https://huggingface.co/robbyant/lingbot-vla
https://www.modelscope.cn/collections/Robbyant/LingBot-VLA