編輯｜Panda、+0

對于電子產(chǎn)品，我們已然習(xí)慣了「出廠即巔峰」的設(shè)定：開箱的那一刻往往就是性能的頂點(diǎn)，隨后的每一天都在折舊。

但對于通用機(jī)器人來說，這個(gè)設(shè)定必須被顛覆。

試想，如果一個(gè)在實(shí)驗(yàn)室里完成訓(xùn)練的 AI 機(jī)器人，一進(jìn)家門面對光線稍暗的房間或堆滿雜物的茶幾就大腦宕機(jī)，那它就永遠(yuǎn)只能是一個(gè)昂貴的實(shí)驗(yàn)品。這正是當(dāng)前具身智能面臨的尷尬真相：我們在互聯(lián)網(wǎng)知識(shí)里訓(xùn)練出了博學(xué)的預(yù)訓(xùn)練模型，可一旦讓它們走進(jìn)充滿未知的物理世界，這些「理論巨人」往往會(huì)因?yàn)榄h(huán)境變化而束手無策：「懂」很多道理，卻依然干不好家務(wù)。

通用機(jī)器人的出路，絕不應(yīng)是被困在出廠設(shè)置里的「靜態(tài)標(biāo)品」，而應(yīng)當(dāng)是能在真實(shí)部署中、在每一次失敗和糾正中持續(xù)變強(qiáng)的生命體。

為了實(shí)現(xiàn)這一跨越，智元具身研究中心提出了SOP（Scalable Online Post-training）框架

• 論文標(biāo)題：SOP: A Scalable Online Post-Training System for Vision-Language-Action Models
• 官方博客：https://www.agibot.com/research/sop_zh

SOP，即可擴(kuò)展在線后訓(xùn)練，是一種顛覆性的機(jī)器人學(xué)習(xí)新范式。據(jù)了解，這是業(yè)界首次在物理世界的后訓(xùn)練中深度整合了在線、分布式和多任務(wù)機(jī)制

通過 SOP 框架，智元具身研究中心構(gòu)建了一個(gè)「多機(jī)平行現(xiàn)實(shí)」與「云端集中進(jìn)化」的閉環(huán)，進(jìn)而打破了機(jī)器人認(rèn)知的時(shí)間邊界，讓智能的進(jìn)化不再止步于出廠的那一刻。

SOP：讓機(jī)器人實(shí)現(xiàn)在真實(shí)世界中的分布式持續(xù)學(xué)習(xí)

在過去幾年里，基于互聯(lián)網(wǎng)海量數(shù)據(jù)預(yù)訓(xùn)練的 VLA（視覺 - 語言 - 動(dòng)作）模型，雖然賦予了機(jī)器人一定的通用泛化能力，但始終面臨一個(gè)難以逾越的鴻溝：「懂」不代表「能」

預(yù)訓(xùn)練模型或許「懂」什么是疊衣服，但當(dāng)它真正面對一件材質(zhì)松軟、光照復(fù)雜的真實(shí)衣物時(shí)，往往會(huì)因?yàn)?strong>分布偏移而束手無策。

為了解決這個(gè)問題，傳統(tǒng)的做法是后訓(xùn)練（post-training）。但這通常是一條離線、單機(jī)、順序的漫漫長路：采集數(shù)據(jù)、離線訓(xùn)練、更新模型、再次部署。這種模式下，機(jī)器人探索慢、迭代慢，且很容易在學(xué)習(xí)新任務(wù)時(shí)遺忘舊能力。

智元具身研究中心提出的 SOP 顛覆了這一陳舊范式。

它將 VLA 的后訓(xùn)練從「單機(jī)單打獨(dú)斗」轉(zhuǎn)變?yōu)椤?strong>在線、集群、并行」的集團(tuán)軍作戰(zhàn)。形象地說，SOP 構(gòu)建了一個(gè)「多機(jī)平行現(xiàn)實(shí) → 云端集中學(xué)習(xí) → 模型即時(shí)回流」的超級(jí)閉環(huán)。

分布式機(jī)器人隊(duì)伍：構(gòu)建「平行現(xiàn)實(shí)」

在 SOP 架構(gòu)下，不再是一臺(tái)機(jī)器人在苦苦探索，而是多臺(tái)機(jī)器人組成集群，共享同一個(gè) VLA 策略。

這就好比在同一時(shí)間開啟了多個(gè)「平行現(xiàn)實(shí)」：有的機(jī)器人在嘗試疊衣服，有的在整理雜貨，有的在處理紙盒。

這種空間上的并行，大幅拓寬了真實(shí)世界中狀態(tài) - 動(dòng)作分布的覆蓋面，讓系統(tǒng)能瞬間接觸到極其廣泛的場景，直接避開了單機(jī)學(xué)習(xí)容易陷入的局部瓶頸。

值得注意的是，人類還可以通過施加少量的干預(yù)性修正來加速學(xué)習(xí)過程

云端集中在線更新：分鐘級(jí)的進(jìn)化速度

所有的運(yùn)行軌跡、獎(jiǎng)勵(lì)信號(hào)甚至人工糾正信息，都會(huì)被實(shí)時(shí)流式上傳至云端 GPU 集群。在這里，一個(gè)通才學(xué)習(xí)器（Generalist Learner）夜以繼日地運(yùn)轉(zhuǎn)，持續(xù)對策略模型進(jìn)行在線更新。

為了支撐這種大規(guī)模的實(shí)時(shí)并發(fā)，SOP 在底層架構(gòu)上搭建了一套工業(yè)級(jí)的分布式數(shù)據(jù)基座

系統(tǒng)采用了先進(jìn)的Actor-Learner 分離架構(gòu)，通過消息隊(duì)列完全解耦了數(shù)據(jù)生產(chǎn)與消費(fèi)。這意味著系統(tǒng)具備了「零配置」的彈性水平擴(kuò)展能力：新的機(jī)器人加入集群無需修改任何代碼或停機(jī)配置，只需連接消息隊(duì)列即可即插即用，自動(dòng)分擔(dān)數(shù)據(jù)采集任務(wù)。

同時(shí)，針對物理世界復(fù)雜的網(wǎng)絡(luò)環(huán)境，SOP 建立了嚴(yán)苛的容錯(cuò)與數(shù)據(jù)原子性機(jī)制。依靠本地緩沖和對象存儲(chǔ)的原子寫入特性，確保了即便在網(wǎng)絡(luò)波動(dòng)或節(jié)點(diǎn)故障時(shí)，數(shù)據(jù)要么完整保存，要么完全回滾，絕不讓臟數(shù)據(jù)污染核心訓(xùn)練池。

為了讓學(xué)習(xí)更高效，SOP 內(nèi)置了一個(gè)聰明的動(dòng)態(tài)采樣器（Adaptive Sampler）。它不像傳統(tǒng)模型那樣盲目混合數(shù)據(jù)，而是能根據(jù)任務(wù)的實(shí)時(shí)訓(xùn)練損失「查漏補(bǔ)缺」，也就是自動(dòng)加大對當(dāng)前薄弱環(huán)節(jié)的在線數(shù)據(jù)訓(xùn)練權(quán)重。這種有的放矢的學(xué)習(xí)策略，讓位于邊緣端的機(jī)器人能在數(shù)秒至數(shù)十秒內(nèi)獲得云端最新進(jìn)化的大腦，真正實(shí)現(xiàn)了群體智能的實(shí)時(shí)同步。

這意味著，如果一臺(tái)機(jī)器人在北京學(xué)會(huì)了某個(gè)抓取動(dòng)作的微調(diào)，幾分鐘后，位于上海的另一臺(tái)機(jī)器人就能用上這套最新的記憶。

破解災(zāi)難性遺忘：泛化與精度的共存

傳統(tǒng)的單機(jī)在線訓(xùn)練往往面臨一個(gè)兩難：為了精通某項(xiàng)任務(wù)（如疊衣服），模型很容易退化成只懂這一件事的專家，喪失了通用的 VLA 能力。

SOP 通過多任務(wù)并行巧妙化解了這一矛盾。因?yàn)樗窃诟鼜V闊的分布中同時(shí)進(jìn)行多任務(wù)學(xué)習(xí)，而非按順序一個(gè)個(gè)學(xué)，從而確保了 VLA 的通用性不會(huì)因針對某一任務(wù)的性能提升而受損。

下面展示 SOP 的偽代碼：

有效性驗(yàn)證：從魯棒性涌現(xiàn)到具身智能的 Scaling Law

為了驗(yàn)證 SOP 的有效性，智元具身研究中心團(tuán)隊(duì)思考了三個(gè)問題：

• SOP 對于預(yù)訓(xùn)練 VLA 的性能究竟有多大的提升？跟之前的一些離線方案相比呢？
• 分布式機(jī)器人隊(duì)伍的數(shù)量規(guī)模擴(kuò)展會(huì)如何影響性能？
• 對于不同質(zhì)量的預(yù)訓(xùn)練模型，SOP 能否提供一致的性能增益？

為了解答這三個(gè)問題，智元具身研究中心基于自家的智元精靈 G1（Agibot G1）機(jī)器人平臺(tái)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。這是一款擁有雙臂 14 個(gè)自由度的移動(dòng)操縱機(jī)器人，其頭頂與手腕配備的「三目」RGB 視覺系統(tǒng)，配合 7 自由度的靈活手臂和 30Hz 的高頻控制，使其具備了在復(fù)雜非結(jié)構(gòu)化環(huán)境中執(zhí)行精細(xì)微操的硬件基礎(chǔ)。

結(jié)果呢？相當(dāng)亮眼！下面我們將深入挖掘?qū)嶒?yàn)數(shù)據(jù)，你將看到：SOP 的技術(shù)可行性不僅得到了驗(yàn)證，更展示了極高的「訓(xùn)練性價(jià)比」。

超越離線：不僅是成功率的提升，更是魯棒性的涌現(xiàn)

首先看看實(shí)驗(yàn)所選的任務(wù) —— 可以說極具挑戰(zhàn)性：從雜貨補(bǔ)貨任務(wù)中涵蓋的 500 多種不同形態(tài)商品，到疊衣服任務(wù)中涉及的柔軟易變形物體，甚至包括協(xié)同打開冰柜門等復(fù)雜動(dòng)作。這些場景不僅考驗(yàn)機(jī)器人的認(rèn)知能力，更對操作的魯棒性提出了嚴(yán)苛要求。

在有效性驗(yàn)證中，團(tuán)隊(duì)選擇了HG-DAgger（典型的單機(jī)在線算法）RECAP（最新的 SOTA 離線方法）作為對比基準(zhǔn)。實(shí)驗(yàn)設(shè)計(jì)非常直觀：先看基線模型表現(xiàn)，再看經(jīng)過這些算法打磨后的效果，最后看接入 SOP 框架后的「終極形態(tài)」。

在各類測試場景下，結(jié)合 SOP 的在線多機(jī)方案全面碾壓了傳統(tǒng)單機(jī)或離線方法。更令人驚喜的細(xì)節(jié)出現(xiàn)在「疊衣服」和「疊紙盒」這類長序列任務(wù)中：SOP 訓(xùn)練出的模型展現(xiàn)了顯著的「恢復(fù)行為」。

這意味著，當(dāng)機(jī)器人在操作中出現(xiàn)細(xì)微偏差時(shí)，它不再像過去那樣直接導(dǎo)致任務(wù)失敗或中止，而是學(xué)會(huì)了類似人類的微調(diào)動(dòng)作進(jìn)行補(bǔ)救。

這種在動(dòng)態(tài)交互中獲得的魯棒性，直接經(jīng)受住了極限壓力的考驗(yàn)：在疊衣服和組裝紙盒的長程評(píng)估中，SOP 系統(tǒng)實(shí)現(xiàn)了超過 36 小時(shí)的連續(xù)運(yùn)行且無性能衰減。這種穩(wěn)定性同時(shí)轉(zhuǎn)化為效率的質(zhì)變，特別是在疊衣服任務(wù)中，SOP 將系統(tǒng)的吞吐量直接翻倍，從每小時(shí) 21 件提升至 45 件。

以下視頻展示了配備了 SOP 的智元精靈 G1 連續(xù) 36 小時(shí)疊衣服與疊紙盒的視頻片段（已加速）：

文中視頻鏈接：https://mp.weixin.qq.com/s/3I-zhRIZe6gPk_wR2GklcA

具身智能的 Scaling Law：用硬件換時(shí)間，效率達(dá)到原來 2.4 倍

如果說單機(jī)試驗(yàn)只是「小試牛刀」，那么關(guān)于擴(kuò)展性的實(shí)驗(yàn)則回應(yīng)了工業(yè)界最關(guān)心問題：堆機(jī)器人數(shù)量，真的有用嗎？

團(tuán)隊(duì)設(shè)置了單機(jī)、雙機(jī)和四機(jī)三種配置。實(shí)驗(yàn)結(jié)果（見下表）展現(xiàn)了一個(gè)清晰的趨勢：隨著分布式集群規(guī)模的擴(kuò)大，模型性能呈現(xiàn)出近乎線性的增長

在嚴(yán)格限制總訓(xùn)練時(shí)長為 3 小時(shí)的前提下，四機(jī)并行學(xué)習(xí)的最終成功率達(dá)到了92.5%，比單機(jī)提升了 12%。更關(guān)鍵的是，SOP 成功將硬件的擴(kuò)展轉(zhuǎn)化為了學(xué)習(xí)時(shí)長的極致壓縮。要達(dá)到 80% 的性能基準(zhǔn)線，單機(jī)苦練需要 174 分鐘，而四機(jī)戰(zhàn)隊(duì)僅需 72 分鐘，訓(xùn)練速度達(dá)到原來的 2.4 倍

這表明，多機(jī)并行采集不僅能防止模型對單機(jī)特征的過擬合，也證實(shí)了在物理世界中，通過增加設(shè)備數(shù)量來加速模型進(jìn)化的 Scaling Law 是真實(shí)有效的

突破預(yù)訓(xùn)練瓶頸：3 小時(shí)實(shí)戰(zhàn) > 上百小時(shí)數(shù)據(jù)堆砌

最后一組實(shí)驗(yàn)揭示了 SOP 在訓(xùn)練成本上的優(yōu)勢。

團(tuán)隊(duì)對比了分別使用 20 小時(shí)、80 小時(shí)和 160 小時(shí)數(shù)據(jù)預(yù)訓(xùn)練的模型。數(shù)據(jù)顯示，雖然預(yù)訓(xùn)練規(guī)模決定了模型的初始能力，但 SOP 給所有不同基礎(chǔ)的模型都帶來了穩(wěn)定的提升。

關(guān)鍵的對比出現(xiàn)在投入產(chǎn)出比上：當(dāng)預(yù)訓(xùn)練數(shù)據(jù)從 80 小時(shí)增加到 160 小時(shí)，巨大的算力和數(shù)據(jù)投入僅帶來了 4% 的性能提升，明顯的邊際效應(yīng)遞減已經(jīng)出現(xiàn)。然而，在同樣的瓶頸期，SOP 僅用了 3 小時(shí)的在軌經(jīng)驗(yàn)，就換來了約 30% 的性能提升。這一數(shù)據(jù)有力地證明：部署后的在線學(xué)習(xí)不是對預(yù)訓(xùn)練的簡單重復(fù)，而是更高維度的優(yōu)化。

但也需要指出，SOP 并非萬能藥。實(shí)驗(yàn)發(fā)現(xiàn)，最終的性能上限依然被預(yù)訓(xùn)練模型的初始規(guī)模所錨定。這表明在線學(xué)習(xí)本質(zhì)上是既有知識(shí)的超級(jí)優(yōu)化器，而非大規(guī)模預(yù)訓(xùn)練的完全替代品。

因此，對于追求極致性能的具身智能系統(tǒng)而言，在解決特定長尾問題和彌合「仿真 - 現(xiàn)實(shí)」差距時(shí)，幾小時(shí)的真實(shí)場景交互，往往比單純增加幾十小時(shí)的離線數(shù)據(jù)更為關(guān)鍵。

當(dāng)機(jī)器人開始進(jìn)化……

當(dāng)我們重新審視 SOP 時(shí)，會(huì)發(fā)現(xiàn)它改變的不僅僅是某一項(xiàng)具體的訓(xùn)練技巧，而是整個(gè)通用機(jī)器人系統(tǒng)的生命周期。在傳統(tǒng)的工業(yè)邏輯中，產(chǎn)品交付即意味著研發(fā)的終點(diǎn)，但在具身智能時(shí)代，這個(gè)邏輯正被反轉(zhuǎn)。

智元具身研究中心通過 SOP 傳達(dá)了一個(gè)核心理念：通用機(jī)器人應(yīng)當(dāng)是一個(gè)在真實(shí)運(yùn)行中持續(xù)進(jìn)化的「生命體」

這種范式轉(zhuǎn)變意味著機(jī)器人可以帶著尚不完美的初始模型上線。對于產(chǎn)業(yè)而言，這極大地降低了落地的門檻：我們不再需要等到模型完美無缺才敢讓機(jī)器人走出實(shí)驗(yàn)室，因?yàn)?strong>部署就是通往完美之路。SOP 能讓機(jī)器人的每一次任務(wù)執(zhí)行、每一次失敗后的糾正都轉(zhuǎn)化為寶貴的訓(xùn)練數(shù)據(jù)。部署不再是技術(shù)迭代的終點(diǎn)，而是更大規(guī)模學(xué)習(xí)的起點(diǎn)。

隨著遠(yuǎn)征、靈犀、精靈、Q1 等機(jī)器人走入真實(shí)世界，分布式集群的規(guī)模將呈指數(shù)級(jí)增長，我們也將見證一種前所未見的群體智能增長速度。

如果說 VLA 模型讓機(jī)器人第一次具備了通用的理解與行動(dòng)能力，那么 SOP 所做的是讓眾多機(jī)器人的經(jīng)驗(yàn)共同驅(qū)動(dòng)智能的快速成長。它讓訓(xùn)練不再被鎖死在過去的數(shù)據(jù)集中，而是讓機(jī)器智能在每一次交互中不斷成長。這或許就是通用機(jī)器人走向大規(guī)模真實(shí)世界部署的關(guān)鍵一步。