編輯｜+0

近期，具身智能領(lǐng)域儼然是神仙打架。

先是 Generalist AI 發(fā)布 GEN-1 引發(fā)行業(yè)震動(dòng)，以極高的數(shù)據(jù)效率和閉環(huán)控制能力刷新了各項(xiàng)操作紀(jì)錄。

兩周之后，具身賽道的另一位重量級(jí)玩家 Physical Intelligence 也發(fā)布了新模型 π 0.7，主打「組合與泛化」，實(shí)現(xiàn)了對(duì) VLA 架構(gòu)的進(jìn)一步升級(jí)。

盡管兩者的技術(shù)哲學(xué)迥異，但它們都在試圖解決同一個(gè)核心痛點(diǎn)：數(shù)據(jù)。

在語(yǔ)言模型的發(fā)展歷程中，GPT-2 之所以成為關(guān)鍵里程碑，是因?yàn)樗屨Z(yǔ)言模型不再依賴少量高質(zhì)量標(biāo)注數(shù)據(jù)，進(jìn)入了持續(xù) Scaling 的時(shí)代。

但在具身智能領(lǐng)域，這個(gè)問(wèn)題尚未被真正解決：機(jī)器人，該怎么把這些亂糟糟的真實(shí)世界數(shù)據(jù)「吃」進(jìn)去？

就在這一背景下，銀河通用聯(lián)合清華北大英偉達(dá)等眾多機(jī)構(gòu)聯(lián)合發(fā)布了跨本體「隱式世界-動(dòng)作基礎(chǔ)模型」LDA-1B，將目光投向了具身智能 Scaling Law 的這個(gè)終極命題：如何讓模型有效利用互聯(lián)網(wǎng)規(guī)模的異構(gòu)數(shù)據(jù)。

簡(jiǎn)單來(lái)說(shuō)，LDA-1B 是一個(gè)在隱式空間中統(tǒng)一世界模型與 VLA 的基礎(chǔ)模型，憑借對(duì)異構(gòu)數(shù)據(jù)的全面整合，它處理了超過(guò) 3 萬(wàn)小時(shí)的各類具身數(shù)據(jù)，最核心的突破在于：無(wú)論是虛擬與現(xiàn)實(shí)的數(shù)據(jù)（虛實(shí)共融），人類操作與機(jī)器采集的記錄（人機(jī)混合），優(yōu)質(zhì)示范與低質(zhì)量的「臟數(shù)據(jù)」（質(zhì)量參差），甚至是有無(wú)動(dòng)作標(biāo)簽的素材，它都能實(shí)現(xiàn)統(tǒng)一且有效的利用。

換句話說(shuō)：一個(gè)模型，開(kāi)始能夠「充分利用全部數(shù)據(jù)，并讓所有數(shù)據(jù)各盡其用」。

LDA-1B 核心架構(gòu)總覽：通過(guò)統(tǒng)一的隱空間動(dòng)力學(xué)，實(shí)現(xiàn)對(duì) 3 萬(wàn)小時(shí)海量異構(gòu)數(shù)據(jù)的通用攝取。

在 RoboCasa-GR1 基準(zhǔn)測(cè)試中，LDA-1B 以 55.4% 的成功率超越 GR00T-N1.6（47.6%）和 π 0.5，并在真實(shí)世界靈巧操作與長(zhǎng)程任務(wù)中展現(xiàn)出顯著優(yōu)勢(shì)。

值得一提的是，該研究論文已成功被機(jī)器人領(lǐng)域頂級(jí)會(huì)議 RSS 接收（今年僅有 210 篇錄用），目前該模型代碼已正式開(kāi)源。

• 論文標(biāo)題：LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion
• 論文地址：https://arxiv.org/abs/2602.12215
• 項(xiàng)目鏈接：https://pku-epic.github.io/LDA/
• 代碼地址：https://github.com/jiangranlv/LDA-1B

喂什么，怎么喂？

要理解 LDA-1B 的突破，首先要看它吃下了什么。

長(zhǎng)期以來(lái)，真實(shí)機(jī)器人數(shù)據(jù)規(guī)模有限，人類視頻缺乏動(dòng)作標(biāo)注，而仿真數(shù)據(jù)又面臨真實(shí)性約束，導(dǎo)致不同類型的數(shù)據(jù)彼此割裂。

這次銀河通用的突破，離不開(kāi)其構(gòu)建的完整數(shù)據(jù)基礎(chǔ)設(shè)施——銀河星數(shù)（AstraData）?；谶@一體系，他們搭建了一個(gè)「五層數(shù)據(jù)金字塔」：囊括了互聯(lián)網(wǎng)數(shù)據(jù)（底層）、人類行為數(shù)據(jù)（次底層）、多本體合成仿真數(shù)據(jù)（中間層）、真實(shí)遙操數(shù)據(jù)（高層）以及真機(jī)自主運(yùn)行數(shù)據(jù)（頂層）。

為了支撐這個(gè) 1.6B 參數(shù)的基礎(chǔ)模型，研究團(tuán)隊(duì)基于這套體系構(gòu)建了極具規(guī)模的通用具身交互數(shù)據(jù)集EI-30K

但在把數(shù)據(jù)喂給模型之前，有兩個(gè)棘手的問(wèn)題必須解決。

第一個(gè)問(wèn)題是格式與動(dòng)作對(duì)齊。

機(jī)器人數(shù)據(jù)和人類數(shù)據(jù)來(lái)自不同設(shè)備，執(zhí)行器更是五花八門（夾爪、靈巧手、吸盤）。團(tuán)隊(duì)不僅將其全部轉(zhuǎn)換成標(biāo)準(zhǔn)的 LeRobot 格式，更首次系統(tǒng)性地提出了「統(tǒng)一末端執(zhí)行器動(dòng)作空間」的跨本體解決方案。

對(duì)于機(jī)器人，這被定義為 6-DoF 末端執(zhí)行器位姿加上夾爪寬度或靈巧手關(guān)節(jié)；對(duì)于人類，則是 6-DoF 手腕位姿和完整的 MANO 手部參數(shù)。

這使得模型不再需要去死記硬背「某臺(tái)機(jī)器人的關(guān)節(jié)怎么動(dòng)」，而是將所有動(dòng)作統(tǒng)一映射到「手如何與物體發(fā)生作用」的物理本質(zhì)上，為跨本體泛化掃清了障礙。

第二個(gè)問(wèn)題是，數(shù)據(jù)質(zhì)量良莠不齊，怎么用？

傳統(tǒng)做法是只用專家數(shù)據(jù)，把低質(zhì)量的直接丟掉。LDA-1B 的選擇不一樣，它采用按質(zhì)分配，讓每一類數(shù)據(jù)做它最適合的事：

高質(zhì)量帶動(dòng)作數(shù)據(jù)：全面參與策略學(xué)習(xí)和動(dòng)力學(xué)訓(xùn)練，享有最高權(quán)限。

次優(yōu) / 嘈雜動(dòng)作數(shù)據(jù)：不參與策略學(xué)習(xí)，專門用于動(dòng)力學(xué)和視覺(jué)預(yù)測(cè)訓(xùn)練。動(dòng)作做錯(cuò)了沒(méi)關(guān)系，杯子掉在地上、重力導(dǎo)致的碰撞等物理規(guī)律是真實(shí)可靠的。它通過(guò)動(dòng)力學(xué)分支從這些低質(zhì)量數(shù)據(jù)中汲取有效信息，實(shí)驗(yàn)顯示，加入 30% 的低質(zhì)量軌跡后，模型任務(wù)成功率反而提升了 10%。

無(wú)動(dòng)作純視頻：主要是人類第一視角視頻。它們?nèi)煌度氲揭曈X(jué)預(yù)測(cè)任務(wù)中，讓模型在沒(méi)有動(dòng)作標(biāo)簽的情況下，純靠「看」來(lái)吸收關(guān)于物理世界如何自然演化的視覺(jué)先驗(yàn)。

這帶來(lái)的變化非常大：低質(zhì)量數(shù)據(jù)不再是廢料、無(wú)標(biāo)注視頻也能直接參與訓(xùn)練。

正是這種最科學(xué)的數(shù)據(jù)分工，讓具身智能的數(shù)據(jù)規(guī)模得以直接放大，也真正在邏輯上為通用機(jī)器人走向零售揀選、工業(yè)搬運(yùn)和家庭服務(wù)等大規(guī)模商業(yè)部署鋪平了道路。

VLA 和世界模型，能不能不二選一？

有了海量數(shù)據(jù)，接下來(lái)就是用什么模型來(lái)消化它們。

過(guò)去幾年，主流答案是前文 π 0.7 所代表的 VLA：看圖、聽(tīng)指令、輸出動(dòng)作，鏈路干凈，響應(yīng)也快。但它本質(zhì)上是在做海量數(shù)據(jù)的模式匹配，缺乏真正的物理常識(shí)。一旦遇到重心偏移、摩擦力突變等沒(méi)見(jiàn)過(guò)的物理邊界情況，就極易翻車。

另一條路是世界模型。它不急著輸出動(dòng)作，而是先在腦子里預(yù)測(cè)未來(lái)：如果我這么做，世界會(huì)怎么變？但在「如何表征這個(gè)世界」上，大多世界模型主要側(cè)重像素級(jí)視頻的生成，雖然視頻逼真，但物理動(dòng)力學(xué)并不是學(xué)習(xí)的重點(diǎn)

LDA-1B 的思路，是干脆別選了，直接在隱空間里深度融合。

它引入了將 World Model 與 Action Model 統(tǒng)一的WAM框架。雖然這一方向如今已是大熱點(diǎn)，但早在 2025 年 3 月，銀河通用就發(fā)表了論文，在全球范圍內(nèi)首次對(duì) WAM 的概念進(jìn)行了結(jié)構(gòu)化定義。

LDA-1B 正是這一前瞻路線的自然延伸，它讓模型在統(tǒng)一框架下同時(shí)學(xué)習(xí)四類能力：策略學(xué)習(xí)、前向動(dòng)力學(xué)、逆向動(dòng)力學(xué)、視覺(jué)預(yù)測(cè)。

從命名就能看出這一點(diǎn)——Latent Dynamics Action Model：隱空間中建模世界的狀態(tài)變化，同時(shí)直接輸出可執(zhí)行的動(dòng)作策略。

怎么實(shí)現(xiàn)「一個(gè)模型，四種能力」？

具體到執(zhí)行層面，LDA-1B 是如何讓一切運(yùn)轉(zhuǎn)起來(lái)的？答案在于三個(gè)統(tǒng)一。

第一步：統(tǒng)一任務(wù)形式

在 LDA-1B 里，策略學(xué)習(xí)、前向動(dòng)力學(xué)、逆向動(dòng)力學(xué)與視覺(jué)預(yù)測(cè)全部被改寫成同一種形式：預(yù)測(cè)未來(lái)的狀態(tài) + 預(yù)測(cè)未來(lái)的動(dòng)作。

為了在同一個(gè)網(wǎng)絡(luò)里搞定這件事，模型引入了「任務(wù)嵌入（Task Embedding）」和「寄存器 Token（Register Token）」機(jī)制 。

通過(guò)激活不同的 Task Embedding，模型可以在四種模式間靈活切換 。比如專心做「策略控制」時(shí)，就用一個(gè)視覺(jué) Register Token 占住未來(lái)畫面的坑位，全力推演動(dòng)作；做「視覺(jué)預(yù)測(cè)」時(shí)則反過(guò)來(lái) 。

這也就是說(shuō)，模型不再死板地劃分「控制」和「建模」。通過(guò)巧妙的 Token 切換，所有的任務(wù)都被轉(zhuǎn)化成了同一道「填空題」的不同變種，在同一套網(wǎng)絡(luò)底層里自如流轉(zhuǎn)。

第二步：統(tǒng)一表征空間

統(tǒng)一任務(wù)之后，還有一個(gè)問(wèn)題：在哪個(gè)空間里統(tǒng)一？

LDA-1B 的選擇是：不用像素，用 DINO latent。

傳統(tǒng)的像素級(jí)模型或使用 VAE 重構(gòu)的隱空間，很容易將物體的幾何結(jié)構(gòu)、外觀和動(dòng)態(tài)變化糅合在一起（比如把算力浪費(fèi)在預(yù)測(cè)背景墻紙的光影變化上），導(dǎo)致大規(guī)模訓(xùn)練效率極低。

DINO 特征的特點(diǎn)是：對(duì)雜亂背景不敏感，但對(duì)物體的語(yǔ)義和空間幾何結(jié)構(gòu)極度敏感。這讓模型在推演物理規(guī)律時(shí)，能專注于「物體的交互與狀態(tài)改變」，而不是外觀本身。

換句話說(shuō)：LDA-1B 不是在「看世界」，而是在「理解結(jié)構(gòu)化的世界」。這一步從根本上決定了它為什么能 Scale。

第三步：統(tǒng)一模型架構(gòu)

統(tǒng)一任務(wù) + 統(tǒng)一表征之后，最后一步：用什么模型去學(xué)？

LDA-1B 選擇了多模態(tài) Diffusion Transformer（MM-DiT）。它同時(shí)處理兩條流：動(dòng)作序列和未來(lái)視覺(jué)，通過(guò)共享注意力機(jī)制讓兩者互相影響。

一句話總結(jié)就是：動(dòng)作和視覺(jué)是分開(kāi)的，但「思考過(guò)程」是共享的。

這帶來(lái)一個(gè)很關(guān)鍵的效果：模型在預(yù)測(cè)動(dòng)作時(shí)，會(huì)參考「未來(lái)世界會(huì)變成什么樣」；在預(yù)測(cè)世界時(shí)，也會(huì)考慮「動(dòng)作會(huì)帶來(lái)什么影響」。

其本質(zhì)就是：把因果關(guān)系寫進(jìn)了注意力結(jié)構(gòu)里。

三步加在一起——統(tǒng)一任務(wù)形式、統(tǒng)一表征空間、統(tǒng)一模型架構(gòu)——讓模型在同一套框架里，同時(shí)學(xué)會(huì)「怎么動(dòng)」和「世界會(huì)怎么變」。此時(shí)，它才真正擁有了一個(gè)統(tǒng)一的「大腦」：既能做敏銳的行動(dòng)者，又能化身精準(zhǔn)的預(yù)測(cè)家。

理論講完了，看看實(shí)戰(zhàn)效果

在實(shí)驗(yàn)部分，LDA-1B 在多個(gè)維度上展現(xiàn)了這種一體化架構(gòu)帶來(lái)的降維打擊。

得益于這種結(jié)構(gòu)化隱空間帶來(lái)的一體化架構(gòu)，LDA-1B 無(wú)論是在任務(wù)成功率還是泛化表現(xiàn)上，都以極具說(shuō)服力的數(shù)據(jù)，直接秒殺了包括大參數(shù) GR00T 、π 0.5 在內(nèi)的一眾現(xiàn)有模型。

團(tuán)隊(duì)做了個(gè)消融實(shí)驗(yàn)：把 LDA-1B 里的 DINO 隱空間，換回傳統(tǒng)的 VAE 像素級(jí)重構(gòu)，其他什么都不動(dòng)。結(jié)果：成功率從 55.4% 跌到 20.0%，直接腰斬。所以 DINO 隱空間不是加分項(xiàng)，它是 Scaling Law 能在具身智能上跑通的前提。

走進(jìn)工廠與家庭

到了真實(shí)世界（Galbot 和 Unitree 機(jī)器人），LDA-1B 在真實(shí)場(chǎng)景中所展現(xiàn)出的「靈性」，才是其最具震撼力的地方。

通過(guò)演示視頻的，我們可以清晰地看到該模型如何突破傳統(tǒng)具身智能的瓶頸，真正解決商業(yè)落地的痛點(diǎn)。

面對(duì)此前從未出現(xiàn)在預(yù)訓(xùn)練數(shù)據(jù)集中的 Galbot 機(jī)器人，LDA-1B 展現(xiàn)了極強(qiáng)的少樣本跨本體泛化能力，這改變了以往機(jī)器人換個(gè)底座就要重新訓(xùn)練周期的困境。

LDA-1B 僅需約 1 小時(shí)的后訓(xùn)練數(shù)據(jù)，就能迅速理解新硬件的動(dòng)力學(xué)特性。這種極高的適配效率，是模型能夠從實(shí)驗(yàn)室走向零售門店、物流倉(cāng)庫(kù)等多元環(huán)境的基礎(chǔ)。

在典型的長(zhǎng)程任務(wù)中，機(jī)器人需要應(yīng)對(duì)嚴(yán)格的步驟依賴：

接到指令后，機(jī)器人必須按序完成疊放、轉(zhuǎn)移、擺盤與加料，任意一步抓取或放置失誤都會(huì)導(dǎo)致后續(xù)全亂；用戶改變指令以后，也能理解意圖變更并實(shí)時(shí)調(diào)整動(dòng)作序列，自主糾偏完成新目標(biāo)。

同時(shí)，在高自由度靈巧手方面，面對(duì)摩擦力極度復(fù)雜的「翻牛排」任務(wù)，LDA-1B 憑借對(duì)物理常識(shí)的深刻理解，實(shí)現(xiàn)了超高成功率，證明它不是單純的動(dòng)作模仿，而是真正掌握了接觸性任務(wù)的物理邏輯。

將一排杯子精確疊成金字塔形，每一層的堆疊都依賴上一層的穩(wěn)定，對(duì)雙臂協(xié)同與力控提出極高要求。

傳統(tǒng)模型常因單步誤差累積導(dǎo)致全盤失敗，而 LDA-1B 憑借在隱空間進(jìn)行的動(dòng)力學(xué)推演，能夠預(yù)測(cè)動(dòng)作的物理后果并實(shí)時(shí)糾偏。

結(jié)語(yǔ)

回頭看這一波具身智能的浪潮，軌跡和 LLM 的發(fā)展驚人地相似。

最早大家手工寫規(guī)則；后來(lái)發(fā)現(xiàn)大力出奇跡，開(kāi)始用海量數(shù)據(jù)做行為克??；而現(xiàn)在，單靠模仿已經(jīng)摸到了物理常識(shí)的天花板。銀河通用的 LDA-1B 給出了一種很有意思的思路：通過(guò)一個(gè)統(tǒng)一的模型，把所有異構(gòu)數(shù)據(jù)都用好，既能「深思熟慮」，又能「說(shuō)動(dòng)就動(dòng)」，終于能像語(yǔ)言模型一樣，從海量異構(gòu)數(shù)據(jù)中持續(xù)學(xué)習(xí)世界本身。

目前，銀河通用已將 LDA-1B 的核心算法與代碼體系全面開(kāi)源，希望推動(dòng)行業(yè)從封閉優(yōu)化走向開(kāi)放共建。更重要的是，這一能力并非孤立存在，它將作為核心的通用數(shù)據(jù)吞吐與跨本體學(xué)習(xí)能力，快速匯入銀河通用的全人形通用基礎(chǔ)模型——「銀河星腦（AstraBrain）」中。

在未來(lái)的路線圖里，團(tuán)隊(duì)已經(jīng)明確了幾個(gè)關(guān)鍵的進(jìn)化方向：首先是嘗試將視覺(jué)表示與隱空間動(dòng)力學(xué)進(jìn)行端到端的聯(lián)合學(xué)習(xí)，不再受限于固定特征；其次是引入更豐富的感知模態(tài)，并探索如何自動(dòng)優(yōu)化不同質(zhì)量數(shù)據(jù)在訓(xùn)練中的分工角色。

文中視頻鏈接：https://mp.weixin.qq.com/s/ShFejS4jjsPwuUME9KYKnw