今日,小米對外發(fā)布開源 VLA 模型 Xiaomi-Robotics-0，擁有 47 億參數(shù)、兼具視覺語言理解與高性能實時執(zhí)行能力，刷新多項 SOTA。它在現(xiàn)實真機任務(wù)中實現(xiàn)了物理智能的泛化 —— 動作連貫、反應(yīng)靈敏，且能在消費級顯卡上實現(xiàn)實時推理。

據(jù)官方介紹獲悉，物理智能的核心在于“感知-決策-執(zhí)行”的閉環(huán)質(zhì)量。為了兼顧通用理解與精細控制，Xiaomi-Robotics-0 采用了主流的 Mixture-of-Transformers (MoT) 架構(gòu)。

視覺語言大腦（VLM）： 團隊采用了多模態(tài) VLM 大模型作為底座。它負責(zé)理解人類的模糊指令（如“請把毛巾疊好”），并從高清視覺輸入中捕捉空間關(guān)系。

動作執(zhí)行小腦（Action Expert）：為了生成高頻、平滑的動作，團隊嵌入了多層的 Diffusion Transformer (DiT)。它不直接輸出單一動作，而是生成一個“動作塊”（Action Chunk），并通過流匹配（Flow-matching）技術(shù)確保動作的精準度。

針對大部分 VLA 模型在學(xué)動作時往往會“變笨”，失去本身的理解能力的問題。小米通過多模態(tài)與動作數(shù)據(jù)的混合訓(xùn)練，讓模型在學(xué)會操作的同時，依然保持強大的物體檢測、視覺問答和邏輯推理能力。

VLM 協(xié)同訓(xùn)練：首先引入了 Action Proposal 機制，強迫 VLM 模型在理解圖像的同時預(yù)測多種動作分布。這一步是為了讓 VLM 的特征空間與動作空間對齊，不再僅僅是“紙上談兵”。

DiT 專項訓(xùn)練：隨后凍結(jié) VLM，專注于訓(xùn)練 DiT，學(xué)習(xí)如何從噪聲中恢復(fù)出精準的動作序列。在這一階段，小米去除了 VLM 的離散 Token，完全依賴 KV 特征進行條件生成。通過 DiT 專項訓(xùn)練，模型可以生成高度平滑、精準的的動作序列。

針對推理延遲引發(fā)的真機“動作斷層”問題，小米團隊采用異步推理模式 —— 讓模型推理與機器人運行脫離同步約束、異步執(zhí)行，從機制上保障動作連貫流暢。為進一步強化模型對環(huán)境變化的響應(yīng)敏捷性與運行穩(wěn)定性，小米引入了：

Clean Action Prefix：將前一時刻預(yù)測的動作作為輸入，確保動作軌跡在時間維度上是連續(xù)的、不抖動的，進一步增加流暢性。

Λ-shape Attention Mask：通過特殊的注意力掩碼，強制模型更關(guān)注當前的視覺反饋，而不是沉溺于歷史慣性。這讓機器人在面對環(huán)境突發(fā)變化時，能夠展現(xiàn)出極強的反應(yīng)性物理智能。

據(jù)小米官方介紹,在多維度的測試中，Xiaomi-Robotics-0 展現(xiàn)出優(yōu)異的表現(xiàn)：

仿真標桿： 在 LIBERO、CALVIN 和 SimplerEnv 測試中，模型在所有的 Benchmark、30 種模型對比中，均取得了當前最優(yōu)的結(jié)果。

真實挑戰(zhàn)： 團隊在雙臂機器人平臺上部署了模型并與行業(yè)標桿進行了橫向?qū)Ρ?。在積木拆解和疊毛巾這種長周期、高度挑戰(zhàn)的任務(wù)中，機器人展現(xiàn)出了極高的手眼協(xié)調(diào)性。無論是剛性的積木還是柔性的織物，都能處理得游刃有余。

多模態(tài)能力：模型保留了 VLM 本身的多模態(tài)理解能力，尤其是在具身更相關(guān)的 benchmark 中表現(xiàn)優(yōu)異，這是之前的 VLA 模型所不具備的。

目前,小米已經(jīng)宣布將模型進行開源,感興趣的小伙伴可以體驗一下。