視覺-語言-動作模型（VLA）在機器人操控領(lǐng)域展現(xiàn)出巨大潛力。通過賦予預(yù)訓(xùn)練視覺-語言模型（VLM）動作生成能力，機器人能夠理解自然語言指令并在多樣化場景中展現(xiàn)出強大的泛化能力。然而，這類模型在應(yīng)對長時序或精細操作任務(wù)時，仍然存在性能下降的現(xiàn)象。

這種現(xiàn)象的根源在于，模型雖具備語義理解能力，卻缺乏對三維空間的幾何感知與推理能力，導(dǎo)致其難以準確捕捉如機械臂夾爪與物體之間相對位置關(guān)系等關(guān)鍵三維信息。

為此，由中國科學(xué)院自動化研究所與靈寶 CASBOT 共同提出了QDepth-VLA—— 一種結(jié)合量化深度預(yù)測（Quantized Depth Prediction） 的 3D 信息增強型 VLA 模型。它通過獨立的Depth Expert模塊來學(xué)習(xí)離散化的深度表示。這種設(shè)計在保持原有語義對齊能力的同時，顯著提升了機器人在復(fù)雜操作場景下的空間推理與操控精度。

• 論文標(biāo)題：QDepth-VLA: Quantized Depth Prediction as Auxiliary Supervision for Vision–Language–Action Models
• 論文鏈接：https://arxiv.org/pdf/2510.14836

研究背景

如何讓模型具備真實三維空間理解能力，一直是視覺 - 語言 - 動作領(lǐng)域面臨的關(guān)鍵挑戰(zhàn)。盡管 VLA 模型在語義理解與指令跟隨方面取得了顯著進展，但其空間感知能力仍然有限。當(dāng)任務(wù)涉及精細化或長時程多步驟操作時，模型往往難以建立穩(wěn)定的三維幾何關(guān)聯(lián)，導(dǎo)致定位誤差和操作失敗。

為填補二維視覺語義理解與 3D 空間感知之間的鴻溝，研究者近年開始探索將三維信息融入 VLA 模型的多種路徑。主流方向可分為三類：

1. 直接注入 3D 特征。這類方法通常將點云或深度圖編碼為三維特征，再與 VLM 主干網(wǎng)絡(luò)或動作專家模塊融合，從而顯式引入幾何信息。盡管能夠提供更豐富的空間線索，但這種方式顯著增加了模型復(fù)雜度，并可能破壞大規(guī)模 VLM 預(yù)訓(xùn)練中形成的二維視覺先驗。

2.3D 特征投影方法。另一類方法將三維特征投影為多視角二維圖像，再輸入原有視覺 - 語言結(jié)構(gòu)。該策略在最大程度上保持了 VLM 的視覺語言能力，但投影過程不可避免地造成信息損失，難以保留細粒度的空間幾何特征。

3. 輔助 3D 視覺預(yù)測任務(wù)。相比直接融合 3D 特征，最新的趨勢是通過引入輔助任務(wù)（如深度估計或未來場景預(yù)測）來隱式強化模型的三維空間理解。這種方式無需額外傳感器輸入，具有更好的兼容性與可擴展性，是一條更具潛力的研究路線。

然而，已有工作表明，這類基于深度預(yù)測的輔助監(jiān)督并非總能帶來性能提升。例如，DreamVLA 等研究發(fā)現(xiàn)，直接以像素級深度圖作為輔助任務(wù)可能引入噪聲監(jiān)督或冗余信號，反而削弱模型的策略學(xué)習(xí)穩(wěn)定性。因此，如何設(shè)計更高效、語義一致的深度監(jiān)督機制，使 VLA 在保持二維視覺語義理解的同時獲得穩(wěn)健的三維感知能力，仍然是當(dāng)前研究的核心難題。

方法設(shè)計

為解決深度預(yù)測輔助任務(wù)存在的監(jiān)督噪聲和信號冗余問題，中國科學(xué)院自動化研究所與靈寶 CASBOT 共同提出了QDepth-VLA，通過引入量化深度預(yù)測機制與混合注意力結(jié)構(gòu)，使模型在保持語義一致性的同時，獲得穩(wěn)健的三維空間感知與動作決策能力。整體方法包括三部分 (如圖)：

1.深度圖標(biāo)注

首先采用 Video-Depth-Anything 對視頻幀進行高精度深度標(biāo)注，顯著提升了時空一致性，從源頭上減少了噪聲和漂移。

2.深度量化與 Depth Expert

為了避免直接預(yù)測像素級深度圖的噪聲干擾，首先分別利用標(biāo)注好的數(shù)據(jù)集分別訓(xùn)練對應(yīng)的 VQ-VAE，之后使用 VQ-VAE 對深度圖進行離散化編碼，將其轉(zhuǎn)化為結(jié)構(gòu)化的深度 token。模型優(yōu)化目標(biāo)如下：

設(shè)計了獨立的 Depth Expert 模塊，其結(jié)構(gòu)與 Action Expert 相似，均基于 Transformer 架構(gòu)，用于預(yù)測深度 token，從而在不干擾視覺 - 語言主干的前提下提供穩(wěn)定的幾何感知信號。

3.混合注意力機制

為實現(xiàn)跨模態(tài)融合，減小深度模態(tài)可能存在的噪聲干擾，團隊還設(shè)計了Hybrid Attention Mask，在不同模態(tài)間調(diào)控信息流：

• 文本與圖像 token 僅在各自模態(tài)內(nèi)自注意，保持語義一致性；
• 深度 token 同時關(guān)注圖像與文本，獲得語義上下文；
• 動作 token 則融合前述所有模態(tài)，實現(xiàn)視覺 — 深度 — 動作一體化建模。

這種塊狀注意力設(shè)計有效防止深度噪聲干擾動作生成，同時保持不同模態(tài)之間的對齊能力。

4.聯(lián)合優(yōu)化目標(biāo)

整體訓(xùn)練目標(biāo)整合動作與深度兩類監(jiān)督信號：

通過上述設(shè)計，QDepth-VLA 實現(xiàn)了視覺語義、空間幾何與動作策略的協(xié)同學(xué)習(xí)，在多任務(wù)、多場景中展現(xiàn)出更強的泛化與穩(wěn)定性。

實驗驗證

為全面評估 QDepth-VLA 的性能，團隊在兩個主流機器人仿真環(huán)境 (SimplerLIBERO) 與真實環(huán)境下進行了測試，涵蓋多種物體抓取、空間定位與多步操作任務(wù)。結(jié)果顯示，QDepth-VLA 在不同測試平臺上均取得了顯著提升。

這些結(jié)果驗證了該方法能夠有效提升模型在長時程、多場景操作任務(wù)中的任務(wù)完成能力。

1. Simpler 仿真結(jié)果

在 Simpler 任務(wù)中，分別基于 Bridge V2 與 Fractal 數(shù)據(jù)集從頭訓(xùn)練了 QDepth-VLA。實驗結(jié)果表明，在 Simpler 仿真器 的 WidowX250 與 Google Robot 任務(wù)上，相比基礎(chǔ)模型 Open π0，平均成功率分別提升了8.5% 與 3.7%

2. LIBERO 仿真結(jié)果

而在 LIBERO 任務(wù)中，QDepth-VLA 則在 Fractal 數(shù)據(jù)集小規(guī)模預(yù)訓(xùn)練得到的權(quán)重基礎(chǔ)上，進一步在對應(yīng)的 LIBERO 數(shù)據(jù)集上進行微調(diào)。如下圖所示，在 LIBERO 仿真器上，相較于基于深度圖輸入的 3D-CAVLA，QDepth-VLA 依然保持領(lǐng)先，平均提升約 2.8%。

3. 真機實驗結(jié)果

• Task1 : pick the banana into the yellow basket
• Task2 : put the chili into the bowl
• Task3 : put the green block into the bowl
• Task4 : stack the green block ontop of the yellow block

4. 消融實驗

為了驗證 QDepth-VLA 各組件的實際貢獻，團隊還在 Simpler 任務(wù)上進行了系統(tǒng)的消融實驗。

當(dāng)團隊將深度損失權(quán)重設(shè)為 0，僅保留模型結(jié)構(gòu)時，平均成功率由 68.5% 降至 65.6%，尤其在 Carrot（-9.6%）和 Eggplant（-12.5%）任務(wù)上下降明顯，表明深度監(jiān)督確實提供了有意義的空間幾何先驗。相反，移除 Depth Expert 后，性能下降最為顯著（-8.5%），在需要精準三維對齊的 Stack Block 任務(wù)中跌幅高達 - 23.8%，驗證了顯式深度分支對立體空間感知的關(guān)鍵作用。

此外，將潛在深度預(yù)測替換為像素級回歸導(dǎo)致平均性能下降至 64.6%，說明量化深度表征更能捕捉抽象幾何信息。而移除混合注意力機制（Hybrid Attention）后，模型在 Carrot 任務(wù)中的表現(xiàn)顯著下降（-15.8%），表明該機制能有效協(xié)調(diào)深度感知與動作生成。

總體來看，深度監(jiān)督與混合注意力的協(xié)同作用是 QDepth-VLA 取得高性能的關(guān)鍵，它們共同強化了模型的空間理解與動作一致性，為復(fù)雜操控任務(wù)提供了穩(wěn)定的三維感知基礎(chǔ)。

總結(jié)與展望

QDepth-VLA 作為一種將量化深度預(yù)測引入視覺 - 語言 - 動作建模的機制，旨在增強機器人在三維空間中的感知與推理能力。基于 Simpler、LIBERO 以及真實環(huán)境的系統(tǒng)實驗結(jié)果顯示，引入量化深度監(jiān)督能夠在長程與精細操作任務(wù)中帶來顯著的成功率提升，說明三維幾何先驗在機器人穩(wěn)定操控中具有重要價值。

未來的研究方向可主要圍繞以下兩點展開：

• 面向未來的深度預(yù)測：在當(dāng)前深度推斷基礎(chǔ)上擴展至未來時刻的空間結(jié)構(gòu)預(yù)測，以支持更長時程的策略規(guī)劃；
• 更高效的深度表征學(xué)習(xí)：通過改進 VAE 編碼與表征壓縮方式，進一步提升深度信息的精確度、可泛化性與推理穩(wěn)定性。

總體來看，QDepth-VLA 為增強 VLA 模型的空間理解能力提供了一條兼具語義一致性與工程可落地性的路徑。從具身智能的發(fā)展趨勢來看，具備真實三維空間理解能力的策略模型，是機器人從 “可演示” 邁向 “可長期實際工作” 的關(guān)鍵基礎(chǔ)。QDepth-VLA 強化的三維幾何感知與動作一致性能力，將作為核心能力模塊逐步融入靈寶 CASBOT 的多產(chǎn)品序列中：

• CASBOT 02：用于支持桌面級與生活化任務(wù)中的穩(wěn)定抓取、遞交、精細放置；
• CASBOT W1：用于工業(yè)與商服場景下的多步驟、多對象柔性操作；
• Handle-L1 靈巧手：用于更高精度、多接觸點的結(jié)構(gòu)化操控與協(xié)作。

在此路徑中，深度量化表征、跨模態(tài)一致性建模與在線自適應(yīng)學(xué)習(xí)將持續(xù)協(xié)同演進，支撐靈寶 CASBOT 構(gòu)建從模型 — 本體 — 場景 — 部署的長期閉環(huán)能力，推動具身智能走向可規(guī)模化、可復(fù)制、可持續(xù)的真實應(yīng)用階段。