視覺(jué)-語(yǔ)言-動(dòng)作模型（VLA）在機(jī)器人操控領(lǐng)域展現(xiàn)出巨大潛力。通過(guò)賦予預(yù)訓(xùn)練視覺(jué)-語(yǔ)言模型（VLM）動(dòng)作生成能力，機(jī)器人能夠理解自然語(yǔ)言指令并在多樣化場(chǎng)景中展現(xiàn)出強(qiáng)大的泛化能力。然而，這類模型在應(yīng)對(duì)長(zhǎng)時(shí)序或精細(xì)操作任務(wù)時(shí)，仍然存在性能下降的現(xiàn)象。

這種現(xiàn)象的根源在于，模型雖具備語(yǔ)義理解能力，卻缺乏對(duì)三維空間的幾何感知與推理能力，導(dǎo)致其難以準(zhǔn)確捕捉如機(jī)械臂夾爪與物體之間相對(duì)位置關(guān)系等關(guān)鍵三維信息。

為此，由中國(guó)科學(xué)院自動(dòng)化研究所與靈寶 CASBOT 共同提出了QDepth-VLA—— 一種結(jié)合量化深度預(yù)測(cè)（Quantized Depth Prediction） 的 3D 信息增強(qiáng)型 VLA 模型。它通過(guò)獨(dú)立的Depth Expert模塊來(lái)學(xué)習(xí)離散化的深度表示。這種設(shè)計(jì)在保持原有語(yǔ)義對(duì)齊能力的同時(shí)，顯著提升了機(jī)器人在復(fù)雜操作場(chǎng)景下的空間推理與操控精度。

• 論文標(biāo)題：QDepth-VLA: Quantized Depth Prediction as Auxiliary Supervision for Vision–Language–Action Models
• 論文鏈接：https://arxiv.org/pdf/2510.14836

研究背景

如何讓模型具備真實(shí)三維空間理解能力，一直是視覺(jué) - 語(yǔ)言 - 動(dòng)作領(lǐng)域面臨的關(guān)鍵挑戰(zhàn)。盡管 VLA 模型在語(yǔ)義理解與指令跟隨方面取得了顯著進(jìn)展，但其空間感知能力仍然有限。當(dāng)任務(wù)涉及精細(xì)化或長(zhǎng)時(shí)程多步驟操作時(shí)，模型往往難以建立穩(wěn)定的三維幾何關(guān)聯(lián)，導(dǎo)致定位誤差和操作失敗。

為填補(bǔ)二維視覺(jué)語(yǔ)義理解與 3D 空間感知之間的鴻溝，研究者近年開(kāi)始探索將三維信息融入 VLA 模型的多種路徑。主流方向可分為三類：

1. 直接注入 3D 特征。這類方法通常將點(diǎn)云或深度圖編碼為三維特征，再與 VLM 主干網(wǎng)絡(luò)或動(dòng)作專家模塊融合，從而顯式引入幾何信息。盡管能夠提供更豐富的空間線索，但這種方式顯著增加了模型復(fù)雜度，并可能破壞大規(guī)模 VLM 預(yù)訓(xùn)練中形成的二維視覺(jué)先驗(yàn)。

2.3D 特征投影方法。另一類方法將三維特征投影為多視角二維圖像，再輸入原有視覺(jué) - 語(yǔ)言結(jié)構(gòu)。該策略在最大程度上保持了 VLM 的視覺(jué)語(yǔ)言能力，但投影過(guò)程不可避免地造成信息損失，難以保留細(xì)粒度的空間幾何特征。

3. 輔助 3D 視覺(jué)預(yù)測(cè)任務(wù)。相比直接融合 3D 特征，最新的趨勢(shì)是通過(guò)引入輔助任務(wù)（如深度估計(jì)或未來(lái)場(chǎng)景預(yù)測(cè)）來(lái)隱式強(qiáng)化模型的三維空間理解。這種方式無(wú)需額外傳感器輸入，具有更好的兼容性與可擴(kuò)展性，是一條更具潛力的研究路線。

然而，已有工作表明，這類基于深度預(yù)測(cè)的輔助監(jiān)督并非總能帶來(lái)性能提升。例如，DreamVLA 等研究發(fā)現(xiàn)，直接以像素級(jí)深度圖作為輔助任務(wù)可能引入噪聲監(jiān)督或冗余信號(hào)，反而削弱模型的策略學(xué)習(xí)穩(wěn)定性。因此，如何設(shè)計(jì)更高效、語(yǔ)義一致的深度監(jiān)督機(jī)制，使 VLA 在保持二維視覺(jué)語(yǔ)義理解的同時(shí)獲得穩(wěn)健的三維感知能力，仍然是當(dāng)前研究的核心難題。

方法設(shè)計(jì)

為解決深度預(yù)測(cè)輔助任務(wù)存在的監(jiān)督噪聲和信號(hào)冗余問(wèn)題，中國(guó)科學(xué)院自動(dòng)化研究所與靈寶 CASBOT 共同提出了QDepth-VLA，通過(guò)引入量化深度預(yù)測(cè)機(jī)制與混合注意力結(jié)構(gòu)，使模型在保持語(yǔ)義一致性的同時(shí)，獲得穩(wěn)健的三維空間感知與動(dòng)作決策能力。整體方法包括三部分 (如圖)：

1.深度圖標(biāo)注

首先采用 Video-Depth-Anything 對(duì)視頻幀進(jìn)行高精度深度標(biāo)注，顯著提升了時(shí)空一致性，從源頭上減少了噪聲和漂移。

2.深度量化與 Depth Expert

為了避免直接預(yù)測(cè)像素級(jí)深度圖的噪聲干擾，首先分別利用標(biāo)注好的數(shù)據(jù)集分別訓(xùn)練對(duì)應(yīng)的 VQ-VAE，之后使用 VQ-VAE 對(duì)深度圖進(jìn)行離散化編碼，將其轉(zhuǎn)化為結(jié)構(gòu)化的深度 token。模型優(yōu)化目標(biāo)如下：

設(shè)計(jì)了獨(dú)立的 Depth Expert 模塊，其結(jié)構(gòu)與 Action Expert 相似，均基于 Transformer 架構(gòu)，用于預(yù)測(cè)深度 token，從而在不干擾視覺(jué) - 語(yǔ)言主干的前提下提供穩(wěn)定的幾何感知信號(hào)。

3.混合注意力機(jī)制

為實(shí)現(xiàn)跨模態(tài)融合，減小深度模態(tài)可能存在的噪聲干擾，團(tuán)隊(duì)還設(shè)計(jì)了Hybrid Attention Mask，在不同模態(tài)間調(diào)控信息流：

• 文本與圖像 token 僅在各自模態(tài)內(nèi)自注意，保持語(yǔ)義一致性；
• 深度 token 同時(shí)關(guān)注圖像與文本，獲得語(yǔ)義上下文；
• 動(dòng)作 token 則融合前述所有模態(tài)，實(shí)現(xiàn)視覺(jué) — 深度 — 動(dòng)作一體化建模。

這種塊狀注意力設(shè)計(jì)有效防止深度噪聲干擾動(dòng)作生成，同時(shí)保持不同模態(tài)之間的對(duì)齊能力。

4.聯(lián)合優(yōu)化目標(biāo)

整體訓(xùn)練目標(biāo)整合動(dòng)作與深度兩類監(jiān)督信號(hào)：

通過(guò)上述設(shè)計(jì)，QDepth-VLA 實(shí)現(xiàn)了視覺(jué)語(yǔ)義、空間幾何與動(dòng)作策略的協(xié)同學(xué)習(xí)，在多任務(wù)、多場(chǎng)景中展現(xiàn)出更強(qiáng)的泛化與穩(wěn)定性。

實(shí)驗(yàn)驗(yàn)證

為全面評(píng)估 QDepth-VLA 的性能，團(tuán)隊(duì)在兩個(gè)主流機(jī)器人仿真環(huán)境 (SimplerLIBERO) 與真實(shí)環(huán)境下進(jìn)行了測(cè)試，涵蓋多種物體抓取、空間定位與多步操作任務(wù)。結(jié)果顯示，QDepth-VLA 在不同測(cè)試平臺(tái)上均取得了顯著提升。

這些結(jié)果驗(yàn)證了該方法能夠有效提升模型在長(zhǎng)時(shí)程、多場(chǎng)景操作任務(wù)中的任務(wù)完成能力。

1. Simpler 仿真結(jié)果

在 Simpler 任務(wù)中，分別基于 Bridge V2 與 Fractal 數(shù)據(jù)集從頭訓(xùn)練了 QDepth-VLA。實(shí)驗(yàn)結(jié)果表明，在 Simpler 仿真器 的 WidowX250 與 Google Robot 任務(wù)上，相比基礎(chǔ)模型 Open π0，平均成功率分別提升了8.5% 與 3.7%

2. LIBERO 仿真結(jié)果

而在 LIBERO 任務(wù)中，QDepth-VLA 則在 Fractal 數(shù)據(jù)集小規(guī)模預(yù)訓(xùn)練得到的權(quán)重基礎(chǔ)上，進(jìn)一步在對(duì)應(yīng)的 LIBERO 數(shù)據(jù)集上進(jìn)行微調(diào)。如下圖所示，在 LIBERO 仿真器上，相較于基于深度圖輸入的 3D-CAVLA，QDepth-VLA 依然保持領(lǐng)先，平均提升約 2.8%。

3. 真機(jī)實(shí)驗(yàn)結(jié)果

• Task1 : pick the banana into the yellow basket
• Task2 : put the chili into the bowl
• Task3 : put the green block into the bowl
• Task4 : stack the green block ontop of the yellow block

4. 消融實(shí)驗(yàn)

為了驗(yàn)證 QDepth-VLA 各組件的實(shí)際貢獻(xiàn)，團(tuán)隊(duì)還在 Simpler 任務(wù)上進(jìn)行了系統(tǒng)的消融實(shí)驗(yàn)。

當(dāng)團(tuán)隊(duì)將深度損失權(quán)重設(shè)為 0，僅保留模型結(jié)構(gòu)時(shí)，平均成功率由 68.5% 降至 65.6%，尤其在 Carrot（-9.6%）和 Eggplant（-12.5%）任務(wù)上下降明顯，表明深度監(jiān)督確實(shí)提供了有意義的空間幾何先驗(yàn)。相反，移除 Depth Expert 后，性能下降最為顯著（-8.5%），在需要精準(zhǔn)三維對(duì)齊的 Stack Block 任務(wù)中跌幅高達(dá) - 23.8%，驗(yàn)證了顯式深度分支對(duì)立體空間感知的關(guān)鍵作用。

此外，將潛在深度預(yù)測(cè)替換為像素級(jí)回歸導(dǎo)致平均性能下降至 64.6%，說(shuō)明量化深度表征更能捕捉抽象幾何信息。而移除混合注意力機(jī)制（Hybrid Attention）后，模型在 Carrot 任務(wù)中的表現(xiàn)顯著下降（-15.8%），表明該機(jī)制能有效協(xié)調(diào)深度感知與動(dòng)作生成。

總體來(lái)看，深度監(jiān)督與混合注意力的協(xié)同作用是 QDepth-VLA 取得高性能的關(guān)鍵，它們共同強(qiáng)化了模型的空間理解與動(dòng)作一致性，為復(fù)雜操控任務(wù)提供了穩(wěn)定的三維感知基礎(chǔ)。

總結(jié)與展望

QDepth-VLA 作為一種將量化深度預(yù)測(cè)引入視覺(jué) - 語(yǔ)言 - 動(dòng)作建模的機(jī)制，旨在增強(qiáng)機(jī)器人在三維空間中的感知與推理能力?；?Simpler、LIBERO 以及真實(shí)環(huán)境的系統(tǒng)實(shí)驗(yàn)結(jié)果顯示，引入量化深度監(jiān)督能夠在長(zhǎng)程與精細(xì)操作任務(wù)中帶來(lái)顯著的成功率提升，說(shuō)明三維幾何先驗(yàn)在機(jī)器人穩(wěn)定操控中具有重要價(jià)值。

未來(lái)的研究方向可主要圍繞以下兩點(diǎn)展開(kāi)：

• 面向未來(lái)的深度預(yù)測(cè)：在當(dāng)前深度推斷基礎(chǔ)上擴(kuò)展至未來(lái)時(shí)刻的空間結(jié)構(gòu)預(yù)測(cè)，以支持更長(zhǎng)時(shí)程的策略規(guī)劃；
• 更高效的深度表征學(xué)習(xí)：通過(guò)改進(jìn) VAE 編碼與表征壓縮方式，進(jìn)一步提升深度信息的精確度、可泛化性與推理穩(wěn)定性。

總體來(lái)看，QDepth-VLA 為增強(qiáng) VLA 模型的空間理解能力提供了一條兼具語(yǔ)義一致性與工程可落地性的路徑。從具身智能的發(fā)展趨勢(shì)來(lái)看，具備真實(shí)三維空間理解能力的策略模型，是機(jī)器人從 “可演示” 邁向 “可長(zhǎng)期實(shí)際工作” 的關(guān)鍵基礎(chǔ)。QDepth-VLA 強(qiáng)化的三維幾何感知與動(dòng)作一致性能力，將作為核心能力模塊逐步融入靈寶 CASBOT 的多產(chǎn)品序列中：

• CASBOT 02：用于支持桌面級(jí)與生活化任務(wù)中的穩(wěn)定抓取、遞交、精細(xì)放置；
• CASBOT W1：用于工業(yè)與商服場(chǎng)景下的多步驟、多對(duì)象柔性操作；
• Handle-L1 靈巧手：用于更高精度、多接觸點(diǎn)的結(jié)構(gòu)化操控與協(xié)作。

在此路徑中，深度量化表征、跨模態(tài)一致性建模與在線自適應(yīng)學(xué)習(xí)將持續(xù)協(xié)同演進(jìn)，支撐靈寶 CASBOT 構(gòu)建從模型 — 本體 — 場(chǎng)景 — 部署的長(zhǎng)期閉環(huán)能力，推動(dòng)具身智能走向可規(guī)?；⒖蓮?fù)制、可持續(xù)的真實(shí)應(yīng)用階段。