VLA 模型正被越來(lái)越多地應(yīng)用于端到端自動(dòng)駕駛系統(tǒng)中。然而，VLA 模型中冗長(zhǎng)的視覺(jué) token 極大地增加了計(jì)算成本。但現(xiàn)有的視覺(jué) token 剪枝方法都不是專為自動(dòng)駕駛設(shè)計(jì)的，在自動(dòng)駕駛場(chǎng)景中都具有局限性。

小鵬汽車聯(lián)合北京大學(xué)計(jì)算機(jī)科學(xué)學(xué)院多媒體信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室發(fā)表論文《FastDriveVLA》，不僅為自動(dòng)駕駛 VLA 模型中的高效視覺(jué) token 剪枝建立了新的范式，也為特定任務(wù)的剪枝策略提供了有價(jià)值的洞察。

受人類駕駛員主要關(guān)注前景區(qū)域而非背景區(qū)域的啟發(fā)，研究團(tuán)隊(duì)做出假設(shè)：對(duì)于自動(dòng)駕駛而言，與前景信息相關(guān)的視覺(jué) token 比與背景內(nèi)容相關(guān)的視覺(jué) token 更有價(jià)值。為了驗(yàn)證這個(gè)假設(shè)，研究團(tuán)隊(duì)構(gòu)建了大規(guī)模自動(dòng)駕駛標(biāo)注數(shù)據(jù)集nuScenes-FG（包含來(lái)自 6 個(gè)攝像頭視角的、帶有前景區(qū)域標(biāo)注的 24.1 萬(wàn)個(gè)圖像 - 掩碼對(duì)），通過(guò) MAE 風(fēng)格的像素重建策略和新穎的對(duì)抗性前景 - 背景重建策略，訓(xùn)練出了一個(gè)適用于不同 VLA 模型的、可以即插即用的視覺(jué) token 剪枝器 ReconPruner

實(shí)驗(yàn)結(jié)果顯示，在不同剪枝比例下，F(xiàn)astDriveVLA 在 nuScenes 開(kāi)環(huán)規(guī)劃基準(zhǔn)測(cè)試中均取得了 SOTA 性能。FastDriveVLA 也非常高效，當(dāng)視覺(jué) token 數(shù)量從 3249 減少至 812 時(shí)，F(xiàn)astDriveVLA 的 FLOPs 直降約 7.5 倍；在 CUDA 推理延遲方面，F(xiàn)astDriveVLA 將預(yù)填充（prefill）時(shí)間減少了 3.7 倍、將解碼（decode）時(shí)間減少了 1.3 倍，顯著提升了推理效率。

該篇論文被 AAAI 2026 錄用。

• 論文標(biāo)題：FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning
• 論文鏈接：https://arxiv.org/pdf/2507.23318

研究背景與問(wèn)題

端到端自動(dòng)駕駛最近展現(xiàn)出巨大潛力，有望徹底改變未來(lái)的交通系統(tǒng)。與傳統(tǒng)的模塊化自動(dòng)駕駛系統(tǒng)不同，端到端方法在一個(gè)統(tǒng)一的框架中學(xué)習(xí)整個(gè)駕駛流程，這種設(shè)計(jì)不僅減少了模塊之間信息傳遞時(shí)的誤差，還增強(qiáng)了系統(tǒng)的簡(jiǎn)潔性。

然而，現(xiàn)有的 VLA 模型通常將視覺(jué)輸入轉(zhuǎn)換為大量的視覺(jué) token，這種方法導(dǎo)致了巨大的計(jì)算開(kāi)銷和推理延遲的增加，對(duì)真實(shí)場(chǎng)景的車端部署提出了重大挑戰(zhàn)，因?yàn)橛?jì)算資源和推理速度都受到嚴(yán)重限制。

已經(jīng)有大量研究嘗試通過(guò)減少視覺(jué) token 來(lái)加速 VLM 的推理，但在自動(dòng)駕駛場(chǎng)景中都具有局限性：引入新設(shè)計(jì)的多模態(tài)投影器需要重新訓(xùn)練整個(gè)模型，基于注意力的剪枝策略容易受到無(wú)關(guān)信息的影響，基于相似性的剪枝策略會(huì)錯(cuò)誤保留與駕駛無(wú)關(guān)的信息。

為了解決這些挑戰(zhàn)，我們專為端到端自動(dòng)駕駛 VLA 模型定制了一個(gè)新型的、基于重建的視覺(jué) token 剪枝框架 FastDriveVLA。

圖 1：不同視覺(jué) token 剪枝策略的對(duì)比，（c）為基于重建的剪枝策略

方法與創(chuàng)新

nuScenes-FG 數(shù)據(jù)集

受人類駕駛員主要關(guān)注前景區(qū)域而非背景區(qū)域的啟發(fā)，我們首先對(duì)自動(dòng)駕駛場(chǎng)景中的「前景區(qū)域」進(jìn)行了明確定義。這些區(qū)域包括行人、道路、車輛、交通標(biāo)志（含交通信號(hào)燈）以及交通障礙物（如位于車道上或緊鄰車道的障礙物）等對(duì)駕駛決策具有直接影響的元素。相比之下，建筑物、天空、行道樹(shù)等背景區(qū)域即使被完全遮擋，通常也不會(huì)顯著影響人類駕駛員的判斷。然后，借助 Grounded-SAM 對(duì) nuScenes 場(chǎng)景進(jìn)行細(xì)粒度、語(yǔ)義一致的前景分割，構(gòu)建了 nuScenes-FG 數(shù)據(jù)集。

圖 2：nuScenes-FG 數(shù)據(jù)集，為 nuScenes 場(chǎng)景提供了 24.1 萬(wàn)個(gè)前景分割標(biāo)注。

基于重建的剪枝器 ReconPruner

我們提出了一種輕量級(jí)的、可即插即用的剪枝器 ReconPruner，主要目標(biāo)是讓 ReconPruner 能夠有效識(shí)別并選擇包含有意義前景信息的視覺(jué) token，因此借鑒 Masked Image Modeling（掩碼圖像建模）方法設(shè)計(jì)了 MAE 風(fēng)格的像素重建策略。在訓(xùn)練過(guò)程中，我們選取 ReconPruner 預(yù)測(cè)的可獲得高分的視覺(jué) token 子集，用于掩碼前景重建。該子集上的重建誤差作為監(jiān)督信號(hào)，鼓勵(lì) ReconPruner 為真正對(duì)應(yīng)前景內(nèi)容的視覺(jué) token 打高分。

圖 3：FastDriveVLA 框架。在訓(xùn)練階段，提出了一種新穎的「前景 - 背景對(duì)抗重建」策略，以增強(qiáng) ReconPruner 對(duì)前景視覺(jué) token 的感知能力；在推理階段，ReconPruner 可直接嵌入自動(dòng)駕駛 VLA 模型，用于 token 剪枝。

對(duì)抗性前景 - 背景重建策略

但若僅僅依賴前景重建，ReconPruner 可能會(huì)采取捷徑，不加區(qū)分地為所有視覺(jué) token 打高分。我們從生成對(duì)抗網(wǎng)絡(luò)（GANs）中汲取靈感，提出了對(duì)抗性前景 - 背景重建策略。具體來(lái)說(shuō)，ReconPruner 還需要使用獲得低分的視覺(jué) token 來(lái)重建背景區(qū)域。這種對(duì)抗性設(shè)置增強(qiáng)了 ReconPruner 區(qū)分前景 token 和背景 token 的能力。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)設(shè)置

我們采用 Impromptu-VLA 作為視覺(jué) token 剪枝的基礎(chǔ)模型，在專為城區(qū)自動(dòng)駕駛設(shè)計(jì)的大規(guī)模基準(zhǔn)測(cè)試數(shù)據(jù)集 nuScenes 上對(duì)不同剪枝方法進(jìn)行了評(píng)估。nuScenes 數(shù)據(jù)集包含 1000 個(gè)駕駛場(chǎng)景、每個(gè)場(chǎng)景約持續(xù) 20 秒。測(cè)試時(shí)，我們總計(jì)使用了 6019 個(gè)測(cè)試樣本，并通過(guò) L2 軌跡誤差、碰撞率、路外率三個(gè)指標(biāo)來(lái)評(píng)估開(kāi)環(huán)規(guī)劃的性能。

我們使用余弦調(diào)度器以 2e-5 的學(xué)習(xí)率訓(xùn)練 FastDriveVLA，總計(jì)進(jìn)行了 10 輪訓(xùn)練，僅在兩塊 H800 GPU 上運(yùn)行 3 小時(shí)就完成了訓(xùn)練。

不同剪枝方法在 nuScenes 數(shù)據(jù)集上的對(duì)比

FastV、SparseVLM 是基于注意力的基線，DivPrune、VisPruner 是基于相似性的基線。

• 當(dāng)剪枝 25% 時(shí)，F(xiàn)astDriveVLA 在所有評(píng)估指標(biāo)上均表現(xiàn)最佳，尤其在 L2 軌跡誤差和碰撞指標(biāo)上分別比未剪枝的原始模型低了 0.1% 和 1.0%，這證明了聚焦于與前景相關(guān)的視覺(jué) token 是提升自動(dòng)駕駛性能的關(guān)鍵。
• 當(dāng)剪枝 50% 時(shí)，F(xiàn)astDriveVLA 在碰撞指標(biāo)上的表現(xiàn)優(yōu)于剪枝 25%。
• 當(dāng)剪枝 75% 時(shí)，F(xiàn)astDriveVLA 在路外率指標(biāo)上的表現(xiàn)優(yōu)于剪枝 50%。

總體來(lái)看，F(xiàn)astDriveVLA 在各種剪枝比例下均優(yōu)于現(xiàn)有方法。特別值得注意的是，當(dāng)剪枝 50% 時(shí)，F(xiàn)astDriveVLA 在所有指標(biāo)上的表現(xiàn)都更加均衡。因此，我們建議，在實(shí)際部署自動(dòng)駕駛系統(tǒng)時(shí)采用 50% 這一剪枝比例，以實(shí)現(xiàn)性能與效率的最佳平衡。

效率分析

為了展示 FastDriveVLA 的高效，我們從 FLOPs 與 CUDA 延遲的角度對(duì)不同剪枝方法進(jìn)行了效率分析。當(dāng)視覺(jué) token 數(shù)量從 3249 減少至 812 時(shí)，F(xiàn)astDriveVLA 的 FLOPs 直降約 7.5 倍。在 CUDA 推理延遲方面，F(xiàn)astDriveVLA 將預(yù)填充提速 3.7 倍、解碼提速 1.3 倍，實(shí)際推理效率顯著提升。

定性可視化分析

ReconPruner 幾乎完整留下了前景 token ，把背景壓成極稀疏的色塊，重建畫(huà)面依舊清晰，證明它能在減少 token 冗余的同時(shí)保留關(guān)鍵信息，如圖 4 所示。

再把 FastV（基于注意力）、DivPrune（基于相似性）和 FastDriveVLA 放到圖 5 中進(jìn)行對(duì)比，可以看到：我們的點(diǎn)密密麻麻落在車道、車道線和車身；FastV 幾乎漏掉了車輛；DivPrune 雖然撒點(diǎn)更多，卻幾乎沒(méi)往車道線上靠。