在過去幾年，自動駕駛?cè)α餍幸痪湓挘骸复竽Ｐ蜁f話，但不會開車?！?/p>

一方面，大規(guī)模視覺語言模型（VLM）在文本理解和邏輯推理上突飛猛進(jìn)；另一方面，一旦把它們放到真實(shí)道路上，讓它們處理長尾場景、遠(yuǎn)距離目標(biāo)和復(fù)雜博弈時，這些 “聰明大腦” 卻常常犯低級錯誤：看不清、定位不準(zhǔn)、反應(yīng)不穩(wěn)定。深層原因在于 ——現(xiàn)有 VLM 在空間感知和幾何理解上的能力，遠(yuǎn)遠(yuǎn)跟不上它們在語義層面的 “表達(dá)能力”。

為了讓大模型真的能 “看懂世界”，在很多現(xiàn)有方案中，研究者會在訓(xùn)練中加入一些 “感知類 QA” 問題，比如問 “左前方有沒有車”“兩車距離有多遠(yuǎn)”。但這類監(jiān)督更多停留在語義標(biāo)簽和粗略相對關(guān)系層面，并沒有讓模型真正學(xué)會可用于控制決策的強(qiáng) 2D/3D 感知能力 —— 例如精確、穩(wěn)定的檢測框、分割結(jié)果和 BEV 感知信息。換句話說，今天很多 VLA 仍然停留在「會回答關(guān)于世界的問題」，而不是「真的看清這個世界」。這種 “弱感知的大模型”，顯然不足以支撐自動駕駛和廣義具身智能對空間理解的高要求。

近日，來自引望智能與復(fù)旦大學(xué)的研究團(tuán)隊聯(lián)合提出了一個面向自動駕駛的新一代大模型 ——Percept-WAM（Perception-Enhanced World–Awareness–Action Model）。該模型旨在在一個統(tǒng)一的大模型中，將「看見世界（Perception）」「理解世界（World–Awareness）」和「驅(qū)動車輛行動（Action）」真正打通，形成一條從感知到?jīng)Q策的完整鏈路。

• 論文標(biāo)題：Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving
• 論文鏈接：https://arxiv.org/abs/2511.19221

整體架構(gòu) / 任務(wù)介紹

在架構(gòu)設(shè)計上，如圖 1 所示，Percept-WAM 基于具備通用推理能力的 VLM主干構(gòu)建，在保留其原有語言與推理優(yōu)勢的同時，引入 World-PV / World-BEV 世界 Token，統(tǒng)一 PV / BEV 視角下的 2D/3D 感知表示：通過可學(xué)習(xí)的 BEV 級柵格 Token 將多視角 PV 特征隱式映射到 BEV 空間，并采用柵格條件（grid-conditioned）預(yù)測機(jī)制；在解碼側(cè)，則結(jié)合 IoU-aware 置信度輸出與并行自回歸解碼等關(guān)鍵技術(shù)來提升輸出的精度及效率，同時配備輕量級動作解碼頭，用于高效預(yù)測未來行車軌跡。

在訓(xùn)練任務(wù)上，Percept-WAM 接收多視角流式視頻、LiDAR 點(diǎn)云 (可選) 以及文本查詢作為輸入，在同一模型上聯(lián)合優(yōu)化 PV 下的 2D 檢測、實(shí)例分割、語義分割、單目 3D 檢測任務(wù)等， BEV 下的 3D 檢測與 BEV map 分割任務(wù)等，以及基于多幀輸入的軌跡預(yù)測任務(wù)。

圖 1：Percept-WAM 模型整體架構(gòu)圖

核心設(shè)計：World-PV / World-BEV

把世界壓成一組 Token

Percept-WAM 圍繞 World–Awareness–Action 構(gòu)建統(tǒng)一的世界 token 空間：多視角圖像和 3D 場景被壓縮為一小組結(jié)構(gòu)化 World tokens。每個 token 顯式攜帶語義特征、空間位置以及置信度，用作 2D/3D 感知、軌跡預(yù)測等下游任務(wù)的共享世界表征。

在圖像平面，World-PV tokens將每幀圖像劃分為規(guī)則柵格，每個柵格對應(yīng)輸出一組 token，聯(lián)合編碼局部外觀與 2D/3D 幾何信息（如像素坐標(biāo)、歸一化尺寸、視線方向等）?；谕唤M PV tokens，模型可以統(tǒng)一建模 2D 檢測、實(shí)例 / 語義分割、單目 3D 檢測等任務(wù)，后續(xù)再疊加?xùn)鸥駰l件預(yù)測與 IoU-aware 評分機(jī)制，提升密集 2D 感知的穩(wěn)定性和排序質(zhì)量。

在鳥瞰 (BEV) 視角，World-BEV tokens(根據(jù)是否存在 Lidar 點(diǎn)云特征，可選的從 LiDAR 特征初始化或隨機(jī)初始化) 對應(yīng)覆蓋前方場景的固定分辨率 BEV 網(wǎng)格單元。每個 BEV token 通過與多視角 PV 特征的交互，隱式建模 PV 到 BEV 上的映射，聚合該網(wǎng)格區(qū)域的占據(jù)狀態(tài)、語義類別和運(yùn)動屬性（如速度、朝向等），在世界 token 空間中顯式刻畫道路結(jié)構(gòu)與交通參與者的空間關(guān)系。

柵格條件預(yù)測 + IoU-aware：

穩(wěn)定密集場景感知

為支撐城市場景中的高密度目標(biāo)預(yù)測及對應(yīng)物體預(yù)測置信度的矯正，Percept-WAM 在解碼端引入柵格條件預(yù)測（Grid-Conditioned Prediction） 和 IoU-aware 置信度回歸兩項(xiàng)關(guān)鍵設(shè)計。

柵格條件預(yù)測借鑒了 UFO [1] 的思想，將整個特征空間按 PV/BEV 柵格劃分為多個子區(qū)域，并圍繞每個柵格構(gòu)造局部自回歸序列，其中 (i) 每個柵格對應(yīng)一條局部自回歸子序列，只回歸該區(qū)域內(nèi)對應(yīng)的候選目標(biāo)；(ii) 不同柵格之間通過注意力 mask 做隔離，限制跨區(qū)域的無關(guān)交互，進(jìn)行并行訓(xùn)練及預(yù)測，顯著縮短了單序列長度，減輕了超長序列導(dǎo)致的訓(xùn)練不穩(wěn)定和目標(biāo)間干擾，提升了高密度場景下的收斂性與訓(xùn)推效率。

IoU-aware 置信度預(yù)測則顯式建模候選框的定位質(zhì)量。在訓(xùn)練階段監(jiān)督置信度微調(diào)數(shù)據(jù)集（Confidence-tuning Dataset）的分值 token，在推理階段輸出預(yù)測框與真實(shí)框的 IoU 預(yù)測結(jié)果，并將該 IoU 置信度分?jǐn)?shù)與分類分?jǐn)?shù)聯(lián)合用于整體置信度排序。相比僅依賴分類得分的傳統(tǒng)方案，這一設(shè)計在小目標(biāo)、遠(yuǎn)距離目標(biāo)以及長尾類別上能夠提供更一致的候選排序，減少 NMS 階段的誤刪與誤保留，從而整體提升密集檢測的可靠性。

圖 2：利用 IoU-aware 置信度來顯式建模候選框的定位質(zhì)量，(a) 不同產(chǎn)生 IoU score 訓(xùn)練數(shù)據(jù)集的方式對比；(b) 原有訓(xùn)練數(shù)據(jù)以及帶 IoU Score 訓(xùn)練數(shù)據(jù)的不同 loss mask 方式對比

從感知到軌跡：

World–Action 打通決策鏈路

Percept-WAM 模型在感知類 world tokens 之上進(jìn)一步引入 World–Action tokens，用于動作與軌跡預(yù)測的查詢（queries）。這些 tokens 從 World-PV / World-BEV 等感知 tokens 中聚合多視角圖像與 BEV 表征（以及可選 LiDAR）的信息，并與歷史軌跡、車速、轉(zhuǎn)向等車輛狀態(tài)融合，在統(tǒng)一坐標(biāo)系下直接生成未來規(guī)劃軌跡或控制信號；相比 “先產(chǎn)出 BEV 特征、再交由獨(dú)立規(guī)劃網(wǎng)絡(luò) (Diffusion)” 的兩階段方案，World–Action 在同一 token 空間內(nèi)完成從世界建模到?jīng)Q策輸出，使感知與規(guī)劃在表示空間和時空對齊上天然一致。

在解碼方式上，Percept-WAM 將未來軌跡離散為一系列關(guān)鍵點(diǎn)或片段，結(jié)合并行化策略進(jìn)行加速，避免傳統(tǒng)自回歸 “一點(diǎn)一點(diǎn)推” 的 AR 推理的效率瓶頸。具體來說，在軌跡解碼方式上，Percept-WAM 采用輕量級 MLP 解碼頭驅(qū)動的query-based 軌跡預(yù)測：World–Action 由一組功能不同的查詢組成，其中一部分查詢僅關(guān)注自車狀態(tài)特征（只與 Ego-state 交互），一部分查詢僅關(guān)注 PV 側(cè)特征（只與 World-PV 交互），一部分查詢僅關(guān)注 BEV 側(cè)特征（只與 World-BEV 交互），還有一部分同時匯聚所有輸入特征的信息，在融合視角下輸出最終軌跡。這種多組查詢并行工作的方式，一方面保留了 PV / BEV 各自對局部幾何與全局結(jié)構(gòu)的優(yōu)勢，另一方面通過共享的 World tokens 建立統(tǒng)一的世界狀態(tài)，避免軌跡預(yù)測任務(wù)過度依賴部分輸出特征。

圖 3：軌跡解碼 head 結(jié)構(gòu)可視化，不同組 query 關(guān)注不同的特征 (如自車，PV,BEV 特征)，Qfull 關(guān)注所有的特征并輸出最終軌跡

面向連續(xù)駕駛場景，Percept-WAM 引入streaming inference：在時間維度上采用 streaming KV cache strategy 復(fù)用歷史幀的注意力緩存，僅對新到達(dá)的幀做增量計算；同時通過longer-clip training scheme和dual-recomputation KV cache mechanism緩解訓(xùn)練–推理范式不一致帶來的 distribution drift 與誤差累積，從而在幾乎不犧牲規(guī)劃精度的前提下，顯著降低多幀多視角端到端推理的時延與計算開銷。

實(shí)驗(yàn)結(jié)果：

高水平感知 + 強(qiáng)力軌跡規(guī)劃一體化模型

在公開基準(zhǔn)上，Percept-WAM 在PV 視角感知、BEV 視角感知以及端到端軌跡規(guī)劃三個層面相較于現(xiàn)有模型均展現(xiàn)出強(qiáng)競爭力。

1）PV 視角：統(tǒng)一 PV 場景下感知的 World-PV

在圖像平面上，Percept-WAM 基于 World-PV tokens 統(tǒng)一建模 2D 檢測、實(shí)例 / 語義分割與單目 3D 感知任務(wù)，具體表現(xiàn)為：

• 與專用感知模型的對比

如表 1 所示，在 nuImages /nuScenes 的 PV 任務(wù)上，Percept-WAM 在 2D 與 Mono 3D 上整體匹配或超過專用模型 —— 在 2D detection 上達(dá)到 49.9 mAP，相比 Mask R-CNN 的 47.8 mAP 有明顯提升；在 2D instance segmentation 上取得 41.7 mAP，高于 Mask R-CNN 的 38.6 mAP；在 mono 3D detection 上達(dá)到 33.0 mAP，同樣優(yōu)于 FCOS3D 的 32.1 mAP。

• 2D–3D 協(xié)同與多任務(wù)聯(lián)合訓(xùn)練增益

實(shí)驗(yàn)觀察到明顯的 2D–3D 協(xié)同效應(yīng)：在統(tǒng)一 World-PV 表征下聯(lián)合建模 2D 與 3D 檢測，可帶來約+3.2 mAP的 2D 檢測增益。進(jìn)一步在自動駕駛 PV 數(shù)據(jù)集上對所有 PV 任務(wù)進(jìn)行聯(lián)合訓(xùn)練，各基準(zhǔn)上基本維持一致或提升，說明統(tǒng)一的 World-PV token 空間有利于在多任務(wù)之間共享有用的幾何與語義信息。

表 1： PV 場景下 Percept-WAM 的效果與其他主流模型的對比

• 置信度分?jǐn)?shù)矯正的影響
• 
  

該文章同時可視化了預(yù)測的置信度分?jǐn)?shù)（x 軸）與對應(yīng)框真實(shí) IoU（y 軸）之間的關(guān)系。如下圖所示，引入 IoU-based confidence prediction 后，散點(diǎn)分布整體向 y = x 附近收斂，而在基于 model-prediction 數(shù)據(jù)集進(jìn)行訓(xùn)練的設(shè)置下，曲線與對角線的貼合度最高，說明預(yù)測分?jǐn)?shù)與真實(shí)定位質(zhì)量更加一致，更適合作為后續(xù)篩選與排序的依據(jù)。

圖 4: PV 任務(wù)上置信度分?jǐn)?shù)矯正前后分?jǐn)?shù)分布對比，不同圖像代表不同的置信度分?jǐn)?shù)構(gòu)建方式或者不同的帶 IoU score 的訓(xùn)練數(shù)據(jù)生產(chǎn)方式

2）BEV 視角：World-BEV 承載 3D 場景理解

在 BEV 空間中，Percept-WAM 通過 World-BEV tokens 統(tǒng)一建模路面占據(jù)、動態(tài)目標(biāo)與地圖語義。如表 2 所示，即便在不使用時序信息、且采用相對較低圖像分辨率（448×796）的設(shè)置下，仍在 nuScenes 上展現(xiàn)出強(qiáng)競爭力的 BEV 感知能力：

• BEV 3D 檢測性能

在 nuScenes BEV 3D detection 上，Percept-WAM 在無時序、低分辨率輸入的條件下依然取得58.9 mAP，整體表現(xiàn)優(yōu)于經(jīng)典 BEV 檢測方法，如 PointPillars 與 SECOND 等 specialist 檢測器。

• BEV map segmentation 與靜態(tài)語義建模

在 BEV map segmentation 任務(wù)上，基于 World-BEV tokens 的分割頭可以同時刻畫車道線、可行駛區(qū)域、行人橫穿區(qū)等靜態(tài)語義要素；在部分關(guān)鍵類別（如 drivable area、pedestrian crossing）上，Percept-WAM 的分割結(jié)果可以超過 BEVFusion 等專用 BEV 模型。

表 2： BEV 場景下 Percept-WAM 的效果與其他主流模型的對比

3）端到端軌跡規(guī)劃：World–Action 連接世界與控制

在端到端軌跡規(guī)劃上，如表 3 所示，搭載 World–Action 軌跡解碼頭的 Percept-WAM 在 nuScenes 與 NAVSIM 上都取得了有競爭力的表現(xiàn)，并優(yōu)于多種現(xiàn)有 BEV-based 與 VLM-based 方案。具體來看：

• nuScenes 開環(huán)軌跡評估

在 nuScenes 的 open-loop 軌跡指標(biāo)上，Percept-WAM 的平均軌跡 L2 誤差約為 0.36 m，在同等設(shè)置下優(yōu)于多數(shù) BEV-based 方法（如 UniAD）以及 VLM-based 方法（如 DriveVLM）。

• NAVSIM 閉環(huán)駕駛性能

直接軌跡模仿學(xué)習(xí)難以兼顧開環(huán)與閉環(huán)指標(biāo)，因此在 NAVSIM 的 closed-loop 評測中，Percept-WAM 采用對聚類軌跡打分的方式，獲得約 90.2 的綜合得分，同樣優(yōu)于大部分現(xiàn)有端到端方法。實(shí)驗(yàn)同時表明，兩階段訓(xùn)練策略（先在感知與中間任務(wù)上預(yù)訓(xùn)練，再在規(guī)劃任務(wù)上進(jìn)一步微調(diào)）可以進(jìn)一步提升端到端駕駛性能。

表 3： 軌跡預(yù)測場景下 Percept-WAM 的效果與其他主流模型的對比

在定量結(jié)果之外，我們還給出三類代表性可視化示例：（i）PV 視角下的 2D 檢測 / 實(shí)例分割與 mono 3D 檢測結(jié)果，（ii）BEV 視角下的 3D 檢測與 map 分割，（iii）NAVSIM /nuScenes 場景中的端到端規(guī)劃軌跡。

圖 5: PV 感知上 Percept-WAM 預(yù)測結(jié)果可視化，圖中展現(xiàn)了不同任務(wù)的可視化結(jié)果以及對道路上非白名單障礙物的檢測情況

圖 6: BEV 感知上 Percept-WAM 的 3D 檢測及 Map Segmentation 結(jié)果

圖 7: 軌跡預(yù)測任務(wù)上針對于路面難例 case，Percept-WAM 具有較強(qiáng)的預(yù)測魯棒性

總結(jié)來看，Percept-WAM 指出了一條面向未來的演進(jìn)路徑：在統(tǒng)一大模型中做強(qiáng)世界感知，用 World tokens 一體化打通世界表征與行為決策，逐步沉淀可持續(xù)演進(jìn)的自動駕駛世界模型。它的價值不在于 “又多了一個更大的模型”，而在于給出了一個更完整、工程上可落地的范式 —— 自動駕駛的大模型不應(yīng)該只是會聊天、會問答的 “語文老師”，而應(yīng)該是一個真正能構(gòu)建世界、理解世界并在其中安全行動的 “世界大腦”。

參考文獻(xiàn)：

[1] UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface