當(dāng)您開(kāi)車(chē)時(shí)，您是如何決策的？是靠腦中默念“前方5米有車(chē)，我應(yīng)減速”，還是通過(guò)一種更直覺(jué)的方式——在腦海中“預(yù)演”出幾秒后的路況，并自然地做出反應(yīng)？

人類(lèi)駕駛員依賴的是一種強(qiáng)大的視覺(jué)前瞻能力。然而，長(zhǎng)期以來(lái)，自動(dòng)駕駛系統(tǒng)卻被困在一種“看圖說(shuō)話”的模式中：將復(fù)雜的視覺(jué)信息強(qiáng)行壓縮成冰冷的文字和坐標(biāo)，再基于這些抽象符號(hào)進(jìn)行邏輯推理。這個(gè)過(guò)程中，大量關(guān)鍵的時(shí)空細(xì)節(jié)被無(wú)情地“蒸發(fā)”了，導(dǎo)致模型在面對(duì)瞬息萬(wàn)變的真實(shí)路況時(shí)，決策往往顯得遲鈍和脆弱。

我們不禁要問(wèn)：能否讓AI擺脫這種“翻譯”的束縛，像人類(lèi)一樣，直接在“視覺(jué)空間”里思考和規(guī)劃？

為了回應(yīng)這一挑戰(zhàn)，高德&西交研究團(tuán)隊(duì)榮幸地推出被NeurIPS 2025 會(huì)議接收為Spotlight的最新研究成果——FSDrive (FutureSightDrive)。這是一個(gè)革命性的自動(dòng)駕駛框架，它通過(guò)一種首創(chuàng)的“時(shí)空思維鏈”（Spatio-temporal CoT），首次賦予了自動(dòng)駕駛大模型“視覺(jué)化預(yù)演”的非凡能力。

論文標(biāo)題： FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving 論文鏈接： https://arxiv.org/abs/2505.17685 代碼鏈接： https://github.com/MIV-XJTU/FSDrive 項(xiàng)目主頁(yè)： https://miv-xjtu.github.io/FSDrive.github.io/

傳統(tǒng)自動(dòng)駕駛VLA（視覺(jué)-語(yǔ)言-動(dòng)作）模型的決策鏈路，如同一個(gè)蹩腳的翻譯官，存在兩大核心瓶頸：

1. 信息降維打擊：將豐富、連續(xù)的視覺(jué)世界壓縮成離散、稀疏的文本，好比將一幅高清電影硬生生轉(zhuǎn)成了一份劇情梗概，畫(huà)面的動(dòng)態(tài)、光影和精確的相對(duì)位置都消失了。

2. 模態(tài)間的“巴別塔”：在“視覺(jué)→文本→決策”之間反復(fù)橫跳，極易產(chǎn)生理解偏差和語(yǔ)義鴻溝，嚴(yán)重影響規(guī)劃的精準(zhǔn)度和安全性。

圖1：傳統(tǒng)的文本CoT（上）信息抽象；圖文CoT（中）存在模態(tài)不一致；FSDrive的時(shí)空CoT（下）在統(tǒng)一的視覺(jué)空間內(nèi)完成思考，信息保真度最高。

FSDrive則徹底顛覆了這一流程。我們提出的時(shí)空思維鏈（Spatio-temporal CoT），不再生成任何中間文本，而是讓模型直接生成一幅“未來(lái)的戰(zhàn)略地圖”作為思考的“草稿”。

這幅“草稿圖”極具內(nèi)涵，它不僅包含了對(duì)未來(lái)場(chǎng)景的像素級(jí)預(yù)測(cè)（時(shí)間維度），更巧妙地將未來(lái)的車(chē)道線、3D障礙物等關(guān)鍵規(guī)劃要素，以高亮形式直接繪制其上（空間維度）。

這使得FSDrive能夠一身分飾兩角：

• “未來(lái)預(yù)言家”（世界模型）：通過(guò)生成這幅圖像，精準(zhǔn)預(yù)見(jiàn)未來(lái)世界的物理結(jié)構(gòu)（哪里能開(kāi)、障礙物在哪）和動(dòng)態(tài)演變。

• “策略規(guī)劃師”（逆動(dòng)力學(xué)模型）：基于當(dāng)前觀測(cè)和自己“腦補(bǔ)”的未來(lái)畫(huà)面，反向推導(dǎo)出實(shí)現(xiàn)這一最安全、最高效未來(lái)的最佳行駛軌跡。

至此，F(xiàn)SDrive構(gòu)建了一個(gè)純視覺(jué)的“觀察-預(yù)演-決策”閉環(huán)，讓模型在最原始、最豐富的視覺(jué)信息流中完成端到端的因果推理。

圖2：FSDrive整體框架。模型首先進(jìn)行統(tǒng)一的視覺(jué)理解與生成預(yù)訓(xùn)練（左），在推理時(shí)，通過(guò)生成“時(shí)空思維鏈”這步關(guān)鍵的視覺(jué)思考，最終輸出安全可靠的規(guī)劃軌跡（右）。 二、核心實(shí)現(xiàn)：如何教會(huì)VLA“畫(huà)”出未來(lái)？

為了低成本、高效率地“解鎖”現(xiàn)有視覺(jué)語(yǔ)言模型的圖像生成能力，我們?cè)O(shè)計(jì)了一套創(chuàng)新的訓(xùn)練范式：

1. 統(tǒng)一的預(yù)訓(xùn)練范式：我們僅對(duì)VLA模型的詞表做了微小擴(kuò)展，就在保留其強(qiáng)大場(chǎng)景理解能力的同時(shí)，激活了其潛藏的視覺(jué)生成能力，無(wú)需從零開(kāi)始訓(xùn)練龐大的模型。

2. “先骨后肉”的漸進(jìn)式生成：直接“畫(huà)”出復(fù)雜的未來(lái)場(chǎng)景極易出錯(cuò)。我們借鑒人類(lèi)繪畫(huà)的邏輯，讓模型先學(xué)習(xí)生成代表物理約束的“骨架”（車(chē)道線、3D框），再基于骨架“填充”場(chǎng)景細(xì)節(jié)。這種由簡(jiǎn)到繁的生成策略，確保了“想象”出的未來(lái)既真實(shí)又符合物理規(guī)律。

我們?cè)趎uScenes數(shù)據(jù)集上進(jìn)行了全面驗(yàn)證，結(jié)果證明FSDrive在多個(gè)維度上均取得了SOTA（業(yè)界最佳）表現(xiàn)。

3.1 更安全的規(guī)劃：碰撞率顯著降低

在核心的軌跡規(guī)劃任務(wù)中，F(xiàn)SDrive展現(xiàn)了強(qiáng)大的安全意識(shí)。如下表所示，尤其在碰撞率這一“生命線”指標(biāo)上，F(xiàn)SDrive取得了極為優(yōu)異的成績(jī)，充分證明了“視覺(jué)預(yù)演”對(duì)于規(guī)避潛在風(fēng)險(xiǎn)的決定性作用。

規(guī)劃性能對(duì)比 3.2 更逼真的“想象”：媲美專用生成模型

FSDrive生成的“未來(lái)草稿圖”質(zhì)量有多高？我們發(fā)現(xiàn)，盡管FSDrive采用的是計(jì)算效率更高的自回歸方式，其生成圖像的FID指標(biāo)（衡量生成質(zhì)量）甚至優(yōu)于許多專用的擴(kuò)散模型，證明了我們訓(xùn)練范式的先進(jìn)性。

生成質(zhì)量對(duì)比 3.3 更聰明的理解：生成與理解能力兼得

我們證實(shí)，賦予模型“想象力”并未削弱其“理解力”。在權(quán)威的DriveLM基準(zhǔn)測(cè)試中，F(xiàn)SDrive在多項(xiàng)場(chǎng)景問(wèn)答和描述任務(wù)上均名列前茅，實(shí)現(xiàn)了生成與理解能力的協(xié)同進(jìn)化。

場(chǎng)景理解能力評(píng)估 3.4 可視化：洞見(jiàn)未來(lái)的力量

下圖生動(dòng)展示了FSDrive的思考過(guò)程。通過(guò)在腦海中“畫(huà)出”包含未來(lái)車(chē)道和障礙物的畫(huà)面，模型得以提前洞察風(fēng)險(xiǎn)，規(guī)劃出一條更具前瞻性的安全路徑。

可視化分析 四、結(jié)語(yǔ)

FSDrive的提出，標(biāo)志著自動(dòng)駕駛決策范式的一次重要演進(jìn)。我們通過(guò)創(chuàng)新的時(shí)空思維鏈，讓模型從依賴抽象的語(yǔ)言符號(hào)，轉(zhuǎn)向了更接近人類(lèi)直覺(jué)的“視覺(jué)化思考”。它不再是機(jī)械地遵循指令，而是開(kāi)始主動(dòng)地、可視化地“預(yù)演”和“推敲”未來(lái)。

我們相信，通過(guò)建立與物理世界更直接的像素級(jí)關(guān)聯(lián)，F(xiàn)SDrive為通向更安全、更智能、更具泛化能力的自動(dòng)駕駛系統(tǒng)，開(kāi)辟了一條充滿潛力的新路徑。

llustration From IconScout By IconScout Store

-The End-

下周預(yù)告！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈