想象你在駕車時(shí)需要同時(shí)做三件事：理解路況和交通信號(hào)的含義、精確感知周圍車輛和障礙物的位置、制定安全的行駛路線。對(duì)人類司機(jī)來說，這三種能力看似簡單，但對(duì)自動(dòng)駕駛系統(tǒng)而言卻是一個(gè)巨大挑戰(zhàn)。華中科技大學(xué)與小米汽車聯(lián)合團(tuán)隊(duì)在2026年4月發(fā)表的這項(xiàng)突破性研究，首次成功讓一個(gè)統(tǒng)一的AI系統(tǒng)同時(shí)掌握這三種核心駕駛能力。這項(xiàng)發(fā)表于arXiv預(yù)印本平臺(tái)的研究（論文編號(hào)：arXiv:2604.02190v1）標(biāo)志著自動(dòng)駕駛技術(shù)向真正智能化邁出了關(guān)鍵一步。

傳統(tǒng)的自動(dòng)駕駛系統(tǒng)就像一個(gè)分工明確但溝通不暢的工廠。負(fù)責(zé)理解路況的"翻譯員"專門解讀交通標(biāo)志和路況信息，負(fù)責(zé)感知的"觀察員"專門識(shí)別周圍物體的位置，負(fù)責(zé)規(guī)劃的"決策者"專門制定行駛路線。雖然每個(gè)部門都很專業(yè)，但信息在傳遞過程中容易出現(xiàn)偏差，導(dǎo)致整個(gè)系統(tǒng)效率低下。更重要的是，當(dāng)系統(tǒng)試圖讓同一個(gè)AI大腦同時(shí)承擔(dān)多種任務(wù)時(shí)，就像讓一個(gè)人同時(shí)做數(shù)學(xué)題、寫作文和畫畫一樣，不同任務(wù)之間會(huì)相互干擾，反而降低了整體表現(xiàn)。

小米汽車的研究團(tuán)隊(duì)發(fā)現(xiàn)了這個(gè)問題的根源：當(dāng)AI系統(tǒng)試圖同時(shí)處理語言理解和空間感知時(shí)，就像在大腦中強(qiáng)行混合兩種完全不同的思維方式。語言理解需要抽象思維，而空間感知需要精確計(jì)算，兩者在共享的"大腦空間"中會(huì)產(chǎn)生沖突。這種沖突不僅影響感知精度，還會(huì)削弱系統(tǒng)原有的語言理解能力。

為了解決這個(gè)核心矛盾，研究團(tuán)隊(duì)開發(fā)了一種全新的架構(gòu)，稱為UniDriveVLA。這個(gè)系統(tǒng)的巧妙之處在于采用了"專家分工合作"的設(shè)計(jì)理念。就像一個(gè)高效的醫(yī)療團(tuán)隊(duì)，內(nèi)科醫(yī)生專門負(fù)責(zé)診斷、影像科醫(yī)生專門負(fù)責(zé)檢查、外科醫(yī)生專門負(fù)責(zé)手術(shù)，但三者通過規(guī)范化的會(huì)診機(jī)制進(jìn)行協(xié)調(diào)。UniDriveVLA同樣設(shè)置了三個(gè)專門的"專家"：理解專家負(fù)責(zé)語言理解和場景解讀，感知專家負(fù)責(zé)識(shí)別物體和空間定位，行動(dòng)專家負(fù)責(zé)規(guī)劃駕駛路線。

這種專家分工的核心創(chuàng)新在于"遮罩聯(lián)合注意力機(jī)制"。簡單來說，就像醫(yī)療會(huì)診時(shí)有嚴(yán)格的發(fā)言順序和信息流向規(guī)則一樣。理解專家首先分析駕駛指令和環(huán)境描述，采用類似人類閱讀時(shí)的"從左到右"順序處理信息。感知專家可以"聽取"理解專家的分析結(jié)果，在此基礎(chǔ)上進(jìn)行更精準(zhǔn)的空間感知。最后，行動(dòng)專家綜合前兩位專家的信息制定駕駛策略。這種設(shè)計(jì)確保了信息有序流動(dòng)，避免了不同類型思維之間的相互干擾。

在感知技術(shù)方面，研究團(tuán)隊(duì)采用了一種"稀疏感知"策略。傳統(tǒng)方法就像要求系統(tǒng)記住路上每一粒沙子的位置，而稀疏感知更像一個(gè)經(jīng)驗(yàn)豐富的司機(jī)，只關(guān)注最關(guān)鍵的信息：前方車輛的位置、道路邊界、交通信號(hào)等核心要素。這種方法不僅大幅提高了處理效率，還避免了過多空間信息對(duì)語言理解能力的干擾。

具體來說，稀疏感知系統(tǒng)通過分析多個(gè)攝像頭的圖像，智能提取關(guān)鍵的空間特征。這些特征像精心篩選的"要點(diǎn)摘要"一樣，既保留了足夠的駕駛決策信息，又不會(huì)讓系統(tǒng)的"大腦"負(fù)擔(dān)過重。更重要的是，這些空間信息會(huì)被轉(zhuǎn)換為與語言理解兼容的格式，就像將不同語言翻譯成統(tǒng)一的通用語言，便于各個(gè)專家之間的溝通協(xié)作。

為了確保這個(gè)復(fù)雜系統(tǒng)能夠穩(wěn)定學(xué)習(xí)和工作，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)三階段漸進(jìn)訓(xùn)練策略。第一階段像打基礎(chǔ)一樣，主要加強(qiáng)系統(tǒng)的語言理解能力，使用大量駕駛相關(guān)的對(duì)話數(shù)據(jù)和通用視覺語言數(shù)據(jù)進(jìn)行訓(xùn)練。第二階段開始引入感知和規(guī)劃任務(wù)，但采用了一種溫和的"低強(qiáng)度訓(xùn)練"方式，避免新任務(wù)對(duì)原有語言能力造成沖擊。第三階段則專門優(yōu)化感知專家和行動(dòng)專家，同時(shí)保持語言理解專家的穩(wěn)定性。

這種漸進(jìn)訓(xùn)練就像培養(yǎng)一個(gè)全能運(yùn)動(dòng)員：先讓他精通一項(xiàng)基礎(chǔ)運(yùn)動(dòng)建立身體協(xié)調(diào)性，然后逐步添加其他運(yùn)動(dòng)項(xiàng)目，最后進(jìn)行專項(xiàng)強(qiáng)化訓(xùn)練。每個(gè)階段都有明確的目標(biāo)和適度的訓(xùn)練強(qiáng)度，確保運(yùn)動(dòng)員在掌握新技能的同時(shí)不會(huì)失去原有優(yōu)勢。

研究團(tuán)隊(duì)在兩個(gè)權(quán)威測試平臺(tái)上驗(yàn)證了UniDriveVLA的性能。在nuScenes這個(gè)基于真實(shí)世界數(shù)據(jù)的開放測試中，系統(tǒng)表現(xiàn)出色，特別是在沒有額外車輛狀態(tài)信息的情況下仍能準(zhǔn)確預(yù)測行駛軌跡。在Bench2Drive這個(gè)模擬環(huán)境的閉環(huán)測試中，UniDriveVLA獲得了78.37分的駕駛評(píng)分，在不使用高級(jí)訓(xùn)練數(shù)據(jù)的方法中排名第一，效率指標(biāo)更是達(dá)到了198.86的優(yōu)異成績。

更令人印象深刻的是系統(tǒng)在復(fù)雜交通場景中的表現(xiàn)。在需要變道超車的場景中，UniDriveVLA的成功率達(dá)到80%，在合流場景中達(dá)到38.75%。這些數(shù)據(jù)意味著系統(tǒng)不僅能處理常規(guī)駕駛?cè)蝿?wù)，還能應(yīng)對(duì)需要復(fù)雜判斷的交互式駕駛場景。

除了核心駕駛功能，UniDriveVLA還展現(xiàn)了廣泛的多任務(wù)處理能力。系統(tǒng)能夠同時(shí)進(jìn)行3D物體檢測、在線地圖構(gòu)建、運(yùn)動(dòng)預(yù)測和駕駛相關(guān)的問答對(duì)話。這種"一專多能"的特性使其更接近人類司機(jī)的綜合駕駛能力，而不是單一功能的自動(dòng)化工具。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的對(duì)比實(shí)驗(yàn)來驗(yàn)證專家分工設(shè)計(jì)的有效性。當(dāng)使用傳統(tǒng)的共享參數(shù)架構(gòu)時(shí)，系統(tǒng)在不同任務(wù)之間出現(xiàn)了明顯的"認(rèn)知沖突"。具體表現(xiàn)為語義理解和空間感知的特征表示逐漸趨于相似，最終幾乎變成相同的表示，這意味著系統(tǒng)失去了處理不同類型信息的專業(yè)化能力。而采用專家分工的UniDriveVLA成功避免了這種特征融合，保持了各專家的獨(dú)特性和專業(yè)性。

在保持通用視覺理解能力方面，雖然UniDriveVLA在一些通用測試中的表現(xiàn)略低于專門的視覺語言模型，但仍保持了相當(dāng)不錯(cuò)的水平。這說明系統(tǒng)在專注于駕駛?cè)蝿?wù)的同時(shí)，并沒有完全犧牲其基礎(chǔ)的視覺理解能力，這對(duì)于應(yīng)對(duì)駕駛中的突發(fā)情況和復(fù)雜場景非常重要。

通過組件消融實(shí)驗(yàn)，研究團(tuán)隊(duì)發(fā)現(xiàn)了各個(gè)功能模塊的重要性。引入車輛狀態(tài)信息能顯著提升軌跡預(yù)測精度并降低碰撞率。添加物體檢測功能主要改善了安全性，將碰撞率從0.21%降低到0.10%。占據(jù)柵格預(yù)測則對(duì)軌跡精度貢獻(xiàn)最大，這表明密集的空間上下文信息對(duì)路徑規(guī)劃具有重要價(jià)值。

值得一提的是，UniDriveVLA在處理駕駛場景理解任務(wù)時(shí)表現(xiàn)出強(qiáng)大的語言推理能力。在DriveBench測試中，系統(tǒng)在感知、預(yù)測、規(guī)劃和行為推理四個(gè)維度都取得了競爭性的成績，平均得分達(dá)到51.97分。這表明系統(tǒng)不僅能執(zhí)行駕駛操作，還能理解和解釋駕駛決策的邏輯。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)創(chuàng)新。它為自動(dòng)駕駛領(lǐng)域提供了一個(gè)新的發(fā)展思路：不是簡單地堆疊更多功能模塊，而是通過巧妙的架構(gòu)設(shè)計(jì)實(shí)現(xiàn)不同能力的有機(jī)統(tǒng)一。這種"統(tǒng)一而不混亂，分工而不孤立"的設(shè)計(jì)哲學(xué)，可能會(huì)啟發(fā)更多AI系統(tǒng)的發(fā)展方向。

從實(shí)際應(yīng)用角度看，UniDriveVLA為未來的自動(dòng)駕駛系統(tǒng)提供了一個(gè)可行的技術(shù)路徑。傳統(tǒng)的自動(dòng)駕駛系統(tǒng)往往需要大量專門設(shè)計(jì)的模塊和復(fù)雜的集成工作，而UniDriveVLA證明了單一統(tǒng)一系統(tǒng)處理多種駕駛?cè)蝿?wù)的可能性。這不僅可以簡化系統(tǒng)架構(gòu)，還可能降低開發(fā)和維護(hù)成本。

當(dāng)然，這項(xiàng)研究也面臨一些挑戰(zhàn)。在運(yùn)動(dòng)預(yù)測任務(wù)上，UniDriveVLA的表現(xiàn)仍有提升空間。此外，如何在保持各專家獨(dú)立性的同時(shí)進(jìn)一步提升它們之間的協(xié)作效率，仍是一個(gè)需要繼續(xù)探索的問題。研究團(tuán)隊(duì)也認(rèn)識(shí)到，從開放環(huán)路測試到真實(shí)道路部署之間還有很長的路要走。

說到底，UniDriveVLA代表了自動(dòng)駕駛技術(shù)發(fā)展的一個(gè)重要里程碑。它不僅解決了長期困擾領(lǐng)域內(nèi)的"感知與理解沖突"問題，還為構(gòu)建更智能、更可靠的自動(dòng)駕駛系統(tǒng)提供了新的技術(shù)方案。雖然距離完全自動(dòng)駕駛的目標(biāo)還有距離，但這種將人工智能的語言理解能力與精確的空間感知能力有機(jī)結(jié)合的思路，無疑為我們描繪了一個(gè)更加智能化的交通未來。對(duì)于普通消費(fèi)者而言，這意味著未來的自動(dòng)駕駛汽車可能不僅僅是一個(gè)會(huì)開車的機(jī)器，而是一個(gè)真正理解駕駛情境、能夠與乘客自然交流并做出智能決策的駕駛伙伴。

Q&A

Q1：UniDriveVLA為什么要設(shè)計(jì)三個(gè)專門的專家而不是用一個(gè)統(tǒng)一的系統(tǒng)？

A：因?yàn)樽屢粋€(gè)AI系統(tǒng)同時(shí)處理語言理解和空間感知就像讓人同時(shí)做數(shù)學(xué)和寫作，不同任務(wù)會(huì)互相干擾。通過設(shè)置理解、感知、行動(dòng)三個(gè)專家，每個(gè)專家專注自己的任務(wù)，然后通過規(guī)范的協(xié)作機(jī)制交流信息，既保持了各自的專業(yè)性，又避免了任務(wù)沖突，就像醫(yī)療團(tuán)隊(duì)分工合作一樣高效。

Q2：這個(gè)系統(tǒng)在實(shí)際道路測試中的表現(xiàn)如何？

A：目前UniDriveVLA主要在nuScenes真實(shí)數(shù)據(jù)集和Bench2Drive模擬環(huán)境中測試。在Bench2Drive中獲得78.37分駕駛評(píng)分，變道超車成功率80%，效率指標(biāo)198.86，在同類方法中排名第一。不過從實(shí)驗(yàn)室測試到真實(shí)道路部署還需要更多驗(yàn)證和優(yōu)化工作。

Q3：稀疏感知和傳統(tǒng)感知方法有什么區(qū)別？

A：傳統(tǒng)感知方法像要求系統(tǒng)記住路上每個(gè)細(xì)節(jié)，而稀疏感知更像經(jīng)驗(yàn)司機(jī)，只關(guān)注最關(guān)鍵信息如車輛位置、道路邊界、交通信號(hào)等。這樣既提高了處理效率，又避免過多空間信息干擾語言理解能力，讓系統(tǒng)能同時(shí)保持空間感知精度和語言推理能力。