這幾個月，已經(jīng)有些科技企業(yè)和主機廠試圖用AI Agent（智能體）做自動駕駛，聲稱能規(guī)避端到端的弊端。當然，這些做法也沒大聲嚷嚷。一個是監(jiān)管因素，另一個可能是AI Agent才剛剛起步。

端到端的長尾能力，為什么不行

經(jīng)過一年多的商業(yè)化落地，端到端+VLM（視覺語言大模型）在長尾場景中表現(xiàn)不如期待，背后的原因是決策短視。在中我們曾經(jīng)討論過，端到端往往以單幀畫面、單步動向作為決策依據(jù)，缺乏對未來數(shù)秒內(nèi)連貫的規(guī)劃能力，沒有形成“策略序列”。這一點上不如人類。其實無須長尾，就一個簡單的左轉(zhuǎn)，端到端也是只考慮下一秒動作，沒有完整的通過路口的規(guī)劃。之所以實際動作看上去還算連貫，是由多個“下一秒動作”串起來。一旦中間出岔子，需要改變計劃的時候，系統(tǒng)就缺乏應(yīng)變能力。

背后還有一個原因，就是端到端的感知是被動的。模型訓(xùn)練階段就固定接收低維度文本指令（如速度、導(dǎo)航信息）和完整視覺信息。對圖像的關(guān)鍵細節(jié)缺乏關(guān)注，形成視覺忽視。到底什么才被認定為“關(guān)鍵細節(jié)”，是人類駕駛的核心技能。

比如等待左轉(zhuǎn)的經(jīng)典場景：左轉(zhuǎn)燈剛亮，右側(cè)人行橫道遠端晃過一團影子。電光火石間，人馬上就察覺到存在兩個不合理之處：一個是人行橫道方向正處于紅燈，另一個即便在人行道上，這個速度也絕對不是行人。只有注意到“異?！?，才會及時剎車。多半是外賣電動車順人行橫道闖紅燈搶行。

如果只注重信號燈、交通規(guī)則和前一秒的畫面，就不會有制動決策。端到端的無依托左轉(zhuǎn)向來有問題，就是因為處理不了這種復(fù)雜場景。

對于不確定又很關(guān)鍵的視覺信息，人類司機的處理方式，通常都是“再看一眼”或“湊近點看”。如果情況緊急則采取保守策略。

顯然，人類應(yīng)對長尾的行為，包含了策略序列和主動感知兩個重要能力。

世界模型的合成數(shù)據(jù)，兩種大模型訓(xùn)練效果不同

有些企業(yè)就想用AI Agent的方式來解決解決長尾問題。在線互動上，智能體已經(jīng)獲得廣泛應(yīng)用。想想打銀行客服電話，對面是誰接起電話。智能體不止能當客服和電子助手，在線教學(xué)、客戶專業(yè)支持、數(shù)據(jù)庫助手……看上去智能體似乎更勝任與人類互動。在車端，智能體也首先用于座艙互動。

將其作為聊天助手，其引擎通常就是LLM（大語言模型）。如果搭建VLA（語言-視覺-行為大模型），即從思考范式上成為一個駕駛智能體（模擬司機），是不是能夠更好地解決長尾問題，讓智駕具備L3能力呢。

兩者都需要大模型訓(xùn)練、蒸餾和車端轉(zhuǎn)移小模型。不過，兩者區(qū)別幾乎體現(xiàn)在所有環(huán)節(jié)。端到端為了應(yīng)對長尾，需要大量實車數(shù)據(jù)。世界模型生成的合成數(shù)據(jù)，用于端到端訓(xùn)練效果不好。

簡單說，合成數(shù)據(jù)可以擴充樣本，但是沒辦法解決“零樣本泛化”的問題。比如我們用各種“鬼探頭”合成數(shù)據(jù)訓(xùn)練端到端大模型，感覺練得也挺好的，結(jié)果一上路，碰到一輛驢車，又懵了。長尾是無窮無盡的，非結(jié)構(gòu)性場景最好由認知推動，由數(shù)據(jù)推動的端到端訓(xùn)練效果不理想。模擬考經(jīng)常得高分，一上正式考場就考砸。

Agent可以玩命用世界模型訓(xùn)練。合成環(huán)境對現(xiàn)實物理模擬很粗糙，但Agent可以通過視覺軌跡獎勵，優(yōu)化決策。與端到端的被動視覺不同，Agent通過多次主動視覺-動作的反饋，探索合理策略。這和人思維模式很像了，面對陌生場景，用保守方法（低速跟前車，隨時改變策略）試錯。而不是像端到端那樣的內(nèi)部黑箱。

看和聽的能力

主動視覺有兩個特征，一個是“對齊”，另一個是自動調(diào)整權(quán)重。調(diào)權(quán)重很容易理解，在雨雪霧天氣里面，激光雷達和攝像頭都會受到強干擾，而且這些干擾很難用濾波手段去除。這個時候，如果降低攝像頭感知權(quán)重，提升毫米波雷達權(quán)重，將減少誤判。人也是如此，黑暗的環(huán)境下，人雖然不能像蝙蝠那樣發(fā)出超聲波探路，但不由自主“豎起耳朵”專注于聲音，同時降低視覺敏感度。

而“對齊”也是人類的核心技能。面對一幅畫面或者動態(tài)圖，如果有人說，找找畫面里面的“半個蘋果”，你還會關(guān)注每個細節(jié)嗎？顯然不，你只會快速掃描整幅圖，去找那個符合語言特征的玩意。順便說一句，駕駛當中，交通標志標線、各種畫面、人類口語，都是“大語言”。

這就是語言和圖像的“對齊”。一句話一般只與畫面中特定細節(jié)對應(yīng)。如果提供一個長文本，任何受過基礎(chǔ)教育的人，也是迅速找到與圖畫描述有關(guān)的詞句。然后和畫面特定位置建立映射。Agent也具有這個能力，即建立了跨模態(tài)語義匹配與融合能力。

一輛車如果由AI Agent駕駛，人可以隨時發(fā)號施令：“跟住前面第二輛紅車，別管眼前這輛白的”。系統(tǒng)自己會選擇“一組”合理策略執(zhí)行這道模糊的命令。

想做到這一點，需要完成視覺語言的基座訓(xùn)練（主要練“對齊”），思維-動作后訓(xùn)練（其中關(guān)鍵是擴散模型，持續(xù)預(yù)測軌跡和環(huán)境，以便調(diào)整），強化訓(xùn)練（包含剛才說的獎勵模型）。這些訓(xùn)練完成之后，能在車端運行的AI Agent也就有了。

內(nèi)化規(guī)則

和端到端需要另加規(guī)則兜底不同，AI Agent可以內(nèi)化規(guī)則，就通過獎勵函數(shù)學(xué)習(xí)的方式。比如讓行救護車、消防車等，Agent計算“讓行代價=延誤時間×急迫系數(shù)”、“不讓行風(fēng)險=事故概率×傷亡可能性”等量化規(guī)則，而非依賴一堆條件語句。

AI Agent的核心突破在于，分層推理將數(shù)據(jù)轉(zhuǎn)化為可交互的知識，其訓(xùn)練過程更接近人類駕駛員的經(jīng)驗積累模式——在理解規(guī)則的基礎(chǔ)上通過實踐優(yōu)化策略。也因為同樣原因，人可以與AI Agent互動，參與駕駛。這是“人機共駕”的高級階段，不是通過控制權(quán)交接，而是用語言就能互動和干預(yù)。

語言映射和決策-行為多次反饋機制，與人開車的方式也很類似。與端到端相比，強學(xué)習(xí)的AI Agent更像人，其推理結(jié)果和行為模式都可以驗證和反推，與端到端不同。

兩者暫時各擅勝場

說了這么多AI Agent的優(yōu)點，是不是說它可以一腳將端到端踢開，成為智駕主流？AI Agent有個很大的缺點——決策時間長，都是秒級的。對于一些緊急情況，顯然不行。因此有些企業(yè)試圖讓端到端主導(dǎo)99%的L2場景，即輕量化思考；只有1%左右的長尾場景，由AI Agent來完成復(fù)雜博弈。后者的思維鏈也不能太長，最多三四層。再長的話人受不了，就像臨門一腳思考人生一樣詭異。

當然這是實驗性質(zhì)的。兩種架構(gòu)融合在一起，才有商業(yè)化部署的價值（比如云端協(xié)同）。如果能為世界模型開發(fā)出高保真物理引擎，強化學(xué)習(xí)可能訓(xùn)練出同時具備精準控制和復(fù)雜博弈能力的時敏型駕駛模型。

這需要解決三個問題：邏輯鏈的實時性瓶頸、神經(jīng)符號系統(tǒng)保障決策的可解釋性、跨場景認知遷移機制。

當前條件下，端到端方案仍是L2量產(chǎn)的最優(yōu)解。雖然沒摸到其能力邊界，但有能力登上L3高臺階的，大概率是AI Agent，只要解決其思考時長問題。而復(fù)雜泊車等非時敏型場景，現(xiàn)在AI Agent就已經(jīng)解決得很好。

自動駕駛的核心矛盾，一直都是無限場景空間與有限訓(xùn)練資源的對抗。端到端方案更傾向于通過實車數(shù)據(jù)提升數(shù)據(jù)利用效率，AI Agent則通過決策范式以降低數(shù)據(jù)依賴。兩者關(guān)系如同內(nèi)燃機與電動機——短期并存滿足不同場景需求，長期催生融合新架構(gòu)?；蛘哌€有一種可能，就是其中一種解決自身瓶頸，從而取代對方。看長期的話，AI Agent更有希望做到這一點。

注：圖片部分來源網(wǎng)絡(luò)，如有侵權(quán)，聯(lián)系刪除。

“消失的前車”透露了智駕哪方面缺陷？

克服AI幻覺？也許在開智駕倒車

2025過半，整車市場終局的端倪