[首發(fā)于智駕最前沿微信公眾號]在討論自動駕駛大模型時，常會有幾個評價維度，如感知是否準(zhǔn)確、決策是否穩(wěn)定、系統(tǒng)是否足夠魯棒，以及模型有沒有“泛化能力”。相比準(zhǔn)確率、延遲這些容易量化的指標(biāo)，“泛化能力”這個詞看起來比較抽象，也更容易被模糊使用。

它沒有直觀的評價標(biāo)準(zhǔn)，卻決定了模型能不能真正走出訓(xùn)練數(shù)據(jù)、應(yīng)對真實(shí)道路中的未知情況。理解清楚它到底指的是什么、為什么難、又該如何評估，是理解自動駕駛大模型能力邊界的第一步。

什么是泛化能力？

泛化能力，就是機(jī)器學(xué)習(xí)模型能否將在訓(xùn)練里學(xué)到的東西應(yīng)用到?jīng)]見過的新情況上。舉個簡單例子，訓(xùn)練相當(dāng)于老師在教一套例題，泛化就是學(xué)生碰到新題能不能用學(xué)到的方法做對。

圖片源自：網(wǎng)絡(luò)

對于自動駕駛來說，所謂泛化能力，指的是訓(xùn)練出來的感知、預(yù)測和規(guī)劃等模塊，不僅能在實(shí)驗(yàn)室條件下表現(xiàn)很好，在真實(shí)道路中同樣表現(xiàn)可靠。無論是在日常街道，還是在雨天、夜間、施工路段這些模型并未充分見過的場景下，系統(tǒng)都能持續(xù)做出合理、安全的判斷和決策。它并不是一個可以用單一分?jǐn)?shù)衡量的性能指標(biāo)，而是一種綜合體現(xiàn)，反映的是整個自動駕駛系統(tǒng)在未知環(huán)境和復(fù)雜條件下的穩(wěn)定性與可信程度。

為什么自動駕駛格外看重泛化？

自動駕駛和多數(shù)純視覺、識別任務(wù)不同，承擔(dān)的是交通安全責(zé)任。數(shù)據(jù)永遠(yuǎn)不可能窮盡，世界上有無數(shù)種路、不同國家的交通習(xí)慣、各種天氣和光照組合、臨時施工和奇怪的路牌、以及駕駛者和行人的隨機(jī)行為。

訓(xùn)練里能見到的都是有限樣本，現(xiàn)實(shí)里的變化比訓(xùn)練復(fù)雜得多。像是那些孩子從車后突然竄出、貨車散落、逆向臨時標(biāo)牌、極端暴雨或路面結(jié)冰等“稀有但危險”的尾部場景，在訓(xùn)練集中極少出現(xiàn)，但發(fā)生時后果會更嚴(yán)重。如果模型在這些場景下不能泛化，那就不能算是合格的自動駕駛。

圖片源自：網(wǎng)絡(luò)

除了安全原因，泛化還能決定系統(tǒng)的可推廣性和商業(yè)落地成本，泛化好，意味著同一套模型能在更多城市、更廣的ODD里復(fù)用，可節(jié)省反覆收集和標(biāo)注的成本。

泛化為什么這么難？

大模型泛化能力一直是重要的評價指標(biāo)，但很難確保大模型足夠泛化。大模型的訓(xùn)練集和實(shí)際部署環(huán)境往往不是同一個分布，一個白天、晴天在市區(qū)采集的訓(xùn)練集，不能保證夜間、鄉(xiāng)間或另一座城市里的表現(xiàn)。

對于大模型來說，它很容易把訓(xùn)練樣本“記住”，卻未必真正理解其中的規(guī)律，也就是我們常說的過擬合。模型本身能力很強(qiáng)，如果訓(xùn)練數(shù)據(jù)不夠豐富，或者約束手段不合適，它就可能抓住一些只在訓(xùn)練數(shù)據(jù)里成立的小特征，當(dāng)成判斷依據(jù)。這種做法在訓(xùn)練時看起來效果很好，但一旦換了環(huán)境或場景，這些“捷徑”就不成立了，模型的表現(xiàn)也會隨之下降。

圖片源自：網(wǎng)絡(luò)

自動駕駛是多模塊、多傳感器、多任務(wù)的系統(tǒng)，感知、預(yù)測、規(guī)劃、控制之間的誤差會放大；傳感器也各有弱點(diǎn)，攝像頭在逆光或弱光里受限，雷達(dá)在細(xì)節(jié)分辨率上不足，LiDAR在某些天氣或被遮擋時性能下降。不同傳感器失效的模式不同，讓大模型在新環(huán)境下的行為更難預(yù)測。

此外，還有一個問題經(jīng)常會被忽略，那就是模型到底“測得準(zhǔn)不準(zhǔn)”。很多時候，大家只關(guān)注驗(yàn)證集或者榜單上的平均得分，有些模型會看起來表現(xiàn)不錯，但這些數(shù)字只是反映常見場景，并不能說明在少見、復(fù)雜或者危險的情況下會怎么表現(xiàn)。一些真正有風(fēng)險的情況，可能正好被平均指標(biāo)掩蓋了。

同時，自動駕駛想真正上路運(yùn)行，還要面對法律和安全方面的要求。這意味著系統(tǒng)不僅要在大多數(shù)情況下表現(xiàn)好，還必須提前想清楚，如果模型在陌生場景里出錯，該怎么發(fā)現(xiàn)、怎么監(jiān)測、又該如何安全地退出來，而不能等問題發(fā)生了再補(bǔ)救。這些能力的體現(xiàn)，全部都可以歸結(jié)到大模型的泛化能力中。

如何提升大模型泛化能力？

想要真正提升大模型的泛化能力，不能只盯著數(shù)據(jù)。數(shù)據(jù)固然重要，但更關(guān)鍵的是有沒有更多類型的數(shù)據(jù)。實(shí)際訓(xùn)練中，需要在不同城市、不同季節(jié)、不同路網(wǎng)結(jié)構(gòu)下采集數(shù)據(jù)，同時要覆蓋不同攝像頭和傳感器配置。像雨天、夜里、施工路段、臨時增加的交通標(biāo)識這些不常見但很容易出問題的場景，也都應(yīng)該盡量出現(xiàn)在訓(xùn)練過程中。數(shù)據(jù)增強(qiáng)的作用也不只是簡單拉高亮度、調(diào)下對比度，而是有針對性地模擬真實(shí)世界可能遇到的變化，必要時還可以用合成數(shù)據(jù)補(bǔ)足那些現(xiàn)實(shí)中很難大量采集的場景。

為了實(shí)現(xiàn)這些目的，仿真的作用就凸顯出來了。通過高質(zhì)量的仿真，可以構(gòu)造出大量危險或極端但現(xiàn)實(shí)中難以反復(fù)采集的場景，可以讓大模型提前見見世面。當(dāng)然，仿真并不是隨便搭建就行，如果仿真環(huán)境和真實(shí)道路差距太大，大模型學(xué)到的就只是虛擬世界里的規(guī)律，一旦上路反而容易出問題。因此，仿真需要覆蓋多種環(huán)境變化，并持續(xù)用真實(shí)數(shù)據(jù)去校準(zhǔn)和修正，形成一個和真實(shí)世界不斷對齊的閉環(huán)。

也有很多技術(shù)方案會從算法層面讓模型更容易適應(yīng)新環(huán)境。比如域適應(yīng)，就是大模型在正式部署前，用一小部分新環(huán)境的數(shù)據(jù)對模型做針對性調(diào)整，讓它先“適應(yīng)下新地方”。域泛化則更進(jìn)一步，其希望模型在訓(xùn)練階段就不要過分依賴某個具體城市或場景，而是學(xué)到更通用的判斷依據(jù)。遷移學(xué)習(xí)和元學(xué)習(xí)也是類似思路，一個是把在舊環(huán)境中學(xué)到的通用能力帶到新環(huán)境里，另一個是讓模型具備更快適應(yīng)新場景的能力。

圖片源自：網(wǎng)絡(luò)

此外，還有一些魯棒訓(xùn)練方法，可以讓模型對噪聲和擾動不那么敏感；而置信度評估和異常檢測，則是在大模型自己“不太確定”時，及時暴露這種不確定性，避免繼續(xù)做出過于激進(jìn)的判斷。

沒有哪一種傳感器在所有情況下都穩(wěn)定可靠，為提升大模型泛化能力，不能把系統(tǒng)的安全完全寄托在單個感知源或單一模型上。攝像頭、雷達(dá)、激光雷達(dá)、定位和地圖各有優(yōu)勢，把它們作為互相補(bǔ)充的信息來源，通過交叉校驗(yàn)和一致性檢查來相互驗(yàn)證，當(dāng)某一種傳感器受影響時，其他通道還能起到補(bǔ)充作用。通過冗余，還可以在發(fā)現(xiàn)不確定性升高時逐步收緊能力，從正常自動駕駛過渡到受限模式，再到提醒人工接管，必要時執(zhí)行安全停車，而不是等出現(xiàn)明顯錯誤才做出劇烈反應(yīng)。

對于大模型的評估和驗(yàn)證，也不能單純看“平均表現(xiàn)”，而要看“場景是否覆蓋充分”。在車輛正式上路前，應(yīng)該有一套盡量完整的場景庫，能說清楚系統(tǒng)已經(jīng)覆蓋了哪些天氣、光照條件、路口類型和突發(fā)行為。同時，還要專門針對那些少見但風(fēng)險高的場景做壓力測試，而不是只看一個整體準(zhǔn)確率。系統(tǒng)上線之后，同樣不能就此放手不管，而是要通過日志分析、近失效事件回放等方式，持續(xù)監(jiān)控實(shí)際表現(xiàn)，把那些在真實(shí)運(yùn)行中暴露出來的問題重新引入訓(xùn)練流程，形成持續(xù)修正的閉環(huán)。

最后的話

談自動駕駛大模型到底行不行，不能只是看在測試集上跑得有多漂亮，還要看在真實(shí)道路上、換了城市、天氣和交通參與者之后能不能穩(wěn)得住。泛化能力說白了，就是評價模型有沒有真正“學(xué)會開車”。只有在沒見過的場景里依然能做出合理、安全決策的大模型，才有可能走得出實(shí)驗(yàn)室，真的用在路上。