[首發(fā)于智駕最前沿微信公眾號]在很多廠家的技術(shù)方案中，會提到世界模型的介紹。世界模型，就是自動駕駛系統(tǒng)內(nèi)部用來表示外部世界并預(yù)測未來演變的一組模型或表征。換句話說，世界模型就是把傳感器看到的東西（攝像頭畫面、激光雷達(dá)點云、雷達(dá)回波、定位速度等）組織起來，變成車能“理解”和“推演未來”的內(nèi)部信息，然后用這套信息去預(yù)測接下來幾秒鐘可能發(fā)生的事。

緊急剎車，圖片源自：網(wǎng)絡(luò)

這個“內(nèi)部信息”有兩種常見風(fēng)格。一種是把外界拆成一堆具體對象，每個對象有位置、速度、大小、類別這些東西，然后去預(yù)測這些對象會怎么動。另一種是把環(huán)境做成一張網(wǎng)格或地圖（比如俯視下的占用格子），在格子上直接學(xué)它們?nèi)绾巫兓�。前者容易理解、能跟物理約束結(jié)合；后者在處理復(fù)雜道路或車流時更直觀一些。但無論哪種，目的都是讓車不僅知道“現(xiàn)在怎樣”，還能估計“下一秒、兩秒后可能怎樣”。

世界模型既可以是基于物理規(guī)則寫出來的，也可以是用機(jī)器學(xué)習(xí)從大量數(shù)據(jù)里學(xué)出來的。常見的做法是把這兩者結(jié)合，先用簡單的物理模型提供基線，再用學(xué)習(xí)模型去修正那些物理模型覆蓋不了的復(fù)雜行為。這樣既有解釋性，又能利用數(shù)據(jù)提升精度。

在自動駕駛里，世界模型到底做什么？

世界模型其實可以實現(xiàn)幾件事，第一件事是把“現(xiàn)在”的觀測變成穩(wěn)定的信息。傳感器會有噪聲、遮擋、時間延遲等問題，世界模型會用歷史信息把這些瞬時的、零散的觀測整合成連續(xù)的狀態(tài)估計。舉個容易懂的例子，當(dāng)一個行人被路邊車擋住了鏡頭一小會兒，模型不會立刻斷定人消失了，而是根據(jù)之前的速度和道路位置合理估計他的可能位置，繼續(xù)保留這個目標(biāo)的存在。

第二件事是給出“多步的未來預(yù)測”。這比只看現(xiàn)在重要得多。預(yù)測不是只說“物體現(xiàn)在在哪”，而是輸出未來幾秒鐘里物體可能的軌跡。對于自動駕駛汽車來說，未來往往不止一種可能，那個行人可能繼續(xù)直走，也可能突然加速或停下。世界模型要能表示這種多樣性，告訴下游的決策模塊“有這幾種大概率發(fā)生的未來”。

車輛軌跡預(yù)測，圖片源自：網(wǎng)絡(luò)

第三件事是當(dāng)作“模擬器”給規(guī)劃器用。規(guī)劃器在做決策時需要評估不同動作的后果。世界模型可以在車內(nèi)做很多“如果……會怎樣”的試算，把候選動作代入模型，看到每種動作會帶來什么風(fēng)險和結(jié)果，然后選一個既安全又高效的動作。這種方式在控制里叫模型預(yù)測控制，世界模型讓這種思路能在復(fù)雜交通里用上。

第四件事是生成訓(xùn)練數(shù)據(jù)或豐富仿真。現(xiàn)實世界里很難收集到所有極端情況，世界模型能在仿真里復(fù)現(xiàn)一些復(fù)雜交互場景，幫工程師訓(xùn)練感知和決策模塊，尤其是那些在現(xiàn)實里很少見但很重要的危險邊緣場景。

世界模型為什么重要？它會帶來哪些影響？

世界模型給自動駕駛帶來的最直觀的好處是讓系統(tǒng)變得更“前瞻”。當(dāng)車能提前預(yù)測周圍人的下一步動作，規(guī)劃器就可以提前減速、調(diào)整軌跡，避免緊急剎車或碰撞。這也讓自動駕駛系統(tǒng)處理不確定性的能力變強(qiáng)。對于現(xiàn)實的交通情況來說，是非常復(fù)雜的，不確定性會很多，世界模型通常會以概率或多個備選方案來表示未來的可能，這樣自動駕駛系統(tǒng)不會僅依托唯一一個可能的路徑。世界模型也讓自動駕駛的工程效率得到提升，把世界動態(tài)學(xué)到模型里之后，可以在仿真里快速試驗策略，減少實車試錯成本。世界模型也讓自動駕駛的可解釋性在一定程度得到改善，尤其是采用對象級表示時，人可以比較容易看懂“為什么車做了這個決策”（因為模型預(yù)測行人會這樣做）。

圖片源自：網(wǎng)絡(luò)

當(dāng)然，世界模型很大程度上會比較依賴數(shù)據(jù)。如果訓(xùn)練數(shù)據(jù)里很少見某類場景，模型在這類場景上預(yù)測可能會出大偏差。此外，長時預(yù)測會積累誤差，模型每一步都可能有小錯，錯會逐步放大，幾秒鐘后預(yù)測可能完全偏離真實。這會誤導(dǎo)規(guī)劃器做出不合適的動作�？沈炞C性問題也是世界模型繼續(xù)解決的問題，當(dāng)世界模型是一個深度網(wǎng)絡(luò)時，它內(nèi)部的推理過程難以用傳統(tǒng)方法證明是安全的，這給安全認(rèn)證帶來麻煩。計算與實時性更是世界模型在設(shè)計時需要解決的難題之一，多步、多模態(tài)的預(yù)測如果不做優(yōu)化，算力開銷大，推理延遲高，這在實時系統(tǒng)里是不能接受的。

世界模型既然可以提升自動駕駛的性能，那它應(yīng)如何應(yīng)用到自動駕駛中？一種方法是把學(xué)習(xí)到的世界模型作為建議器，用來產(chǎn)生候選未來，但把最后的安全檢查和約束放在規(guī)則化的決策層或簡單可靠的安全過濾器里。還有一種方法是把世界模型盡量壓縮并優(yōu)化成能在車端快速運行的版本，同時把復(fù)雜的長時預(yù)測放在云端或離線訓(xùn)練里做支撐�？傊�，把世界模型當(dāng)成輔助決策的強(qiáng)力工具，同時保留冗余和規(guī)則化的安全網(wǎng)，是當(dāng)前大多數(shù)技術(shù)方案的解法。

最后的話

世界模型并不是一個遙不可及的高深概念，它更像是讓自動駕駛汽車學(xué)會“思考”的工具。有了它，自動駕駛汽車不再只是依賴當(dāng)下看到的畫面去做反應(yīng)，而是能結(jié)合經(jīng)驗和預(yù)測，把眼前的情況和未來的變化聯(lián)系起來。這種能力，就好比讓汽車學(xué)會了“未雨綢繆”，能更冷靜、更聰明地處理復(fù)雜環(huán)境。

不管是提升自動駕駛的安全性，還是減少對昂貴傳感器和高精地圖的依賴，世界模型都可能發(fā)揮關(guān)鍵作用。未來誰能把世界模型用得更好，誰就可能在自動駕駛的競爭中走得更快、更穩(wěn)。對普通人來說，世界模型最終會體現(xiàn)在更安心的出行體驗上，世界模型會讓你感受到，車越來越像一個真正可靠的駕駛伙伴，而不僅僅是一臺聽指令的機(jī)器。