[首發(fā)于智駕最前沿微信公眾號]軌跡預(yù)測一直是自動駕駛中的重點(diǎn)，它可以讓自動駕駛汽車對未來的工作提前謀劃。所謂軌跡預(yù)測，簡單理解就是自動駕駛系統(tǒng)對道路上那些會動的對象（其他車輛、行人、自行車、摩托車等）未來一段時間內(nèi)可能走什么路線、到什么位置、以什么樣的速度/方向移動的一種“預(yù)測”。

圖片源自：網(wǎng)絡(luò)

比起這些對象當(dāng)前在什么位置、朝哪個方向走，軌跡預(yù)測多了對未來的判斷，其不僅可以確定“現(xiàn)在在哪里”，還要猜測“接下來可能去哪兒”、以及“可能怎么行動”。這是自動駕駛系統(tǒng)在感知（看到周圍）之后與規(guī)劃和控制（決定自己車下一步怎么走）之前的一個關(guān)鍵動作。

軌跡預(yù)測并不是簡單識別或檢測別車／行人，而是要推斷未來。這一點(diǎn)和人類司機(jī)做判斷很像，當(dāng)你開車時，不只是看前面有沒有車，也會判斷那輛車是不是可能突然變道／加速／減速／轉(zhuǎn)彎。自動駕駛所做的，是把這種判斷轉(zhuǎn)成算法，讓機(jī)器也能提前預(yù)估可能發(fā)生的情況。

為什么自動駕駛系統(tǒng)需要“軌跡預(yù)測”

真實(shí)的道路情況瞬息萬變，別的車可能突然變道、有人可能橫穿馬路、有行人或騎車人可能忽然加速或減速。想要安全駕駛，只是知道“他們現(xiàn)在在哪里、速度是多少”是完全不夠的。如果系統(tǒng)只是被動反應(yīng)，就容易出問題，尤其當(dāng)速度較高、道路復(fù)雜的時候，沒有預(yù)測，車輛就只是橫沖直撞，非常危險。

軌跡預(yù)測的作用，就是讓自動駕駛系統(tǒng)對周圍交通參與者未來可能的動作有一個大致預(yù)判。這樣自動駕駛系統(tǒng)就能在做路徑規(guī)劃和操控之前，考慮到這些不確定性，預(yù)留安全距離、調(diào)整速度、選擇合適方案。

圖片源自：網(wǎng)絡(luò)

舉個例子，當(dāng)另一輛車突然變道到自動駕駛汽車的車道上，自動駕駛系統(tǒng)通過軌跡預(yù)測，就能判斷是否要提前減速、變道避讓，以避免事故發(fā)生。又或者行人可能從路邊走出來，自動駕駛系統(tǒng)預(yù)測到可能會穿過馬路，這時自動駕駛系統(tǒng)就會提前做好剎車或繞行準(zhǔn)備。

也就是說，軌跡預(yù)測提升了自動駕駛的“前瞻性”和“主動安全”能力。感知模塊只負(fù)責(zé)看見現(xiàn)在／剛剛發(fā)生的事；而預(yù)測模塊負(fù)責(zé)想象未來可能發(fā)生的事，然后把這個想象交給決策／規(guī)劃模塊，讓車輛提前做出安全、合理的動作。

如何實(shí)現(xiàn)軌跡預(yù)測？

軌跡預(yù)測要做的就是把“現(xiàn)在看見的東西”變成“對未來幾秒鐘的合理猜測”。要做到這件事，模型離不開三類關(guān)鍵信息的輸入，也會輸出不同形式的預(yù)測結(jié)果，實(shí)現(xiàn)的方法也各有優(yōu)劣。

1）輸入的是什么？

• 靜態(tài)環(huán)境/地圖信息：靜態(tài)環(huán)境/地圖信息包括如車道線、交叉口、車道形狀、道路結(jié)構(gòu)、禁行區(qū)、轉(zhuǎn)彎區(qū)、紅綠燈、交通標(biāo)志等信息。也包括高精地圖(HDmap)或簡化版本地圖中對道路空間結(jié)構(gòu)的描述。
• 動態(tài)對象當(dāng)前及過去的狀態(tài)：動態(tài)對象當(dāng)前及過去的狀態(tài)就是周圍車輛、行人等的當(dāng)前位置、速度、航向、過去一段時間的軌跡／運(yùn)動歷史。因?yàn)閷ο筮^去怎么走、速度方向是多少，對預(yù)測未來很關(guān)鍵。
• 交通參與者之間的交互關(guān)系：不同車輛、行人與它們之間的相互影響，一輛車的行為可能受到旁邊車、前車、后車，乃至道路標(biāo)志、信號燈、行人、騎車人的影響。為了更好地實(shí)現(xiàn)預(yù)測，這些交互也會作為輸入特征來考慮。

2）輸出的是什么？

軌跡預(yù)測的輸出，一般是未來一段時間內(nèi)（通常幾秒到5 s～6 s不等，具體視系統(tǒng)設(shè)計而定）的軌跡，其中包括未來每個時刻該對象可能的位置、速度、方向。也可能包括多個可能性。

因?yàn)槲磥聿淮_定，一個對象可能有幾種行為（直走、變道、減速、急剎、轉(zhuǎn)彎……），所以預(yù)測結(jié)果不會是單一軌跡，而是多種可能軌跡+各種可能性的概率／置信度（即多模態(tài)預(yù)測）。

有時候自動駕駛系統(tǒng)只需要知道未來終點(diǎn)大致在哪、什么時候到達(dá)，但有時會需要完整的時間序列軌跡。帶概率的多模態(tài)輸出能讓后續(xù)的規(guī)劃模塊在面對多種可能時做出更穩(wěn)妥的決策。

圖片源自：網(wǎng)絡(luò)

3）常見的技術(shù)路線/方法

在早期想實(shí)現(xiàn)軌跡預(yù)測，可以用比較簡單的物理模型+運(yùn)動學(xué)/動力學(xué)模型+假設(shè)方法，該方法是通過假設(shè)車輛目前速度、加速度、車輛動力限制等信息，基于物理運(yùn)動模型去預(yù)測短期軌跡。但這種方法對復(fù)雜場景（變道、剎車、跟車、群體交互、行人穿行等）適應(yīng)性較差。

近年來，更常用的是數(shù)據(jù)驅(qū)動(data-driven)或機(jī)器學(xué)習(xí)/深度學(xué)習(xí)方法。自動駕駛系統(tǒng)通過大量真實(shí)交通數(shù)據(jù)訓(xùn)練模型，把歷史軌跡+環(huán)境信息當(dāng)輸入，讓模型學(xué)會在類似情形下的行為模式，然后預(yù)測未來軌跡。

有些模型會把所有附近車輛／行人當(dāng)作“節(jié)點(diǎn)”，構(gòu)建圖(graph)表示它們之間可能的相互作用關(guān)系(誰可能影響誰)；然后通過圖神經(jīng)網(wǎng)絡(luò)(graphneuralnetwork)+編碼器—解碼器(encoder-decoder)／循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN/LSTM)／Transformer等結(jié)構(gòu)，對未來軌跡進(jìn)行預(yù)測。還有一些模型會將道路結(jié)構(gòu)、車道線、交通規(guī)則、環(huán)境語義等靜態(tài)信息融合進(jìn)來，讓預(yù)測更符合規(guī)則。

自動駕駛系統(tǒng)中的軌跡預(yù)測，是一個感知+學(xué)習(xí)+推斷+環(huán)境約束結(jié)合的復(fù)雜流程，而不僅是按當(dāng)前速度+前進(jìn)方向直線推算。

軌跡預(yù)測模塊在自動駕駛架構(gòu)中的位置與作用

自動駕駛系統(tǒng)可以分成感知(perception)→預(yù)測(prediction)→規(guī)劃/決策(planning&decision)→控制(control/actuation)幾個模塊。軌跡預(yù)測正位于感知與規(guī)劃之間，是連接兩者的重要橋梁。

• 感知模塊負(fù)責(zé)識別周圍靜態(tài)環(huán)境(道路、車道線、建筑、行人、交通標(biāo)志)和動態(tài)對象(其他車輛、行人、自行車等)，告訴系統(tǒng)“現(xiàn)在都有哪些東西，它們在哪里、速度怎樣、朝哪走”。
• 預(yù)測模塊接手這些信息，對每個動態(tài)對象未來可能的走向做估計，預(yù)測軌跡、行為意圖(如變道、減速、轉(zhuǎn)彎、掉頭、停車、橫穿道路等)，并輸出未來幾秒鐘內(nèi)各對象可能的位置/速度/軌跡分布。
• 規(guī)劃/決策模塊拿到這些預(yù)測結(jié)果后，考慮自己的車輛應(yīng)該怎么走：是否要減速、變道、剎車、繞行、停車、讓行……并生成給車輛的決策/行駛方案。
• 控制模塊根據(jù)規(guī)劃結(jié)果，通過轉(zhuǎn)向、加減速、制動等動作執(zhí)行具體的控制。

沒有預(yù)測模塊，即便感知非常精確，車輛也只能被動反應(yīng)，只能根據(jù)現(xiàn)在看到的情況反應(yīng)。這種方式在簡單場景或低速情況下可能還行，但在高速、復(fù)雜、多目標(biāo)、多變場景(城市道路、交叉口、高速公路、行人密集區(qū)、混合交通)下，很容易出現(xiàn)判斷滯后、反應(yīng)過慢、避讓不及時、剎車過硬或過急等問題，嚴(yán)重影響安全和舒適。

因此，軌跡預(yù)測是自動駕駛系統(tǒng)的“安全預(yù)判機(jī)制”，它讓車輛提前知道可能發(fā)生什么，從而預(yù)留空間/時間/方案，為后續(xù)規(guī)劃和控制提供更可靠的輸入。

軌跡預(yù)測的局限

軌跡預(yù)測對于自動駕駛來說非常重要，但想要做到既準(zhǔn)確、可靠，又能實(shí)時運(yùn)行的預(yù)測，會面對非常多的問題。

圖片源自：網(wǎng)絡(luò)

1）多智能體/多對象交互復(fù)雜

道路上有汽車、自行車、行人、摩托車等很多的交通參與者，他們之間會相互影響。一個人的動作可能影響另一輛車的行為，行人與車可能發(fā)生互動，自行車可能突然并道……這種多智能體(multi-agent)交互關(guān)系復(fù)雜且難建模。一個簡單的直線預(yù)測顯然不夠。數(shù)據(jù)驅(qū)動模型雖然試圖通過圖模型/神經(jīng)網(wǎng)絡(luò)捕捉這些關(guān)系，但要保證對所有復(fù)雜場景都適用，依舊非常困難。

2）行為多樣性／不確定性(多模態(tài)問題)

同一個交通參與者，在不同時間、情境可能做完全不同的動作。如一輛車可能繼續(xù)保持當(dāng)前車道直行，也可能變道，也可能減速或加速。這意味著未來有多個可能軌跡(multiplepossiblefutures)，而不是唯一確定的一條。預(yù)測系統(tǒng)如何同時給出這些可能性，并附上合理概率或置信度，是一個難題。如果系統(tǒng)只輸出單一軌跡，而實(shí)際對象走的是另一條，就可能導(dǎo)致碰撞或危險。

3）靜態(tài)環(huán)境與規(guī)則約束整合困難

道路結(jié)構(gòu)、車道線、交通規(guī)則(誰有優(yōu)先權(quán)、紅綠燈、行人斑馬線、禁行區(qū)、道路狹窄、彎道、坡道…)對車輛／行人的軌跡有很大的影響。一個預(yù)測模型如果忽略這些約束，很可能產(chǎn)生荒謬、不符合規(guī)則的預(yù)測(比如預(yù)測行人穿過護(hù)欄/逆行、預(yù)測車輛穿越建筑物/越線/無視交通規(guī)則等)。因此，只有將環(huán)境/地圖/規(guī)則信息有效融合進(jìn)軌跡預(yù)測，才能確保預(yù)測的準(zhǔn)確性與行駛的安全性。

4）實(shí)時性與算法復(fù)雜性/計算資源限制

自動駕駛必須對實(shí)時環(huán)境迅速反應(yīng)。預(yù)測模塊不能太慢，否則生成的軌跡可能已經(jīng)過時。但如果想要實(shí)時預(yù)測，高復(fù)雜度模型(深度網(wǎng)絡(luò)+多智能體交互+多可能性計算+地圖融合)又會需要大量的計算量。如果實(shí)時性不夠、計算資源不夠，或者延遲太高，就不適合實(shí)際部署。如何在追求極致預(yù)測精度與系統(tǒng)整體響應(yīng)速度之間找到一個平衡，是非常重要的。

5）評估與現(xiàn)實(shí)場景差異(“數(shù)據(jù)集vs實(shí)際駕駛環(huán)境”)

很多軌跡預(yù)測技術(shù)是在固定數(shù)據(jù)集/過去記錄上訓(xùn)練/測試的，也就是假設(shè)所有對象行為都會按歷史軌跡執(zhí)行。但真實(shí)交通場景，自動駕駛車輛本身會因?yàn)轭A(yù)測結(jié)果/決策/行為而影響周圍人／車的行為。也就是說，真實(shí)世界是互動(interactive)的，一個模型在靜態(tài)數(shù)據(jù)集上的高精度，不一定能在真實(shí)道路上表現(xiàn)良好。這種差異(dynamicsgap)是軌跡預(yù)測應(yīng)用到自動駕駛時必須特別關(guān)注的問題。

最后的話

隨著自動駕駛系統(tǒng)從輔助駕駛(ADAS)向更高級別(如L3/L4/L5)發(fā)展，對安全、可靠、全面感知的需求越來越高。在城市復(fù)雜交通、混合交通(汽車+自行車+行人+電動車+摩托+行人)情況下，僅靠看到并反應(yīng)遠(yuǎn)遠(yuǎn)不夠。自動駕駛系統(tǒng)必須具備預(yù)判能力，能知道別人可能做什么、提前為很多種情況預(yù)留應(yīng)對方案。軌跡預(yù)測，就是給自動駕駛系統(tǒng)提供了一雙預(yù)見未來的眼睛/大腦。

沒有軌跡預(yù)測，自動駕駛就只能看見現(xiàn)在然后反應(yīng)，容易發(fā)生滯后、剎不住、避不及、判斷失誤；有軌跡預(yù)測，就可能更安全、平滑，也更像人在駕駛。軌跡預(yù)測是自動駕駛系統(tǒng)邁向真正穩(wěn)健、安全、自主的重要一步。