[首發(fā)于智駕最前沿微信公眾號(hào)]想訓(xùn)練出一個(gè)可以落地的自動(dòng)駕駛大模型，不是簡單地給其提供幾張圖片，幾條規(guī)則就可以的，而是需要非常多的多樣的、真實(shí)的駕駛數(shù)據(jù)，從而可以讓大模型真正理解道路、交通參與者及環(huán)境的變化。

圖片源自：網(wǎng)絡(luò)

大模型能不能在真實(shí)交通環(huán)境中看懂路、判斷狀況、做出正確決定，關(guān)鍵在于它訓(xùn)練時(shí)看到的東西有沒有覆蓋足夠多、夠真實(shí)、夠準(zhǔn)確。若訓(xùn)練數(shù)據(jù)有缺陷、種類單一、環(huán)境單一、標(biāo)注不準(zhǔn)確、傳感器不對(duì)齊，那么訓(xùn)練出的大模型在真實(shí)交通環(huán)境中面對(duì)復(fù)雜、極端、多變場(chǎng)景時(shí)，就容易失靈、判斷失誤。

多傳感器+多模態(tài)，感知數(shù)據(jù)來源要豐富

對(duì)于自動(dòng)駕駛來說，僅依靠單一攝像頭圖像無法穩(wěn)定、全面地判斷路況。視覺圖像擅長提供顏色、紋理、標(biāo)志、燈光信號(hào)等語義信息，但在光線不足、夜間、強(qiáng)逆光、遮擋以及雨雪霧等復(fù)雜環(huán)境下容易失效。因此，使用如激光雷達(dá)（LiDAR）、毫米波雷達(dá)（Radar），以及用于獲取定位、姿態(tài)和速度信息的IMU/GNSS/GPS等傳感器補(bǔ)全這類視覺盲區(qū)是非常有效的手段。通過將這些傳感器的數(shù)據(jù)相融合，能實(shí)現(xiàn)多模態(tài)感知，從而讓自動(dòng)駕駛汽車更可靠地理解周圍環(huán)境。

對(duì)于能夠?qū)崿F(xiàn)“端到端”感知、決策甚至控制的自動(dòng)駕駛模型而言，多模態(tài)數(shù)據(jù)是必不可少的。這類模型需要像人一樣，綜合多種“感官”信息來理解環(huán)境，不僅會(huì)用攝像頭“看見”物體和標(biāo)識(shí)，也會(huì)通過激光雷達(dá)等傳感器“測(cè)量”距離、深度與速度。當(dāng)遇到惡劣天氣或視覺受限的情況時(shí)，多種數(shù)據(jù)可以相互補(bǔ)充，從而維持系統(tǒng)感知的穩(wěn)定性。

圖片源自：網(wǎng)絡(luò)

因此，訓(xùn)練這類模型的數(shù)據(jù)必須包含來自不同傳感器的信息，其中不僅要有攝像頭圖像信息，還應(yīng)包括激光雷達(dá)點(diǎn)云、毫米波雷達(dá)數(shù)據(jù)、定位及慣性測(cè)量單元（IMU）信息等。這些不同來源的數(shù)據(jù)必須在時(shí)間上嚴(yán)格同步、在空間上精確對(duì)齊，經(jīng)過校準(zhǔn)后才能有效用于模型訓(xùn)練，確保多模態(tài)融合的效果。

環(huán)境與場(chǎng)景需要更多樣

現(xiàn)實(shí)中的道路環(huán)境復(fù)雜多變，從城市街道、高速公路到鄉(xiāng)村小道、橋梁隧道，再到不同國家和地區(qū)的交通設(shè)施與駕駛習(xí)慣，均各有差異。同時(shí)，天氣和光照條件也時(shí)刻變化，晴天、陰天、雨雪、霧天、夜晚、逆光等場(chǎng)景都可能出現(xiàn)。

交通參與者更是種類繁多，其中不僅包括汽車、卡車、摩托車、自行車和行人，還可能涉及寵物、動(dòng)物、臨時(shí)路障、施工標(biāo)志等不規(guī)則障礙物，更有一些人為導(dǎo)致的異常障礙物。

如果訓(xùn)練模型的數(shù)據(jù)只包含白天、天氣良好、道路規(guī)整、交通有序的理想場(chǎng)景，那么模型學(xué)到的駕駛經(jīng)驗(yàn)將非常有限。一旦遇到復(fù)雜、混亂或不常見的路況，自動(dòng)駕駛系統(tǒng)就容易出現(xiàn)誤判甚至失效。

圖片源自：網(wǎng)絡(luò)

因此，想訓(xùn)練好自動(dòng)駕駛大模型，必須有高質(zhì)量的訓(xùn)練數(shù)據(jù)，其必須覆蓋廣泛、多樣的真實(shí)場(chǎng)景，且盡可能還原現(xiàn)實(shí)中可能遇到的各種情況。這也是讓自動(dòng)駕駛模型具備泛化能力、安全適應(yīng)不同環(huán)境的基礎(chǔ)。

標(biāo)注與對(duì)齊—數(shù)據(jù)必須干凈、準(zhǔn)確、有意義

再好的傳感器、多模態(tài)數(shù)據(jù)與豐富的復(fù)雜場(chǎng)景，如果數(shù)據(jù)本身沒有被準(zhǔn)確標(biāo)注、嚴(yán)格同步與精確對(duì)齊，也可能達(dá)不到訓(xùn)練大模型的要求。自動(dòng)駕駛訓(xùn)練數(shù)據(jù)不僅要求有圖像和點(diǎn)云，更關(guān)鍵的是要讓大模型知道圖像和點(diǎn)云中每個(gè)物體是什么、位于何處、屬于哪一類，以及可能的運(yùn)動(dòng)狀態(tài)。

為了讓模型學(xué)會(huì)識(shí)別這是車道線、那是行人、這是障礙物、那是遠(yuǎn)處的車輛、這是從左側(cè)走來的行人、這是交通信號(hào)燈、那是交通標(biāo)志、這是路邊的立柱等各類元素，訓(xùn)練數(shù)據(jù)必須對(duì)這些場(chǎng)景進(jìn)行精確而細(xì)致的標(biāo)注。標(biāo)注內(nèi)容包括物體的3D邊界框、類別（如車輛、行人、自行車、交通標(biāo)志、信號(hào)燈、障礙物等），有時(shí)還需涵蓋跨幀的運(yùn)動(dòng)軌跡、被遮擋的狀態(tài)、以及運(yùn)動(dòng)方向與速度（如果預(yù)測(cè)任務(wù)需要）等信息。

圖片源自：網(wǎng)絡(luò)

由于數(shù)據(jù)來自多模態(tài)傳感器（如攝像頭、激光雷達(dá)、毫米波雷達(dá)等），不同傳感器之間必須進(jìn)行校準(zhǔn)并在時(shí)間上同步，以確保同一時(shí)刻的圖像幀、激光雷達(dá)點(diǎn)云以及其他傳感器數(shù)據(jù)能夠完全對(duì)應(yīng)。否則，模型在融合多模態(tài)信息時(shí)，會(huì)因時(shí)間偏差或空間未對(duì)齊而產(chǎn)生誤差，進(jìn)而影響感知準(zhǔn)確性，甚至危及行車安全。

在進(jìn)行標(biāo)注時(shí)，一定要注意標(biāo)注的質(zhì)量，錯(cuò)誤標(biāo)注、漏標(biāo)物體、類別混淆、邊界框的位置尺寸或角度標(biāo)注不準(zhǔn)確、前后不一致或跨幀不連貫等問題，都可能導(dǎo)致模型學(xué)到錯(cuò)誤的規(guī)律，以至于在實(shí)際部署時(shí)做出誤判。

數(shù)據(jù)需適應(yīng)真實(shí)駕駛的動(dòng)態(tài)、遠(yuǎn)、長特性

自動(dòng)駕駛的感知與決策需要適應(yīng)真實(shí)交通環(huán)境中動(dòng)態(tài)、遠(yuǎn)距離、長時(shí)間連續(xù)的特性。交通環(huán)境并不是靜止的，而是隨時(shí)間連續(xù)變化的，物體可能處于運(yùn)動(dòng)狀態(tài)（如行人、車輛），會(huì)加速、減速、轉(zhuǎn)向，也可能被遮擋、進(jìn)入或離開視野。一個(gè)完善的自動(dòng)駕駛模型不僅要能識(shí)別當(dāng)前瞬間的畫面，還需要理解隨時(shí)間變化的動(dòng)態(tài)過程，預(yù)測(cè)物體未來的狀態(tài)與軌跡，并能應(yīng)對(duì)遮擋、規(guī)劃路徑與決策。

因此，對(duì)于自動(dòng)駕駛大模型訓(xùn)練的數(shù)據(jù)僅依賴靜態(tài)圖像或單幀點(diǎn)云的標(biāo)注數(shù)據(jù)依舊不夠。訓(xùn)練數(shù)據(jù)最好包含多幀連續(xù)的時(shí)序信息，使模型能夠?qū)W習(xí)運(yùn)動(dòng)規(guī)律、軌跡預(yù)測(cè)、速度與加速度估計(jì)、遮擋與重現(xiàn)現(xiàn)象，以及物體之間的交互行為。當(dāng)前很多多模態(tài)數(shù)據(jù)集與研究都已將時(shí)序動(dòng)態(tài)建模納入考量。

圖片源自：網(wǎng)絡(luò)

此外，針對(duì)高速場(chǎng)景下的遠(yuǎn)距離感知（如遠(yuǎn)處車輛或障礙物），以及復(fù)雜天氣、低光照、遮擋等邊緣情況，訓(xùn)練數(shù)據(jù)也需要覆蓋足夠遠(yuǎn)、足夠復(fù)雜、足夠不完美的場(chǎng)景。只有這樣，模型在真實(shí)世界中面對(duì)各種環(huán)境時(shí)才能保持穩(wěn)定可靠。

因此，遠(yuǎn)距離感知、夜間、雨天、混合光照、遮擋與復(fù)雜背景等情形，都應(yīng)在訓(xùn)練數(shù)據(jù)中得到充分體現(xiàn)。目前，已有不少公開數(shù)據(jù)集致力于融合激光雷達(dá)、相機(jī)與毫米波雷達(dá)數(shù)據(jù)，實(shí)現(xiàn)360度覆蓋，并包含夜間、雨天、城市、高速、郊區(qū)等多種復(fù)合場(chǎng)景，以提升模型的適應(yīng)性與穩(wěn)健性。

最后的話

要訓(xùn)練出能在真實(shí)路上使用的大模型，數(shù)據(jù)必須是“多、準(zhǔn)、廣、連”。也就是說要有攝像頭、LiDAR、雷達(dá)、IMU等多種傳感器的同步數(shù)據(jù)，覆蓋白天/夜晚、多種天氣和不同道路場(chǎng)景，包含連續(xù)幀與大量邊緣情況，標(biāo)注要精確到3D邊框、跟蹤id、速度/方向和遮擋信息，并且做好隱私合規(guī)。只有這種高質(zhì)量、多模態(tài)、時(shí)序化且標(biāo)注嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)，模型才能把海量樣本變成可靠的感知、預(yù)測(cè)與決策能力，從而讓自動(dòng)駕駛加速落地。