隨著端到端自動駕駛2.0方案的不斷涌現(xiàn)，強(qiáng)化學(xué)習(xí)的概念再次站到了舞臺中間。

借著這個機(jī)會，今天跟大家談一談智能的三種范式，以及模仿學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的不同點。

古代先賢將天、地、人視為三才，看似渺小的人類可以與廣袤的天地并立，是因為人類具有其它物種不曾擁有的智能，發(fā)展出了改天換地的能力。

到了人工智能時代，碳基人類孵化出已經(jīng)實現(xiàn)全知、正在邁向全能的硅基人類新物種，對這個新物種而言，其智能的獲得有規(guī)則編寫、模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)三種方式。

從人工智能的三大流派來看，編寫規(guī)則屬于符號主義學(xué)派，模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)屬于連接主義學(xué)派。

符號主義的核心思想是人類專家將知識和決策過程編寫為明確的邏輯規(guī)則，用各種符號來表達(dá)知識和概念之間的關(guān)聯(lián)。

該學(xué)派的典型代表作是專家系統(tǒng)，它將特定領(lǐng)域的知識編碼到知識庫中，推理引擎根據(jù)輸入的事實進(jìn)行匹配并執(zhí)行相應(yīng)的規(guī)則，得出具體的結(jié)論。

連接主義的核心思想是智能來自于神經(jīng)網(wǎng)絡(luò)及其連接機(jī)制，強(qiáng)調(diào)的是從數(shù)據(jù)中學(xué)習(xí)，構(gòu)建由大量簡單的處理單元通過帶有權(quán)重的連接組成的人工神經(jīng)網(wǎng)絡(luò)。

根據(jù)輸入數(shù)據(jù)自動調(diào)整網(wǎng)絡(luò)中的連接權(quán)重，以最小化網(wǎng)絡(luò)輸出和真實輸出之間的誤差，使得網(wǎng)絡(luò)學(xué)習(xí)輸入和輸出之間的復(fù)雜映射關(guān)系并具備泛化能力。

具體到自動駕駛領(lǐng)域，23年之前，頭部智駕企業(yè)實現(xiàn)了基于深度神經(jīng)網(wǎng)絡(luò)的感知。

在駕駛策略決策上依賴天生牛馬的程序員編寫的程序，感知層踐行的是連接主義，決策層踐行的是符號主義，算是符號主義和連接主義的混合體。

24年之后，頭部智駕企業(yè)紛紛效法特斯拉轉(zhuǎn)型端到端方案，其核心轉(zhuǎn)變在于決策層由規(guī)則驅(qū)動的編碼轉(zhuǎn)向數(shù)據(jù)驅(qū)動的深度神經(jīng)網(wǎng)絡(luò)，從學(xué)術(shù)流派上來看，則是全面轉(zhuǎn)向了連接主義。

成也蕭何，敗也蕭何。人是推動基于符號主義的人工智能系統(tǒng)智能水平提升的關(guān)鍵動力，也是拖累這類AI系統(tǒng)能力進(jìn)步的關(guān)鍵因素。

就自動駕駛系統(tǒng)而言，如果還困守在規(guī)則編碼范式上，隨著其設(shè)計運行條件越來越寬泛，這種將人類復(fù)雜思維和業(yè)務(wù)邏輯映射為代碼形式的規(guī)則編碼系統(tǒng)將在維護(hù)和擴(kuò)展上面臨越來越大的挑戰(zhàn)。

隨著自動駕駛從簡單的高速場景進(jìn)入交通流復(fù)雜的城區(qū)場景，幾萬條甚至幾十萬條規(guī)則極其復(fù)雜地交織在一起，能夠handle得住這些復(fù)雜規(guī)則的程序員越來越少了。

一方面，高昂的認(rèn)知復(fù)雜度和規(guī)則交互的不可預(yù)測性給系統(tǒng)的魯棒性、安全性帶來了很大的隱患。

另一方面，由于天才程序員極其稀少，規(guī)則系統(tǒng)的核心邏輯往往掌握在少數(shù)幾個極度資深的關(guān)鍵人物頭腦中，一旦他們離職或者調(diào)動，系統(tǒng)的維護(hù)就會面臨巨大的風(fēng)險。

比技術(shù)本身的復(fù)雜性更加棘手的是人因問題。

當(dāng)代碼的規(guī)模越來越大，原本依賴個人智慧的單兵突進(jìn)開發(fā)方式迅速失效，轉(zhuǎn)向兵團(tuán)作戰(zhàn)的開發(fā)方式時，為了克服開發(fā)和測試人員在理解、溝通、協(xié)作和維護(hù)規(guī)則代碼時存在的天然限制和水平差異，需要圍繞人因協(xié)作定義軟件活動、軟件開發(fā)流程和軟件體系，帶來了軟件工程難題。

自動駕駛算法轉(zhuǎn)型端到端范式之后，系統(tǒng)提升自身智能水平的途徑由符號主義的規(guī)則編碼轉(zhuǎn)向連接主義的數(shù)據(jù)驅(qū)動深度學(xué)習(xí)，自然而然地解決了規(guī)則代碼復(fù)雜性和人因的問題。

更重要的，端到端還解決了把錢花在人力上還是花在物力（算力卡）上的問題，見異思遷的人員可以自由流動，買來的算力卡卻不長腿，對于萬惡的資本家來說，哪種方式更加誘人是不言而喻的。

有人的地方就有江湖，有江湖的地方就有紛爭。

自動駕駛算法范式由傳統(tǒng)的端到端1.0向端到端2.0方案切換以來，基于強(qiáng)化學(xué)習(xí)的一段式端到端、VLA和世界行為模型這三種技術(shù)路線之間展開了你來我往的輿論大混戰(zhàn)，再次驗證了在競爭激烈的本土智能電動汽車江湖里，講的不是人情世故，而是打打殺殺。

說起來，這三種方案各有各的優(yōu)點，各有各的缺陷，求同存異的話，它們都在訓(xùn)練階段引入了強(qiáng)化學(xué)習(xí)，也就是說，它們的學(xué)習(xí)方式都由原來的模仿學(xué)習(xí)走向了模仿學(xué)習(xí)+強(qiáng)化學(xué)習(xí)的混合學(xué)習(xí)。

在自動駕駛領(lǐng)域，模仿學(xué)習(xí)的核心是讓司機(jī)Agent通過觀察專家司機(jī)在特定狀態(tài)下的動作，學(xué)習(xí)從感知傳感器輸入到動作輸出之間的映射策略，使得在遇到相同或相似的狀態(tài)時，系統(tǒng)能夠采取與老司機(jī)相似的動作。

這種學(xué)習(xí)方式可以直接利用現(xiàn)成的駕駛數(shù)據(jù)，無需與環(huán)境進(jìn)行耗時且可能危險的交互，能夠快速獲得一個表現(xiàn)不錯的策略。

而且，由于模仿人類，其駕駛風(fēng)格更加擬人，行為更加自然。

強(qiáng)化學(xué)習(xí)的核心是將駕駛問題建模為馬爾科夫決策過程，不斷進(jìn)行“感知狀態(tài)-選擇動作-執(zhí)行動作-獲得反饋-學(xué)習(xí)與更新”的重復(fù)循環(huán)，通過與環(huán)境的反復(fù)試錯交互，根據(jù)獲得的獎勵信號自主學(xué)習(xí)最優(yōu)的策略。

模仿學(xué)習(xí)的缺點非常明顯，有樣學(xué)樣，模仿的人類專家水平就是這類模型的天花板，費心費力在這個賽道上投入了幾十萬億，人類對自動駕駛系統(tǒng)的期待肯定不能這么低。

強(qiáng)化學(xué)習(xí)解決了這個天花板問題，它通過自我的博弈和探索，可以發(fā)現(xiàn)人類未曾想到的更高效更安全的駕駛策略，做到了青出于藍(lán)而勝于藍(lán)！

目前，業(yè)界普遍采用融合模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的方案，先通過模仿學(xué)習(xí)將自動駕駛系統(tǒng)的水平高效率地提升到人類水平，再通過強(qiáng)化學(xué)習(xí)把人類老司機(jī)拍在沙灘上。 至于強(qiáng)化學(xué)習(xí)能將自動駕駛系統(tǒng)的智能水平提高到什么程度，特斯拉新推出的FSD V14給了非常驚艷的答案！