特斯拉前深度學(xué)習(xí)負(fù)責(zé)人談自動(dòng)駕駛純視覺(jué)與融合感知路線之爭(zhēng)。

文丨趙宇

編輯丨龔方毅

在自動(dòng)駕駛領(lǐng)域，純視覺(jué)與融合感知方案的路線之爭(zhēng)由來(lái)已久。前者把攝像頭作為核心傳感器，就像人類主要用眼睛感知道路情況；后者主張綜合采用激光雷達(dá)、攝像頭、毫米波雷達(dá)等多種傳感器，構(gòu)建比人類感官更強(qiáng)大的感知系統(tǒng)。

為理解爭(zhēng)論背后的技術(shù)原理，我們?cè)L談了智能駕駛研發(fā)商 Nullmax 紐勱科技創(chuàng)始人兼 CEO 徐雷。創(chuàng)辦 Nullmax 前，徐雷先后任職于高通、特斯拉，曾作為 Autopilot 研發(fā)團(tuán)隊(duì)的核心成員，從零開(kāi)始領(lǐng)導(dǎo)搭建 Tesla Vision 深度學(xué)習(xí)網(wǎng)絡(luò)，并取代特斯拉第一代自動(dòng)駕駛產(chǎn)品中使用的 Mobileye 視覺(jué)系統(tǒng)。這些經(jīng)歷讓他對(duì)于這場(chǎng)技術(shù)爭(zhēng)論有著自己的獨(dú)到見(jiàn)解。

徐雷說(shuō)，攝像頭獲取道路場(chǎng)景信息的頻率和豐富程度都明顯高于激光雷達(dá)，因此視覺(jué)方案有著更高的能力上限。而在現(xiàn)階段的一些融合感知方案中，當(dāng)不同傳感器提供的信息發(fā)生沖突時(shí)，智駕系統(tǒng)傾向于更相信激光雷達(dá)——這從側(cè)面印證了廠商視覺(jué)處理能力的不足。

“激光雷達(dá)能讓智駕系統(tǒng)快速實(shí)現(xiàn)量產(chǎn)上車，但最終要達(dá)到一定高度，還是要把視覺(jué) AI 能力做好。” 徐雷告訴我們，他并非完全排斥激光雷達(dá)，而是對(duì)不同傳感器的使用都持開(kāi)放態(tài)度。但無(wú)論采用哪種方案，都必須將視覺(jué)感知作為最核心、最優(yōu)先發(fā)展的能力。在他看來(lái)，過(guò)度依賴激光雷達(dá)雖然是能讓產(chǎn)品快速上車的 “捷徑”，但最終會(huì)限制智駕系統(tǒng)的長(zhǎng)遠(yuǎn)發(fā)展和性能天花板。

以下是我們與徐雷對(duì)話的主要內(nèi)容，經(jīng)編輯：

晚點(diǎn)：今年 7 月，懂車帝的一場(chǎng)智駕系統(tǒng)測(cè)試顯示：特斯拉雖未搭載激光雷達(dá)，實(shí)際表現(xiàn)卻超過(guò)許多配備激光雷達(dá)的國(guó)產(chǎn)品牌。你預(yù)料到這個(gè)結(jié)果嗎？如何看待激光雷達(dá)的必要性？

徐雷：視覺(jué)傳感器和激光雷達(dá)各有優(yōu)勢(shì)。攝像頭屬于被動(dòng)感知，能提供分辨率更高的圖像、顏色和紋理特征等豐富信息，幀率可達(dá)每秒 30 幀。激光雷達(dá)雖能主動(dòng)發(fā)射激光、通過(guò) ToF（Time of Flight，一種基于信號(hào)飛行時(shí)間的測(cè)距技術(shù)）測(cè)距，但點(diǎn)云密度和分辨率比攝像頭低，信息沒(méi)有視覺(jué)傳感器豐富，幀率通常只有每秒 10 幀。

在理想狀態(tài)下，如果車輛能同時(shí)搭載兩種類型的傳感器，且控制器算力足夠強(qiáng)、算法足夠好，那性能天花板肯定最高。不過(guò)汽車作為消費(fèi)品，需要考慮成本和價(jià)位差異。單獨(dú)使用激光雷達(dá)會(huì)因幀率低、點(diǎn)云稀疏而限制智駕系統(tǒng)性能上限。純視覺(jué)方案在算法和算力足夠的情況下也能開(kāi)得挺不錯(cuò)，但仍會(huì)受到算力水平等因素制約。

因此，智駕系統(tǒng)的傳感器選擇需要綜合考慮性能、成本等多方面因素，并不是單純的理論問(wèn)題。

晚點(diǎn)：現(xiàn)在車端算力還在提升，這是否為搭載激光雷達(dá)提供了便利條件？

徐雷：激光雷達(dá)對(duì)算力的消耗實(shí)際上比視覺(jué)傳感器更小，因?yàn)榧す饫走_(dá)的點(diǎn)云信息量相比 800 萬(wàn)像素?cái)z像頭的視頻流要稀疏很多，幀率也更低。攝像頭捕捉到的信息量更大，關(guān)鍵在于如何充分利用這些海量信息。

如果重度使用激光雷達(dá)，而視覺(jué)處理能力不足，智駕方案會(huì)受限于激光雷達(dá)的性能天花板。然而，對(duì)于需要快速博弈和迅速反應(yīng)的場(chǎng)景，僅靠激光雷達(dá)難以有效處理，視覺(jué)能力必須跟上。

晚點(diǎn)：充分利用攝像頭的技術(shù)難點(diǎn)是在于算法嗎？

徐雷：主要是兩個(gè)方面。一是算法本身的技術(shù)先進(jìn)性；二是如何讓算法在車端計(jì)算資源有限的嵌入式平臺(tái)上高效運(yùn)行，智駕方案最終還是要跑在車端。

晚點(diǎn)：從行業(yè)平均角度看，一顆 800 萬(wàn)像素?cái)z像頭大概占用多少算力？

徐雷：很難給出絕對(duì)數(shù)值，因?yàn)檫@取決于具體功能需求——是單車道的高速 NOA、帶換道的高速 NOA，還是城市 NOA？要處理的場(chǎng)景數(shù)量不同，決定同樣傳感器配置下系統(tǒng)對(duì)算力的消耗不一樣。而且 TOPS（Tera Operations Per Second，每秒計(jì)算一萬(wàn)億次） 只是衡量指標(biāo)之一，還要考慮內(nèi)存帶寬、NPU（Neural Processing Unit，神經(jīng)處理單元）對(duì)算子的支持力度等因素。

晚點(diǎn)：業(yè)內(nèi)有說(shuō)法認(rèn)為，激光雷達(dá)是現(xiàn)階段的一根 “拐棍”，你認(rèn)可嗎？

徐雷：激光雷達(dá)方案可能是個(gè)捷徑，能快速讓系統(tǒng)跑起來(lái)，但上限相對(duì)較低。

晚點(diǎn)：為什么純視覺(jué)方案的上限更高？

徐雷：從信息輸入看，激光雷達(dá)每 100 毫秒才獲得一次點(diǎn)云，而攝像頭每 33 毫秒就能提供 800 萬(wàn)像素的圖像——視覺(jué)傳感器的信息更豐富，獲取頻率更高。開(kāi)車需要在電光石火間作出決策，如果輸入幀率和信息量跟不上，雖然車也能行駛，但在需要快速反應(yīng)的場(chǎng)景下，智駕方案的能力確實(shí)會(huì)差一些。

激光雷達(dá)雖然通過(guò)直接測(cè)距降低了處理難度，但它的信息量少、觀測(cè)間隔長(zhǎng)，構(gòu)建周圍環(huán)境可能不夠及時(shí)、精確。對(duì)一些需要準(zhǔn)確及時(shí)理解的場(chǎng)景，表現(xiàn)相對(duì)較弱。

晚點(diǎn)：純視覺(jué)方案以攝像頭為主傳感器，那融合感知方案呢？

徐雷：以特斯拉為例，它沒(méi)有在量產(chǎn)車上搭載激光雷達(dá)，系統(tǒng)必須靠純視覺(jué)理解三維世界。而我了解的一些以激光雷達(dá)為主的方案，對(duì)激光雷達(dá)的依賴度非常高。

一些以激光雷達(dá)為主傳感器的車，它的視覺(jué)處理能力可能跟不上。攝像頭雖然每秒輸入 30 張圖像，但系統(tǒng)可能只處理 10 次結(jié)果。這種對(duì)激光雷達(dá)的強(qiáng)依賴可能導(dǎo)致系統(tǒng)在極限測(cè)試場(chǎng)景下表現(xiàn)不佳。

晚點(diǎn)：純視覺(jué)方案上限可能更高，但你剛才也說(shuō)，在理想狀態(tài)下，兩種傳感器都用才最好。

徐雷：如果不考慮成本，我當(dāng)然希望有冗余配置，比如在車?yán)锓艃膳_(tái)發(fā)動(dòng)機(jī)，一臺(tái)壞了就換另一臺(tái)。但冗余不僅涉及傳感器，算法融合本身的技術(shù)挑戰(zhàn)也很高。所以像特斯拉，選擇在發(fā)展過(guò)程中先做好視覺(jué)，同時(shí)它考慮到要賣車，加那么多激光雷達(dá)對(duì)成本也是挑戰(zhàn)。

晚點(diǎn)：所以你從內(nèi)心角度是支持純視覺(jué)方案？

徐雷：不是，我比較開(kāi)放。我的想法是：第一，肯定要以視覺(jué)為主，一定要把視覺(jué)能力做好。如果車上有視覺(jué)和激光雷達(dá)，卻只把激光雷達(dá)做好，視覺(jué)只處理到 10 幀，那我不能接受。第二，對(duì)于車上的傳感器，無(wú)論是激光雷達(dá)、4D 毫米波雷達(dá)還是將來(lái)的新東西，我都持開(kāi)放態(tài)度，我不認(rèn)為車上只能有攝像頭。

晚點(diǎn)：你反對(duì)的是，有些廠商用了激光雷達(dá)，但沒(méi)有把視覺(jué)能力做好。

徐雷：對(duì)。你會(huì)看到，那些車的攝像頭也不少。理論上，裝了這么多攝像頭，還有激光雷達(dá)，智駕系統(tǒng)的能力不應(yīng)該比特斯拉差才對(duì)。

晚點(diǎn)：有些廠商說(shuō)，用激光雷達(dá)是為了在夜間、雨霧等場(chǎng)景下更快識(shí)別前方不規(guī)則障礙物，這樣更安全。你怎么看？

徐雷：我個(gè)人認(rèn)為，在漆黑的惡劣天氣下，建議不要行駛。這不適合自動(dòng)駕駛甚至人工駕駛。攝像頭有局限性，不過(guò)傳感器也在進(jìn)步，車上還可能有 4D 毫米波雷達(dá)等其它傳感器。激光雷達(dá)能看到的東西，其他傳感器也能看到，但能否準(zhǔn)確識(shí)別是個(gè)問(wèn)題，因?yàn)闀?huì)有誤報(bào)的挑戰(zhàn)。激光雷達(dá)在雨雪天氣也會(huì)受影響。

有這些傳感器當(dāng)然更好，但這涉及產(chǎn)品定義：我們的產(chǎn)品邊界在哪？到底要識(shí)別多大的障礙物？根據(jù)國(guó)家智能駕駛標(biāo)準(zhǔn)，視覺(jué)加 4D 毫米波的方案能夠解決這些問(wèn)題，并不一定要上激光雷達(dá)。

晚點(diǎn)：可以把 4D 毫米波雷達(dá)理解為小一號(hào)的激光雷達(dá)嗎？

徐雷：它們的原理還不太一樣，像是蘋果和橘子。

晚點(diǎn)：4D 毫米波雷達(dá)能提供一些攝像頭感知不到的環(huán)境要素。

徐雷：惡劣環(huán)境對(duì)它的影響非常小，甚至沒(méi)有影響。

晚點(diǎn)：特斯拉現(xiàn)在連 4D 毫米波雷達(dá)都不用，這是出于什么考量？

徐雷：馬斯克的想法很樸素：人開(kāi)車時(shí)，惡劣天氣下看到東西也會(huì)剎車，也不可能把每種場(chǎng)景都處理好。如果有這些傳感器當(dāng)然更好，但從馬斯克的角度，攝像頭就能達(dá)到要求：晚上有燈光，現(xiàn)在的 CMOS 傳感器進(jìn)光量大，也能看到很多東西。

晚點(diǎn)：相比國(guó)內(nèi)廠商，特斯拉的視覺(jué)能力大概高出多少？

徐雷：現(xiàn)在國(guó)內(nèi)頭部廠商基本在 10FPS（Frames Per Second，每秒幀數(shù)） 左右，特斯拉至少達(dá)到 20 多 FPS。

晚點(diǎn)：還有人覺(jué)得，有些廠商不用激光雷達(dá)是由于成本因素，但現(xiàn)在激光雷達(dá)的價(jià)格也不是很高。

徐雷：不一定是純價(jià)格原因。包括海外一些車企，他們可能覺(jué)得激光雷達(dá)難以布置，會(huì)影響車輛造型。

晚點(diǎn)：馬斯克還說(shuō)過(guò)，當(dāng)攝像頭和激光雷達(dá)的識(shí)別結(jié)果不一致時(shí)，聽(tīng)誰(shuí)的也是個(gè)問(wèn)題。

徐雷：這就是融合時(shí)的難點(diǎn)。兩個(gè)不同源的信息，到底信誰(shuí)，或者怎么綜合？

晚點(diǎn)：國(guó)內(nèi)用激光雷達(dá)的廠商解決這個(gè)問(wèn)題了嗎？

徐雷：大部分廠商還是更相信激光雷達(dá)，這可能是因?yàn)樗麄冞€沒(méi)有把視覺(jué)處理到比較好的狀態(tài)。有激光雷達(dá)至少能讓車先開(kāi)起來(lái)，只是遇到挑戰(zhàn)性場(chǎng)景時(shí)處理不好。在國(guó)內(nèi)，大家更關(guān)心如何讓智駕方案快點(diǎn)兒上車。

晚點(diǎn)：激光雷達(dá)廠商還在提高線數(shù)，比如從 128 線到 800 線，這對(duì)激光雷達(dá)的性能提升有多大幫助？

徐雷：增加線數(shù)是為了讓點(diǎn)云更密。在以前，地上的較小物體激光雷達(dá)可能探測(cè)不到；現(xiàn)在能被多個(gè)點(diǎn)覆蓋，識(shí)別效果肯定會(huì)更好，但相應(yīng)地，成本也會(huì)上升。

晚點(diǎn)：現(xiàn)在很多廠商都在做 “端到端”、VLA，這些新技術(shù)對(duì)數(shù)據(jù)的使用更重。他們使用的數(shù)據(jù)，主要就是攝像頭采集來(lái)的吧？

徐雷：這要看每一家廠商怎么定義。從數(shù)據(jù)角度，無(wú)論是傳統(tǒng) CNN 還是 Transformer、BEV，最開(kāi)始肯定是用實(shí)際采集來(lái)的數(shù)據(jù)。但越往后，如何通過(guò) AIGC 生成數(shù)據(jù)更重要，因?yàn)閷?duì)于一些極限場(chǎng)景，實(shí)際采集來(lái)的數(shù)據(jù)畢竟有限。

晚點(diǎn)：Nullmax 是怎么使用數(shù)據(jù)的？

徐雷：我們研發(fā)了一套數(shù)據(jù)驅(qū)動(dòng)的成長(zhǎng)系統(tǒng)。舉個(gè)例子，2021 年做海外項(xiàng)目時(shí)，不同國(guó)家交通標(biāo)識(shí)的差別很大，不可能開(kāi)車采集很長(zhǎng)里程。我們就想用 AI 生成方案，比如自動(dòng)把速度標(biāo)識(shí)貼到真實(shí)場(chǎng)景的正確位置，后來(lái)擴(kuò)展到生成不同顏色、距離的車輛，甚至生成視頻。在閉環(huán)仿真中調(diào)整規(guī)控策略，攝像頭視角的視頻也會(huì)相應(yīng)變化。

我們希望靠技術(shù)而非狂采數(shù)據(jù)，因?yàn)楹笳叱杀竞芨?。通過(guò)算法，用真實(shí)數(shù)據(jù)生成千變?nèi)f化的場(chǎng)景，同時(shí)覆蓋危險(xiǎn)場(chǎng)景。產(chǎn)生有效數(shù)據(jù)的能力本質(zhì)上是算法能力。算力也不是蠻干，用什么網(wǎng)絡(luò)架構(gòu)能大幅降低算力需求，這是有技術(shù)含量的，并不是完全拼誰(shuí)有錢買卡。

晚點(diǎn)：你在特斯拉自動(dòng)駕駛部門工作過(guò)。至今人們?nèi)哉J(rèn)為，特斯拉的智駕能力處于行業(yè)前列。特斯拉主要做對(duì)了哪些事情？

徐雷：第一性原理比較重要，就是即使有挑戰(zhàn)，也堅(jiān)持走正確的路。我們認(rèn)為，用激光雷達(dá)像拐棍或捷徑，能讓智駕系統(tǒng)快速實(shí)現(xiàn)量產(chǎn)上車，但最終要達(dá)到一定高度，還是要把視覺(jué) AI 能力做好，這沒(méi)那么急功近利。無(wú)論是視覺(jué)加激光雷達(dá)，還是視覺(jué)加毫米波雷達(dá)，首先要把視覺(jué)能力提到足夠高，這會(huì)決定系統(tǒng)上限。

題圖來(lái)源：視覺(jué)中國(guó)