上海交通大學研究團隊提出了一種融合無人機物理建模與深度學習的端到端方法，實現(xiàn)了輕量、可部署、可協(xié)同的無人機集群自主導航方案，其魯棒性和機動性大幅領先現(xiàn)有方案。

想象一下：在未知森林、城市廢墟甚至障礙密布的室內空間，一群無人機像飛鳥般快速穿梭，不依賴地圖、不靠通信、也無需昂貴設備。這一設想，如今成為現(xiàn)實！

上海交通大學研究團隊提出了一種融合無人機物理建模與深度學習的端到端方法，該研究首次將可微分物理訓練的策略成功部署到現(xiàn)實機器人中，實現(xiàn)了一套真正意義上的「輕量、可部署、可協(xié)同」無人機集群端到端自主導航方案，并在魯棒性、機動性上大幅領先現(xiàn)有的方案。

該成果已于《Nature Machine Intelligence》在線發(fā)表，其中張宇昂碩士、胡瑜、宋運龍博士為共同第一作者，鄒丹平與林巍峣教授為通訊作者。

核心理念 大道至簡

過去的無人機自主導航往往依賴：

• 高復雜度定位與建圖、軌跡規(guī)劃與生成、軌跡跟蹤等串聯(lián)模塊算法設計

• 昂貴笨重傳感器+高性能CPU/GPU計算平臺

• 多機間通信或集中規(guī)劃

研究團隊提出的新方法設法探索出一條嶄新的途徑：使用12×16超低分辨率深度圖作為輸入，使用僅3層CNN的超小神經網絡實現(xiàn)端到端自主飛行，可部署于150元廉價嵌入式計算平臺。

該方法拋棄了復雜無人機動力學，用極簡質點動力學模型，通過可微物理引擎訓練端到端網絡。

最終實現(xiàn)「訓練一次，多機共享權重」，零通信協(xié)同飛行！

驚艷表現(xiàn) 現(xiàn)實世界中疾馳穿越

在單機場景中，將網絡模型部署在無人機上后在不同的真實環(huán)境中進行測試，包括樹林、城市公園，以及含有靜態(tài)和動態(tài)障礙的室內場景。

該網絡模型在未知復雜環(huán)境中的導航成功率高達90%，相比現(xiàn)有最優(yōu)方法展現(xiàn)出更強的魯棒性。

在真實樹林環(huán)境中，無人機飛行速度高達20米/秒，是基于模仿學習的現(xiàn)有方案速度的兩倍。所有測試環(huán)境均實現(xiàn)zero-shot零樣本遷移。該系統(tǒng)無需GPS或者VIO提供定位信息即可運行，并能適應動態(tài)障礙物。

圖1 |多機飛行。

多機協(xié)同場景中，將網絡模型部署到6架無人機上執(zhí)行同向穿越復雜障礙和互換位置任務。

該策略在同向穿越門洞、動態(tài)障礙物和復雜靜態(tài)障礙物的場景中展示了極高的魯棒性。在多機穿越門洞互換位置的實驗中，展現(xiàn)出了無需通信或集中規(guī)劃的自組織行為。

圖2 |多機自組織協(xié)作。

圖3 |動態(tài)避障。

思路關鍵 嵌入物理原理，無人機「自己學會飛」

端到端可微仿真訓練：策略網絡直接控制無人機運動，通過物理模擬器實現(xiàn)反向傳播。

輕量設計：整套端到端網絡參數(shù)僅2MB，可部署在150元的計算平臺（不到GPU方案的5%成本）。

高效訓練：在RTX 4090顯卡上僅需2小時即可收斂。

圖4 |低成本算力平臺。

訓練總體框架如下圖所示，通過與環(huán)境交互來訓練策略網絡，在每一個時間步，策略網絡接收深度圖像作為輸入，并通過策略網絡輸出控制指令（推力加速度和偏航角）。

可微物理模擬器根據(jù)控制指令模擬無人機的質點運動，進行狀態(tài)更新：

在新的狀態(tài)下可以渲染新的深度圖像并計算代價函數(shù)。

代價函數(shù)由多個子項組成，包括速度跟蹤項、避障項、平滑項等。在軌跡采集完畢后，代價函數(shù)可通過鏈式法則（圖1中紅色箭頭）計算梯度實現(xiàn)反向傳播，從而直接優(yōu)化策略參數(shù)。

「簡約即美」的訓練訣竅

• 簡單模型：使用質點動力學替代復雜飛行器建模。

• 簡單圖像：低分辨率渲染 + 顯式幾何建模，提升仿真效率。

• 簡單網絡：三層卷積 + GRU時序模塊，小巧高效。

此外，訓練過程中通過引入局部梯度衰減機制，有效解決訓練中梯度爆炸問題，讓無人機“專注于眼前”的機動策略自然涌現(xiàn)。

方法對比 強化學習、模仿學習，還是物理驅動？

當前具身智能的主流訓練范式主要分為兩類：強化學習（Reinforcement Learning, RL）與模仿學習（Imitation Learning, IL）。然而，這兩類方法在效率與可擴展性方面均存在明顯瓶頸：

強化學習（如PPO） 多采用 model-free 策略，完全不考慮環(huán)境或控制對象的物理結構，其策略優(yōu)化主要依賴基于采樣的策略梯度估計，這不僅導致數(shù)據(jù)利用率極低，還嚴重影響訓練的收斂速度與穩(wěn)定性。

模仿學習（如Agile[Antonio et al.(2021)]）則依賴大量高質量的專家演示作為監(jiān)督信號。獲取這類數(shù)據(jù)通常代價昂貴，且難以覆蓋所有可能場景，從而影響模型的泛化能力及擴展性。

相比之下，該研究提出的基于可微分物理模型的訓練框架，有效融合了物理先驗與端到端學習的優(yōu)勢。

通過將飛行器建模為簡單的質點系統(tǒng)，并嵌入可微分仿真過程，能夠直接對策略網絡的參數(shù)進行梯度反向傳播，從而實現(xiàn)高效、穩(wěn)定且物理一致的訓練過程。

研究在實驗中系統(tǒng)對比了三種方法（PPO、Agile、本研究方法），主要結論如下：

訓練效率：在相同硬件平臺上，本方法在約2小時內即可實現(xiàn)收斂，訓練時

遠低于PPO與Agile所需的訓練周期。、數(shù)據(jù)利用率：僅使用約10%的訓練數(shù)據(jù)量，本方法在策略性能上就超越了使用全量數(shù)據(jù)的PPO+GRU方案。

收斂性能：在訓練過程中，本方法展現(xiàn)出更低的方差與更快的性能提升，收斂曲線顯著優(yōu)于兩類主流方法。

部署效果：在真實或近似真實的避障任務中，本方法的最終避障成功率顯著高于PPO與Agile，表現(xiàn)出更強的魯棒性與泛化能力。

這一對比結果不僅驗證了“物理驅動”的有效性，也表明：當我們?yōu)橹悄荏w提供正確訓練方法時，強智能不一定需要海量數(shù)據(jù)與昂貴試錯。

圖5 | 該研究方法以10%的訓練數(shù)據(jù)量即超過現(xiàn)有方法(PPO+GRU)，收斂性能遠高于現(xiàn)有方法。

圖6 |模型部署避障成功率對比。

霧里看花 可解釋性探究

盡管端到端神經網絡在自主飛行避障任務中表現(xiàn)出強大性能，其決策過程的不透明性仍是實際部署中的一大障礙。

為此，研究人員引入Grad-CAM激活圖工具，對策略網絡在飛行過程中的感知注意力進行了可視化分析。

圖7展示了不同飛行狀態(tài)下輸入的深度圖（上排）及其對應的激活圖（下排）。

圖7 |通過觀察激活圖，激活區(qū)域與最危險障礙強相關。

可以觀察到，網絡的高響應區(qū)域高度集中在飛行路徑中最可能發(fā)生碰撞的障礙物附近，例如樹干、柱體邊緣。這表明，盡管訓練過程中沒有顯式監(jiān)督這些“危險區(qū)域”，網絡已自發(fā)學會將注意力集中在潛在風險最大的區(qū)域上。這一結果傳遞出兩個重要信息：

網絡不僅在行為層面實現(xiàn)了成功避障，其感知策略本身也具有一定的結構合理性與物理解釋性；而可解釋性工具也有助于我們進一步理解端到端策略背后的「隱性規(guī)則」。

思考與啟發(fā) 大模型時代中的「小模型」

在這個幾乎一切技術路徑都奔向「大」的時代，基礎模型、通用智能、Scaling Law正逐漸成為信仰。

人們談論的是參數(shù)規(guī)模、數(shù)據(jù)體量、計算資源——仿佛智能的本質就在于“越大越好”，而“小”則成了被遺忘的方向，甚至被誤解為「不足為道」。

然而，自然界從不遵循單一尺度的美學。

它既孕育了人類這樣擁有億級神經元的智慧生物，也賦予了果蠅、螞蟻、蜜蜂等微小生靈以驚人的生存智慧。

它們不靠算力、不依賴高精度傳感器，卻能在復雜世界中做出迅速而精妙的反應。這種“生存意義上的智能”，或許恰是我們今日在追求「強智能」時最容易忽略的維度。

從該研究中，可以得到了三個深刻的啟發(fā)：

1）小模型有其存在的合理性，甚至是理解「大模型」的入口

人類認知系統(tǒng)復雜而龐大，但理解人類大腦的第一步，并不是直接對人腦建模，而是回到果蠅這樣神經回路清晰、結構機制簡單的生物個體。從某種意義上說，果蠅不僅不是神經科學的例外，它是神經科學的起點。

同樣道理，小模型不是大模型的對立面，而是其結構理解與機制抽象的鏡像反射。它們提供了一個更透明的窗口，讓我們看清決策、感知與控制之間最本質的耦合關系。在這項工作中，我們用一個參數(shù)量不到2MB的小網絡，實現(xiàn)了多機間無需通信的自組織協(xié)同。這不僅是工程簡約的勝利，更是系統(tǒng)智慧本源的回歸。

2）不是所有智能都必須建立在大規(guī)模數(shù)據(jù)之上

我們在一個完全仿真的世界中采集數(shù)據(jù)——沒有龐大的數(shù)據(jù)集，沒有互聯(lián)網語料，也沒有數(shù)百萬小時的飛行日志。

相反，只依靠可控、可微的物理引擎，用少量任務場景與目標函數(shù)，在一個僅由簡單幾何體構成的仿真環(huán)境中就訓練出了能在現(xiàn)實世界中零樣本遷移、應對復雜障礙的小型基于視覺的飛行控制策略。

這是一種反常識的成果。它提醒我們，智能的來源不必拘泥于數(shù)據(jù)體量的絕對值，而更應關注「結構匹配」與「機制嵌入」。

一個真正懂物理的網絡，也許比一個背誦萬卷飛行日志的網絡更可靠。

3）粗糙的感知，也能支撐精準的智能行為

果蠅的視覺系統(tǒng)由約800個簡單的復眼構成，其成像能力甚至不及低配監(jiān)控攝像頭。然而就是這樣一個「低分辨率生物」，可以在高速飛行中完成復雜的空間規(guī)避、空中懸停與捕食等任務。精度低，并不等于智能低。

我們也使用了類似“果蠅之眼”的設置：12×16分辨率的深度圖像輸入，結合簡單的物理模型和策略網絡，就能驅動無人機以高達20米/秒的速度自主飛行。這一實驗結果無聲地提出了一個顛覆性假設：

真正決定導航能力的，并非傳感器的精度，而是智能體對物理世界的內在理解程度。

或許未來的智能，不再是一味「堆大」，而是對「小」的重新理解與深度挖掘。

后續(xù)研究 端到端單目自主FPV無人機

研究團隊后續(xù)改進與拓展了可微物理引擎框架與訓練方法，進一步實現(xiàn)了國際首個基于單目FPV攝像頭的端到端視覺避障系統(tǒng)，在真實室外環(huán)境中實現(xiàn)最高6m/s飛行速度，無需建圖即可自主導航，該研究已在《

IEEE Robotics and Automation Letters

圖8 |端到端FPV（第一人稱視角攝像頭）自主飛行。

參考資料：

Hu, Yu, Yuang Zhang, Yunlong Song, Yang Deng, Feng Yu, Linzuo Zhang, Weiyao Lin, Danping Zou, and Wenxian Yu. "Seeing Through Pixel Motion: Learning Obstacle Avoidance From Optical Flow With One Camera," in IEEE Robotics and Automation Letters, vol. 10, no. 6, pp. 5871-5878, June 2025, doi: 10.1109/LRA.2025.3560842.

本文來源：FUTURE遠見；版權歸原作者所有，轉載目的在于傳遞更多信息，傳播相關技術知識；若侵犯了您的合法權益，請及時系我們，我們將根據(jù)著作權人的要求，及時更正、刪除或協(xié)商許可使用事宜，謝謝

中小學無人機課程代理咨詢

張老師

彭老師

劉老師

王老師

全國服務熱線：010-62483008