北京
文章來源：鼓搗AI。
一、研究動機 現(xiàn)有方法的局限性
盡管自主無人機競速(ADR)已達到冠軍級水平，但存在三大核心問題：
1.高度專用化：依賴門角檢測、PnP算法、精確的相機標定和手工調(diào)參的卡爾曼濾波器
2.泛化能力差：無法適應(yīng)未知賽道、不同無人機或非結(jié)構(gòu)化環(huán)境
3.端到端視覺方法的缺陷：
? 現(xiàn)有方法都需要外部輔助（如動作捕捉系統(tǒng)）
?無法機載運行
?未達到冠軍級性能（加速度僅2-2.7g）
挑戰(zhàn)
視覺現(xiàn)實差距
仿真圖像與真實圖像差異大
視覺歧義
相似場景需要不同飛行路徑
可解釋性
端到端黑盒模型難以調(diào)試
相機標定
外參標定耗時且易變化
論文鏈接：https://arxiv.org/pdf/2510.14783v1.pdf
? 頂部圖片：真實飛行場景，展示MAVLab門和飛行軌跡
? 底部左圖：使用的競速無人機（與A2RL x DCL 2025比賽相同）
? 底部右圖：機載相機拍攝的圖像，紅色區(qū)域為GateNet生成的分割掩碼
SkyDreamer的核心思想是將模型強化學(xué)習(xí)與特權(quán)信息（privileged information）巧妙結(jié)合。它基于DreamerV3的模型強化學(xué)習(xí)框架構(gòu)建，但做了關(guān)鍵擴展：讓世界模型不僅預(yù)測未來，還要解碼出那些只在訓(xùn)練時可用的"特權(quán)信息"——包括精確的位置、速度、姿態(tài)角，以及相機外參和無人機動力學(xué)參數(shù)。這個設(shè)計看似簡單，卻帶來了革命性的變化：世界模型不再是一個純粹的黑盒預(yù)測器，而是變成了一個隱式的狀態(tài)和參數(shù)估計器。
觀察 → 編碼器 → 隱藏狀態(tài) → 解碼器 → 特權(quán)信息
標準DreamerV3? 彩色方塊：編碼器輸入（觀察）
? enc：編碼器
? dec：解碼器
? zt：離散潛在表示
? ht：隱藏狀態(tài)
? at：動作
? 紫色箭頭：序列模型的時序連接
關(guān)鍵組件：
1.世界模型（World Model）
?編碼器: 將分割掩碼、IMU、電機轉(zhuǎn)速編碼為離散表示
zt?序列模型: GRU預(yù)測下一隱藏狀態(tài)
h_{t+1}?動態(tài)預(yù)測器: 純粹從
ht預(yù)測?t（用于想象rollout）?解碼器: 從
(ht, zt)解碼出真實狀態(tài)和參數(shù)
SkyDreamer世界模型學(xué)習(xí)? 齒輪+相機圖標：特權(quán)信息解碼輸出
? dyn：動態(tài)預(yù)測器
2.Actor-Critic
? Actor直接輸出電機命令（非集體推力+姿態(tài)速率）
? 添加平滑正則化防止bang-bang控制
SkyDreamer Actor-Critic學(xué)習(xí)? 想象rollout：僅使用動態(tài)預(yù)測器，無環(huán)境反饋
解決視覺歧義問題：
f_i = [ p_g^i - p_g^{i-1}, # 相對位置差 ψ_g^i - ψ_g^{i-1}, # 相對偏航角 p_g^i, ψ_g^i, # 絕對位置和偏航 ..., # 未來3個門的信息 p_g^{i+2}, ψ_g^{i+2} ]觸發(fā)條件：當估計的門相對位置x?_g > -0.15m時更新門索引
② 視覺增強（Visual Augmentation）
StochGAN + 數(shù)據(jù)增強：
1.CycleGAN變體：將理想分割掩碼轉(zhuǎn)換為真實質(zhì)量掩碼
2.隨機腐蝕：50%概率腐蝕1像素模擬掩碼變薄
3.滾動快門模擬：
A = [1, -s·r_c, W/2·s·r_c ] [0, 1+s·q_c, -H/2·s·q_c ]模擬水平剪切和垂直縮放
?內(nèi)參標定：所有圖像映射到固定針孔模型
?外參在線估計：世界模型解碼相機俯仰角、橫滾角、偏航角
核心公式：
K = [25W/64, 0, 0.5W ] [ 0, 25H/64, 0.5H ] [ 0, 0, 1 ]指標
數(shù)值
最高速度
13 m/s
最大加速度
6 g
飛行區(qū)域
6×4 m
位置估計誤差
±10-15 cm
速度估計誤差
±0.5 m/s
仿真梯子倒環(huán)賽道
左圖（俯視圖）
? 黑色線：ground truth軌跡
? 彩色線：SkyDreamer估計的位置和速度
? 顏色編碼：速度大?。ㄗ仙?m/s → 黃色12m/s）
? 黑色方塊：門位置（厚度夸張顯示）
? 黑色箭頭：相機主軸方向
右圖（側(cè)視圖 + 3D渲染）
? 彩色軌跡：ground truth位置和速度
? 顏色條：速度刻度（0-12 m/s）
賽道
成功率
平均圈速
最高速度
最大加速度
倒環(huán)(橙色門)
100% (25/25圈)
3.25±0.22s
13 m/s
6 g
梯子倒環(huán)
100% (25/25圈)
3.62±0.06s
6 g
倒環(huán)(MAVLab門)
100% (25/25圈)
2.97±0.08s
大賽道
83% (10/12圈)
21 m/s
6 g
真實世界倒環(huán)賽道（橙色門）
左側(cè)軌跡圖
? 黑色線：MoCap ground truth
? 彩色線：SkyDreamer估計
? 顏色編碼：速度（紫色2m/s → 黃色12m/s）
? 黑色方塊：門位置（厚度夸張）
? 黑色箭頭：相機主軸方向
右側(cè)合成圖
? 多條疊加軌跡：5圈飛行的疊加
? 展示軌跡在門中心的匯聚
成功估計的參數(shù)：
? ? 最大電機轉(zhuǎn)速
ω_max（收斂快，誤差?。?/p>? ? 推力系數(shù)
k_w? ? 電機響應(yīng)時間
τ? ? 相機外參
θ_c, φ_c, ψ_c（±1°）
難以估計的參數(shù)：
? ? 阻力系數(shù)
k_x? ?? 單個螺旋槳響應(yīng)
k_{p1}, k_{q1}（有漂移）
實驗場景：電池從滿電到30%放電
? 最大轉(zhuǎn)速下降：3200 → 2200 rad/s（降低30%，超出訓(xùn)練范圍±20%）
?結(jié)果：SkyDreamer實時檢測并調(diào)整飛行路徑，仍完成所有圈數(shù)
MAVLab門實驗：
? 分割質(zhì)量差：門邊緣不完整、背景誤檢、形狀圓潤
?結(jié)果：仍100%完成25圈，證明對感知噪聲魯棒
方法
機載運行
Sim-to-Real
冠軍級性能
可解釋性
Kaufmann等[1]
? (6g)
Geles等[4]
? (2g)
Xing等[5]
? (HIL)
? (2.7 TWR)
Romero等[6]
? (HIL)
??
Krinner等[7]
? (HIL)
SkyDreamer
? (6g)
四、技術(shù)細節(jié) 4.1 訓(xùn)練設(shè)置
三階段訓(xùn)練（1700萬步，約50小時）：
1.預(yù)熱階段（0-800萬步）：默認DreamerV3設(shè)置
2.長序列階段（800-1300萬步）：batch length從64→256
3.精調(diào)階段（1300-1700萬步）：降低熵系數(shù)和學(xué)習(xí)率
關(guān)鍵超參數(shù)：
γ = 0.997 # 折扣因子 λ_smooth = 0.002 # 平滑正則化系數(shù) control_freq = 90 Hz image_size = 64×64r_t = 5·r_prog - r_rate + 30·r_gate r_prog = ||p_{t-1,g}||_2 - ||p_{t,g}||_2 # 進度獎勵 r_rate = exp(min(||Ω_t||_1, 17))/2·f_c·10^5 # 角速度懲罰 r_gate = 1 - max(|y_g|, |z_g|)/d_g # 穿門獎勵（中心最大）無感知獎勵：相機自然朝向門（涌現(xiàn)行為）
五、結(jié)論與啟示 主要貢獻
1.首個端到端視覺→電機命令的ADR策略
2.首次達到冠軍級性能（6g加速度，21 m/s速度）
3.首次實現(xiàn)全機載、無外部輔助的端到端視覺ADR
4. 通過解碼特權(quán)信息實現(xiàn)可解釋性
5. 無需外參標定，可快速部署到不同無人機
1. ?? 參數(shù)估計存在漂移
2. ?? 狀態(tài)估計有高頻跳變
3. ?? 對分割假陽性仍敏感
4. ?? 訓(xùn)練成本高（50小時）
? 擴展到深度圖等更通用視覺輸入
? 飛行未見賽道
? 泛化到非結(jié)構(gòu)化環(huán)境
? 結(jié)合障礙物避讓的混合任務(wù)
"通過讓世界模型解碼特權(quán)信息，我們將黑盒端到端策略轉(zhuǎn)變?yōu)殡[式狀態(tài)和參數(shù)估計器，在保持端到端學(xué)習(xí)優(yōu)勢的同時獲得了可解釋性。"
這項工作證明了模型強化學(xué)習(xí) + 特權(quán)信息解碼是實現(xiàn)高性能、可解釋、魯棒的端到端視覺機器人控制的有效范式。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
