哈嘍，大家好，今天小墨這篇科技解析，就帶大家聚焦浙大團隊的重磅研究，把人類當 “特殊機器人” 采集數(shù)據(jù)，底層空間感知技術究竟如何破解機器人訓練難題？

現(xiàn)在人形機器人越來越受關注，但想讓它們自主干活，先得解決一個關鍵問題，怎么精準“看懂”周圍環(huán)境？

浙大研究員彭思達在“世界模型”分論壇上，分享了通用空間感知技術的研究成果，不僅破解了這個難題，還提出了用人類行為數(shù)據(jù)訓練機器人的新思路。

機器人“看懂”世界難在哪

機器人要自己行動，得具備三個基礎“感知能力”，一是知道自己在哪（相機定位）。

二是清楚和周圍物體的距離（深度估計），三是能察覺物體動不動（物體運動估計）。

這三項能力就像機器人的“眼睛和大腦”，是它避開障礙、抓起東西、規(guī)劃路線的關鍵前提。

目前行業(yè)有兩個難解決的問題，一是復雜環(huán)境下感知不準，比如白天黑夜交替、熱成像和普通畫面混用的場景，傳統(tǒng)技術容易“失靈”，導致機器人“迷路”。

二是訓練數(shù)據(jù)不夠用，仿真數(shù)據(jù)和真實世界有差距，人工操控采集的數(shù)據(jù)又沒法大規(guī)模獲取。

彭思達團隊正是瞄準這兩個問題，一邊優(yōu)化底層感知技術，一邊找新的訓練數(shù)據(jù)獲取方式。

但目前行業(yè)有兩個繞不開的難題，復雜環(huán)境下“看不清”，比如白天黑夜切換、熱成像和普通畫面混用的場景，傳統(tǒng)技術容易出錯，導致機器人“迷路”。

訓練數(shù)據(jù)不夠用，仿真數(shù)據(jù)和真實世界有差距，人工操控采集的數(shù)據(jù)又沒法大規(guī)模獲取，拖累技術進步。

給機器人裝上“高清感知眼”

在相機定位上，傳統(tǒng)方法在紋理少、視角偏差大的場景下容易失效。

在“知道自己在哪”（相機定位）方面，傳統(tǒng)方法在紋理少、視角偏的場景下容易失效。

團隊用大模型替代傳統(tǒng)方式，解決了這個問題，后來推出的MatchAnything技術更厲害，能實現(xiàn)紅外和可見光、衛(wèi)星和無人機圖像的精準匹配，就算無人機夏天拍的衛(wèi)星圖、冬天去工作也能對應上，大大提升了遙感和自動駕駛的可靠性。

針對技術落地的問題，團隊還優(yōu)化了流程，讓三維重建更精準。

在“判斷距離”（深度估計）方面，團隊解決了行業(yè)通病，物體邊緣判斷不準的“飛點”問題。

通過優(yōu)化模型，能精準識別到遠處葉片的細節(jié)，還借鑒語言提示詞的思路，讓雷達數(shù)據(jù)輔助判斷絕對深度，提升機器人抓取成功率。

后續(xù)技術還解決了三維重建的裂痕問題，讓機器人能完成抓線纜這樣的精細活。

在此基礎上他們還借鑒語言提示詞技術，讓雷達數(shù)據(jù)作為“參考”輸入模型，實現(xiàn)了絕對深度輸出，提升了機器人抓取成功率。

后續(xù)的InfiniDepth方法，還解決了三維重建的裂痕問題，讓機器人能完成抓取線纜這樣的精細活。

把人類當“老師”，解決數(shù)據(jù)匱乏

除了技術優(yōu)化，團隊還有個大膽想法：人類本身就是“最厲害的機器人”，有完整的身體和成熟的行為模式。

如果能通過感知技術，把人類日常行動的數(shù)據(jù)記錄下來，就能直接用來訓練機器人，從根源上解決數(shù)據(jù)不夠的問題。

為了精準記錄人類行為，團隊研發(fā)了三維跟蹤技術。

和傳統(tǒng)的二維跟蹤容易丟目標不同，它能把圖像還原到三維空間，跟蹤更穩(wěn)定，讓“用人類數(shù)據(jù)練機器人”的想法能落地。

這些技術已經(jīng)能用到多個領域，自動駕駛中，幫車輛更好地應對復雜路況，減少極端天氣事故。

遙感領域，讓無人機精準匹配地形，助力測繪和災害監(jiān)測；工業(yè)場景里，提升機器人抓取、裝配的精度，推動智能制造。

這些成果離不開浙大在相關領域的積累，團隊研發(fā)的開源工具還獲得了2024年相關行業(yè)獎項。

底層空間感知技術是機器人變智能的關鍵。

彭思達團隊的研究，既解決了機器人“看不清”的問題，又找到了新的訓練方法，為機器人商業(yè)化指明了方向。

未來隨著技術落地，機器人會更精準靈活地融入生活，浙大等科研機構(gòu)的深耕也會助力中國在這一領域保持優(yōu)勢。