題目：Agentic AI in Remote Sensing: Foundations, Taxonomy, and Emerging Systems

論文：https://arxiv.org/abs/2601.01891

單位：美國(guó)克萊姆森大學(xué)

年份：2025

摘要與引言

本文是首個(gè)關(guān)于遙感領(lǐng)域智能體AI的綜合綜述。文章指出，地球觀測(cè)分析正在從靜態(tài)深度學(xué)習(xí)模型向自主智能體AI轉(zhuǎn)變。盡管視覺(jué)基礎(chǔ)模型和多模態(tài)大語(yǔ)言模型在表示學(xué)習(xí)方面取得進(jìn)展，但它們往往缺乏復(fù)雜地理空間工作流所需的順序規(guī)劃和主動(dòng)工具編排能力。

遙感基礎(chǔ)模型: 介紹和局限性

視覺(jué)基礎(chǔ)模型

• 域適應(yīng)策略：針對(duì)多光譜/高光譜、SAR、熱紅外等RS特有模態(tài)進(jìn)行適配

• 自監(jiān)督方法：

• • 對(duì)比學(xué)習(xí)：Seasonal Contrast、Geography-Aware SSL、SatMAE-CL 等

  • 掩碼圖像建模：SatMAE、RingMo 等

局限：

• 優(yōu)先低層紋理而非全局空間結(jié)構(gòu)：MAE風(fēng)格的RS模型往往關(guān)注局部紋理，忽視整體空間關(guān)系

• 分布偏移下魯棒性差：在不同數(shù)據(jù)分布下性能下降

• 嚴(yán)重依賴(lài)標(biāo)注數(shù)據(jù)：需要針對(duì)特定任務(wù)進(jìn)行微調(diào)

• 任務(wù)特定性：每個(gè)模型只能做一件事（分類(lèi)、分割、檢測(cè)等）

多模態(tài)基礎(chǔ)模型

• RS-MLLM架構(gòu)：結(jié)合EO專(zhuān)用視覺(jué)編碼器、對(duì)齊模塊和語(yǔ)言模型

• 代表系統(tǒng)：GeoChat、LHRS-Bot、RS-LLaVA、SkySenseGPT、RingMo-GPT等

• 支持任務(wù)：圖像描述、視覺(jué)問(wèn)答、場(chǎng)景理解、定位等

局限：

• 無(wú)長(zhǎng)期記憶：無(wú)法維護(hù)工作流上下文

• 無(wú)順序規(guī)劃能力：不能分解和執(zhí)行多步驟任務(wù)

• 無(wú)動(dòng)態(tài)工具交互：不能主動(dòng)調(diào)用地理空間庫(kù)和工具

單智能體系統(tǒng)

• 本質(zhì)：一個(gè)AI大腦完成所有工作

• 就像一個(gè)全能助手，用戶(hù)提出需求后，這個(gè)智能體獨(dú)自負(fù)責(zé)理解問(wèn)題、制定計(jì)劃、調(diào)用工具、執(zhí)行任務(wù)、生成結(jié)果。整個(gè)過(guò)程是集中式?jīng)Q策，沒(méi)有其他智能體參與。

• 典型工作流程： 用戶(hù)說(shuō)"分析這片森林的健康狀況" → 智能體理解意圖 → 規(guī)劃需要哪些步驟 → 依次調(diào)用圖像分割工具、LiDAR分析工具、知識(shí)庫(kù)查詢(xún) → 綜合生成報(bào)告。

• 三個(gè)子類(lèi)型：

• • 通用copilot能處理各種常見(jiàn)任務(wù)但不夠?qū)I(yè)

  • 領(lǐng)域?qū)Ｓ胊ssistant在特定領(lǐng)域很強(qiáng)但范圍有限

  • embodied agent則直接控制無(wú)人機(jī)或衛(wèi)星等物理設(shè)備

• 優(yōu)勢(shì)： 架構(gòu)簡(jiǎn)單、響應(yīng)快、成本低。劣勢(shì)： 處理復(fù)雜任務(wù)時(shí)容易力不從心，難以整合高度專(zhuān)業(yè)化的知識(shí)。

多智能體系統(tǒng)

• 本質(zhì)：多個(gè)AI專(zhuān)家分工協(xié)作

• 就像一個(gè)專(zhuān)家團(tuán)隊(duì)，每個(gè)智能體扮演不同角色，有的負(fù)責(zé)規(guī)劃、有的負(fù)責(zé)執(zhí)行、有的負(fù)責(zé)驗(yàn)證。它們通過(guò)顯式的通信和協(xié)商來(lái)共同完成復(fù)雜任務(wù)。

• 典型工作流程： 用戶(hù)說(shuō)"評(píng)估礦產(chǎn)勘探潛力" → 規(guī)劃智能體分解任務(wù) → 多個(gè)判斷智能體從不同角度分析地質(zhì)數(shù)據(jù) → 決策智能體綜合所有意見(jiàn)并處理分歧 → 輸出最終評(píng)估報(bào)告。

• 四種協(xié)作模式：

• • planner-worker 架構(gòu)是最常見(jiàn)的老板-員工關(guān)系；

  • expert committee 讓多個(gè)平等的專(zhuān)家各抒己見(jiàn)后投票決策；

  • platform orchestration 用meta-agent調(diào)度各種專(zhuān)業(yè)子智能體；

  • embodied multi-agent 讓每個(gè)衛(wèi)星或無(wú)人機(jī)作為獨(dú)立決策單元協(xié)同工作。

• 優(yōu)勢(shì)： 可以處理高度復(fù)雜的任務(wù)、整合異構(gòu)專(zhuān)業(yè)知識(shí)、支持并行處理、更容錯(cuò)。劣勢(shì)： 系統(tǒng)復(fù)雜、協(xié)調(diào)開(kāi)銷(xiāo)大、成本高、可能出現(xiàn)智能體間的不一致。

總結(jié)表格

基準(zhǔn)測(cè)試與評(píng)估

數(shù)據(jù)集與基準(zhǔn)

預(yù)訓(xùn)練與指令調(diào)優(yōu)數(shù)據(jù)集

• RS-VL3M（數(shù)百萬(wàn)多模態(tài)圖像-文本對(duì)）

• RemoteCLIP（mask-to-caption管道）

• GeoRSMLLM、LHRS-Bot-Nova、OmniGeo（指令調(diào)優(yōu)）

地理空間規(guī)劃與工具使用基準(zhǔn)

• GeoLLM-Engine（任務(wù)環(huán)境+狀態(tài)驗(yàn)證）

• GeoCode（19,000任務(wù)，28庫(kù)）

• GeoBenchX（多步推理+認(rèn)知覺(jué)知）

• GTChain-Eval、GeoGraphRAG

推理與安全基準(zhǔn)

• 推理：Earth-Bench、ThinkGeo、MineBench、RescueADI

• MLLM專(zhuān)用：GeoChat、LHRS-Bench（空間關(guān)系推理）

• 向量操作：ShapefileGPT、GeoJSON Agents

• 安全評(píng)估：CORE、ToolEmu（全路徑驗(yàn)證+有害調(diào)用檢測(cè)）

評(píng)估方法

評(píng)估范式轉(zhuǎn)變：

• 從端到端到全路徑：CORE用DFA檢測(cè)禁止轉(zhuǎn)換，Earth-Agent/ThinkGeo雙層驗(yàn)證（程序+語(yǔ)義）

多層次指標(biāo)：

• 推理過(guò)程：Tool Accuracy、Argument Accuracy（逐步驗(yàn)證）

• 代碼生成：Pass@k、Task Completion Rate、失敗類(lèi)型分析（API幻覺(jué)、停滯循環(huán)）

• 感知質(zhì)量：F1-score、mAP@0.5、accuracy、relative error

• 誤差傳播：Mean-square percentage error（智能體錯(cuò)誤對(duì)地球物理產(chǎn)品的影響）

智能體需要三個(gè)支撐系統(tǒng)：

一、知識(shí)層（RAG）

問(wèn)題： LLM不懂遙感專(zhuān)業(yè)知識(shí)。

解決： 建立知識(shí)庫(kù)，智能體執(zhí)行任務(wù)時(shí)動(dòng)態(tài)檢索相關(guān)信息。

作用： 讓智能體知道"該怎么做"。

二、工具層

問(wèn)題： 智能體需要實(shí)際操作數(shù)據(jù)和軟件。

解決： 集成幾十到上百個(gè)遙感處理工具，提供統(tǒng)一調(diào)用接口。

作用： 讓智能體真正"能干活"。

三、內(nèi)存層

問(wèn)題： 復(fù)雜任務(wù)需要多步驟，必須記住中間結(jié)果。

解決： 建立記憶系統(tǒng)，保存執(zhí)行歷史和成功經(jīng)驗(yàn)。

作用： 讓智能體"記得住"，避免重復(fù)勞動(dòng)。

應(yīng)用領(lǐng)域

• 地球觀測(cè)助手：RS-Agent、GIS Copilot等民主化RS數(shù)據(jù)訪(fǎng)問(wèn)

• 森林與生態(tài)監(jiān)測(cè)：TREE-GPT自動(dòng)化樹(shù)冠分割、生物量估算

• 氣候與地球系統(tǒng)服務(wù)：Earth AI、DA4DTE支持災(zāi)害預(yù)測(cè)

• 野火與災(zāi)害監(jiān)測(cè)：融合衛(wèi)星檢測(cè)與天氣數(shù)據(jù)模擬火災(zāi)蔓延

• 城市變化監(jiān)測(cè)：Change-Agent動(dòng)態(tài)選擇分割/計(jì)數(shù)工具

• 地圖設(shè)計(jì)與規(guī)劃：CartoAgent、WALMAS自動(dòng)化制圖設(shè)計(jì)

• 地質(zhì)制圖與礦產(chǎn)勘探：STA-CoT、MineAgent跨圖像驗(yàn)證

• 衛(wèi)星調(diào)度與無(wú)人機(jī)任務(wù)：多智能體強(qiáng)化學(xué)習(xí)優(yōu)化觀測(cè)調(diào)度

當(dāng)前局限

• 地理空間定位有限：主要處理RGB圖像，對(duì)光譜產(chǎn)品、SAR支持不足

• 工具編排脆弱：工具選擇和參數(shù)格式化錯(cuò)誤

• 淺層時(shí)間記憶：缺乏結(jié)構(gòu)化、可查詢(xún)的多時(shí)相存儲(chǔ)

• 評(píng)估協(xié)議碎片化：缺乏統(tǒng)一的規(guī)劃質(zhì)量、感知精度和安全性評(píng)估

• 計(jì)算約束：依賴(lài)大型專(zhuān)有LLM和云基礎(chǔ)設(shè)施

未來(lái)方向

方向一：基礎(chǔ)模型與內(nèi)存

• 核心思路： 專(zhuān)門(mén)為遙感從零構(gòu)建模型，而不是改造通用模型。

• 要做的事：

• • 開(kāi)發(fā)能同時(shí)處理光學(xué)、SAR、熱紅外等多傳感器的原生編碼器

  • 集成物理模型和模擬器，連接原始數(shù)據(jù)到科學(xué)推理

  • 建立分層內(nèi)存系統(tǒng)，融合向量存儲(chǔ)、知識(shí)圖譜、工作流記錄

  • 需要開(kāi)放研究平臺(tái)支持透明實(shí)驗(yàn)

• 目標(biāo)： 讓智能體真正"懂"遙感數(shù)據(jù)。

方向二：安全、效率與公平

• 核心思路： 把可靠性和實(shí)用性作為首要目標(biāo)。

• 要做的事：

• • 設(shè)計(jì)更嚴(yán)格的壓力測(cè)試（分布偏移、對(duì)抗攻擊、不可解查詢(xún)）

  • 標(biāo)準(zhǔn)化安全評(píng)估指標(biāo)（軌跡正確性、有害調(diào)用率）

  • 開(kāi)發(fā)更小的模型，能在邊緣設(shè)備本地部署

  • 降低對(duì)大型云服務(wù)的依賴(lài)

• 目標(biāo)： 讓智能體從實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用，既可靠又可用。

更多圖文內(nèi)容請(qǐng)查看原文

來(lái)源：遙感與深度學(xué)習(xí)