文章來源：我愛計(jì)算機(jī)視覺（ID：aicvml）

今天，我們來聊一篇遙感領(lǐng)域的新工作，它來自香港大學(xué)、北京理工大學(xué)和特拉華大學(xué)的研究團(tuán)隊(duì)。他們共同提出了一個(gè)名為 UniTS 的模型，這個(gè)名字是 Unified Time Series 的縮寫，意為“統(tǒng)一的時(shí)間序列模型”。顧名思義，它的核心亮點(diǎn)就是“統(tǒng)一”。

在遙感領(lǐng)域，我們經(jīng)常需要處理各種時(shí)間序列數(shù)據(jù)，比如分析地表植被的季節(jié)性變化、重建被云層遮擋的區(qū)域、或是預(yù)測未來的土地覆蓋情況。通常，這些任務(wù)——例如時(shí)間序列重建、去云、語義變化檢測和預(yù)測——都需要設(shè)計(jì)和訓(xùn)練各自專用的模型，這不僅耗時(shí)耗力，而且模型之間無法共享知識。

而 UniTS 的出現(xiàn)，正是為了打破這種“一任務(wù)一模型”的傳統(tǒng)范式。它提供了一個(gè)通用的生成式框架，第一次實(shí)現(xiàn)用一個(gè)模型統(tǒng)一處理上述四大核心時(shí)間序列任務(wù)，并且在各項(xiàng)任務(wù)上都取得了當(dāng)前最佳（SOTA）的性能。這無疑為遙感智能解譯領(lǐng)域帶來了新的想象空間。

• 
  

  論文標(biāo)題 : UniTS: Unified Time Series Generative Model for Remote Sensing

• 所屬機(jī)構(gòu) : 香港大學(xué)、北京理工大學(xué)、美國特拉華大學(xué)

• 論文地址 : https://arxiv.org/abs/2512.04461

• 項(xiàng)目主頁 : https://yuxiangzhang-bit.github.io/UniTS-website/

UniTS 的成功并非偶然，它建立在一個(gè)高效的生成范式——流匹配（Flow Matching）之上，并巧妙地設(shè)計(jì)了幾個(gè)關(guān)鍵模塊來增強(qiáng)其時(shí)空特征的建模能力。

流匹配：更穩(wěn)定高效的生成范式

你可能對擴(kuò)散模型（Diffusion Models）比較熟悉，它們通過從噪聲中逐步去噪來生成數(shù)據(jù)。而流匹配（Flow Matching）則是一種更新、更直接的思路。

簡單來說，它不再依賴隨機(jī)的去噪過程，而是旨在學(xué)習(xí)一個(gè)確定的、從純噪聲分布到真實(shí)數(shù)據(jù)分布的“路徑”或“流”。這個(gè)路徑由一個(gè)常微分方程（ODE）定義。在訓(xùn)練時(shí)，模型學(xué)習(xí)預(yù)測這個(gè)路徑上的速度場；在推理時(shí)，只需通過數(shù)值求解器（如 ODE solver）沿著學(xué)到的路徑“流動(dòng)”，就能高效地從一個(gè)隨機(jī)噪聲樣本直接生成高質(zhì)量的目標(biāo)數(shù)據(jù)。

相比于傳統(tǒng)擴(kuò)散模型需要數(shù)百上千步的采樣，基于流匹配的 UniTS 僅需 10 個(gè)采樣步驟 就能生成高質(zhì)量的結(jié)果，極大地提升了推理效率。

UniTS 的核心架構(gòu)

UniTS 的主體架構(gòu)基于一個(gè)帶有時(shí)空塊（spatio-temporal blocks）的 Transformer 模型（類似于 DiT）。為了讓這個(gè)統(tǒng)一的模型能夠靈活適應(yīng)不同任務(wù)的需求，并精確地捕捉遙感數(shù)據(jù)復(fù)雜的時(shí)空依賴關(guān)系，研究者設(shè)計(jì)了兩個(gè)核心創(chuàng)新模塊：

1. 
   

   自適應(yīng)條件注入器 (Adaptive Condition Injector, ACor)在遙感任務(wù)中，我們常常需要利用多模態(tài)數(shù)據(jù)作為輔助信息，比如用不受云層影響的SAR（合成孔徑雷達(dá)）影像來幫助恢復(fù)被遮擋的光學(xué)影像。ACor 的作用就是高效地將這些條件信息（如 SAR 影像、歷史影像序列等）融入到生成過程中。它通過動(dòng)態(tài)生成仿射變換參數(shù)（縮放和平移），對主干網(wǎng)絡(luò)中的特征圖進(jìn)行調(diào)制。這種方式比傳統(tǒng)的拼接或交叉注意力機(jī)制更靈活、更精細(xì)，能讓模型更好地感知和利用條件信息，實(shí)現(xiàn)高質(zhì)量的可控生成。

2. 時(shí)空感知調(diào)制器 (Spatiotemporal-aware Modulator, STM)遙感時(shí)間序列數(shù)據(jù)不僅在空間上具有結(jié)構(gòu)性，在時(shí)間上也存在動(dòng)態(tài)演化規(guī)律。STM 模塊就是為了增強(qiáng)模型對這種復(fù)雜時(shí)空依賴的捕捉能力。它巧妙地利用輔助數(shù)據(jù)（如 Sentinel-1 影像）作為先驗(yàn)知識，生成一個(gè)動(dòng)態(tài)的“注意力偏置”（attention bias）。這個(gè)偏置項(xiàng)會(huì)直接作用于 Transformer 的自注意力計(jì)算中，引導(dǎo)模型在注意力的分配上，不僅考慮特征的相似性，還兼顧時(shí)空上的結(jié)構(gòu)先驗(yàn)。這使得 UniTS 能夠更準(zhǔn)確地理解地物的幾何關(guān)系和時(shí)間演化模式。

通過這套組合拳，UniTS 能夠根據(jù)不同任務(wù)的輸入（比如去云任務(wù)輸入帶云影像和SAR影像，預(yù)測任務(wù)輸入歷史影像序列），在統(tǒng)一的框架下，生成相應(yīng)的目標(biāo)輸出（無云影像或未來影像序列）。

新的基準(zhǔn)數(shù)據(jù)集：TS-S12 與 TS-S12CR

高質(zhì)量的數(shù)據(jù)集是推動(dòng)算法發(fā)展的基石。研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的遙感時(shí)間序列數(shù)據(jù)集在多模態(tài)數(shù)據(jù)對齊、樣本質(zhì)量和任務(wù)覆蓋范圍上存在不足，尤其缺少專為時(shí)間序列去云任務(wù)設(shè)計(jì)的大規(guī)模高質(zhì)量基準(zhǔn)。

為此，他們構(gòu)建了兩個(gè)全新的數(shù)據(jù)集：TS-S12 和 TS-S12CR。

• 
  

  TS-S12 : 包含全球 14,973 個(gè)區(qū)域的 Sentinel-1 和無云 Sentinel-2 影像對，用于時(shí)間序列重建和預(yù)測任務(wù)。

• TS-S12CR : 包含全球 12,126 個(gè)區(qū)域的 Sentinel-1、有云 Sentinel-2 和無云 Sentinel-2 影像三元組，專為時(shí)間序列去云任務(wù)設(shè)計(jì)。值得注意的是，該數(shù)據(jù)集的平均云量高達(dá) 84.02% ，為模型提供了極具挑戰(zhàn)性的真實(shí)場景。

這兩個(gè)數(shù)據(jù)集的發(fā)布，填補(bǔ)了現(xiàn)有基準(zhǔn)的空白，無疑將推動(dòng)相關(guān)領(lǐng)域的研究。

全面領(lǐng)先的實(shí)驗(yàn)結(jié)果

UniTS 在四大任務(wù)上與現(xiàn)有的一系列專用模型和遙感大模型進(jìn)行了廣泛比較，結(jié)果堪稱“全面開花”。

時(shí)間序列重建與去云

在時(shí)間序列重建任務(wù)中，即便是與最強(qiáng)的基線模型 SeedVR 在同等的多模態(tài)輸入下比較，UniTS 仍能將 PSNR 指標(biāo)提升 1.09 dB。

以下是時(shí)間序列重建在 TS-S12 數(shù)據(jù)集上的定量比較結(jié)果：

定性結(jié)果：

而在更具挑戰(zhàn)的真實(shí)去云任務(wù)（TS-S12CR 數(shù)據(jù)集）上，UniTS 的優(yōu)勢更加明顯。相較于次優(yōu)方法，它的 PSNR 指標(biāo)高出 1.88 dB 以上，能夠更好地恢復(fù)被大面積厚云覆蓋區(qū)域的地表細(xì)節(jié)，生成的影像在紋理和光譜上都更為逼真。

以下是時(shí)間序列去云在 TS-S12CR 數(shù)據(jù)集上的定量比較結(jié)果：

定性結(jié)果：

更有趣的是，實(shí)驗(yàn)證明 UniTS 具有很強(qiáng)的魯棒性。即使在推理時(shí)缺少了 SAR 這一模態(tài)的輸入，其性能僅出現(xiàn)輕微下降，依然遠(yuǎn)超那些僅使用單模態(tài)訓(xùn)練的模型。這表明 UniTS 在多模態(tài)訓(xùn)練中學(xué)會(huì)了靈活平衡不同信息源，而不是過度依賴某一特定模態(tài)。

以下是不同缺失率下的重建結(jié)果。

以下是UniTS在模態(tài)缺失情況下的魯棒性表現(xiàn)。

時(shí)間序列語義變化檢測

在這個(gè)高層語義任務(wù)上，UniTS 同樣表現(xiàn)出色。它通過生成連續(xù)時(shí)間點(diǎn)的語義分割圖，來分析地物類型的變化。在 DynamicEarthNet 和 MUDS 這兩個(gè)主流數(shù)據(jù)集上，UniTS 的多項(xiàng)關(guān)鍵指標(biāo)（如 mIoU、SCS）均超越了現(xiàn)有的專用變化檢測模型和一些知名的遙感基礎(chǔ)模型。

以下是時(shí)間序列語義變化檢測在 DynamicEarthNet 數(shù)據(jù)集上的定量比較結(jié)果。

以下是時(shí)間序列語義變化檢測在 MUDS 數(shù)據(jù)集上的定量比較結(jié)果。

這證明 UniTS 不僅擅長像素級的恢復(fù)（低階視覺任務(wù)），在理解和推理高層語義信息方面也同樣強(qiáng)大。

時(shí)間序列預(yù)測

在預(yù)測未來遙感影像序列的任務(wù)上，UniTS 采用自回歸的方式，將歷史序列和噪聲一同輸入，逐步生成未來的影像幀。實(shí)驗(yàn)結(jié)果顯示，UniTS 生成的未來影像不僅空間上清晰、細(xì)節(jié)豐富，而且能更準(zhǔn)確地捕捉到氣候和物候的動(dòng)態(tài)演變規(guī)律。在 TS-S12 數(shù)據(jù)集上，其 PSNR 比次優(yōu)的 SyncVP 模型高出 1.52 dB。

以下是時(shí)間序列預(yù)測在 TS-S12 數(shù)據(jù)集上的定量比較結(jié)果。

以下是時(shí)間序列預(yù)測在 GreenEarthNet 數(shù)據(jù)集上的定量比較結(jié)果。

一點(diǎn)思考

UniTS 的提出，不僅僅是各項(xiàng)指標(biāo)的刷新，更重要的是它為遙感領(lǐng)域乃至更廣泛的時(shí)空數(shù)據(jù)分析領(lǐng)域，提供了一種“化繁為簡”的全新思路。通過一個(gè)統(tǒng)一的、強(qiáng)大的生成模型來解決多個(gè)相關(guān)任務(wù)，可以極大地降低研發(fā)和維護(hù)成本，促進(jìn)不同任務(wù)知識的共享和遷移。