原文發(fā)表于《科技導(dǎo)報(bào)》2025 年第18 期 《面向時(shí)間序列和時(shí)空數(shù)據(jù)分析的大模型研究進(jìn)展 》

近年來，大模型憑借其強(qiáng)大的序列建模能力、優(yōu)異的表征學(xué)習(xí)潛力和靈活的預(yù)訓(xùn)練?微調(diào)范式，在自然語(yǔ)言處理和計(jì)算機(jī)視覺領(lǐng)域取得了突破性進(jìn)展，也為時(shí)間序列和時(shí)空數(shù)據(jù)的挖掘分析帶來新的發(fā)展機(jī)遇。本文綜述了大模型在時(shí)間序列與時(shí)空數(shù)據(jù)分析中的研究進(jìn)展，提出了未來研究亟需在可解釋性增強(qiáng)、多模態(tài)聯(lián)合建模以及模型架構(gòu)創(chuàng)新等方面取得突破。

近年來，人工智能領(lǐng)域見證了基礎(chǔ)模型（FMs）的崛起與蓬勃發(fā)展?；A(chǔ)模型從早期預(yù)訓(xùn)練語(yǔ)言模型發(fā)展到現(xiàn)在的大語(yǔ)言模型（LLMs）和視覺語(yǔ)言模型（VLMs），在多模態(tài)理解、推理和跨域泛化等方面展現(xiàn)出卓越性能。

值得注意的是，時(shí)間序列和時(shí)空數(shù)據(jù)與自然語(yǔ)言序列在序列結(jié)構(gòu)上具有本質(zhì)的相似性。這種結(jié)構(gòu)上的相似性自然地引出一個(gè)關(guān)鍵問題：我們能否以及如何有效利用現(xiàn)有強(qiáng)大的LLMs，賦能通用的時(shí)間序列與時(shí)空數(shù)據(jù)的分析任務(wù)？或者說，能否借鑒LLMs的成功范式，構(gòu)建專門針對(duì)時(shí)間序列與時(shí)空數(shù)據(jù)特性的基礎(chǔ)模型？探索上述問題，將大模型的技術(shù)優(yōu)勢(shì)引入時(shí)間序列與時(shí)空數(shù)據(jù)的挖掘分析中已成為當(dāng)下的學(xué)術(shù)前沿?zé)狳c(diǎn)。

01

基礎(chǔ)理論與關(guān)鍵技術(shù)

1.1 時(shí)間序列與時(shí)空數(shù)據(jù)分析

時(shí)間序列（time series）定義為一組按時(shí)間排序的隨機(jī)變量的集合{Xt |t ∈ T}，時(shí)間序列的觀測(cè)值可以認(rèn)為是隨機(jī)變量的實(shí)現(xiàn)。時(shí)空數(shù)據(jù)（spatio?temporal data）是指同時(shí)包含時(shí)間維度和空間維度的數(shù)據(jù)集，用于記錄和分析時(shí)空動(dòng)態(tài)變化規(guī)律及其內(nèi)在關(guān)聯(lián)。

1.2 LLMs

LLMs通常是具有大規(guī)模參數(shù)和計(jì)算能力的自然語(yǔ)言處理模型。這種大模型具有但小模型不具有的能力通常被稱為“涌現(xiàn)能力”（emergent abilities），為序列建模帶來了前所未有的潛力，并重塑了人類使用人工智能的方式。

1.3 預(yù)訓(xùn)練基礎(chǔ)模型

預(yù)訓(xùn)練基礎(chǔ)模型（PFMs）是指在大規(guī)模語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練的通用人工智能模型。隨著PFMs的巨大成功，針對(duì)時(shí)間數(shù)據(jù)設(shè)計(jì)和預(yù)訓(xùn)練的基礎(chǔ)模型也在不斷涌現(xiàn)，但仍處于早期發(fā)展的階段。

1.4 骨干網(wǎng)絡(luò)

1）Transformer架構(gòu)。其核心創(chuàng)新在于對(duì)注意力機(jī)制的利用，該機(jī)制允許模型動(dòng)態(tài)地關(guān)注輸入數(shù)據(jù)的不同部分。根據(jù)這種網(wǎng)絡(luò)架構(gòu)的變形，目前主流的框架可分為Encoder?decoder（編碼器?解碼器）、Encoder?only（僅編碼器）、Decoder?only（僅解碼器）3種，如圖1所示。

圖1 3種主流模型訓(xùn)練框架

2）擴(kuò)散（Diffusion）模型。其通過一個(gè)迭代的正向擴(kuò)散過程系統(tǒng)地、緩慢地破壞數(shù)據(jù)分布中的結(jié)構(gòu)，然后學(xué)習(xí)一個(gè)反向去噪過程來恢復(fù)數(shù)據(jù)中的結(jié)構(gòu)，從而得到一個(gè)高度靈活且易于處理的生成模型（圖2）。

圖2 擴(kuò)散模型用于時(shí)間序列和時(shí)空數(shù)據(jù)分析

3）其他模型。除Transformer和擴(kuò)散模型這類近年來備受關(guān)注的架構(gòu)外，一些經(jīng)典的深度學(xué)習(xí)模型，包括多層感知機(jī)（MLP）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和圖神經(jīng)網(wǎng)絡(luò)（GNN）仍然是時(shí)間序列與時(shí)空數(shù)據(jù)分析領(lǐng)域的重要基石。

02

LLMs賦能時(shí)間序列與時(shí)空數(shù)據(jù)分析

自然語(yǔ)言處理領(lǐng)域LLMs的快速發(fā)展揭示了其在序列建模和模式識(shí)別方面前所未有的能力，這為時(shí)間序列與時(shí)空數(shù)據(jù)分析提供新的研究范式。我們基于LLMs的時(shí)序與時(shí)空數(shù)據(jù)分析方法，并依據(jù)模型架構(gòu)設(shè)計(jì)將其劃分為3類（圖3）。

圖3 微調(diào)LLMs組件設(shè)計(jì)分類

2.1 直接查詢LLMs

PromptCast引入了一種新的基于提示（Prompt）的學(xué)習(xí)范式，在特定領(lǐng)域場(chǎng)景中，尤其是當(dāng)結(jié)合領(lǐng)域相關(guān)的上下文提示和先進(jìn)的預(yù)訓(xùn)練LLMs時(shí)，直接查詢LLMs可能帶來顯著優(yōu)勢(shì)。

2.2 時(shí)間數(shù)據(jù)的標(biāo)記化設(shè)計(jì)

Nie等提出了時(shí)間序列的補(bǔ)丁表示方法，保留了數(shù)據(jù)的原始相對(duì)順序，并將局部信息聚合到每個(gè)補(bǔ)丁中。OFA、LLM4TS、TEST、TEMPO和Time?LLM等工作主要采用這種補(bǔ)丁表示方法對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行標(biāo)記化。

2.3 提示設(shè)計(jì)

PromptCast為利用LLMs進(jìn)行時(shí)間序列預(yù)測(cè)開發(fā)了基于模板的提示，而一些方法通過整合LLMs生成的或收集的背景信息來豐富提示設(shè)計(jì)。為應(yīng)對(duì)分布偏移的挑戰(zhàn)，TEMPO引入一個(gè)共享的提示池，以不同的鍵值對(duì)的形式存儲(chǔ)，然后通過相似性分?jǐn)?shù)匹配機(jī)制為微調(diào)選擇最具代表性的軟提示，從而讓模型更好地利用已有的經(jīng)驗(yàn)知識(shí)。

2.4 微調(diào)策略

微調(diào)作為一種強(qiáng)大的工具，能夠使大型預(yù)訓(xùn)練模型適應(yīng)于特定的任務(wù)和應(yīng)用場(chǎng)景。作為一項(xiàng)標(biāo)準(zhǔn)做法，OFA微調(diào)了位置嵌入和歸一化層，并凍結(jié)了自注意力層和前饋神經(jīng)網(wǎng)絡(luò)。TEMPO進(jìn)一步使用低秩自適應(yīng)（LoRA）微調(diào)自注意力模塊，以適應(yīng)不同的數(shù)據(jù)分布。LLM4TS提出了一種2階段微調(diào)方法，從而保障在不破壞語(yǔ)言模型固有特性的基礎(chǔ)上使得模型能夠更好地適配各類不同域的數(shù)據(jù)及不同的下游任務(wù)。

2.5 集成LLMs作為模型組件

相較于依賴直接查詢或微調(diào)LLMs來生成輸出，一些研究選擇將凍結(jié)的LLMs作為模塊嵌入，以擴(kuò)展和增強(qiáng)輸入序列的特征表示空間。凍結(jié)的LLMs可以作為多階段建模中的一個(gè)功能強(qiáng)大的組件，它提供對(duì)數(shù)據(jù)的中間處理或前一個(gè)組件的輸出，并將它輸入到隨后的神經(jīng)網(wǎng)絡(luò)或回歸分析。

03

構(gòu)建專用的時(shí)間序列與時(shí)空數(shù)據(jù)基礎(chǔ)模型

3.1 時(shí)間序列基礎(chǔ)模型研究進(jìn)展

自然語(yǔ)言處理和計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)模型近年來呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，而時(shí)間序列領(lǐng)域的基礎(chǔ)模型研究仍處于早期階段，近期已有一些開創(chuàng)性的工作開始填補(bǔ)這一空白（表1）。

表1 代表性時(shí)間序列基礎(chǔ)模型匯總

TimeGPT?1是由Nixtla提出的第一個(gè)時(shí)間序列大模型，無(wú)需額外訓(xùn)練就可以在金融、電力、氣象等各種領(lǐng)域生成準(zhǔn)確的預(yù)測(cè)。在TimeGPT?1發(fā)布后，時(shí)間序列基礎(chǔ)模型的發(fā)展進(jìn)入加速階段，包括Lag?Llama、TimesFM、Chronos、Moirai和Time?MoE等代表性工作。作為首個(gè)開源大型預(yù)訓(xùn)練時(shí)間序列基礎(chǔ)模型，MOMENT將通過對(duì)時(shí)間序列的掩碼預(yù)測(cè)任務(wù)進(jìn)行預(yù)訓(xùn)練。Chronos直接采用與語(yǔ)言模型相同的交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練。Time?MoE采用逐點(diǎn)標(biāo)記化（point?wise tokenization）方法進(jìn)行時(shí)間序列嵌入以完整保留時(shí)序信息。

作為時(shí)序預(yù)測(cè)領(lǐng)域的新興技術(shù)，時(shí)間序列基礎(chǔ)模型各具優(yōu)勢(shì)，適用于不同的應(yīng)用場(chǎng)景，但也伴隨著一定的局限性，特別是在處理高頻數(shù)據(jù)、長(zhǎng)跨度預(yù)測(cè)任務(wù)時(shí)，其效果往往不及傳統(tǒng)統(tǒng)計(jì)方法。當(dāng)面對(duì)上下文信息不足的情況時(shí)，模型的泛化能力也會(huì)明顯下降。此外，由于需要針對(duì)不同垂直領(lǐng)域獨(dú)立開發(fā)，這些模型的訓(xùn)練過程通常需要消耗大量計(jì)算資源。

3.2 時(shí)空數(shù)據(jù)基礎(chǔ)模型研究進(jìn)展

相較于單一時(shí)間序列數(shù)據(jù)，時(shí)空數(shù)據(jù)普遍呈現(xiàn)出2個(gè)關(guān)鍵的基本特性：異質(zhì)性與自相關(guān)性。這些固有特性不僅顯著增加了時(shí)空數(shù)據(jù)建模的復(fù)雜度，也對(duì)基礎(chǔ)模型提出了更高的泛化能力要求。當(dāng)前時(shí)空數(shù)據(jù)基礎(chǔ)模型的發(fā)展仍處于相對(duì)分散的狀態(tài)，應(yīng)用場(chǎng)景也呈現(xiàn)出明顯的碎片化特征（表2）。

表2 代表性時(shí)空基礎(chǔ)模型匯總

3.2.1 城市時(shí)空動(dòng)態(tài)建模

針對(duì)城市時(shí)空數(shù)據(jù)的多模態(tài)特性，UrbanVLP提出一種視覺?語(yǔ)言?時(shí)空聯(lián)合預(yù)訓(xùn)練框架，其核心創(chuàng)新在于設(shè)計(jì)時(shí)空對(duì)比學(xué)習(xí)策略，將不同模態(tài)的時(shí)空模式對(duì)齊到共享的潛在空間。類似的，CityFM專注于城市多任務(wù)泛化，實(shí)現(xiàn)跨場(chǎng)景遷移。OpenCity進(jìn)一步引入地理編碼先驗(yàn)知識(shí)，增強(qiáng)了模型對(duì)空間異質(zhì)性的建模能力。UniST實(shí)現(xiàn)了對(duì)城市多樣化時(shí)空動(dòng)態(tài)性的統(tǒng)一建模和精準(zhǔn)預(yù)測(cè)，展現(xiàn)出強(qiáng)大的通用性和泛化能力。

對(duì)于軌跡數(shù)據(jù)的PFMs，旨在從輸入數(shù)據(jù)中學(xué)習(xí)通用的順序模式。TrajFM采用軌跡屏蔽和自回歸恢復(fù)機(jī)制來增強(qiáng)其學(xué)習(xí)能力。UniTraj軌跡基礎(chǔ)大模型實(shí)現(xiàn)跨任務(wù)、跨區(qū)域的泛化能力，并在不同數(shù)據(jù)質(zhì)量下保持魯棒性。PTrajM則是引入 Trajectory?Mamba作為可學(xué)習(xí)模型，實(shí)現(xiàn)對(duì)連續(xù)運(yùn)動(dòng)行為的有效提取。

3.2.2 氣象與地球系統(tǒng)建模

氣象預(yù)測(cè)是時(shí)空數(shù)據(jù)基礎(chǔ)模型的典型應(yīng)用場(chǎng)景。谷歌的DeepMind研究所開發(fā)的天氣預(yù)報(bào)模型GraphCast顯著提升了中長(zhǎng)期氣象預(yù)測(cè)的精度。微軟團(tuán)隊(duì)發(fā)布的ClimaX通過微調(diào)技術(shù)來解決廣泛的氣候和天氣任務(wù)。上海人工智能實(shí)驗(yàn)室發(fā)布的FengWu大模型解決多種大氣變量表征和相互影響的問題。華為提出的Pangu?Weather提前一周預(yù)測(cè)全球天氣。

04

挑戰(zhàn)與機(jī)遇

4.1 增強(qiáng)模型的可解釋性

構(gòu)建系統(tǒng)性理論框架以解析LLMs在時(shí)間序列和時(shí)空數(shù)據(jù)分析中的學(xué)習(xí)模式與應(yīng)用邏輯，成為亟待突破的關(guān)鍵問題。此外，需研發(fā)適用于時(shí)間序列和時(shí)空數(shù)據(jù)的因果關(guān)系識(shí)別方法。

4.2 發(fā)展多模態(tài)模型

LLMs可通過適配學(xué)習(xí)構(gòu)建多模態(tài)聯(lián)合表示—既捕捉時(shí)序數(shù)據(jù)的序列依賴性特征，又保留其他模態(tài)的獨(dú)特信息特性，實(shí)現(xiàn)跨時(shí)間分辨率的多模態(tài)信息融合，從而充分挖掘不同時(shí)間尺度下的互補(bǔ)信息，進(jìn)一步提升任務(wù)表現(xiàn)。

4.3 適應(yīng)數(shù)據(jù)分布偏移

最新的研究聚焦于領(lǐng)域?qū)褂?xùn)練等技術(shù)，通過對(duì)齊不同領(lǐng)域的特征分布，推動(dòng)模型學(xué)習(xí)跨域不變性特征；此外，元學(xué)習(xí)技術(shù)通過快速學(xué)習(xí)新分布的適配規(guī)則，僅需少量新分布數(shù)據(jù)即可實(shí)現(xiàn)模型對(duì)新分布的快速遷移，進(jìn)一步強(qiáng)化了基礎(chǔ)模型應(yīng)對(duì)分布偏移的能力。

4.4 創(chuàng)新模型架構(gòu)

傳統(tǒng)的Transformer架構(gòu)和基于它們的LLMs具有受限的上下文依賴記憶，特別是在處理長(zhǎng)序列時(shí)面臨挑戰(zhàn)。需要?jiǎng)?chuàng)新性的方法，如稀疏注意力機(jī)制、高效的基于圖的表示以及將Transformer與其他架構(gòu)結(jié)合的混合模型。最近，谷歌提出的Infini?Transformer能夠在有限的內(nèi)存條件下處理極長(zhǎng)的輸入；Meta等開發(fā)新架構(gòu)Megalodon實(shí)現(xiàn)了無(wú)限上下文處理能力。

05

結(jié)論

最新研究表明，大模型在時(shí)間序列和時(shí)空數(shù)據(jù)分析中展現(xiàn)出應(yīng)用潛力。一方面，基于LLMs的提示工程、標(biāo)記化和參數(shù)微調(diào)等技術(shù)，為自然語(yǔ)言與時(shí)序/時(shí)空數(shù)據(jù)的模態(tài)對(duì)齊提供了可行路徑。另一方面，面向時(shí)序與時(shí)空特性的專用基礎(chǔ)模型通過跨域預(yù)訓(xùn)練，逐步形成統(tǒng)一的時(shí)空動(dòng)態(tài)表征能力。

當(dāng)前研究仍面臨若干挑戰(zhàn)：

（1）時(shí)空數(shù)據(jù)的異質(zhì)性和自相關(guān)性導(dǎo)致模型泛化能力受限，跨領(lǐng)域遷移時(shí)易受分布偏移影響；

（2）多模態(tài)對(duì)齊存在語(yǔ)義鴻溝，數(shù)值型時(shí)空數(shù)據(jù)與文本/視覺等模態(tài)的聯(lián)合表征仍需突破；

（3）模型可解釋性不足制約其在關(guān)鍵領(lǐng)域的可信應(yīng)用。

未來，面向時(shí)間序列與時(shí)空數(shù)據(jù)分析的大模型需聚焦以下方向：

（1）模型架構(gòu)創(chuàng)新，融合物理機(jī)理與數(shù)據(jù)驅(qū)動(dòng)優(yōu)勢(shì)，提升對(duì)非平穩(wěn)動(dòng)態(tài)的建模能力；

（2）多模態(tài)協(xié)同學(xué)習(xí)技術(shù)突破，建立時(shí)空?語(yǔ)言?視覺的統(tǒng)一表征，實(shí)現(xiàn)跨模態(tài)知識(shí)遷移；

（3）可信賴性增強(qiáng)機(jī)制構(gòu)建，發(fā)展因果推理、不確定性量化等技術(shù)提升模型可解釋性。

本文作者：羅遠(yuǎn)波、孫嘉、陶俐芝

作者簡(jiǎn)介：羅遠(yuǎn)波，南方海洋科學(xué)與工程廣東省實(shí)驗(yàn)室（廣州），助理研究員，研究方向?yàn)闀r(shí)間序列建模與地理時(shí)空數(shù)據(jù)智能分析；陶俐芝（通信作者），江西師范大學(xué)鄱陽(yáng)湖濕地與流域研究教育部重點(diǎn)實(shí)驗(yàn)室，助理研究員，研究方向?yàn)樗臍庀蠖喑叨葐栴}建模與分析。

文章來 源 ： 羅遠(yuǎn)波, 孫嘉, 陶俐芝. 面向時(shí)間序列和時(shí)空數(shù)據(jù)分析的大模型研究進(jìn)展[J]. 科技導(dǎo)報(bào), 2025, 43(18): 48?56 .

本文有刪改，

點(diǎn)擊面向時(shí)間序列和時(shí)空數(shù)據(jù)分析的大模型研究進(jìn)展.pdf獲取全文。

內(nèi)容為【科技導(dǎo)報(bào)】公眾號(hào)原創(chuàng)，歡迎轉(zhuǎn)載
白名單回復(fù)后臺(tái)「轉(zhuǎn)載」

《科技導(dǎo)報(bào)》創(chuàng)刊于1980年，中國(guó)科協(xié)學(xué)術(shù)會(huì)刊，主要刊登科學(xué)前沿和技術(shù)熱點(diǎn)領(lǐng)域突破性的研究成果、權(quán)威性的科學(xué)評(píng)論、引領(lǐng)性的高端綜述，發(fā)表促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展、完善科技管理、優(yōu)化科研環(huán)境、培育科學(xué)文化、促進(jìn)科技創(chuàng)新和科技成果轉(zhuǎn)化的決策咨詢建議。常設(shè)欄目有院士卷首語(yǔ)、科技新聞、科技評(píng)論、專稿專題、綜述、論文、政策建議、科技人文等。