西南財(cái)經(jīng)大學(xué)在讀碩士、上智院實(shí)習(xí)生胡澳，是本文第一作者，其主要研究方向?yàn)槎嘧兞块L(zhǎng)時(shí)序預(yù)測(cè)；西南財(cái)經(jīng)大學(xué)教授、成都恒圖科技創(chuàng)始人段江，為共同第一作者。西南財(cái)經(jīng)大學(xué)副教授溫良劍，上智院 AI 科學(xué)家、復(fù)旦大學(xué)教授徐增林，為本文通訊作者。

長(zhǎng)期時(shí)間序列預(yù)測(cè)（Long-term Time Series Forecasting, LTSF）是能源管理、金融市場(chǎng)和交通預(yù)測(cè)等領(lǐng)域的核心任務(wù)。現(xiàn)有基于 Patch 的 Transformer 模型面臨一個(gè)根本性挑戰(zhàn)：非平穩(wěn)時(shí)序數(shù)據(jù)中，Patch 之間的尺度差異會(huì)嚴(yán)重干擾注意力機(jī)制對(duì)形狀相似性的捕捉，導(dǎo)致模型學(xué)習(xí)到錯(cuò)誤的相關(guān)關(guān)系，預(yù)測(cè)精度受限。

為此，西南財(cái)經(jīng)大學(xué)、上?？茖W(xué)智能研究院（下稱上智院）、復(fù)旦大學(xué)、成都恒圖科技等機(jī)構(gòu)最新聯(lián)合提出 PMDformer—— 一種基于 Patch 均值解耦（PMD）的創(chuàng)新時(shí)序預(yù)測(cè)框架。通過(guò)三大核心模塊的協(xié)同設(shè)計(jì)，它在多項(xiàng)權(quán)威基準(zhǔn)上全面超越現(xiàn)有最優(yōu)方法。

• 論文地址：https://openreview.net/forum?id=rfJ41gK9Ct
• 代碼地址：https://github.com/aohu1105/PMDformer

目前，該成果已被 ICLR 2026 接收。

現(xiàn)有方法的痛點(diǎn)：尺度差異如何「扭曲」形狀建模？

長(zhǎng)期時(shí)序預(yù)測(cè)中，研究者常用 Patch 分割策略來(lái)捕捉長(zhǎng)序列中的局部語(yǔ)義，但時(shí)序數(shù)據(jù)的非平穩(wěn)性帶來(lái)顯著挑戰(zhàn) —— 同一序列在不同時(shí)段的數(shù)值尺度差異懸殊。這一特性帶來(lái)了兩個(gè)關(guān)鍵問(wèn)題：

• 尺度偏差遮蔽形狀相似性：注意力權(quán)重受 Patch 均值影響，導(dǎo)致形狀相似但尺度不同的 Patch 被錯(cuò)誤地判為不相關(guān)，而形狀迥異的 Patch 反而獲得高注意力權(quán)重。模型捕捉到的并非真正的模式，而是由尺度「幻覺(jué)」造成的誤導(dǎo)。如論文圖 1 所示，P1 與 P2 形狀高度相似，但在解耦前，P1 與 P3 的注意力權(quán)重反而更高。
• 跨變量依賴建模失準(zhǔn)：變量間的相關(guān)性隨時(shí)間演變，歷史早期的相關(guān)關(guān)系對(duì)預(yù)測(cè)近期走勢(shì)的參考價(jià)值有限，但現(xiàn)有模型通常在全局歷史窗口上計(jì)算變量交互，引入大量噪聲，容易過(guò)擬合。

圖 1：PMD 解耦前后的注意力權(quán)重對(duì)比。上：原始序列中，尺度差異導(dǎo)致注意力偏向 P3；下：均值解耦后，注意力正確反映形狀相似性

PMDformer：三位一體的解決方案

PMDformer 由三個(gè)協(xié)同工作的核心模塊組成，分別解決上述不同層面的問(wèn)題，形成完整的技術(shù)閉環(huán)。

圖 2：PMDformer 整體架構(gòu)圖

一、Patch 均值解耦（PMD）：還原形狀本質(zhì)

PMD 的核心操作簡(jiǎn)潔而高效：對(duì)每個(gè) Patch 減去其時(shí)間均值，將原始 Patch 分解為長(zhǎng)期趨勢(shì)（均值）和殘差形狀兩部分。與現(xiàn)有 Normalization 方法不同，PMD 僅做均值減法，完整保留了 Patch 內(nèi)部的振幅變化和形狀結(jié)構(gòu)。

二、近鄰變量注意力（PVA）：聚焦最相關(guān)的跨變量依賴

PVA 模塊基于一個(gè)直覺(jué)洞察：預(yù)測(cè)目標(biāo)序列時(shí)，變量間在最近時(shí)間段的交互關(guān)系最具參考價(jià)值。因此，PVA 將跨變量的自注意力計(jì)算嚴(yán)格限制在最近一個(gè) Patch（第 N 個(gè) Patch）的時(shí)序詞元（Tokens）上，而非全局歷史序列。

這一設(shè)計(jì)帶來(lái)雙重優(yōu)勢(shì)：

• 一是捕捉最相關(guān)的近期跨變量形狀相似性，避免早期弱相關(guān)或虛假相關(guān)對(duì)預(yù)測(cè)的干擾；
• 二是將計(jì)算復(fù)雜度從 O (C2N) 降低至 O (C2)，顯著提升計(jì)算效率。

三、趨勢(shì)恢復(fù)注意力（TRA）：兼顧形狀與趨勢(shì)

PMD 在提升形狀相似性建模的同時(shí)，客觀上削弱了長(zhǎng)期趨勢(shì)信號(hào)。TRA 模塊專門針對(duì)此問(wèn)題設(shè)計(jì)：在注意力計(jì)算中，Query/Key 通道僅使用形狀嵌入（確保注意力分?jǐn)?shù)反映形狀相似性），而 Value 通道則通過(guò)加法注入 PMD 分離出的 Patch 均值（趨勢(shì)信息）。

這種分離式設(shè)計(jì)使模型能夠同時(shí)編碼局部形狀模式和全局趨勢(shì)動(dòng)態(tài)，輸出更穩(wěn)定的預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)結(jié)果：在 8 個(gè)權(quán)威基準(zhǔn)上全面領(lǐng)先

研究團(tuán)隊(duì)在 8 個(gè)廣泛使用的真實(shí)世界數(shù)據(jù)集上進(jìn)行了系統(tǒng)評(píng)估，涵蓋電力、天氣、能源、交通等多個(gè)應(yīng)用領(lǐng)域。與 8 個(gè)最新基線方法的比較表明，PMDformer 在 7/8 個(gè)數(shù)據(jù)集上取得最低 MSE 和 MAE，展現(xiàn)出穩(wěn)定且全面的性能優(yōu)勢(shì)。

表 1：長(zhǎng)時(shí)間序列預(yù)測(cè)任務(wù)結(jié)果對(duì)比。包含 8 個(gè)數(shù)據(jù)集、4 個(gè)預(yù)測(cè)長(zhǎng)度（96/192/336/720 步）、MSE 與 MAE 雙指標(biāo)的完整對(duì)比數(shù)據(jù)

計(jì)算效率：以更少資源實(shí)現(xiàn)更高性能

PMDformer 在計(jì)算效率方面同樣表現(xiàn)突出。在變量數(shù)量從 100 增至 3000、以及序列長(zhǎng)度從 144 增至 5400 的兩組擴(kuò)展實(shí)驗(yàn)中，PMDformer 相比 PatchTST、iTransformer、ModernTCN 均需要更少的 GPU 顯存。這一優(yōu)勢(shì)源于 PVA 模塊將跨變量注意力復(fù)雜度從 O (C2N) 壓縮至 O (C2)，在高維多變量場(chǎng)景下尤為顯著。

圖 3：計(jì)算效率對(duì)比：不同變量數(shù)量（左）與不同序列長(zhǎng)度（右）下，各模型 GPU 顯存占用對(duì)比

總結(jié)與展望

PMDformer 的成功揭示了時(shí)序預(yù)測(cè)領(lǐng)域一個(gè)長(zhǎng)期被忽視但至關(guān)重要的問(wèn)題：Patch 的均值（趨勢(shì)）與殘差（形狀）耦合在一起，會(huì)系統(tǒng)性地?fù)p害注意力機(jī)制對(duì)形狀相似性的建模能力。

通過(guò)一個(gè)簡(jiǎn)潔的均值減法操作，配合精心設(shè)計(jì)的趨勢(shì)恢復(fù)機(jī)制和近鄰變量注意力，PMDformer 在不增加模型復(fù)雜度的前提下，全面提升了預(yù)測(cè)精度與計(jì)算效率。

接下來(lái)，研究團(tuán)隊(duì)計(jì)劃將 PMDformer 擴(kuò)展至更高維度的多變量時(shí)序數(shù)據(jù)建模，并探索與多模態(tài)數(shù)據(jù)（如文本、圖像）的融合應(yīng)用，為能源、金融、交通等領(lǐng)域的智能預(yù)測(cè)持續(xù)提供新動(dòng)力。