Fast Bayesian Updates via Harmonic Representations

通過(guò)諧波表示實(shí)現(xiàn)快速貝葉斯更新

https://arxiv.org/pdf/2511.06978

摘要
貝葉斯推理雖為概率推理的基石，卻常因后驗(yàn)分布的計(jì)算不可行性而受阻，尤其是涉及困難的證據(jù)積分。傳統(tǒng)方法如馬爾可夫鏈蒙特卡洛（MCMC）和變分推斷（VI）在可擴(kuò)展性與效率方面存在顯著局限。本文提出一種新穎的統(tǒng)一框架，通過(guò)利用調(diào)和分析實(shí)現(xiàn)快速貝葉斯更新。我們證明：若將先驗(yàn)與似然表示于合適的正交基中，貝葉斯更新規(guī)則將轉(zhuǎn)化為譜卷積。具體而言，后驗(yàn)的傅里葉系數(shù)被證明是先驗(yàn)與似然系數(shù)的歸一化卷積。為實(shí)現(xiàn)計(jì)算可行性，我們引入一種譜截?cái)喾桨?/strong>——對(duì)于光滑函數(shù)，該方案能提供極高精度的有限維近似，并將更新簡(jiǎn)化為循環(huán)卷積。此形式使我們可借助快速傅里葉變換（FFT），得到一個(gè)確定性算法，其復(fù)雜度為 O ( N log ? N ) ，遠(yuǎn)優(yōu)于樸素方法的 成本。我們建立了該方法適用性的嚴(yán)格數(shù)學(xué)準(zhǔn)則，將其效率與所涉分布的光滑性及譜衰減特性相聯(lián)系。本工作實(shí)現(xiàn)了范式轉(zhuǎn)變，將貝葉斯計(jì)算與信號(hào)處理相連接，為一大類問題中的實(shí)時(shí)、序貫推理開辟了新路徑。

關(guān)鍵詞：貝葉斯推理 · 快速傅里葉變換 · 調(diào)和分析 · 譜方法 · 卷積定理

1 引言
1.1 研究背景與動(dòng)機(jī)

貝葉斯框架為在不確定性條件下更新信念提供了一種原則性方法 [1]。然而，其理論上的吸引力常常被一個(gè)根本性的實(shí)踐障礙所削弱：后驗(yàn)分布的計(jì)算不可行性。除最簡(jiǎn)單的模型外，貝葉斯定理中的歸一化常數(shù)——即邊緣似然或證據(jù)——涉及一個(gè)解析上不可解、數(shù)值上也極具挑戰(zhàn)性的積分。這構(gòu)成了貝葉斯推理中的主要計(jì)算瓶頸。

當(dāng)前實(shí)踐嚴(yán)重依賴兩類算法來(lái)克服這一瓶頸。馬爾可夫鏈蒙特卡洛（MCMC）方法通過(guò)從一個(gè)以目標(biāo)后驗(yàn)為平穩(wěn)分布的馬爾可夫鏈中生成樣本來(lái)近似后驗(yàn) [2, 3]。盡管 MCMC 在漸近意義上是精確的，但在復(fù)雜、高維模型中可能極其緩慢，存在漫長(zhǎng)的預(yù)熱期（burn-in）和混合不良（poor mixing）的問題。此外，收斂診斷仍是一項(xiàng)非平凡的任務(wù) [4]。另一種方法是變分推斷（VI），它將后驗(yàn)計(jì)算問題轉(zhuǎn)化為優(yōu)化問題，即從一個(gè)易于處理的分布族中尋找最佳近似 [5]。雖然 VI 通常比 MCMC 更快，但它引入了由變分族表達(dá)能力決定的近似偏差，并且往往需要針對(duì)具體問題進(jìn)行推導(dǎo)，從而限制了其通用性和自動(dòng)化程度 [6]。

這兩種方法在其標(biāo)準(zhǔn)形式下，都會(huì)帶來(lái)顯著的計(jì)算開銷，且隨著模型復(fù)雜度和數(shù)據(jù)規(guī)模的增長(zhǎng)而急劇惡化，從而限制了它們?cè)诂F(xiàn)代數(shù)據(jù)密集型場(chǎng)景中的應(yīng)用 [7]。

本工作提出一種范式轉(zhuǎn)變，通過(guò)利用調(diào)和分析的工具來(lái)應(yīng)對(duì)這一核心挑戰(zhàn)。我們引入一個(gè)框架，在其中先驗(yàn)與似然被表示于一個(gè)合適的譜基（spectral basis）中。其核心洞見在于：在此表示下，貝葉斯更新規(guī)則——即函數(shù)的逐點(diǎn)相乘——轉(zhuǎn)化為其譜系數(shù)之間的簡(jiǎn)單卷積。這種將函數(shù)乘法轉(zhuǎn)化為線性代數(shù)運(yùn)算的變換，為高效計(jì)算策略打開了大門。通過(guò)利用該卷積的結(jié)構(gòu)，特別是結(jié)合譜截?cái)嗯c快速傅里葉變換（FFT）[8]，我們旨在實(shí)現(xiàn)后驗(yàn)更新，其計(jì)算復(fù)雜度遠(yuǎn)低于主流的迭代或基于采樣的方法。

2 預(yù)備知識(shí)
本章建立我們框架發(fā)展所需的基礎(chǔ)概念。我們首先對(duì)貝葉斯推斷問題進(jìn)行形式化描述，隨后介紹調(diào)和分析中的關(guān)鍵工具，并以卷積的基本性質(zhì)作為結(jié)尾。

2.1 貝葉斯推斷框架
貝葉斯推斷的核心在于提供一種概率機(jī)制，用于在觀測(cè)到數(shù)據(jù) D 后更新關(guān)于未知參數(shù) θ ∈ Θ
的信念。該過(guò)程由貝葉斯定理 [1, 9] 所支配：

2.2 調(diào)和分析基礎(chǔ)

我們的方法論基于將概率密度函數(shù)表示為一個(gè)精心選擇的函數(shù)空間中的元素。自然的設(shè)置是希爾伯特空間 [10, 11]。

3 貝葉斯更新的調(diào)和表示

本章提出了本工作的核心理論貢獻(xiàn)：在調(diào)和表示框架內(nèi)重新表述貝葉斯推斷。我們首先將概率密度表示為正交基，然后推導(dǎo)出基本結(jié)論——貝葉斯更新在譜域中轉(zhuǎn)化為卷積。

3.1 密度函數(shù)的正交展開

設(shè) θ 為定義在區(qū)域 Ω 上的一個(gè)參數(shù)，令 為希爾伯特空間 L2(Ω) 的一組完備標(biāo)準(zhǔn)正交基。我們假設(shè)先驗(yàn)密度 p(θ) 和似然函數(shù) ?(θ) ≡ p(D|θ) 均為此空間中的元素 [10]。

任何函數(shù) f ∈ L2(Ω) 都可唯一展開為如下形式：

3.2 核心定理：后驗(yàn)系數(shù)的卷積形式

該定理從根本上重構(gòu)了貝葉斯更新。原本在計(jì)算上具有挑戰(zhàn)性的任務(wù)——將兩個(gè)函數(shù)相乘再積分以歸一化——被轉(zhuǎn)化為一個(gè)線性代數(shù)問題：對(duì)兩組系數(shù)序列進(jìn)行卷積。這是一種深刻的簡(jiǎn)化。在參數(shù)域 θ θ 中的非局部、逐點(diǎn)乘法，在譜域中變成了局部的、按索引進(jìn)行的操作。這一新視角將模型本身的復(fù)雜性與更新操作的復(fù)雜性解耦，為下一章所發(fā)展的快速算法鋪平了道路。

4 譜截?cái)嗯c有限維實(shí)現(xiàn)
第 3 章導(dǎo)出的調(diào)和表示雖然優(yōu)美，但涉及無(wú)窮級(jí)數(shù)，因此在計(jì)算上不可行。本章通過(guò)引入譜截?cái)?/strong>（spectral truncation）的有限維近似，彌合理論與實(shí)踐之間的鴻溝。我們分析了相應(yīng)的截?cái)嗾`差，并展示這種截?cái)嗳绾巫匀坏貙?dǎo)向循環(huán)卷積（cyclic convolution），從而實(shí)現(xiàn)高效的計(jì)算算法。

4.1 從無(wú)窮級(jí)數(shù)到有限近似
譜截?cái)嗟膭?dòng)機(jī)顯而易見：我們必須對(duì)無(wú)窮展開式進(jìn)行近似：

該命題強(qiáng)調(diào)了我們方法的一個(gè)核心原則：譜方法的效率根本上依賴于先驗(yàn)與似然的光滑性。對(duì)于光滑且性質(zhì)良好的函數(shù)，其譜系數(shù)衰減迅速，因此僅需少量（ N N個(gè)）基函數(shù)即可實(shí)現(xiàn)高精度表示。這使得本方法特別適用于一大類涉及此類函數(shù)的推斷問題 [11]。

4.2 循環(huán)卷積的出現(xiàn)
將截?cái)鄳?yīng)用于第 3.2 節(jié)的核心定理，我們通過(guò)一個(gè)有限卷積來(lái)近似未歸一化的后驗(yàn)系數(shù)：

該定義通過(guò)將序列 b “環(huán)繞”來(lái)解決邊界問題。操作現(xiàn)在完全包含在保留的 N 個(gè)系數(shù)內(nèi)。因此，在由前 N 個(gè)基函數(shù) {φ?}????? 張成的有限維子空間中，貝葉斯更新規(guī)則在此周期性模型下變得精確：

定理 4.1（有限維貝葉斯更新）。設(shè) a 和 b 分別為先驗(yàn)與似然的譜系數(shù)向量，截?cái)嘀?N 個(gè)模態(tài)并進(jìn)行周期化。在此有限維子空間中，未歸一化后驗(yàn)的譜系數(shù) c? 由循環(huán)卷積精確給出： c? = a ? b。 (21)

證據(jù)為 Z = c??，歸一化后驗(yàn)系數(shù)為 c = c? / Z。

該定理是理論基礎(chǔ)的最后一塊拼圖。它表明，通過(guò)轉(zhuǎn)向有限維、周期性的譜表示，原本計(jì)算上不可行的貝葉斯更新被簡(jiǎn)化為一個(gè)離散的、有限維的線性運(yùn)算——循環(huán)卷積。這種優(yōu)雅的表述可直接借助快速傅里葉變換 [8] 加速，我們?cè)谙乱徽轮欣眠@一點(diǎn)以實(shí)現(xiàn)我們所設(shè)定的快速貝葉斯推斷目標(biāo)。

5 函數(shù)適用性的數(shù)學(xué)準(zhǔn)則

譜貝葉斯更新框架的有效性并非普適；它關(guān)鍵取決于先驗(yàn)和似然函數(shù)的性質(zhì)。本章建立了精確的數(shù)學(xué)準(zhǔn)則，以確定哪些推斷問題適合此方法。我們考察光滑性與譜衰減之間的關(guān)系、基選擇的關(guān)鍵作用，并將函數(shù)分為理想案例與挑戰(zhàn)性案例。

5.1 系數(shù)衰減率與函數(shù)光滑性

譜展開的收斂速率及其截?cái)嗟木扔上禂?shù) |a?| 的衰減速率決定，而該衰減速率又由函數(shù) f 的光滑性所支配 [10, 11]。

定理 5.1（光滑性與譜衰減）。設(shè) f 為定義在 [?π, π] 上的函數(shù)，其傅里葉系數(shù)為 a?。

1. 若 f 是 p 次連續(xù)可微的（f ∈ C?），且其 p 階導(dǎo)數(shù)具有有界變差，則 |a?| = O(|k|???1)。
2. 若 f 在包含實(shí)軸的復(fù)平面帶域內(nèi)是解析的（即局部由收斂?jī)缂?jí)數(shù)給出），則其傅里葉系數(shù)呈指數(shù)衰減：|a?| = O(e??|k|)，其中 γ > 0。
3. 一個(gè)函數(shù)是帶限的（即當(dāng) |k| > K 時(shí) a? = 0），當(dāng)且僅當(dāng)它是一個(gè)指數(shù)型整函數(shù)。

對(duì)于其他基，類似結(jié)果同樣成立。對(duì)于埃爾米特基（Hermite basis），衰減速率與函數(shù)的光滑性及其在無(wú)窮遠(yuǎn)處的衰減相關(guān)。對(duì)貝葉斯推斷而言，其啟示是直接的：譜方法的成功取決于先驗(yàn)和似然函數(shù)是否足夠光滑。函數(shù)越光滑，達(dá)到所需精度所需的譜系數(shù)越少，從而帶來(lái)更高的計(jì)算效率 [11]。

5.2 域與基匹配原則

對(duì)于給定域和函數(shù)類型的基選擇不當(dāng)，可能導(dǎo)致吉布斯現(xiàn)象——在不連續(xù)點(diǎn)附近出現(xiàn)持續(xù)振蕩——以及收斂緩慢，即使對(duì)于光滑函數(shù)也是如此。指導(dǎo)原則是將基與問題的自然邊界條件相匹配 [10]。

5.2.1 周期域與傅里葉基

對(duì)于定義在周期域（如 [?π, π]）上的參數(shù) θ，復(fù)指數(shù)基 {e???} 是自然且最優(yōu)的選擇。如果函數(shù) f(θ) 本身是周期性的，則展開式表現(xiàn)良好。若強(qiáng)行將非周期函數(shù)納入傅里葉基，將在邊界處誘發(fā)吉布斯現(xiàn)象。

5.2.2 有限非周期域與余弦/多項(xiàng)式基

對(duì)于函數(shù)非周期的有限區(qū)間 [a, b]，能自然滿足邊界條件的基更優(yōu) [10]。

• 余弦基 {cos(πkθ/L)} 隱含地施加了諾伊曼（零導(dǎo)數(shù)）邊界條件。它是那些在邊界處導(dǎo)數(shù)消失的函數(shù)的最優(yōu)基，并與函數(shù)偶延拓的傅里葉展開密切相關(guān)。
• 正交多項(xiàng)式，如勒讓德或切比雪夫多項(xiàng)式，在 [?1, 1] 上構(gòu)成一組基。它們不假設(shè)周期性，且能為光滑函數(shù)提供譜精度。特別是切比雪夫基，因其與余弦變換的關(guān)聯(lián)及其近最優(yōu)逼近性質(zhì)而常被優(yōu)先選用。

5.2.3 無(wú)限域與埃爾米特函數(shù)/傅里葉變換

對(duì)于定義在 ? 上的參數(shù)，選擇取決于函數(shù)的衰減特性 [10]。

• 埃爾米特函數(shù) {ψ?(θ) = e??2/2 H?(θ)}，其中 H? 為埃爾米特多項(xiàng)式，在 L2(?) 中構(gòu)成一組標(biāo)準(zhǔn)正交基。它們特別適合于像高斯函數(shù)一樣衰減的函數(shù)，因?yàn)闄?quán)重函數(shù) e??2/2 已內(nèi)置到基中。
• 傅里葉變換 是處理無(wú)限域最通用的工具。實(shí)踐中，它要求函數(shù)絕對(duì)可積（L1），且在無(wú)窮遠(yuǎn)處衰減得足夠快才能在大但有限的區(qū)間上進(jìn)行近似。

5.3 理想與具有挑戰(zhàn)性的函數(shù)類別

基于上述準(zhǔn)則，我們可以根據(jù)問題對(duì)譜方法的適用性對(duì)推斷問題進(jìn)行分類。

5.3.2 具有挑戰(zhàn)性的情況

該方法在面對(duì)以下情況時(shí)會(huì)遇到顯著困難：

6 快速算法：基于FFT的實(shí)現(xiàn)

前幾章建立的理論框架最終形成了一種高效的計(jì)算算法。通過(guò)利用卷積定理和快速傅里葉變換（FFT），我們將貝葉斯更新轉(zhuǎn)化為具有準(zhǔn)線性復(fù)雜度的過(guò)程。本章詳細(xì)闡述了該算法的推導(dǎo)，給出了其偽代碼，并分析了其計(jì)算效率。

6.1 算法推導(dǎo)

回顧定理4.2，未歸一化后驗(yàn)系數(shù)的有限維貝葉斯更新由循環(huán)卷積給出：

該定理是我們算法的基石。它表明，原始系數(shù)域中計(jì)算代價(jià)高昂的循環(huán)卷積，可以通過(guò)執(zhí)行三個(gè)更簡(jiǎn)單的操作高效完成：兩次離散傅里葉變換（DFT）、一次廉價(jià)的逐元素乘法，以及一次逆離散傅里葉變換（IDFT）[8]。

6.2 算法描述與流程
我們現(xiàn)在給出快速貝葉斯更新的完整算法。該算法假設(shè)先驗(yàn)和似然函數(shù)已被投影到所選的標(biāo)準(zhǔn)正交基上，且其系數(shù)向量已完成周期化，并按標(biāo)準(zhǔn) FFT 庫(kù)的要求索引為從 0 到 N ? 1
[8]。

6.3 計(jì)算復(fù)雜度分析

因此，基于譜FFT的方法為滿足第5章所述光滑性準(zhǔn)則的問題提供了顯著的 超多項(xiàng)式加速 ，使得此前因計(jì)算成本過(guò)高而不可行的快速、序貫貝葉斯更新成為可能。

7 討論與未來(lái)工作

本研究通過(guò)將推斷問題重新表述為調(diào)和分析的語(yǔ)言，建立了一種貝葉斯計(jì)算的新范式。我們?cè)诖丝偨Y(jié)該理論框架，反思其實(shí)際意義，并勾勒出若干有前景的未來(lái)研究方向。

7.1 理論框架

總結(jié)我們構(gòu)建了一個(gè)完整的快速貝葉斯推斷數(shù)學(xué)框架。其基礎(chǔ)在于將概率密度表示于一個(gè)適當(dāng)選擇的標(biāo)準(zhǔn)正交基中 [10, 11]，例如傅里葉基、余弦基或多項(xiàng)式基。在此譜表示下，我們證明了核心結(jié)論：貝葉斯更新規(guī)則——即逐點(diǎn)相乘后歸一化——轉(zhuǎn)化為先驗(yàn)與似然譜系數(shù)的卷積。為實(shí)現(xiàn)計(jì)算可行性，我們引入了譜截?cái)啵摲椒▽?duì)光滑函數(shù)具有極高精度，并表明這種有限維近似自然地導(dǎo)向循環(huán)卷積。最后，通過(guò)利用卷積定理與快速傅里葉變換（FFT）[8]，我們導(dǎo)出了一個(gè)后驗(yàn)更新算法，其計(jì)算復(fù)雜度為 O ( N log ? N )
，顯著優(yōu)于傳統(tǒng)方法 [2, 3]。

7.2 優(yōu)勢(shì)與局限

所提出的方法具有若干顯著優(yōu)勢(shì)。其首要優(yōu)勢(shì)是速度： O ( N log ? N ) 的復(fù)雜度使得在許多場(chǎng)景中實(shí)現(xiàn)快速、序貫更新成為可能，而樸素方法或基于采樣的方法對(duì)此無(wú)能為力。其次，該算法是確定性的：對(duì)于給定輸入，它始終產(chǎn)生相同輸出，避免了 MCMC 方法固有的隨機(jī)波動(dòng)，并消除了對(duì)馬爾可夫鏈?zhǔn)諗啃缘膿?dān)憂 [4]。第三，該方法在數(shù)學(xué)上優(yōu)雅，提供了一種深刻而統(tǒng)一的視角，將貝葉斯推斷與調(diào)和分析及信號(hào)處理聯(lián)系起來(lái) [12]。

然而，這些優(yōu)勢(shì)也伴隨著特定局限。該方法的效率高度依賴于先驗(yàn)與似然函數(shù)的光滑性。涉及不連續(xù)性或重尾分布的問題，若無(wú)重大修改，則難以適用此方法 [10]。此外，該框架在基本形式下在高維空間中面臨“維度災(zāi)難”，因?yàn)閺埩糠e基所需的系數(shù)數(shù)量隨維度呈指數(shù)增長(zhǎng) [14]。

7.3 未來(lái)研究方向

本工作為若干激動(dòng)人心的未來(lái)研究開辟了道路。

首要方向是開發(fā)自適應(yīng)基選擇算法。若能建立一種自動(dòng)程序，根據(jù)先驗(yàn)與似然自動(dòng)選擇最優(yōu)基與分辨率 N N，將極大提升該方法的魯棒性與可用性，使其從專用工具轉(zhuǎn)變?yōu)橥ㄓ盟惴ā?/p>

應(yīng)對(duì)高維挑戰(zhàn)至關(guān)重要。一個(gè)有前景的策略是將譜框架與張量分解技術(shù)（如張量列格式，Tensor-Train）相結(jié)合。這可高效表示并操作具有低秩結(jié)構(gòu)的高維分布，從而緩解指數(shù)級(jí)擴(kuò)展問題 [7]。

另一引人注目的應(yīng)用在于序貫貝葉斯濾波。我們算法的速度使其特別適用于實(shí)時(shí)濾波問題 [12]。它可作為新型粒子流或基于網(wǎng)格的濾波器的核心更新機(jī)制，高效傳播整個(gè)狀態(tài)分布，而非僅傳播一組樣本。

最后，探索與非參數(shù)貝葉斯模型的融合提供了重要機(jī)遇。為函數(shù)空間上的分布（如高斯過(guò)程 [15]）開發(fā)譜表示，可能為這一重要模型類帶來(lái)全新且高效的推斷算法。

總之，貝葉斯更新的調(diào)和表示提供了一個(gè)強(qiáng)大而靈活的框架。盡管存在某些約束，但其卓越的計(jì)算性能與堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，為一大類推斷問題提供了極具吸引力的替代方案，并為未來(lái)算法創(chuàng)新提供了肥沃土壤。

原文鏈接：https://arxiv.org/pdf/2511.06978