差異型近似貝葉斯計(jì)算的后驗(yàn)集中性：基于 Rademacher 復(fù)雜度的分析

CONCENTRATION OF DISCREPANCY-BASED APPROXIMATE BAYESIAN COMPUTATION VIA RADEMACHER COMPLEXITY

https://www.researchgate.net/publication/388992222_Concentration_of_discrepancy-based_approximate_Bayesian_computation_via_Rademacher_complexity

近年來，人們對(duì)近似貝葉斯計(jì)算（ABC）中無需摘要統(tǒng)計(jì)量（summary-free）的解決方案日益關(guān)注，這類方法不再使用摘要統(tǒng)計(jì)量之間的距離，而是采用觀測(cè)數(shù)據(jù)與在所提議參數(shù)值下生成的合成樣本之間的經(jīng)驗(yàn)分布差異（discrepancies）來替代。這些策略的成功激發(fā)了對(duì)由此產(chǎn)生的后驗(yàn)分布極限性質(zhì)的理論研究。然而，目前仍缺乏一個(gè)滿足以下三點(diǎn)要求的理論框架：（i）具有統(tǒng)一性，而非僅針對(duì)特定差異度量；（ii）無需將分析局限于滿足特定正則性條件的數(shù)據(jù)生成過程和統(tǒng)計(jì)模型，而是便于推導(dǎo)出一致成立的極限性質(zhì)；（iii）基于可驗(yàn)證的假設(shè)，提供更明確的集中性界（concentration bounds），以闡明哪些因素決定了ABC后驗(yàn)的極限行為。

我們通過引入Rademacher復(fù)雜度（Rademacher complexity）的概念，構(gòu)建了一個(gè)全新的理論框架，用以分析基于差異度量的ABC后驗(yàn)的極限性質(zhì)，該框架甚至適用于非獨(dú)立同分布（non-i.i.d.）和模型誤設(shè)（misspecified）的情形。這一框架提供了一套統(tǒng)一的理論，其論證具有構(gòu)造性，并能得出更具信息量的漸近結(jié)果和一致的集中性界，即使在現(xiàn)有研究尚未覆蓋的設(shè)定下亦然。

上述關(guān)鍵進(jìn)展是通過將無摘要ABC后驗(yàn)的漸近性質(zhì)與所選差異度量在積分概率半度量（Integral Probability Semimetrics, IPS）族中對(duì)應(yīng)的Rademacher復(fù)雜度的行為聯(lián)系起來而實(shí)現(xiàn)的。IPS類不僅推廣了基于摘要的距離，還涵蓋了實(shí)踐中廣泛使用的Wasserstein距離和最大均值差異（Maximum Mean Discrepancy, MMD）等度量。正如在針對(duì)流行IPS差異度量的專門理論分析以及說明性模擬中所闡明的那樣，這一新視角深化了我們對(duì)無摘要ABC的理解。

1. 引言

上述實(shí)現(xiàn)方式的顯著例子包括：采用最大均值差異（Maximum Mean Discrepancy, MMD）的ABC版本（Park, Jitkrittum and Sejdinovic (2016)）、Kullback–Leibler（KL）散度（Jiang, Wu and Wong (2018)）、Wasserstein距離（Bernton et al. (2019)）、能量統(tǒng)計(jì)量（energy statistic）（Nguyen et al. (2020)）、Hellinger距離與Cramér–von Mises距離（Frazier (2020)），以及γ-散度（γ-divergence）（Fujisawa et al. (2021)）；另見Gutmann et al. (2018)、Forbes et al. (2021) 與 Wang, Kaji and Rockova (2022)，其中提供了更多無摘要ABC策略的實(shí)例。通過避免預(yù)先選擇摘要統(tǒng)計(jì)量，所有這些方法都減少了基于摘要的ABC所可能導(dǎo)致的信息損失，從而在模擬研究和示例性應(yīng)用中展現(xiàn)出更優(yōu)的性能。

這些富有前景的經(jīng)驗(yàn)結(jié)果激發(fā)了對(duì)由此產(chǎn)生的ABC后驗(yàn)分布理論性質(zhì)的活躍研究，主要聚焦于在不同漸近機(jī)制下（關(guān)于容差閾值與樣本量）的極限行為（Jiang, Wu and Wong (2018)；Bernton et al. (2019)；Nguyen et al. (2020)；Frazier (2020)；Fujisawa et al. (2021)）。在這些機(jī)制中，特別值得關(guān)注的是以下兩種情形：一是ABC閾值固定不變；二是當(dāng)觀測(cè)樣本量 n n 與合成樣本量 m m 同時(shí)趨于無窮時(shí)，ABC閾值逐漸收縮至零。

現(xiàn)有相關(guān)研究路線的成果卻為若干種無摘要ABC方法提供了理論支撐。然而，當(dāng)前理論往往僅針對(duì)所分析的具體差異度量而定制，且通常依賴于難以驗(yàn)證的存在性假設(shè)與集中性不等式——這些假設(shè)或不等式要么隱含、要么顯式地施加于數(shù)據(jù)生成過程與統(tǒng)計(jì)模型之上，并要求其滿足特定的正則性條件，因而所得結(jié)論缺乏普遍適用性（uniform validity）。例如，Bernton et al. (2019) 與 Nguyen et al. (2020) 的研究即產(chǎn)生了涉及控制函數(shù)序列的集中性界，但這些控制函數(shù)并未被明確給出。因此，盡管漸近收斂性與集中性仍可被證明，但支配這些漸近性質(zhì)的核心因素仍未被揭示，從而限制了當(dāng)前理論的方法論影響力，并阻礙了在更具挑戰(zhàn)性設(shè)定下推導(dǎo)新穎、信息豐富的結(jié)果。

本文旨在彌補(bǔ)上述空白，通過引入一個(gè)創(chuàng)新性的理論框架來系統(tǒng)分析基于差異度量的ABC后驗(yàn)的極限性質(zhì)。該框架采用統(tǒng)一視角，并適用于不同漸近機(jī)制，其核心工具是Rademacher復(fù)雜度（Rademacher complexity）（例如，Wainwright (2019)，第4章），應(yīng)用于積分概率半度量（Integral Probability Semimetrics, IPS）這一廣泛類別（例如，Müller (1997)，Sriperumbudur et al. (2012)）。IPS類自然推廣了摘要統(tǒng)計(jì)量間的距離，并包含實(shí)踐中廣泛應(yīng)用的MMD與Wasserstein距離等。如第2–3節(jié)及附錄C（Legramanti, Durante and Alquier (2025)）所闡明，該視角在ABC領(lǐng)域內(nèi)屬首創(chuàng)，使我們得以推導(dǎo)出適用于多種差異度量、可能誤設(shè)且非獨(dú)立同分布（non-i.i.d.）情境下的統(tǒng)一、信息豐富且具一致性的集中性界。此外，該框架依賴于更具構(gòu)造性的論證，無需對(duì)真實(shí)數(shù)據(jù)生成過程 μ ? 及所設(shè)統(tǒng)計(jì)模型施加額外的正則性條件（實(shí)踐中 μ ?往往未知，故驗(yàn)證此類條件通常不可行）。

關(guān)鍵在于，本文提出的理論框架甚至可在文獻(xiàn)中尚未探討的設(shè)定下得出富有信息量的結(jié)果。具體而言，在這些設(shè)定中，我們推導(dǎo)出關(guān)于極限接受概率的新穎上下界，從而明確指出：當(dāng)標(biāo)準(zhǔn)理論分析中采用固定ABC閾值所建立的、對(duì)經(jīng)驗(yàn)分布間差異的控制，未必能直接轉(zhuǎn)化為對(duì)真實(shí)分布間差異的同等控制；相反，它僅能給出一個(gè)上界——等于ABC閾值與Rademacher復(fù)雜度的倍數(shù)之和，而后者正是衡量所選IPS類函數(shù)族“豐富程度”（richness）的指標(biāo)（見第3.1節(jié)）。

上述結(jié)果厘清了ABC后驗(yàn)極限行為與所選差異度量的學(xué)習(xí)性質(zhì)之間根本性的關(guān)聯(lián)——此關(guān)聯(lián)通過Rademacher復(fù)雜度加以量化。此外，所推導(dǎo)的界進(jìn)一步表明：恢復(fù)具有相同閾值控制的極限偽后驗(yàn)（pseudo posterior）的一個(gè)充分條件是：所選差異度量對(duì)應(yīng)的Rademacher復(fù)雜度在大樣本極限下趨于零。如第3.2節(jié)所證，該條件亦使得我們能在更具挑戰(zhàn)性的漸近設(shè)定（即當(dāng)閾值隨 m m 與 n n 同時(shí)發(fā)散而趨于零時(shí)）下，構(gòu)造性地推導(dǎo)出新穎、信息豐富且一致的集中性界。這一能力得益于以下兩點(diǎn)：（i）對(duì)主流ABC差異度量（如MMD等）的Rademacher復(fù)雜度存在有意義的上界；（ii）具備構(gòu)造性條件以推導(dǎo)這些界（Sriperumbudur et al. (2012)）。此類結(jié)果利用了統(tǒng)計(jì)學(xué)習(xí)理論中的基本聯(lián)系，例如Vapnik–Chervonenkis（VC）維數(shù)與一致Glivenko–Cantelli類的概念（例如，Wainwright (2019)，第4章），從而在統(tǒng)一視角下深化了對(duì)基于差異度量的ABC后驗(yàn)集中速率的理解，并進(jìn)一步實(shí)現(xiàn)：（i）量化集中速率；（ii）直接將Rademacher復(fù)雜度理論的最新進(jìn)展轉(zhuǎn)化為ABC理論的新成果。第4節(jié)通過聚焦MMD與常規(guī)有界核（routinely implemented bounded kernels）予以例示；同時(shí)澄清：即使在缺乏一致消失Rademacher復(fù)雜度的保證時(shí)（例如，在無界數(shù)據(jù)空間下使用Wasserstein距離的情形），仍可推導(dǎo)出集中性結(jié)果，但需以犧牲對(duì)數(shù)據(jù)生成過程 μ ? 與所設(shè)模型的正則性條件為代價(jià)（該部分延伸見附錄C（Legramanti, Durante and Alquier (2025)），其中我們將第3節(jié)理論拓展至非獨(dú)立同分布情形）。

第5節(jié)的模擬研究證實(shí)，第3–4節(jié)所推導(dǎo)的理論結(jié)果在實(shí)踐中具有實(shí)證支持，包括模型誤設(shè)與數(shù)據(jù)污染等場景；理論與模擬結(jié)果（詳見附錄C（Legramanti, Durante and Alquier (2025)）中關(guān)于非獨(dú)立同分布數(shù)據(jù)生成過程的分析）均表明：當(dāng)統(tǒng)計(jì)模型與/或數(shù)據(jù)生成過程不滿足特定正則性條件，或無法驗(yàn)證相關(guān)假設(shè)時(shí)，那些具備一致消失Rademacher復(fù)雜度保證的差異度量，仍能提供穩(wěn)健且合理的抉擇依據(jù)。這在應(yīng)用中十分常見，因?qū)嶋H中數(shù)據(jù)生成過程通常是未知的。

如第6節(jié)所述，本文所建立的無摘要ABC與Rademacher復(fù)雜度之間的未被探索的橋梁，還可進(jìn)一步拓展，以衍生更一般的理論。例如，結(jié)合本文視角與近期關(guān)于IPS與 f f-散度的統(tǒng)一處理（Agrawal and Horel (2021), Birrell et al. (2022)），有望為ABC中其他重要差異度量（如Kullback–Leibler散度（Jiang, Wu and Wong (2018)）與Hellinger距離（Frazier (2020)））推導(dǎo)出類似清晰且普適的結(jié)果。更廣泛而言，本文貢獻(xiàn)亦可延伸至ABC之外的領(lǐng)域，尤其在基于差異度量的偽后驗(yàn)的廣義貝葉斯推斷中（例如，Bissiri, Holmes and Walker (2016)；Chérief-Abdellatif and Alquier (2020)；Matsubara et al. (2022)；Frazier, Knoblauch and Drovandi (2024)）。相關(guān)證明及補(bǔ)充結(jié)果可見于附錄材料（Legramanti, Durante and Alquier (2025)）。

2 積分概率半度量與Rademacher復(fù)雜度

常見的例子包括基于最大均值差異（MMD）、KL散度（KL divergence）、Wasserstein距離、能量統(tǒng)計(jì)量（energy statistic）、Hellinger距離與Cramér–von Mises距離，以及 γ -散度（ γ -divergence）等的ABC方法；其極限性質(zhì)已在 Park, Jitkrittum and Sejdinovic (2016)、Jiang, Wu and Wong (2018)、Bernton et al. (2019)、Nguyen et al. (2020)、Frazier (2020) 與 Fujisawa et al. (2021) 等文獻(xiàn)中，針對(duì)不同漸近機(jī)制并依賴于特定存在性假設(shè)的情形下進(jìn)行了研究，以簡化證明過程。

作為構(gòu)建統(tǒng)一且具構(gòu)造性的理論框架的第一步，我們需強(qiáng)調(diào)：盡管上述多數(shù)研究分別處理各類差異度量，但其中若干選擇實(shí)際上共享一個(gè)共同源頭。例如，MMD、Wasserstein距離與能量統(tǒng)計(jì)量均屬于積分概率半度量（Integral Probability Semimetrics, IPS）類（見 Definition 2.1 中 Müller (1997) 的定義）。該類亦包含基于摘要統(tǒng)計(jì)量的距離。

例2.2–2.4 表明，實(shí)踐中常規(guī)采用的差異度量——無論用于無摘要還是基于摘要的ABC（參見，例如，Park, Jitkrittum and Sejdinovic (2016)；Bernton et al. (2019)；Nguyen et al. (2020)；Drovandi and Frazier (2022)）——實(shí)際上均屬于積分概率半度量（IPS），且各自對(duì)應(yīng)一個(gè)已知的特征函數(shù)族 F F，該族唯一地標(biāo)識(shí)出每一種差異度量。

例2.2（Wasserstein-1距離）

從而將經(jīng)典基于摘要的ABC納入MMD框架。因此，諸如高斯核等依賴于無限維特征空間的常用核，可被視作基于摘要的ABC在極限情形下的推廣版本。

盡管例2.2–2.4刻畫了ABC中最為常用的IPS差異度量，仍需強(qiáng)調(diào)：其他若干有趣的半度量亦屬于IPS類（例如，Sriperumbudur et al. (2012)，Birrell et al. (2022)）。其中兩個(gè)相關(guān)例子是全變差距離（total variation, TV）與Kolmogorov–Smirnov距離，二者在補(bǔ)充材料（Legramanti, Durante and Alquier (2025)）中有詳細(xì)討論。

3 基于差異度量的ABC后驗(yàn)的漸近性質(zhì)

條件(I)是我們對(duì)數(shù)據(jù)生成過程所作的唯一假設(shè)，例如在 Nguyen et al. (2020) 以及 Bernton et al. (2019) 的補(bǔ)充材料（Legramanti, Durante and Alquier (2025)）中均有體現(xiàn)。盡管我們?cè)诟戒汣中推導(dǎo)的理論放寬了(I)以適用于非獨(dú)立同分布情形，仍需強(qiáng)調(diào)：當(dāng)前文獻(xiàn)中所考慮的部分假設(shè)——即使在獨(dú)立同分布設(shè)定下——也可能并不成立。因此，深入理解在假設(shè)(I)下ABC性質(zhì)的適用范圍及其潛在局限性，對(duì)于將現(xiàn)有存在性理論拓展至更復(fù)雜（可能非獨(dú)立同分布）的情形至關(guān)重要。事實(shí)上，如第3.1節(jié)所示，某些差異度量即便在獨(dú)立同分布設(shè)定下，其對(duì)應(yīng)的ABC后驗(yàn)也可能定義不良（ill-defined），或缺乏強(qiáng)收斂保證。

定理3.1 將此直覺形式化，適用于整個(gè)IPS類下由差異度量誘導(dǎo)的ABC后驗(yàn)。

定理3.3的證明見補(bǔ)充材料附錄D（Legramanti, Durante and Alquier (2025)），其論證思路與Bernton et al. (2019)及Nguyen et al. (2020)中用于建立集中性結(jié)果的論證相似，后者又進(jìn)一步延伸自Frazier et al. (2018)的工作。然而，如前所述，這些已有證明僅針對(duì)單一差異度量，預(yù)設(shè)了
的收斂性，并依賴于非顯式的控制函數(shù)序列。相比之下，定理3.3克服了這些問題，基于引理2.6中的單一集中不等式，構(gòu)建了一個(gè)統(tǒng)一的理論框架。這不僅在技術(shù)細(xì)節(jié)上帶來差異，更重要的是，它為分析基于差異度量的ABC后驗(yàn)的集中性質(zhì)提供了一種新穎且影響廣泛的視角。

3.3 假設(shè)的合理性

上述聯(lián)系表明，假設(shè)(III)與(IV)可謂差異度量型ABC后驗(yàn)一致收斂性與集中性性質(zhì)的核心所在。此外，盡管式(5)本質(zhì)上與(III)–(IV)相關(guān)，但一致Glivenko–Cantelli性質(zhì)僅給出一個(gè)依概率收斂的結(jié)果；而借助引理2.6中更精確的集中不等式，通過Rademacher復(fù)雜度的概念可對(duì)此結(jié)果加以細(xì)化。結(jié)合第3.1節(jié)與3.2節(jié)的理論成果，這不僅使我們能夠斷言特定ABC后驗(yàn)的收斂性與集中性，還能進(jìn)一步闡明支配這些極限性質(zhì)的關(guān)鍵因素，并可能推導(dǎo)出相應(yīng)的收斂速率。

如例3.5–3.7所闡明，對(duì)于例2.2–2.4中所述的關(guān)鍵IPS差異度量，假設(shè)(III)–(IV)通�？赏ㄟ^已知的Rademacher復(fù)雜度上界予以驗(yàn)證；同時(shí)，還可利用Rademacher復(fù)雜度與統(tǒng)計(jì)學(xué)習(xí)理論中其他被深入研究的量（例如多項(xiàng)式判別能力（polynomial discrimination）與VC維數(shù)）之間的聯(lián)系進(jìn)行分析。特別地，Wainwright (2019) 第4.3章概述了若干通過此類概念對(duì)Rademacher復(fù)雜度進(jìn)行上限估計(jì)的實(shí)用技術(shù)。

另需指出，對(duì)于IPS類中的另外兩種差異度量——即全變差距離（total variation distance）與Kolmogorov–Smirnov距離——其假設(shè)(III)–(IV)的有效性在補(bǔ)充材料（Legramanti, Durante and Alquier (2025)）的附錄A中有詳細(xì)討論。盡管這兩種差異度量頗具理論趣味，但在ABC的實(shí)際應(yīng)用中，其使用頻率遠(yuǎn)低于Wasserstein距離、MMD以及基于摘要統(tǒng)計(jì)量的距離。

例3.6（MMD）
MMD的性質(zhì)本質(zhì)上依賴于所選核函數(shù) k ( ? , ? ) 。這一點(diǎn)可由以下兩個(gè)不等式清晰體現(xiàn)：

例3.5–3.7表明，對(duì)于第2節(jié)中所列舉的IPS類關(guān)鍵實(shí)例，假設(shè)(III)與(IV)可在實(shí)踐中切實(shí)驗(yàn)證：要么在無需額外條件的情形下成立，要么僅需對(duì)分析所涉數(shù)據(jù)的支持集（support of the data）施加適當(dāng)約束即可直接檢驗(yàn)。從實(shí)際應(yīng)用角度看，這一特性構(gòu)成重要優(yōu)勢(shì)——它減輕了對(duì)所設(shè)模型及未知數(shù)據(jù)生成過程施加復(fù)雜正則性條件的需求。需注意，例3.5中關(guān)于Wasserstein距離的有界性條件，恰好對(duì)應(yīng)于Bernton et al. (2019) 中假設(shè)1與2所隱含的條件（亦見Weed and Bach (2019)），而我們的Rademacher復(fù)雜度視角進(jìn)一步深化了這些結(jié)果：例如，它闡明了Wasserstein-ABC的收斂性與集中性可由一個(gè)已知且可計(jì)算的復(fù)雜度測(cè)度統(tǒng)一調(diào)控，并在整個(gè)概率測(cè)度空間 P ( Y )
上一致成立。

4. 基于MMD與Wasserstein-1距離的ABC后驗(yàn)的漸近性質(zhì)
第4.1節(jié)與4.2節(jié)將第3節(jié)推導(dǎo)的一般理論專門應(yīng)用于IPS類中兩類尤為重要的距離：MMD（包含基于摘要的距離作為特例）與Wasserstein-1距離�；仡櫪�3.5–3.7可知，這些差異度量均被第3節(jié)的一般結(jié)果所覆蓋——前提是核函數(shù)或樣本空間 Y Y 有界。為求完備性，我們進(jìn)一步將此類集中性結(jié)果拓展至(III)與(IV)不成立的情形；具體見命題4.3與4.4。

。。。。。。。。。。

原文鏈接：https://www.researchgate.net/publication/388992222_Concentration_of_discrepancy-based_approximate_Bayesian_computation_via_Rademacher_complexity