Frequentist Guarantees of Distributed (Non)-Bayesian Inference

頻率學(xué)派對分布式（非）貝葉斯推理的保證

https://www.jmlr.org/papers/volume26/23-1504/23-1504.pdf

摘 要
我們?yōu)檫B接在網(wǎng)絡(luò)上的多個智能體所面臨的分布式（非）貝葉斯推斷問題建立了頻率學(xué)派性質(zhì)，即后驗(yàn)一致性、漸近正態(tài)性以及后驗(yàn)收縮速率。這些結(jié)果源于對大規(guī)模、去中心化數(shù)據(jù)集進(jìn)行分析的迫切需求，而分布式（非）貝葉斯推斷已成為統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和經(jīng)濟(jì)學(xué)等多個領(lǐng)域中的關(guān)鍵研究方向。我們的結(jié)果表明，在通信圖滿足適當(dāng)假設(shè)的條件下，分布式（非）貝葉斯推斷在保持參數(shù)效率的同時，還能增強(qiáng)不確定性量化方面的魯棒性。我們還通過考察通信圖的設(shè)計(jì)與規(guī)模如何影響后驗(yàn)收縮速率，探討了統(tǒng)計(jì)效率與通信效率之間的權(quán)衡關(guān)系。此外，我們將分析擴(kuò)展至?xí)r變圖，并將所得結(jié)果應(yīng)用于指數(shù)族模型、分布式邏輯回歸以及去中心化檢測模型。

關(guān)鍵詞：分布式推斷，貝葉斯理論，Bernstein–von Mises定理，通信效率，網(wǎng)絡(luò)上的估計(jì)

1. 引 言

   
   現(xiàn)代數(shù)據(jù)集通常由分布式系統(tǒng)生成并存儲，例如社交媒體、傳感器網(wǎng)絡(luò)、區(qū)塊鏈和基于云的數(shù)據(jù)庫。然而，數(shù)據(jù)傳輸成本使得將這些數(shù)據(jù)集集中到單一機(jī)器上進(jìn)行分析變得極其昂貴，甚至在某些情況下不可行。為應(yīng)對這一挑戰(zhàn)，研究者轉(zhuǎn)向了分布式算法，以在通信受限的條件下實(shí)現(xiàn)去中心化的數(shù)據(jù)驅(qū)動決策（Borkar 和 Varaiya, 1982；Tsitsiklis 和 Athans, 1984；Gubner, 1993）。在此類系統(tǒng)中，一組智能體在一個通信網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)運(yùn)行，每個智能體僅能與其鄰居局部交換信息。這些智能體順序地分析數(shù)據(jù)，各自獨(dú)立進(jìn)行推斷，并通過網(wǎng)絡(luò)結(jié)構(gòu)定義的邊共享推斷結(jié)果；該網(wǎng)絡(luò)結(jié)構(gòu)可能隨時間變化（Nedi? 等, 2017；Uribe 等, 2022b）。

去中心化或分布式貝葉斯推斷起源于統(tǒng)計(jì)學(xué)（DeGroot, 1974；Gilardoni 和 Clayton, 1993）。然而，直到過去十年計(jì)算能力的巨大進(jìn)步，分布式推斷的思想才在統(tǒng)計(jì)學(xué)界重新引起關(guān)注（Uribe 等, 2022a,b）。目前已有大量關(guān)于分布式貝葉斯推斷的研究，旨在為大規(guī)模數(shù)據(jù)集開發(fā)可擴(kuò)展且高效的后驗(yàn)計(jì)算算法（Jordan 等, 2018）。該領(lǐng)域的主要挑戰(zhàn)之一是設(shè)計(jì)數(shù)據(jù)并行過程，通過將大規(guī)模數(shù)據(jù)集劃分為更小的塊，使其能在單個機(jī)器上獨(dú)立處理。當(dāng)前文獻(xiàn)大多聚焦于“一次性”（one-shot）或“極易并行”（embarrassingly parallel）的方法，這類方法僅在計(jì)算流程結(jié)束時進(jìn)行一輪本地機(jī)器與中央節(jié)點(diǎn)之間的通信。具體而言，這些方法在各本地機(jī)器上并行計(jì)算估計(jì)量或后驗(yàn)樣本，然后將估計(jì)結(jié)果傳送到中央節(jié)點(diǎn)，以形成全局估計(jì)量或后驗(yàn)近似（例如，通過計(jì)算各本地后驗(yàn)分布的Wasserstein重心）。

從馬爾可夫鏈蒙特卡洛（MCMC）的角度來看，已有若干針對分布式貝葉斯推斷的并行MCMC方法被提出（Neiswanger 等, 2013；Wang 和 Dunson, 2013；Minsker 等, 2014；Wang 等, 2015；Rabinovich 等, 2015；Scott 等, 2016；Li 等, 2017；Minsker 等, 2017）。這些方法從各子集后驗(yàn)中并行抽取樣本，并將這些樣本組合起來，以近似完整數(shù)據(jù)的后驗(yàn)測度。

從變分貝葉斯的角度出發(fā)，已有研究提出了用于分布式貝葉斯推斷的算法，例如隨機(jī)變分推斷（Hoffman 等, 2013）。這些算法將數(shù)據(jù)分布到多臺機(jī)器上，通過隨機(jī)梯度下降（SGD）并行執(zhí)行局部變分更新，并將全局變分參數(shù)更新為各局部最優(yōu)解的加權(quán)平均。貝葉斯規(guī)則的變分解釋（Walker, 2006）使得變分優(yōu)化問題與后驗(yàn)分布之間可以雙向?qū)?yīng)。

除了統(tǒng)計(jì)學(xué)界的進(jìn)展，分布式貝葉斯推斷在微觀經(jīng)濟(jì)學(xué)中也得到了研究，被稱為“非貝葉斯社會學(xué)習(xí)”。該領(lǐng)域的代表性工作聚焦于其公理基礎(chǔ)（Epstein 等, 2010）、達(dá)成共識的條件（Acemoglu 等, 2011）、各類學(xué)習(xí)規(guī)則（Golub 和 Sadler, 2017）以及信息聚合效應(yīng)（Molavi 等, 2018）。這種跨學(xué)科的關(guān)注凸顯了分布式貝葉斯推斷技術(shù)的廣泛相關(guān)性和適用性。在此框架中，智能體代表試圖學(xué)習(xí)某個潛在世界狀態(tài) θ 的個體。與傳統(tǒng)貝葉斯方法中每個智能體基于全部數(shù)據(jù)進(jìn)行推斷不同，“非貝葉斯學(xué)習(xí)”（經(jīng)濟(jì)學(xué)家如此稱呼）模型刻畫了個體在存在其他決策者、信息獲取有限且僅通過社交網(wǎng)絡(luò)互動的情境下如何進(jìn)行推斷。分布式貝葉斯學(xué)習(xí)框架提供了一種有前景的解決方案：它保留了貝葉斯學(xué)習(xí)的理想特性（如便于不確定性量化和靈活性），同時引入了一種符合現(xiàn)實(shí)行為假設(shè)的信息聚合形式。事實(shí)上，分布式貝葉斯規(guī)則已被證明能反映社會中個體行為的合理假設(shè)（Jadbabaie 等, 2012）。在特定分布假設(shè)下，該分布式框架具有解析可處理性，且在一般情形下具備計(jì)算可行性。更全面的文獻(xiàn)綜述可參見（Molavi 等, 2018）。

盡管經(jīng)濟(jì)理論在各種策略環(huán)境中探討了社會學(xué)習(xí)，但其幾乎完全是行為導(dǎo)向的，很少涉及實(shí)際數(shù)據(jù)。近期信號處理領(lǐng)域的研究則更深入地探討了社會學(xué)習(xí)的統(tǒng)計(jì)性質(zhì)，其中大部分工作聚焦于有限參數(shù)空間。例如，Braca 等（2010）研究了在局部備擇假設(shè)下基于分布式檢驗(yàn)統(tǒng)計(jì)量的二元檢驗(yàn)的相對效率，并建立了該檢驗(yàn)統(tǒng)計(jì)量的漸近正態(tài)性結(jié)果。在非貝葉斯社會學(xué)習(xí)設(shè)定中，Shahrampour 等（2015）假設(shè)參數(shù)空間有限，并給出了分布式信念與集中式信念之間KL散度的非漸近界。Lalitha 等（2014）從大偏差角度證明了信念以指數(shù)速率收斂到真實(shí)值。Bordignon 等（2021）研究了在步長趨于零的情形下智能體信念的漸近正態(tài)性。相比之下，Inan 等（2022）則在通信圖為隨機(jī)的情況下，研究了智能體信念向真實(shí)值收斂的一致性與收斂速率。

在離散有限參數(shù)空間中建立集中性界（concentration bounds）的技術(shù)嚴(yán)重依賴于對兩個候選分布之間KL散度的控制。而在超越有限離散參數(shù)空間的工作則較為稀少。一個例子是 Uribe 等（2022a,b），他們在 Θ 為離散或緊致的情形下分別建立了 pjt(θ) 的一致性和集中性界。

本文研究連續(xù)參數(shù)空間（作為 ?p 的子集）下、樣本量（或時間）趨于無窮時非貝葉斯社會學(xué)習(xí)的漸近性質(zhì)。盡管這一設(shè)定在社會學(xué)習(xí)文獻(xiàn)中尚未充分探索，但從經(jīng)典漸近理論（Van der Vaart, 2000）的角度看，它或許更為自然。建立此類理論填補(bǔ)了現(xiàn)有社會學(xué)習(xí)文獻(xiàn)的空白，并與統(tǒng)計(jì)學(xué)中分布式貝葉斯推斷文獻(xiàn)建立起聯(lián)系。

分布式貝葉斯方法已在電氣工程、統(tǒng)計(jì)學(xué)和經(jīng)濟(jì)學(xué)等多個學(xué)科中引起廣泛關(guān)注。然而，由于缺乏對其統(tǒng)計(jì)性質(zhì)的嚴(yán)格分析，這些方法在統(tǒng)計(jì)學(xué)界的廣泛應(yīng)用仍受到阻礙。此外，理解這些性質(zhì)對于深入認(rèn)識不同通信模式下智能體的共識行為至關(guān)重要——這也是電氣工程和經(jīng)濟(jì)學(xué)界共同關(guān)注的話題。本文研究了將隨機(jī)鏡像下降（SMD）算法應(yīng)用于統(tǒng)計(jì)估計(jì)問題所產(chǎn)生的分布式貝葉斯過程（Uribe 等, 2022a,b）。我們的工作填補(bǔ)了一個關(guān)鍵空白：建立了此類分布式貝葉斯過程的頻率學(xué)派性質(zhì)，包括后驗(yàn)一致性、漸近正態(tài)性以及后驗(yàn)收縮速率。我們還通過研究后驗(yàn)收縮速率與通信圖結(jié)構(gòu)之間的關(guān)系，探討了統(tǒng)計(jì)效率與通信成本之間的權(quán)衡。此外，我們通過實(shí)例說明了 Bernstein–von Mises 結(jié)果在不確定性量化中的實(shí)際效用。最終，我們希望激發(fā)統(tǒng)計(jì)學(xué)界對分布式貝葉斯方法的進(jìn)一步興趣，并為經(jīng)濟(jì)學(xué)和電氣工程等領(lǐng)域的分布式貝葉斯推斷奠定堅(jiān)實(shí)的理論基礎(chǔ)。

本文其余部分安排如下：第2節(jié)從優(yōu)化視角引入分布式貝葉斯推斷問題，并嚴(yán)格定義分布式貝葉斯后驗(yàn)。第3節(jié)概述了分布式貝葉斯后驗(yàn)一致性和漸近正態(tài)性的充分條件。第4節(jié)證明了分布式貝葉斯后驗(yàn)的一致性（定理3）。第5節(jié)在模型正確設(shè)定（定理10）和錯誤設(shè)定（定理14）兩種情形下建立了 Bernstein–von Mises 定理。第6節(jié)提供了后驗(yàn)收縮速率的抽象與具體上界（定理15和定理18），特別強(qiáng)調(diào)模型誤設(shè)情形。第7節(jié)將分析擴(kuò)展至?xí)r變圖，并在不同通信頻率機(jī)制下建立了后驗(yàn)收縮速率（定理20）。第8節(jié)通過三個統(tǒng)計(jì)模型展示了我們結(jié)果的實(shí)際應(yīng)用，包括指數(shù)族模型（命題24）、邏輯回歸模型（命題25）以及分布式檢測問題（命題27）——后者是電氣工程中的一個典型問題。第9節(jié)總結(jié)全文，并討論基于本研究結(jié)果的未來研究方向。

1. 預(yù)備知識

集中式統(tǒng)計(jì)估計(jì)問題的目標(biāo)是找到一個子集 Θ? ? Θ，使得對于 θ? ∈ Θ?，?θ? 是在某個度量意義下“最接近” ?? 的分布。從幾何上看，目標(biāo)是在概率測度集合 {?θ : θ ∈ Θ} 的子集中找到一個在給定拓?fù)湎伦罱咏??? 的點(diǎn)。該拓?fù)渫ǔＳ筛怕士臻g上的散度定義，例如 Kullback-Leibler (KL) 散度、Rényi 散度等。KL 散度、Rényi 散度及其他散度函數(shù)的定義詳見附錄第 A.1 節(jié)。

可以說，最自然的估計(jì)問題應(yīng)基于 KL 散度：

方程 (2.1) 在總體層面上等價(jià)于最大似然估計(jì)（MLE）。例如，如果真實(shí)分布 ?? 是標(biāo)準(zhǔn)正態(tài)分布 N(0,1)，而參數(shù)族 ?θ 是正態(tài)位置族 N(θ,1)；θ ∈ [?1,1]，則最優(yōu)值為 θ? = 0。

求解 (2.1) 存在兩個主要挑戰(zhàn)。首先，由于 ?? 未知，通常用從該分布抽取的樣本代替。由此產(chǎn)生的近似誤差影響了 MLE 的樣本復(fù)雜度，這在統(tǒng)計(jì)學(xué)文獻(xiàn)中已被廣泛研究（Van der Vaart, 2000）。第二個挑戰(zhàn)是計(jì)算方面的。當(dāng)集合 Θ 是離散的、非光滑的或不連通的時，諸如一階優(yōu)化方法等默認(rèn)方法即使在總體層面上也無法直接應(yīng)用于求解方程 (2.1)。

與其在 Θ 上最小化，一種常見做法是通過在 Θ 上的概率分布上最小化來“提升”該問題。

令 ΔΘ 表示定義在 Θ 上的概率密度函數(shù)空間。那么

其中 ΔΘ 是（假設(shè)的）所有在 Θ 上的概率分布構(gòu)成的空間，且 ∫Θ p(θ)dθ = 1，同時 p(θ) ≥ 0。如果 θ? 滿足方程 (2.1)，則 p* = δθ? 滿足方程 (2.2)，因此這兩個問題是等價(jià)的。然而，其優(yōu)勢在于，無論 Θ 所定義的拓?fù)淙绾�，方�?(2.2) 都是一個連續(xù)優(yōu)化問題；也就是說，Θ 可以是一個有限離散集合。

方程 (2.2) 引入了一種等價(jià)的統(tǒng)計(jì)估計(jì)表述形式，即將其轉(zhuǎn)化為在 Θ 上的概率測度空間上的最小化問題。鑒于期望泛函的線性性質(zhì)，Riesz 表示定理意味著存在一個內(nèi)積 ?.,.?，用于刻畫 Θ 上的期望。隨后，我們將 KL 最小化問題重新表述為一個線性隨機(jī)優(yōu)化問題（至多相差一個常數(shù)）：

該結(jié)果源于標(biāo)準(zhǔn)的變分貝葉斯論證（Knoblauch 等，2022）。
上述結(jié)果揭示了隨機(jī)優(yōu)化與廣義貝葉斯推斷之間一種引人入勝的相互作用。參數(shù) α 既充當(dāng) SMD 更新中的步長，又作為廣義貝葉斯規(guī)則中的溫度參數(shù)。當(dāng) α 取值為 1 時，我們便恢復(fù)標(biāo)準(zhǔn)的貝葉斯定理。接下來，我們將探討廣義貝葉斯與 SMD 之間的聯(lián)系，以基于分布式 SMD 算法構(gòu)建一個分布式貝葉斯后驗(yàn)。

2.1 分布式貝葉斯推斷

2.2 分布式貝葉斯后驗(yàn)

本節(jié)提供了我們在本文中研究的分布式貝葉斯后驗(yàn)的嚴(yán)格定義。定義先驗(yàn)測度 Π 如下：

分布式貝葉斯后驗(yàn)的測度論定義等價(jià)于遞歸公式（2.9）。該定義表明，分布式貝葉斯后驗(yàn)是先驗(yàn)分布和替代似然的乘積。

1. 假設(shè)

在整篇論文中，我們提出以下假設(shè)：

其余假設(shè)分為四類：通信圖結(jié)構(gòu)、私有統(tǒng)計(jì)模型的規(guī)律性、先驗(yàn)質(zhì)量假設(shè)和一致性測試假設(shè)。后三者是貝葉斯?jié)u近理論中的標(biāo)準(zhǔn)假設(shè)，有著良好的歷史（見附錄A.2節(jié)）。通信圖的假設(shè)在第7節(jié)中放寬，以允許時間依賴性。

關(guān)于連通性的假設(shè)在網(wǎng)絡(luò)通信文獻(xiàn)中是標(biāo)準(zhǔn)的，以確保代理之間的信息流（Shahrampour 等人，2015；Nedic 等人，2017）。這三個假設(shè)確保具有轉(zhuǎn)移矩陣 A 的馬爾可夫鏈?zhǔn)遣豢杉s且非周期的。

假設(shè)2中描述的規(guī)律性條件是后驗(yàn)分布漸近分析的常見前提（Van der Vaart，2000）。直觀上，對數(shù)似然的可微分性或凸性確保了最大似然估計(jì)量的一致性，而二次可微分性使得在真實(shí)值附近可以進(jìn)行有效的二階泰勒展開。這使我們能夠利用最大似然估計(jì)量（MLE）的性質(zhì)來描述后驗(yàn)的漸近性質(zhì)。

下一組假設(shè)通常被稱為先驗(yàn)質(zhì)量或先驗(yàn)厚度假設(shè)。

1. 后驗(yàn)一致性

該結(jié)果直接來自Miller（2021）的定理3。因此，證明省略。 在實(shí)踐中，由于缺乏關(guān)于未知分布矩的信息，假設(shè)2(a)很難驗(yàn)證。在像柯西分布這樣的重尾分布下，期望可能不存在。在下面的結(jié)果中，我們提供了一個更容易檢查的信息論等價(jià)于假設(shè)2(a)。

1. 漸近正態(tài)性

在定理10中，二次均值（DQM）假設(shè)（假設(shè)2(c)）的可微性在實(shí)際環(huán)境中可能難以驗(yàn)證。我們用關(guān)于私有對數(shù)對數(shù)對數(shù)的二階平滑性假設(shè)（假設(shè)2(e)）來替代抽象的DQM假設(shè)。

推論11 如果將假設(shè)2(c)替換為假設(shè)2(e)，則定理10成立。

二次均值（DQM）假設(shè)（假設(shè)2(c)）的可微性和利普希梯度正則性假設(shè)（假設(shè)2(d)）都可以被三階平滑性假設(shè)（假設(shè)2(f)）替代，后者通常被稱為M估計(jì)量的漸近正態(tài)性的經(jīng)典條件（Van der Vaart，2000）。

推論12 如果將假設(shè)2(c)和2(d)替換為假設(shè)2(f)，則定理10成立。

1. 收縮率

收縮率量化了后驗(yàn)分布接近數(shù)據(jù)生成分布的真實(shí)參數(shù)的速度�？刂剖湛s率不僅細(xì)化了我們對后驗(yàn)一致性的理解，還有助于控制錯誤指定的伯恩斯坦-馮-米塞斯定理（定理14）中的采樣復(fù)雜性。與前幾節(jié)側(cè)重于漸近結(jié)果不同，我們在本節(jié)提供非漸近界限和后驗(yàn)收縮率的縮放規(guī)律。我們的結(jié)果涉及樣本大小 t、維度 p 和代理數(shù)量 m。

本節(jié)的主要定理在“先驗(yàn)質(zhì)量和測試”框架下陳述。假設(shè)是對伯恩斯坦-馮-米塞斯定理假設(shè)的次指數(shù)細(xì)化：(a) 先驗(yàn)需要在真實(shí)參數(shù)的鄰域內(nèi)放置最少量的先驗(yàn)質(zhì)量。(b) 限制在參數(shù)空間的一個子集內(nèi)，存在一個測試函數(shù)可以將真實(shí)值與其鄰域的補(bǔ)集區(qū)分開來；(c) 先驗(yàn)基本上支持在(b)中描述的子集。

該結(jié)果直接由定理15和17得出，因此證明從略。

該定理概述了設(shè)計(jì)參數(shù)如何決定分布式貝葉斯后驗(yàn)的收縮速率。公式中的第二項(xiàng)可以說是最有趣的。隨著代理數(shù)量 m 的增加，收縮速率與 m log m 成正比，與 ν（最小正鄰接權(quán)重）成反比。這表明，代理網(wǎng)絡(luò)的規(guī)模和最小通信帶寬（譜間隙）對后驗(yàn)收縮速率具有關(guān)鍵影響。此外，誤差在最壞情況模型誤設(shè)誤差和平均模型誤設(shè)誤差中呈線性縮放，這表明偏離理想模型假設(shè)會懲罰收縮速率。

7. 擴(kuò)展到時變圖

本節(jié)將我們的理論擴(kuò)展到一個特定的時變連通性場景：在完全連通圖和“完全孤立的智能體”圖之間交替。雖然這是一個簡化的設(shè)定，但從理論角度看，它已足夠豐富，能夠揭示時變通信下推斷的相變行為。

假設(shè) 5 提出的設(shè)定之所以有用，有多方面原因。理論上，此設(shè)定有助于嚴(yán)格研究統(tǒng)計(jì)效率與通信成本之間的權(quán)衡。它使我們能夠探索，給定目標(biāo)統(tǒng)計(jì)效率水平時，何種通信水平是“最優(yōu)”的。在實(shí)際方面，此設(shè)定可概念化為一個以概率 λ λ發(fā)生完全故障的網(wǎng)絡(luò)。在此類場景中，主要目標(biāo)是量化這種間歇性連通水平如何影響系統(tǒng)內(nèi)的整體學(xué)習(xí)質(zhì)量。

我們在假設(shè) 5 的設(shè)定下，給出一個與引理 1 類似的結(jié)果。

在推論20中，“以概率1”這一表述是相對于定義在序列 A?, A?, … 上的測度而言的，其中每個 A? 是一個獨(dú)立的隨機(jī)矩陣，以概率 λ 從兩個確定性矩陣中抽取。重要的是，這與命題19所依賴的概率測度相同，我們將在后續(xù)內(nèi)容中繼續(xù)使用該測度。

改變通信頻率 λ 會影響在網(wǎng)絡(luò)中執(zhí)行分布式貝葉斯推斷的統(tǒng)計(jì)效率。在以下結(jié)果中，我們展示了 λ 對收縮速率的影響。

分布式理想后驗(yàn)分布 P? 不依賴于通信圖；因此，定理15仍然成立，且假設(shè)依然合理。由于收縮速率中唯一依賴于通信圖的項(xiàng)是，推論21的論證直接建立在定理15和推論20的基礎(chǔ)之上。證明詳見附錄中的第 C.3 節(jié)。

據(jù)我們所知，定理21是首個關(guān)于時變通信網(wǎng)絡(luò)對分布式統(tǒng)計(jì)推斷效率影響的結(jié)果。該結(jié)果在某種程度上違背直覺。人們自然會預(yù)期存在一種通信-統(tǒng)計(jì)權(quán)衡：即提高通信頻率會導(dǎo)致更快的后驗(yàn)收縮速率。雖然更高的通信頻率（λ ≥ 2/m）確實(shí)會導(dǎo)致更快的收縮速率，其縮放因子為 log λ / λ，但當(dāng)頻率低于 2/m 時，情況則不同。在此情形下，通信效率 λ 不再產(chǎn)生任何影響，而收縮速率僅取決于代理數(shù)量 m——其速率為 m2，而非 m log m。

這暗示了在 λ = 2/m 處可能存在一種“相變”現(xiàn)象，值得在未來研究中進(jìn)一步探索。從實(shí)際角度而言，如果目標(biāo)是在大型網(wǎng)絡(luò)中平衡通信效率與統(tǒng)計(jì)性能，則通信頻率 λ* = 2/m 似乎是最佳選擇。

1. 示例說明

   
   8.1 指數(shù)族分布

指數(shù)族包括常用的高斯分布、指數(shù)分布、伽馬分布、卡方分布、Beta 分布、Dirichlet 分布、Bernoulli 分布、分類分布、Poisson 分布、Wishart 分布、逆 Wishart 分布以及幾何分布。在本節(jié)中，我們僅考慮標(biāo)準(zhǔn)指數(shù)族，并可互換地指代指數(shù)族和標(biāo)準(zhǔn)指數(shù)族。

指數(shù)族分布在貝葉斯推斷中很有用，因?yàn)樗鼈兙哂泄曹椥再|(zhì)。例如，如果先驗(yàn)分布和似然函數(shù)都屬于指數(shù)族，則后驗(yàn)分布也屬于指數(shù)族。這一性質(zhì)在分布式設(shè)定下同樣得以保持。

讓我們考慮這樣一種情形：在時刻 t，所有代理的信念均屬于自然指數(shù)族。在此設(shè)定下，代理 i 關(guān)于參數(shù) θ 的信念可描述如下：

該命題依賴于兩個模型特定的假設(shè)。假設(shè) i) 關(guān)注私有 Fisher 信息的正則性，這是廣義線性模型（GLMs）中的一個標(biāo)準(zhǔn)前提，用以確保模型參數(shù) θ 是可識別的（參見 Van der Vaart (2000) 中的例 16.8）。假設(shè) ii) 施加了一個更嚴(yán)格的條件，要求協(xié)變量具有有界的三階矩。該假設(shè)用于驗(yàn)證假設(shè) 2(f)，在大多數(shù)應(yīng)用中通常是合理的。

令 表示自由度為 p 的 χ2 分布在顯著性水平 α 下的臨界值。命題 25 在概率測度 P?? 下，針對參數(shù) θ 指定了一個漸近有效的可信區(qū)域，置信水平為 1?α。該區(qū)域由滿足以下條件的 θ 的集合給出：

命題 25 增強(qiáng)了分布式邏輯回歸模型的魯棒性。近似協(xié)方差中的平均 Fisher 信息確保了極端協(xié)變量值不會過度影響近似不確定性。模型特定的假設(shè) i) 和 ii) 也可作為分布式邏輯回歸模型何時達(dá)到期望的漸近性質(zhì)的魯棒性檢驗(yàn)。在實(shí)踐中，檢查這些假設(shè)并使用拉普拉斯近似為分布式邏輯回歸模型中的統(tǒng)計(jì)推斷提供了一種高效可靠的方法，使其對各種數(shù)據(jù)不規(guī)則性具有更強(qiáng)的適應(yīng)性。

8.3 分布式檢測

1. 討論與未來方向

我們研究了分布式（非貝葉斯意義上的）貝葉斯推斷的頻率學(xué)統(tǒng)計(jì)性質(zhì)，包括“后驗(yàn)”一致性、Bernstein–von Mises 定理以及“后驗(yàn)”收縮速率。我們的結(jié)果首次嚴(yán)格揭示了分布式貝葉斯推斷的統(tǒng)計(jì)效率及其對底層通信網(wǎng)絡(luò)設(shè)計(jì)參數(shù)（如代理數(shù)量和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)）的依賴關(guān)系。這些富有前景的結(jié)果為未來研究提供了若干方向。

未來的工作應(yīng)考察在更復(fù)雜的時變網(wǎng)絡(luò)結(jié)構(gòu)下分布式貝葉斯后驗(yàn)的頻率學(xué)統(tǒng)計(jì)性質(zhì)，例如存在單鏈路故障的網(wǎng)絡(luò)（Shahrampour 等，2015）或其它隨機(jī)圖結(jié)構(gòu)，如 Erd?s–Rényi 圖（Erd?s 等，1960）。理解分布式貝葉斯推斷如何適應(yīng)此類場景，對于在不可預(yù)測或?qū)剐原h(huán)境中應(yīng)用理論成果至關(guān)重要。

另一個引人關(guān)注的方向是探索分布式貝葉斯后驗(yàn)的頻率學(xué)覆蓋性質(zhì)。這可包括在模型設(shè)定正確或誤設(shè)情形下對置信區(qū)間或假設(shè)檢驗(yàn)的分析。理解分布式貝葉斯后驗(yàn)如何與頻率學(xué)準(zhǔn)則相一致，可為模型提供額外的驗(yàn)證與穩(wěn)健性檢驗(yàn)。

在社會學(xué)習(xí)的背景下，還有多種方式可以拓展我們的結(jié)果。例如，Bordignon 等（2021）和 Hu 等（2023）在分布式更新規(guī)則（2.8）中引入了步長，并在固定樣本量 n 下、步長趨于零的條件下建立了漸近正態(tài)性結(jié)果�？梢詫⑽覀兊慕Y(jié)果與他們的工作相結(jié)合，以研究在時間與步長聯(lián)合漸近機(jī)制下的極限分布。另一項(xiàng)可能的拓展是在離散且有限的參數(shù)空間 Θ 上證明 Bernstein–von Mises 定理，如 Bordignon 等（2021）和 Hu 等（2023）所探討的情形。此外，還可以在后驗(yàn)更新過程中為似然項(xiàng)引入代理特定的權(quán)重（類似于 Bordignon 等，2023），以探究此類更新規(guī)則相較于使用與代理無關(guān)的權(quán)重時，對極限分布和收縮速率的影響。

人們或許可以將我們的工作與社會學(xué)習(xí)的微觀經(jīng)濟(jì)學(xué)理論聯(lián)系起來，例如 Molavi 等人（2018）的結(jié)果。來自非貝葉斯框架的見解——例如 DeGroot 模型（DeGroot, 1974；Acemoglu 等, 2011）的各種變體——有助于闡明分布式貝葉斯方法的收斂性質(zhì)，尤其是在代理具有異質(zhì)先驗(yàn)信念或受外部信號影響的情境中。

我們的工作補(bǔ)充了聚焦于通信效率的頻率學(xué)分布式推斷文獻(xiàn)。未來的研究可以整合該領(lǐng)域中的成果，包括通信高效的方法（Jordan 等, 2018）和高維分布式統(tǒng)計(jì)推斷（Battey 等, 2015），以設(shè)計(jì)并分析分布式貝葉斯方法。

最后，我們的理論發(fā)現(xiàn)可為實(shí)際應(yīng)用中通信網(wǎng)絡(luò)的設(shè)計(jì)提供指導(dǎo)。具體而言，對代理數(shù)量與通信成本之間相互作用的解析性理解，有助于構(gòu)建更高效、更魯棒的分布式貝葉斯系統(tǒng)。

原文鏈接：https://www.jmlr.org/papers/volume26/23-1504/23-1504.pdf