Asymptotics of Nonparametric Estimation under general non-monotone MAR missingness: A Bayesian Approach

非單調缺失機制下非參數(shù)估計的漸近性：貝葉斯視角

https://arxiv.org/pdf/2603.23449

摘要

缺失值在（數(shù)據(jù)）科學中無處不在，可能對任何統(tǒng)計分析產(chǎn)生潛在的有害后果。因此，近年來開發(fā)了大量方法和理論結果。盡管如此，許多問題仍未解決，特別是在一般非單調隨機缺失（MAR）的情況下。在這項工作中，我們將非參數(shù)貝葉斯理論擴展到此 MAR 設置。我們引入了一個 MAR 下后驗收縮的一般定理以及一個額外的溫和正性條件。利用這一結果，我們能夠表明，盡管存在缺失值，無污染數(shù)據(jù)的密度可以用極小極大后驗收縮率（直至對數(shù)因子）進行估計。據(jù)我們所知，這是第一個非參數(shù)結果，表明在 Rubin 的 MAR 定義下可以一致地估計無污染分布。因此，我們獲得了一種算法，該算法接受受缺失值污染的數(shù)據(jù)，并返回來自無污染分布的可證明一致估計的樣本。

1 引言

缺失數(shù)據(jù)是現(xiàn)代數(shù)據(jù)科學應用中的一個普遍問題，也是一個活躍的研究領域。在存在缺失數(shù)據(jù)的情況下，人們不再觀測到完整的數(shù)據(jù)點，而只觀測到部分值，以及觀測條目所在的位置。通常，這需要引入一個缺失數(shù)據(jù)機制（MDM）模型，該機制決定哪些值缺失。一種經(jīng)典且有效的方法由 Rubin (1976) 引入，即使用滿足隨機缺失（MAR）屬性的條件分布來建模 MDM——意味著缺失概率僅取決于觀測值——并將 MDM 與數(shù)據(jù)模型分開參數(shù)化。在這種建模選擇下，MDM 在某種意義上變得可忽略，即在完整聯(lián)合模型上最大化觀測值及其位置的似然性，與僅最大化觀測值的邊緣似然性，所得到的數(shù)據(jù)參數(shù) θ θ 估計量完全相同。這一原則也擴展到貝葉斯推斷（當假設數(shù)據(jù)和 MDM 參數(shù)之間先驗獨立時），極大地簡化了缺失數(shù)據(jù)分析領域的推斷和計算。

盡管“可忽略性”原則具有直觀吸引力并被廣泛采用（允許研究人員和從業(yè)者在不建模潛在復雜缺失機制的情況下估計 θ ），但其理論基礎幾十年來仍有些未定。確實，雖然 MAR MDM 模型在最大似然估計量 (MLE) 的定義中使缺失機制可忽略，但這本身并不能保證基于所謂可忽略似然的推斷的統(tǒng)計有效性。Rubin 具有影響力的表述具有說服力，并塑造了缺失數(shù)據(jù)的大部分應用和方法論文獻；然而，嚴格的數(shù)學論證直到相對最近才大量出現(xiàn)。正如 Takai 和 Kano (2013) 所強調的，許多基礎文本——包括著名的專著 Little 和 Rubin (2019)——呈現(xiàn)基于不完整數(shù)據(jù)似然的推斷，仿佛它自然繼承了完整數(shù)據(jù)推斷的大樣本性質，而沒有為所得估計量提供一致性或漸近正態(tài)性的形式證明。在一項顯著的貢獻中，Takai 和 Kano (2013) 通過證明在標準正則條件下，忽略 MDM 的 MLE 確實是一致的且漸近正態(tài)的，解決了這一差距，前提是真實的缺失數(shù)據(jù)機制本身是 MAR 的。在這個意義上，Takai 和 Kano (2013) 的結果為長期以來的主張?zhí)峁┝死碚擈炞C，即真實缺失數(shù)據(jù)機制的 MAR 性質是基于可忽略似然的推斷可靠的關鍵條件。

雖然這解決了規(guī)則參數(shù)模型的 MLE 的情況，但幾個基本問題仍未解決：

• 首先，在可比條件下，貝葉斯推斷是否享有類似的保證？
• 其次，基于可忽略似然的推斷的統(tǒng)計有效性能否擴展到參數(shù)設置之外？

這些問題推動了本項工作。我們表明，豐富的貝葉斯理論結合 Kullback-Leibler (KL) 散度的自然使用，允許在 MAR 缺失下獲得一般非參數(shù)收斂結果。特別是，我們表明可以在一般非單調 MAR 缺失和溫和正性假設下非參數(shù)地估計完整密度。因此，我們自然地得到了一種方法，該方法能夠接受 MAR 缺失數(shù)據(jù)，并從先前被缺失性掩蓋的（未觀測到的）基礎分布中產(chǎn)生新樣本。盡管缺失性文獻浩瀚，這似乎是一般非單調 MAR 的第一個非參數(shù)一致性結果。由于 MAR 概念已有 30 多年歷史，且被一些人視為已解決的問題，這似乎令人驚訝。確實，鏡像 MLE 情況下關于 MAR 的討論，論文經(jīng)常聲稱"X 在 MAR 下有效”。然而，正如 Seaman 等人 (2013); N?f 等人 (2026) 和其他人所討論的，這種印象可能部分源于對 MAR 條件本身的混淆。理論上確實已在較弱的缺失條件下獲得結果，例如缺失概率取決于數(shù)據(jù)中始終觀測到的子集。此外，在結構化問題情況下出現(xiàn)了大量理論結果，例如具有缺失性的特定回歸問題，通常與此類簡化缺失機制結合，參見例如 Wang 和 Rao (2002); Qin 等人 (2009); Yuan 和 Dong (2019); Chen 和 Yu (2016); Liu 和 Fan (2023); Zhao 和 Candès (2025)。然而，據(jù)我們所知，(參數(shù)) MLE 之外的一般 MAR 下的一致性結果此前尚未開發(fā)。事實上，即使嘗試將忽略原則擴展到 M 估計，通常也會產(chǎn)生不一致的估計量，參見例如 Frahm 等人 (2020)。

本文其余部分組織如下：在第 2 節(jié)中，我們介紹了關于缺失值、MAR 條件和可忽略性的詳細背景，并介紹了我們的符號。在介紹 MAR 條件和相關符號后，我們在第 3 節(jié)更詳細地討論了相關文獻并概述了我們的貢獻。第 4 節(jié)隨后提出了 MAR 缺失下的一般后驗收縮結果。第 5 節(jié)將這些結果應用于 上的密度估計，從而得出極小極大估計結果。最后，第 6 節(jié)提供了一個小型模擬研究，第 7 節(jié)得出結論。

2 背景與符號

2.1 隨機缺失

本文專注于某一特定族的缺失機制，通常被稱為隨機缺失，其由以下假設刻畫：

上述使用的 MAR 屬性，形式上陳述缺失機制（即給定 X X 時 M M 的條件分布）不依賴于缺失值本身（給定觀測值），是文獻中存在的幾種隨機缺失變體的一個特例（始終隨機缺失），參見例如，Mealli 和 Rubin (2015)；N?f 等人 (2026) 以及其中的文獻。我們注意到，假設 2.1 接近但不完全等同于 Rubin (1976) 的原始 MAR 版本。至關重要的是，與文獻中使用的替代方案相比，它是最弱的 MAR 假設之一。例如，通常假設 P ( M = m ∣ X )
僅依賴于一組完全觀測的變量，這是一個強得多的假設（參見例如，N?f 等人 (2026) 中的討論）。

2.2 MAR 下基于似然推斷的可忽略性

2.3 符號

我們現(xiàn)在介紹并總結全文中使用的符號。

3 問題陳述與貢獻

在本節(jié)中，我們首先深入探討相關文獻，然后討論我們的貢獻。

3.1 相關文獻

術語 MAR（隨機缺失）一直是文獻中頻繁引起混淆的原因，正如大量僅僅討論 MAR 定義的論文所表明的那樣，例如 Seaman 等人 (2013)；Mealli 和 Rubin (2015)；N?f 等人 (2026)。文獻中常聲稱“在 MAR 下，可忽略的基于似然的推斷是有效的”。然而，這類陳述往往模棱兩可。事實上，頻率學派的有效性（即一致性意義下）迄今為止尚未在一般模型中正式確立，且僅在相對最近才針對規(guī)則參數(shù)完整數(shù)據(jù)模型得到解決。Rubin (1976) 明確確立的是關于 θ θ 的完整與可忽略基于似然推斷之間的等價性，前提是缺失數(shù)據(jù)機制的模型是 MAR（且參數(shù)互異）——無論真實缺失機制的性質如何。然而，當真實缺失數(shù)據(jù)機制是 MAR（如假設 2.1 所表述）時，這種方法是否仍然在統(tǒng)計上有效，則是一個不同且直到最近仍未解決的問題。

相反，雖然目前已有豐富的參數(shù)和非參數(shù)理論致力于處理缺失值，但針對一般非單調 MAR 情況的保證顯著稀缺。雖然在 MLE 估計（Takai 和 Kano (2013)）和插補（Wang 和 Robins (1998)；Guan 和 Yang (2024)）的參數(shù)情況下有一些有趣的結果，但我們并不知曉在此情況下有一般的非參數(shù)結果。例如，在 M 估計的背景下，F(xiàn)rahm 等人 (2020) 表明，簡單的忽略估計量不再保證在 MAR 下是一致的。這也在第 5.1 節(jié)中得到了說明。一種直觀的補救措施是重加權方法，該方法利用條件概率 P ( M = m ∣ X = x )
的估計值對數(shù)據(jù)進行重加權，從而產(chǎn)生逆概率加權（IPW）估計量。然而，在非單調 MAR 下，這種方法并不直接。例如，Sun 和 Tchetgen (2018) 討論了此設置下 IPW 估計量的困難，并提出了一種缺失概率的參數(shù)模型，允許對數(shù)據(jù)進行重加權以獲得一致的結果。然而，這種參數(shù)形式似乎相當有限，且基于 IPW 的估計量需要估計模式概率，這在我們的設置中可能難以處理，因為在我們的設置中可能僅能偶爾觀測到某種模式。因此，IPW 估計量的理論似乎主要是在單調缺失的背景下發(fā)展的（參見例如，Seaman 和 Vansteelandt (2018)）。

對此的一個顯著例外，也是極少數(shù)能夠在 MCAR 之外為一般非單調模式下的 M 估計提供漸近保證的論文之一，是開創(chuàng)性的論文 Daniel Malinsky 和 Tchetgen (2022)。然而，他們研究的是無自刪失（no-self-censoring）機制，這與 MAR 有著根本的不同。此外，他們再次要求用逆概率對其觀測點進行復雜的重加權。在另一篇重要的近期論文 Chen 和 Sadinle (2019) 中，利用核密度估計器和識別條件估計了缺失值下多元樣本的完整分布 P θ ?
。他們提供了由此分布估計導出的一致估計量甚至漸近正態(tài)性的一般保證。這在精神上與我們作為理論的自然應用而獲得的密度估計器相近。然而，他們再次關注單調缺失。雖然他們也討論了非單調缺失的可能性，但這需要相當復雜的識別條件，這些條件比 MAR 更強。特別是，他們的方法不能用于第 5.1 節(jié)中的例子。因此，雖然他們的方法很有希望，但也展示了非單調缺失的困難。相比之下，我們的方法相當直接，即使在 MAR 下也是有效的。從技術角度來看，正如完整數(shù)據(jù)的情況一樣，與核密度估計器相比，貝葉斯密度估計方法還具有能夠適應更高平滑度速率的優(yōu)勢，參見例如 (Ghosal 和 van der Vaart, 2017, 第 9 章)。

如上所述，關于正式 MAR 結果的文獻稀缺并不完全令人驚訝。正如 N?f 等人 (2026) 詳細討論的那樣，假設 2.1 中的 MAR 處理起來相當復雜。特別是，在第 5.1 節(jié)中我們證明，即使在三維情況下，當從一種模式切換到另一種模式時，也會出現(xiàn)復雜的分布偏移。這可能是 MAR 條件在一定程度上失寵，轉而考慮穩(wěn)健 MCAR 版本的原因之一 Ma 等人 (2024)；Chérif-Abdellatif 和 N?f (2025)。另一方面，鑒于 Rubin (1976)；Takai 和 Kano (2013) 的結果，MAR 似乎自然地與似然最大化對齊，特別是與 KL 散度最小化對齊。這在插補背景下的機器學習領域也得到了認可（Mattei 和 Frellsen, 2019; Yu 等人, 2025），盡管嚴格的統(tǒng)計結果似乎仍然缺乏。

3.2 貢獻

在具有完整數(shù)據(jù)的規(guī)則參數(shù)模型中，貝葉斯方法的頻率學派有效性現(xiàn)已確立。眾所周知，當最大似然估計量（MLE）具有一致性和漸近正態(tài)性時，在對先驗的溫和條件下，后驗分布通常集中在真實值周圍并滿足 Bernstein–von Mises (BvM) 定理。這些屬性可以非正式地視為一致性和漸近正態(tài)性的貝葉斯對應物，確保后驗表現(xiàn)得像一個良好的頻率學派估計量。然而，在存在缺失數(shù)據(jù)的情況下，尚不清楚這些屬性是否仍然成立。特別是，基于（可忽略）似然的貝葉斯推斷在數(shù)據(jù)未完全觀測時是否仍然有效，即使是在 MAR 假設下，仍是一個開放性問題。

在參數(shù)模型之外，貝葉斯方法的頻率學派驗證已通過所謂的先驗質量與測試框架得以發(fā)展。該方法提供了確保非參數(shù)模型中后驗集中性的一般條件，并具有可量化的速率。關鍵要素包括：(a) 真實值的 KL 鄰域內具有足夠的先驗質量；(b) 存在合適的檢驗；(c) 先驗集中在篩法（sieve）上。該理論在標準設置中現(xiàn)已得到充分理解，但其擴展到具有缺失數(shù)據(jù)的模型在很大程度上仍未被探索。因此，我們這里考慮的問題是，此類一般非參數(shù)結果是否可以擴展到僅觀測到不完整數(shù)據(jù)且真實缺失機制為 MAR 的情況。特別是，我們感興趣的問題是，在這種情況下是否可以恢復完整密度。

一個基本結果斷言，在獨立同分布（i.i.d.）數(shù)據(jù)下，且當 Θ Θ 是由 Hellinger 距離度量的概率測度空間時，(b) 中合適檢驗的存在性得到保證（參見例如，(Ghosal 和 van der Vaart, 2017, 附錄 B)）。我們表明，有些令人驚訝的是，這在 MAR 缺失和正性條件下仍然成立。我們通過為任何密度組合構建特定檢驗來實現(xiàn)這一點，靈感來源于 (Ghosal 和 van der Vaart, 2017, 附錄 B) 中的思想。此外，由于在我們的框架中，先驗和篩法（Sieve）均不因缺失值而改變，(c) 成立當且僅當它在完整數(shù)據(jù)情況下成立。然而，再次有些令人驚訝的是，KL 鄰域中的先驗質量在存在缺失值時可能不成立，即使在完整數(shù)據(jù)情況下成立。因此，雖然 (b) 對于 Hellinger 距離成立，且 (c) 可以通過完整數(shù)據(jù)進行檢查，但 (a) 需要針對缺失數(shù)據(jù)進行仔細研究。我們表明，盡管如此，在上貝葉斯密度估計的非常一般的情況下，如果真實密度滿足 H?lder 條件，(c) 是可以驗證的 [注：原文此處為 (c)，根據(jù)上下文邏輯疑似應為 (a)]。利用 KL 散度、似然性與 MAR 條件之間的聯(lián)系，我們的一般結果允許推導出一個易于實現(xiàn)的密度估計器，同時達到極小極大收縮率。隨后可以從估計的無污染分布中采樣，以便在第二步中獲得密度的任何連續(xù)函數(shù)。

因此，我們的貢獻有四個方面：

1. 我們將一般后驗收縮結果擴展到了非單調 MAR 缺失的情況。
2. 我們證明，即使在非單調 MAR 缺失下，針對 Hellinger 距離的合適檢驗始終存在。
3. 我們應用這些結果表明，在 H?lder 條件下使用 Dirichlet 先驗進行的密度估計，其后驗收縮率達到了與估計的極小極大速率相對應（直至對數(shù)因子）的水平。
4. 我們推導并實現(xiàn)了一種算法以獲得該估計，該算法能夠接受受缺失值污染的數(shù)據(jù)，并生成來自無污染分布的樣本，這些樣本可用于第二步中的任何感興趣參數(shù)。

我們注意到，我們的密度估計應用僅觸及表面，因為第 1 點和第 2 點中的結果可能具有更廣泛的適用性。

4 MAR 下的后驗收縮速率

本節(jié)提供了本文的主要結果。我們首先介紹一種適應于缺失數(shù)據(jù)設置的 Kullback-Leibler 散度的新變體，然后在著名的先驗質量與檢驗框架下陳述一個一般性定理。最后，我們將此結果特化應用于 Hellinger 距離下的估計情形。

4.1 定義

我們首先引入以下 KL 散度的適應性定義：

4.2 一般后驗收縮結果

我們現(xiàn)在可以表述我們的第二組假設：

該條件類似于貝葉斯非參數(shù)文獻中通常的檢驗假設，其顯著區(qū)別在于，在標準方法中，檢驗統(tǒng)計量通常是利用完整數(shù)據(jù)集構建的，而我們這里僅依賴于不完整的觀測數(shù)據(jù)。在這些假設下，可以建立一個類似于完整數(shù)據(jù)設置下的收斂速率：

雖然這可能足以證明類似于（Ghosal 和 van der Vaart, 2017，定理 6.23）的 Schwartz 型結果，即證明無任何速率的一致性，但這不足以證明我們此處希望證明的更強結果。原因是完整數(shù)據(jù)和缺失數(shù)據(jù)量之間的相同關系對 eV 不成立，因此尚不清楚在完整數(shù)據(jù)情況下滿足先驗質量假設是否也意味著在 MAR 缺失下滿足假設 4.1 i)。我們現(xiàn)在將這些一般結果應用于上的密度估計情況。

5 MAR 缺失下的密度估計

憑借這一有些令人驚訝的結果，我們自然地得到了一種方法，該方法能夠接受 MAR 缺失數(shù)據(jù)，并從先前被缺失性掩蓋的（未觀測到的）基礎分布中生成新樣本。另一方面，在第 5.1 節(jié)中，處理復雜 MAR 情況的一種方法是嘗試使用非參數(shù)插補，通過以恢復 X X 的無污染分布的方式填補缺失值。我們的方法與這種方法并行，盡管我們注意到這嚴格來說并不是一種插補方法，因為它生成的是全新的樣本，而不是保持觀測樣本完整。在插補文獻中，這傳統(tǒng)上被視為可疑的。例如，在最近的插補基準 Grzesiak 等人 (2025) 中，更改觀測數(shù)據(jù)會導致錯誤。然而，我們認為我們的方法提供了一個有趣的視角：新方法學允許我們根據(jù)需要從估計的未掩碼密度中采樣任意多的點，并可用于估計任何感興趣的屬性。事實上，最近的論文隱式或顯式地論證了插補是一項分布任務，即人們所能希望做到的最好的事情是通過插補恢復原始的未掩碼分布。這反映了缺失值通常無法恢復且不應嘗試恢復這一事實。正如 Van Buuren (2018, 第 2.6 章) 所述：“插補不是預測”。因此，我們的方法將這一思想向前推進了一步，從未掩碼分布中生成全新的樣本，承認在大多數(shù)應用中我們真正感興趣的是分布的各個方面，而不是原始樣本。

6 模擬研究

在本節(jié)中，我們的目標是實證證明，在算法 1 中實現(xiàn)的帶有缺失值的理論算法，其性能與使用完整數(shù)據(jù)的同一算法大致相同。當然，這不是一個公平的比較，因為完整數(shù)據(jù)算法比算法 1 能訪問更多的數(shù)據(jù)。盡管如此，相對于 d = 3 的維度，我們使用了相對較大的樣本量（ n ∈ { 500 , 1000 } ），這應該能揭示出兩者相似的性能。

圖 3 - 5 展示了結果。由于我們使用正態(tài)分布的 Dirichlet 混合，前兩個設置對于我們的方法是理想的，盡管我們注意到這仍然與簡單地使用參數(shù)方法不同。因此，我們的算法表現(xiàn)非常好，無論是在分位數(shù) (1) 的估計方面，還是在能量距離 (2) 方面。特別是，盡管存在棘手的 MAR 機制和信息損失，其性能與能夠訪問完整數(shù)據(jù)的算法相當。正如預期的那樣，mice_rf 也具有很強的競爭力，盡管它在分位數(shù)估計方面有些吃力。另一方面，對于均勻分布示例，正態(tài)分布的 Dirichlet 混合自然表現(xiàn)不佳，因為該方法試圖用光滑的高斯分布來近似非光滑密度。盡管如此，對于 n = 1 , 000 ，我們提出的帶有缺失值的算法與能夠訪問完整數(shù)據(jù)的同一算法的性能再次相當。

7 結論

在這項工作中，我們將貝葉斯后驗收縮結果適應于一般非單調 MAR 缺失的情況。我們表明，當向 MAR 添加正性假設時，Hellinger 距離仍然自動滿足檢驗條件，提供了一個可以移除檢驗條件的結果版本。然后我們將該理論應用于密度估計，給出了在該一般 MAR 條件下看似首個非參數(shù)一致性結果。我們還在算法 1 中實現(xiàn)了該方法。

我們相信這項工作僅觸及了表面。特別是，定理 4.3 可能比僅用于獨立同分布數(shù)據(jù)下的密度估計具有更廣泛的適用性。此外，一個自然的直接問題是是否可以推導出一（半?yún)?shù)）Bernstein-von-Mises 結果。這樣的結果將使得能夠用多元高斯分布漸近地近似感興趣參數(shù)的后驗分布，從而允許在 MAR 缺失值下進行基于原理的不確定性量化。我們打算在后續(xù)工作中研究這些問題。最后，雖然提出的密度估計算法在我們的模擬中效果很好，但更靈活的版本在實踐中可能會獲得更好的結果。例如，針對每種模式變化協(xié)方差矩陣 Σ ，而不是在所有模式上固定它，可能會提高更復雜數(shù)據(jù)集的性能。

原文鏈接：https://arxiv.org/pdf/2603.23449