Statistical exploration of the Manifold Hypothesis

流形假設(shè)的統(tǒng)計(jì)探索

https://arxiv.org/pdf/2208.11665v5

摘要：

流形假設(shè)是機(jī)器學(xué)習(xí)中一項(xiàng)被廣泛接受的基本原理，它斷言名義上高維的數(shù)據(jù)實(shí)際上集中分布在嵌入于高維空間中的低維流形附近。這一現(xiàn)象在許多現(xiàn)實(shí)場(chǎng)景中得到了經(jīng)驗(yàn)性驗(yàn)證，在過(guò)去幾十年中催生了大量統(tǒng)計(jì)方法的發(fā)展，并被認(rèn)為可能是現(xiàn)代人工智能技術(shù)取得成功的關(guān)鍵因素之一。我們證明，數(shù)據(jù)中豐富且有時(shí)錯(cuò)綜復(fù)雜的流形結(jié)構(gòu)，可以從一個(gè)通用且異常簡(jiǎn)單的統(tǒng)計(jì)模型——潛在度量模型（Latent Metric Model）——中自然涌現(xiàn)，其機(jī)制僅依賴于潛在變量、相關(guān)性與平穩(wěn)性等基本概念。這為流形假設(shè)何以在眾多情境中看似成立提供了一個(gè)普適的統(tǒng)計(jì)學(xué)解釋?；跐撛诙攘磕Ｐ?，我們推導(dǎo)出用于發(fā)現(xiàn)與解釋高維數(shù)據(jù)幾何結(jié)構(gòu)的程序，并可借此探索關(guān)于數(shù)據(jù)生成機(jī)制的假設(shè)。這些程序僅需極弱的假設(shè)條件，且利用了廣為人知的圖分析算法。

1 引言

流形假設(shè)是機(jī)器學(xué)習(xí)中一項(xiàng)被廣泛接受的基本原理，其主張如下[20]：

“……許多數(shù)據(jù)集的維度僅僅是人為地高；盡管每個(gè)數(shù)據(jù)點(diǎn)可能包含成千上萬(wàn)個(gè)特征，但它或許僅由少數(shù)幾個(gè)潛在參數(shù)的函數(shù)所描述。換言之，這些數(shù)據(jù)點(diǎn)實(shí)際上是從嵌入于高維空間中的低維流形上采樣而得。”

這一現(xiàn)象已對(duì)眾多方法與算法產(chǎn)生了深遠(yuǎn)影響。流形結(jié)構(gòu)的存在是流形估計(jì)與檢驗(yàn)[35, 42, 41]、非線性降維技術(shù)[95, 108, 50, 9, 119, 116, 76]、本征維度估計(jì)[59, 71, 48, 19]，以及專門(mén)針對(duì)協(xié)變量取值于流形上的情境所設(shè)計(jì)的回歸與分類技術(shù)[11, 7, 23, 123, 72, 82]的前提基礎(chǔ)。數(shù)據(jù)集中于低維拓?fù)浠驇缀谓Y(jié)構(gòu)附近的假設(shè)，構(gòu)成了聚類技術(shù)與拓?fù)鋽?shù)據(jù)分析的理論基石[32, 83, 18, 8, 22, 21]。某些非參數(shù)方法（如最近鄰或基于樹(shù)的回歸方法）即使在缺乏流形結(jié)構(gòu)的情況下亦可運(yùn)作，但當(dāng)流形結(jié)構(gòu)存在時(shí)，其性能將顯著提升，因?yàn)槠涫諗克俾嗜Q于協(xié)變量的本征維度而非環(huán)境維度[61, 62]。已有研究證明，深度神經(jīng)網(wǎng)絡(luò)亦展現(xiàn)出類似特性[81]。更廣泛而言，流形結(jié)構(gòu)的存在已被認(rèn)為是深度學(xué)習(xí)方法取得成功的關(guān)鍵因素之一[14]。數(shù)據(jù)位于嵌入高維空間中的低維流形這一假設(shè)，已成為人工智能領(lǐng)域生成建模最新理論與實(shí)踐進(jìn)展的核心，尤其在擴(kuò)散模型中[101, 102, 51, 28, 29, 103, 24, 90, 47, 33]。

那么，數(shù)據(jù)中為何可能存在流形結(jié)構(gòu)？在某些情境下（如圖像分析），我們可以依據(jù)生成數(shù)據(jù)的物理機(jī)制給出一種直觀但啟發(fā)式的解釋（參見(jiàn)Pless與Souvenir[92]對(duì)該背景下流形估計(jì)的綜述）。圖1展示了24張灰度汽車(chē)圖像，選自文獻(xiàn)[43]中包含n = 75張圖像的子集，拍攝角度分別為圍繞圓形周長(zhǎng)的0°、5°、10°、…、355°。每張圖像分辨率為384 × 288像素，因此可表示為長(zhǎng)度為p = 110592的向量。然而，至少?gòu)闹庇^上看，我們僅需遠(yuǎn)少于該數(shù)量的維度，即可通過(guò)相機(jī)在我們周?chē)S世界空間中的位置來(lái)解釋該圖像集合中的變異。圖1展示了使用主成分分析（PCA）進(jìn)行降維后的結(jié)果，由此我們可作出如下觀察：

前20個(gè)主成分解釋了總方差的91.5%，表明數(shù)據(jù)集中分布于R^110592中的某個(gè)低維線性子空間附近。前三個(gè)維度——即數(shù)據(jù)在對(duì)應(yīng)于最大三個(gè)特征值的特征向量上的坐標(biāo)——呈現(xiàn)出近似環(huán)狀的點(diǎn)分布，其形狀雖略顯不規(guī)則，但類似于相機(jī)位置所構(gòu)成的圓，只是經(jīng)受了彎曲與扭轉(zhuǎn)等形變。這些點(diǎn)沿環(huán)近似等距分布，恰如相機(jī)位置以5度為間隔均勻分布于圓周上。

顯然，通過(guò)對(duì)這些圖像數(shù)據(jù)應(yīng)用PCA進(jìn)行降維，我們得以窺見(jiàn)數(shù)據(jù)生成機(jī)制的部分幾何結(jié)構(gòu)，但仍存疑問(wèn)：我們?yōu)楸阌诳梢暬x擇繪制前三個(gè)維度，這一選擇是否“合理”？其余維度可能傳達(dá)何種信息？環(huán)的精確形狀以及點(diǎn)沿環(huán)的分布間距相對(duì)于底層相機(jī)位置圓的差異，其成因又是什么？

在其他情境中，嵌入的拓?fù)渑c幾何結(jié)構(gòu)可能呈現(xiàn)不同形態(tài)并具有不同解釋。圖2展示了對(duì)成年扁蟲(chóng)（一種扁形動(dòng)物）中5000個(gè)單細(xì)胞的p = 5821個(gè)基因表達(dá)水平進(jìn)行可視化的兩種方法。在單細(xì)胞轉(zhuǎn)錄組學(xué)領(lǐng)域——如2018年《Science》論文[91]所述——此類數(shù)據(jù)為揭示整個(gè)動(dòng)物的細(xì)胞譜系樹(shù)提供了可能：目標(biāo)在于探明數(shù)據(jù)是否反映了干細(xì)胞分化為多種不同細(xì)胞類型的樹(shù)狀過(guò)程。數(shù)據(jù)經(jīng)與原論文[91]相同方式預(yù)處理，使用Python軟件包Scanpy[121]。

圖2左圖展示了將維度從5821降至2的PCA結(jié)果；右圖則先通過(guò)PCA降至14維，再使用t-SNE[116]（一種廣受歡迎的非線性降維方法，通過(guò)最小化成對(duì)距離失真的特定度量來(lái)尋找數(shù)據(jù)集的低維表示）進(jìn)一步降至2維。我們采用scikit-learn[89]中t-SNE的默認(rèn)參數(shù)設(shè)置。兩圖中的點(diǎn)均按細(xì)胞類型著色，但PCA與t-SNE均無(wú)法獲知該信息。與圖1類似，圖2清晰表明，通過(guò)某種形式的降維，我們得以揭示數(shù)據(jù)底層的結(jié)構(gòu)——盡管此處表現(xiàn)為離散的細(xì)胞類型，而非相機(jī)位置的幾何構(gòu)型。在圖1中，僅使用PCA降維便足以使該結(jié)構(gòu)可見(jiàn)；然而在圖2中，若僅用PCA降至2維，不同細(xì)胞類型并未清晰分離，而先降至14維再應(yīng)用t-SNE的方法似乎更為有效。t-SNE可視化結(jié)果暗示數(shù)據(jù)底層可能存在樹(shù)狀結(jié)構(gòu)：部分區(qū)域呈現(xiàn)從中心點(diǎn)云發(fā)散出的分支狀臂，但其他譜系則缺乏清晰度或看似斷裂。

我們能否以不同方式組合方法，以獲得更清晰的圖像？

這些示例僅展示了數(shù)據(jù)中潛在結(jié)構(gòu)如何在嵌入的拓?fù)渑c幾何模式中顯現(xiàn)的若干方式。還有許多其他實(shí)例：在基因組學(xué)中，基因分型DNA位點(diǎn)揭示了顯著的地理分布模式[84, 64, 30]；在神經(jīng)科學(xué)中，來(lái)自網(wǎng)格細(xì)胞的同時(shí)記錄顯示出似乎與行為任務(wù)無(wú)關(guān)的環(huán)面結(jié)構(gòu)[39]；此外，無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)[85]、語(yǔ)音識(shí)別[15]、藥物發(fā)現(xiàn)[94]、RNA測(cè)序[79]以及人類動(dòng)作合成[69]中也存在流形結(jié)構(gòu)。

在本研究中，我們提出一種視角：數(shù)據(jù)中嵌入的拓?fù)渑c幾何結(jié)構(gòu)可被解釋為一種普遍的統(tǒng)計(jì)現(xiàn)象，無(wú)需參考數(shù)據(jù)生成機(jī)制的物理屬性或其他特定領(lǐng)域的細(xì)節(jié)。

主要貢獻(xiàn)。我們的第一項(xiàng)主要貢獻(xiàn)是提出一個(gè)簡(jiǎn)單而通用的統(tǒng)計(jì)模型，該模型能在高維數(shù)據(jù)中生成隱藏的低維流形結(jié)構(gòu)，從而為流形假設(shè)提供統(tǒng)計(jì)學(xué)依據(jù)。

第二項(xiàng)主要貢獻(xiàn)是描述該隱藏流形如何與模型所定義的真實(shí)潛在域相關(guān)聯(lián)，例如解釋為何圖1右側(cè)面板中的點(diǎn)雖非完美圓形（如相機(jī)位置所示），但仍構(gòu)成環(huán)狀結(jié)構(gòu)。更準(zhǔn)確地說(shuō)，我們給出了流形與潛在域之間關(guān)系為同胚（一種拓?fù)涞葍r(jià)）的溫和條件，以及在更強(qiáng)條件下該關(guān)系可成為等距（一種度量等價(jià)）。

2 潛在度量模型

潛在度量模型（Latent Metric Model, LMM）由三種相互獨(dú)立的隨機(jī)性來(lái)源構(gòu)建而成。

我們強(qiáng)調(diào)兩點(diǎn)。首先，LMM的核心目的在于將數(shù)據(jù)中的流形結(jié)構(gòu)解釋并描述為一種普適的統(tǒng)計(jì)現(xiàn)象。這一目標(biāo)的廣泛性要求采用靈活的建模范式，因此除在具體示例中之外，我們并不施加特定的分布或函數(shù)假設(shè)（如高斯性）。本文所作的假設(shè)涉及更為一般的概念，例如連續(xù)性、光滑性或平穩(wěn)性。其次，我們強(qiáng)調(diào)此處的視角：函數(shù) f 與 ? 是由LMM的構(gòu)成要素隱式定義的導(dǎo)出量，而非需要人為設(shè)定取值的模型參數(shù)或超參數(shù)。

3 潛在度量模型的統(tǒng)計(jì)性質(zhì)與幾何性質(zhì)的聯(lián)系

本節(jié)將闡釋LMM的統(tǒng)計(jì)性質(zhì)如何使我們能夠?qū)?shù)據(jù)向量
（可視為 中的點(diǎn)云）的幾何結(jié)構(gòu)與流形 M 的結(jié)構(gòu)，進(jìn)而與潛在度量空間 Z 的結(jié)構(gòu)相聯(lián)系。這一聯(lián)系具有雙重重要性：其一，它揭示了數(shù)據(jù)中的流形結(jié)構(gòu)如何從LMM的基本統(tǒng)計(jì)性質(zhì)中自然涌現(xiàn)，從而闡明流形假設(shè)在何種意義上成立以及其成立的原因；其二，它構(gòu)成了我們?cè)诘?節(jié)中詳述的數(shù)據(jù)分析程序的理論基礎(chǔ)。我們的論述將依循四個(gè)主要步驟展開(kāi)：

3.1 數(shù)據(jù)內(nèi)積與特征映射內(nèi)積的關(guān)聯(lián)

3.2 潛在變量的可區(qū)分性與同胚的關(guān)聯(lián)

同胚（homeomorphism）是兩個(gè)度量空間之間的一種映射，該映射連續(xù)、雙射且具有連續(xù)的逆映射。若存在此類映射，則稱這兩個(gè)度量空間彼此同胚，或稱其拓?fù)涞葍r(jià)。為建立直觀理解，可考慮所討論的度量空間為我們周?chē)S歐幾里得世界中的子集這一情形。在此情況下，符合同胚條件的映射包括通過(guò)彎曲、扭轉(zhuǎn)、拉伸與折疊等方式進(jìn)行的形狀變換，但不包括切割、穿孔或粘合等操作[12]。拓?fù)涞葍r(jià)意味著所涉兩個(gè)度量空間必須具有相同數(shù)量的連通分支、相同數(shù)量的一維環(huán)圈，以及更一般地，相同數(shù)量的k維“空洞”。利用數(shù)據(jù)檢測(cè)此類特征，正是拓?fù)鋽?shù)據(jù)分析（Topological Data Analysis）領(lǐng)域中持續(xù)同調(diào)（persistent homology）方法的目的[18, 21]。然而，拓?fù)浣Y(jié)構(gòu)的內(nèi)涵遠(yuǎn)不止于其同調(diào)性質(zhì)；例如，在轉(zhuǎn)錄組學(xué)應(yīng)用中（引言及第5.2節(jié)），所假設(shè)的底層結(jié)構(gòu)呈現(xiàn)出有趣的“樹(shù)狀”拓?fù)洌瑓s不具備有趣的同調(diào)特征。

3.3 平穩(wěn)性與等距性的關(guān)聯(lián)

LMM中任一隨機(jī)函數(shù) X j
的弱平穩(wěn)性意味著：

命題3與命題4的證明見(jiàn)附錄C.1末尾。

3.4 光滑性與低維子空間內(nèi)集中性的關(guān)聯(lián)

3.5 一個(gè)可視化示例

4 方法論

本節(jié)利用LMM的性質(zhì)來(lái)解釋并論證第1節(jié)中概述的工作流程。關(guān)于步驟1的討論將推遲至步驟2討論之后進(jìn)行。

4.1 通過(guò)PCA進(jìn)行線性降維

關(guān)于假設(shè)A4-A6的討論

4.2 選擇PCA維度

圖6c)1-4展示了算法1計(jì)算的Wasserstein誤差（對(duì)數(shù)尺度），維度范圍至 ρ max ? = 30
。可觀察到：當(dāng)核秩有限時(shí)（配置1-3，虛線黑線），最優(yōu)解大致與真實(shí)秩重合；有趣的是，即使在核秩無(wú)限的情形（配置4），仍存在非退化解。若降低噪聲水平，最優(yōu)維度將增大（圖17，附錄），這反映了前述偏差/方差權(quán)衡。

為作對(duì)比，我們同時(shí)展示了基于'ladle'法[74]和'elbow'法[127]的選擇結(jié)果（分別通過(guò)R包'dimension'（GitHub鏈接：https://github.com/WenlanzZ）和'igraph'（The Comprehensive R Archive Network）實(shí)現(xiàn)）。'ladle'法與Wasserstein法選擇結(jié)果相似，但計(jì)算成本較高（限制了 m a x ( n , p ) = 1000 的模擬規(guī)模）。我們不建議在LMM框架下使用'elbow'法進(jìn)行維度選擇，因其傾向于選擇過(guò)低維度。

4.3 球面投影

在進(jìn)行數(shù)據(jù)分析時(shí)，我們可能希望考慮假設(shè) f 屬于命題3或4中核函數(shù)族之一，因?yàn)樗鼈兙哂衅椒€(wěn)性解釋，并且相關(guān)的等距性質(zhì)將支持使用PCA嵌入來(lái)恢復(fù) Z 的幾何特征。然而，所有這些核函數(shù)都具有以下性質(zhì)：

4.4 最近鄰圖構(gòu)建

5 示例

在其名著《探索性數(shù)據(jù)分析》（Exploratory Data Analysis）[113]中，Tukey 指出刑事司法過(guò)程中存在一種廣為接受的分工：“搜尋證據(jù)——由警察及其他調(diào)查力量負(fù)責(zé)——與評(píng)估證據(jù)強(qiáng)度——由陪審團(tuán)與法官裁決”。依此類比，我們所提出的工作流程旨在前者——即搜尋線索、跡象與表象。在后續(xù)示例中，除與均勻模型進(jìn)行基線比較外，我們并不試圖對(duì)所呈證據(jù)的強(qiáng)度進(jìn)行形式化評(píng)估。我們認(rèn)為此類驗(yàn)證性分析是一項(xiàng)重要但性質(zhì)不同的任務(wù)，需采用不同的技術(shù)手段。所用代碼與數(shù)據(jù)可在此獲?。篽ttps://github.com/anniegray52/explore_manifold_hyp

原文鏈接：https://arxiv.org/pdf/2208.11665v5