The typicality principle and its implications for statistics and data science

典型性原則及其對統(tǒng)計學(xué)與數(shù)據(jù)科學(xué)的啟示

https://arxiv.org/pdf/2501.14860

摘要

數(shù)據(jù)科學(xué)的一個核心焦點是將經(jīng)驗證據(jù)轉(zhuǎn)化為知識。因此，費希爾（Fisher）、波普爾（Popper）和圖基（Tukey）等深刻思想家的關(guān)鍵洞見與科學(xué)態(tài)度，有望在未來激勵機(jī)器學(xué)習(xí)與人工智能領(lǐng)域取得令人振奮的新進(jìn)展。沿著這一思路，本文提出了一種新穎的“典型性原則”（typicality principle），其大意是：如果觀測到的數(shù)據(jù)在某種意義上相對于某個所提出的理論而言足夠“非典型”（atypical），那么該理論就是不成立的。對典型性的強(qiáng)調(diào)，將模型檢驗（model-checking）等熟悉但常被忽視的背景概念推到了推斷過程的前臺。典型性原則的一個具體應(yīng)用體現(xiàn)在參數(shù)估計中：我們提出了一種新的、基于典型性的正則化策略，該策略高度依賴于擬合優(yōu)度檢驗（goodness-of-fit testing）。我們在三個非平凡的例子中展示了這種新正則化策略的有效性——在這些例子中，普通的最大似然估計（maximum likelihood estimation）表現(xiàn)極差。我們還進(jìn)一步闡明了典型性原則如何融入更宏大的可靠且高效不確定性量化（uncertainty quantification）框架之中。

關(guān)鍵詞與短語：證偽；擬合優(yōu)度；推斷模型；似然；模型檢驗；預(yù)測。

1 引言

數(shù)據(jù)科學(xué)已吸引了來自科學(xué)、商業(yè)、政府等所有領(lǐng)域研究者與從業(yè)者的廣泛關(guān)注。與統(tǒng)計學(xué)類似，數(shù)據(jù)科學(xué)作為一門學(xué)科，主要關(guān)注將經(jīng)驗證據(jù)轉(zhuǎn)化為關(guān)于我們世界的知識，這屬于歸納邏輯（inductive logic）的范疇：

“在歸納推理中，我們正在執(zhí)行新知識創(chuàng)造過程的一部分。隨著納入更多數(shù)據(jù)，所得結(jié)論通常會變得越來越準(zhǔn)確。”（Fisher, 1935b, 第54頁）

盡管統(tǒng)計學(xué)擁有長達(dá)百年的先發(fā)優(yōu)勢，但數(shù)據(jù)科學(xué)可以說已經(jīng)超越了它，成為應(yīng)用歸納邏輯領(lǐng)域的引領(lǐng)者。從統(tǒng)計學(xué)到數(shù)據(jù)科學(xué)的這一轉(zhuǎn)變，遠(yuǎn)不止是術(shù)語上的更替；它反映了我們在處理推斷、預(yù)測和決策問題時方法論的演進(jìn)，這種演進(jìn)汲取了機(jī)器學(xué)習(xí)、人工智能及其他領(lǐng)域的工具與洞見。隨著數(shù)據(jù)科學(xué)的持續(xù)發(fā)展，它必將激勵——同時也被激勵于——費希爾（Fisher）、卡爾·波普爾（Karl Popper）和約翰·圖基（John Tukey）等深刻思想家所倡導(dǎo)的那些具有奠基意義的工作。

現(xiàn)代數(shù)據(jù)集固有的復(fù)雜性意味著存在多種不確定性與模糊性來源，使得數(shù)據(jù)分析及其隨之而來的歸納論證變得高度非平凡。因此，認(rèn)識論（epistemology）的洞見密切相關(guān)，而其中占主導(dǎo)地位的思想流派是波普爾在《科學(xué)發(fā)現(xiàn)的邏輯》中所闡述的證偽主義（falsificationism）。他的核心洞見在于：在一系列對相關(guān)理論進(jìn)行嚴(yán)格檢驗的實驗中，那些經(jīng)受住這種審視的理論便“證明了自己的價值”（Popper 1959, 第10頁）——這是任何理論被稱為“非假”（not-false）的必要但非充分條件。只有在極限意義上，即隨著檢驗次數(shù)或嚴(yán)格程度的不斷增加，一個理論才能獲得“非假”的地位�，F(xiàn)代經(jīng)驗科學(xué)面臨的一個挑戰(zhàn)（這在哲學(xué)文本中常以“所有天鵝都是白色的”這類例子出現(xiàn)的情形中并不存在）是：經(jīng)驗數(shù)據(jù)在邏輯上無法與任何合理的理論構(gòu)成直接矛盾，因此在進(jìn)行推斷時必然存在不確定性。這就要求對上述不確定性進(jìn)行可靠量化，而這正是本文貢獻(xiàn)的核心所在。

證偽主義視角背后的理解是：實驗通常會產(chǎn)生典型的數(shù)據(jù)，即看起來與現(xiàn)實世界中所預(yù)期的一致。因此，如果觀測到的數(shù)據(jù)相對于某個提出的理論而言是非典型的——即看起來與該理論所預(yù)期的足夠不同——那么就有理由認(rèn)為該理論已被證偽。這就是我們所提出的“典型性原則”（typicality principle）的基本形式。但“數(shù)據(jù)看起來像預(yù)期的那樣”究竟意味著什么？

通常，人們將模型的似然函數(shù)解釋為衡量其對觀測數(shù)據(jù)擬合質(zhì)量的指標(biāo)，并進(jìn)而通過似然值的大小來判斷數(shù)據(jù)是否“看起來像預(yù)期的那樣”。似然律（law of likelihood，例如 Edwards 1992；Hacking 1976）對此進(jìn)行了形式化。然而，在某些情況下，似然函數(shù)可能因某種退化（degeneracy）而變得很大，并非因為數(shù)據(jù)真的“看起來像”該理論所預(yù)期的那樣。這揭示了以似然為中心的歸納推理方法的缺陷，也表明我們需要新的視角。常見的正則化策略僅依賴于所提出的理論本身——例如，懲罰那些與假設(shè)的“稀疏性”不兼容的理論——而不依賴于數(shù)據(jù)本身，因此無法單獨修復(fù)上述缺陷。相比之下，我們的典型性概念關(guān)注的是非參數(shù)意義上的擬合優(yōu)度（goodness-of-fit），而非基于參數(shù)模型、以高似然值為標(biāo)準(zhǔn)的擬合。本文所推進(jìn)的典型性原則，受到圖基關(guān)于模型構(gòu)建與檢驗的深刻洞見的啟發(fā)（Tukey 1962, 1977）。雖然哲學(xué)原則往往是“自上而下”的（即由更高權(quán)威下達(dá)的指令），但圖基式的哲學(xué)卻是“自下而上”的（例如 Dempster 2002；Tukey 1986），因而本質(zhì)上契合波普爾的精神。的確，在模型構(gòu)建中，沒有任何候選模型是“天賜”的，一個模型的價值必須通過令人滿意地解釋觀測數(shù)據(jù)中的變異性來贏得。我們所提出的典型性原則旨在以此為基礎(chǔ)，拓展至正則化估計及其他領(lǐng)域。

基于典型性原則，本文主要的方法論創(chuàng)新是一種新型的、聚焦于典型性的正則化策略。更具體地說，我們建議采用熟悉的懲罰似然框架，但加以調(diào)整：不再懲罰那些與先驗知識不兼容的理論，而是懲罰那些會導(dǎo)致數(shù)據(jù)被判定為“非典型”的理論，從而確保我們所導(dǎo)出的程序能夠獎勵那些對數(shù)據(jù)擬合良好的理論，有助于解釋并提升效率。我們通過將該典型性聚焦的正則化方法應(yīng)用于若干歷史上在統(tǒng)計學(xué)基礎(chǔ)中引發(fā)爭議的難題，來評估其性能。結(jié)果表明，該方法在點估計和更廣泛的不確定性量化方面均表現(xiàn)出高效性，凸顯了其解決統(tǒng)計科學(xué)中一些最深層未決問題的潛力。除了實際應(yīng)用價值外，我們還深入探討了典型性原則的理論基礎(chǔ)，揭示了它與其他熟悉統(tǒng)計原則之間的聯(lián)系（或缺乏聯(lián)系）。這些聯(lián)系強(qiáng)調(diào)了典型性的更廣泛重要性——它不僅是一種方法論工具，更是一座連接統(tǒng)計推理各個方面的概念橋梁。通過將典型性原則置于這一豐富的理論與應(yīng)用背景之中，本文為未來在數(shù)據(jù)科學(xué)及其他領(lǐng)域探索其含義奠定了基礎(chǔ)。

本文其余部分結(jié)構(gòu)如下：第2節(jié)設(shè)定討論的背景，并介紹一些關(guān)鍵概念與符號。第3節(jié)引入典型性原則的第一個基本版本，此處的討論聚焦于統(tǒng)計直覺與哲學(xué)考量。在參數(shù)估計的背景下，典型性原則的一個具體實現(xiàn)形式即為我們提出的新型典型性正則化策略，該策略也在本節(jié)中詳細(xì)闡述。第4節(jié)在三個非平凡且充滿悖論的例子中考察所提典型性正則化策略的性能：勒康（Le Cam）提出的混合模型、奈曼–斯科特（Neyman–Scott）問題，以及斯坦（Stein）均值向量長度問題。這三個例子中所面臨的挑戰(zhàn)在現(xiàn)代數(shù)據(jù)科學(xué)應(yīng)用中同樣常見（例如存在過擬合風(fēng)險），因此本文的貢獻(xiàn)超出了此處所考慮的簡單參數(shù)模型范疇。第5節(jié)進(jìn)一步深入，提出一個形式化的典型性原則，并展示其如何融入一個更一般的框架，該框架能在點估計、假設(shè)檢驗等之外提供可證明可靠的不確定性量化。本節(jié)還探討了該原則與其他統(tǒng)計原則的聯(lián)系，并通過一個數(shù)值示例展示了所提框架在具有挑戰(zhàn)性的邊際推斷問題中的有效性與效率。第6節(jié)以若干評述作結(jié)。

2 問題設(shè)定

3 典型性原

在此，我們采納波普爾的證偽主義觀點，即：關(guān)于不確定參數(shù) Θ 的假設(shè) H 無法基于數(shù)據(jù) x 被直接證實或確認(rèn)，而只能根據(jù) H 的真實性與數(shù)據(jù) x 是否存在足夠矛盾來決定是否予以駁斥。重要的是，證偽主義實際上是我們唯一可行的選擇：若采用對立的卡爾納普–杰弗里斯–杰恩斯式（Carnapian–Jeffreysian–Jaynesian）確證主義觀點（例如 Carnap 1962；Jaynes 2003；Jeffreys 1998），要在科學(xué)和數(shù)學(xué)上嚴(yán)格地實施，就必須擁有一個真實的先驗概率分布并應(yīng)用貝葉斯定理，而這在我們假定先驗信息為空（vacuous prior information）的情況下是無法實現(xiàn)的。

如第1節(jié)所述，我們的證偽主義視角提示我們應(yīng)制定一種策略，用以評估數(shù)據(jù) x 相對于關(guān)于 Θ 的某個給定假設(shè) H 是否“典型”——如果典型，又是在何種意義上、在多大程度上典型。一旦有了這樣的評估，推斷至少在概念上就是直接明了的。

我們從一個非正式且直觀的表述開始，闡述這一核心原則，該表述聚焦于簡單的單點假設(shè)。即使這個直觀版本在點估計問題上也具有重要含義。更形式化的表述見第5節(jié)。

作者堅信，只有當(dāng)處理的是極端正則分布族時，采用最大似然法才是合理的。那些[最大似然]估計量易于獲得并被證明具有良好性質(zhì)的情形極為有限。

后來，在他的著作中（Le Cam 1986），

“似然”和“最大似然”這兩個術(shù)語似乎由 R.A. 費希爾引入，他似乎也應(yīng)對大量關(guān)于最大似然方法優(yōu)越性的宣傳負(fù)主要責(zé)任……鑒于費希爾的巨大影響力，人們?nèi)砸越踝诮贪愕目駸嵬瞥缭摲椒ǖ乃^優(yōu)越性，或許并不令人意外。盡管已有大量證據(jù)表明最大似然估計常常無用甚至嚴(yán)重誤導(dǎo)，這種狀況依然持續(xù)存在。

第4節(jié)將展示凸顯最大似然估計量不足之處的具體例子。勒卡姆此處的觀點只是：最大似然法在某些情況下表現(xiàn)良好，但在其他情況下則不然。一種估計量在某些情況下有效、在其他情況下無效，本身并不構(gòu)成基礎(chǔ)性擔(dān)憂。然而，如果一個核心原則——最大似然原則——自身不可靠，那么這就構(gòu)成了嚴(yán)重的根本性問題：如果我們沒有可靠的原則，數(shù)據(jù)科學(xué)就不是一門科學(xué)。典型性原則旨在填補(bǔ)這一信任缺口。

我們提出的典型性原則實現(xiàn)方式是通過正則化。這將以似然函數(shù)為基礎(chǔ)，因為在常規(guī)情況下這種方法是高效的；但我們所提出的正則化方式在某些重要方面不同于數(shù)據(jù)科學(xué)文獻(xiàn)中的常見做法。具體而言，考慮目標(biāo)函數(shù)

Kolmogorov–Smirnov 檢驗所對應(yīng)的 p 值。有關(guān) Kolmogorov–Smirnov p 值用于評估我們此處所稱的“典型性”的更多內(nèi)容，請參見 Liu (2023) 和 Jiang and Liu (2025)。然而，在某些特殊情況下，可能存在其他更簡單的擬合優(yōu)度評估方法。例如，在高斯模型中，若“殘差平方和”預(yù)期服從合適的卡方分布，則可利用該卡方檢驗對應(yīng)的 p 值來構(gòu)造懲罰函數(shù)；參見第4.2節(jié)。第4節(jié)中的例子突顯了懲罰項（2）如何帶來理想的正則化效果，從而修正最大似然估計量在足夠非正則模型中存在的系統(tǒng)性偏差。

4 示例：非正則估計

在本節(jié)中，我們考慮三個值得注意的涉及“非正則”模型的例子。這些模型共享的一個關(guān)鍵特征是：與 Θ 的相關(guān)特征相關(guān)的似然函數(shù)偏離目標(biāo)，以至于最大似然估計量變得無意義或至少不一致。盡管下面的例子相對簡單，但這種非正則性意味著它們在某些方面與現(xiàn)代應(yīng)用中涉及復(fù)雜、高維模型的情形有共同之處。此處，我們將上述（1）式中的通用典型性鼓勵型正則化策略應(yīng)用于這些例子。

4.1 勒卡姆混合模型

4.2 奈曼–斯科特問題

4.3 斯坦的均值向量長度

考慮一個經(jīng)典問題：其中 X 是一個 n 維正態(tài)隨機(jī)向量，其均值向量 Θ 未知，協(xié)方差矩陣為單位矩陣。無論維度如何，對均值本身的推斷是相同的；但假設(shè)我們感興趣的量是 Φ = ∥ Θ ∥
，即均值向量的歐幾里得長度。對 Φ 的推斷被證明是一個非平凡的問題，正如 Stein (1956, 1959) 所指出的，該問題也被 Fraser 等人 (2018) 列為已故 D.R. Cox 爵士提出的“挑戰(zhàn)性問題”之一。

5 可靠的不確定性量化

5.1 典型性原則，再審視

當(dāng)然，統(tǒng)計學(xué)與數(shù)據(jù)科學(xué)的意義遠(yuǎn)不止于點估計；事實上，典型性原則的影響超越了第3節(jié)中所討論的重要但相對狹窄的點估計背景。我們首先討論將我們的直接且具體的“典型性”關(guān)注點與其他先前方法相比的重要性與新穎性。

頻率主義證據(jù)原則（Frequentist Principle of Evidence）：從數(shù)據(jù)中得出推斷，需要考慮與底層數(shù)據(jù)生成過程相關(guān)的相關(guān)錯誤概率（Mayo 2014）。

奈曼的頻率主義止步于典型性原則的直觀版本：

• 指定一個檢驗統(tǒng)計量、一個顯著性水平和一個拒絕域，使得如果假設(shè) H H 為真，則事件“檢驗統(tǒng)計量落入拒絕域”的（錯誤）概率不超過所設(shè)定的顯著性水平；
• 如果基于數(shù)據(jù) x x 計算的檢驗統(tǒng)計量落入所設(shè)定的拒絕域，則稱數(shù)據(jù) x x 相對于 H H 足夠非典型。

也就是說，純粹的頻率主義者并不試圖量化給定數(shù)據(jù) x x 下假設(shè) H H 為真的不確定性——他們滿足于一個控制錯誤概率的決策規(guī)則。尋求貝葉斯–頻率主義“圣杯”的嘗試更進(jìn)一步，通過構(gòu)建依賴于數(shù)據(jù)的支持度或信念/置信度測度來衡量假設(shè) H H 為真的程度，并保持與 Mayo 的頻率主義證據(jù)原則一致。這些嘗試包括默認(rèn)先驗貝葉斯推斷（如 Berger et al. 2009; Datta and Ghosh 1995; Jeffreys 1946）、費希爾的可信推斷（如 Fisher 1933, 1935a; Zabell 1992）及其推廣（如 Fraser 1968; Hannig et al. 2016; Xie and Singh 2013）、Dempster–Shafer 理論（如 Dempster 1966, 2008; Shafer 1976, 1982），以及推斷模型（如 Martin 2015, 2021a, 2024; Martin and Liu 2013, 2015a）。這些方法的一個共同點是，至少在表面上，它們未能認(rèn)識到“典型性”是唯一基本的概念；這種缺失造成了混淆并阻礙了進(jìn)展。通過將典型性置于核心位置，我們能夠澄清這種混亂。特別地，我們將展示哪些性質(zhì)與典型性測度一致，進(jìn)而揭示獲得可靠且有原則的未知量不確定性量化的“圣杯”需要什么。

為了幫助引導(dǎo)我們的探索，我們首先給出第3節(jié)中非正式表述的典型性原則的正式對應(yīng)版本。隨后，我們將澄清形式化陳述中引入的若干術(shù)語和概念。

5.2 將原則付諸實踐

實現(xiàn)所提出的框架要求我們能夠評估式（7）中定義的等高線。接下來我們將描述一種簡單且易于解釋的方法，該方法對于涉及低維參數(shù)的大多數(shù)問題已足夠有效。固定一個參數(shù) θ θ 到典型性等高線上，然后將式（7）近似為

其中，中抽取的獨立數(shù)據(jù)副本， m = 1 , … , M 。在實際應(yīng)用中，上述方法可能過于昂貴。事實上，在中等至高維問題中，要在參數(shù)空間相關(guān)部分覆蓋足夠密集的網(wǎng)格上評估等高線，需要巨大的計算投入。雖然可以進(jìn)行各種調(diào)整，例如使用重要性抽樣來減輕生成如此多樣本集的負(fù)擔(dān)，但這些改進(jìn)的效果有限。因此，近期的研究重點轉(zhuǎn)向開發(fā)新的策略，以模仿貝葉斯所使用的蒙特卡洛方法，即：從一個“后驗分布”中抽取參數(shù)值樣本（而非新數(shù)據(jù)集），從而更好地控制維度災(zāi)難。這些細(xì)節(jié)超出了本文的范圍，但感興趣的讀者可參閱 Jiang et al. (2023) 和 Martin (2025)。

5.3 與其他統(tǒng)計原則的關(guān)系

最廣為人知的統(tǒng)計原則是似然原則（likelihood principle）（例如 Basu 1975；Berger and Wolpert 1984；Birnbaum 1962），該原則指出：數(shù)據(jù)中與參數(shù) Θ 推斷相關(guān)的一切信息，都包含在似然函數(shù)的形狀之中。這乍看之下似乎直觀且無害，因為常用的極大似然估計量和似然比統(tǒng)計量確實僅依賴于似然函數(shù)的形狀。然而，仔細(xì)審視便會發(fā)現(xiàn)，我們通常對這些摘要所做的操作——例如 p 值的計算——依賴于所設(shè)定模型下的抽樣分布；而抽樣分布并非由觀測到的似然函數(shù)所決定，因此基于這些方法的推斷違反了似然原則。單就這一違反本身而言或許無關(guān)緊要，但 Birnbaum 定理聲稱似然原則等價于更符合常識的充分性原則（sufficiency principle）與條件性原則（conditionality principle）的聯(lián)合；因此，違反似然原則就意味著至少違反了其中一個常識性原則，從而引發(fā)了爭議。不過，自 Durbin（1970）早期起，以及近期 Evans（2013）和 Mayo（2014）的研究中，對 Birnbaum 定理適用范圍的合理質(zhì)疑進(jìn)一步加劇了這場爭論。

如果我們確實不知道抽樣模型（或停止規(guī)則），那么（10）中的修改是合理的。如果我們對所設(shè)定的抽樣模型（或停止規(guī)則）有信心，則無需為了滿足似然原則而犧牲效率；這正是我們對于提案違反似然原則“毫無歉意”的原因。在兩個極端之間存在一個中間地帶，例如，我們知道實際使用的是所有可能停止規(guī)則的一個適當(dāng)子集，有關(guān)如何實現(xiàn)這一點的細(xì)節(jié)，我們請讀者參閱 Martin (2024)。

5.4 斯坦的均值向量長度（再論）

為了說明第5節(jié)所述的更廣泛、由典型性驅(qū)動的不確定性量化策略，我們再次回顧第4.3節(jié)中斯坦的正態(tài)均值向量長度例子。

6 結(jié)論

受波普爾與圖基深刻哲學(xué)思考與科學(xué)態(tài)度的啟發(fā)，本文提出了一種新的典型性原則，該原則對統(tǒng)計學(xué)與數(shù)據(jù)科學(xué)在方法論和基礎(chǔ)層面均具有多重意義。

首先，在方法論層面，典型性原則直接引出了一種在參數(shù)估計背景下全新的正則化策略。具體而言，不同于將估計量向估計目標(biāo)中假定的結(jié)構(gòu)（例如“稀疏性”）收縮，我們基于典型性的關(guān)注點強(qiáng)調(diào)擬合優(yōu)度，以確保觀測數(shù)據(jù)在所擬合模型下呈現(xiàn)“典型”特征。文中展示了三個非平凡且具說明性的例子：在這些例子中，最大似然方法表現(xiàn)極差，而我們所提出的典型性聚焦正則化策略則展現(xiàn)出令人滿意甚至優(yōu)越的性能。

其次，在基礎(chǔ)理論層面，典型性原則的一個更形式化的版本可自然地融入一般的推斷模型（inferential model）框架之中，從而為超越點估計、假設(shè)檢驗等任務(wù)的不確定性量化提供可證明可靠的保障。這種更廣泛的不確定性量化框架能夠方便地容納馮·諾依曼–摩根斯坦（von Neumann and Morganstern）式的決策制定及其他形式化推斷——其功能類似于貝葉斯方法，但無需依賴先驗分布，同時不犧牲對錯誤率控制的保證。

更一般地，我們相信，所提出的典型性原則的各種實現(xiàn)方式將有益于數(shù)據(jù)科學(xué)的發(fā)展，因為自動化應(yīng)用預(yù)計將在人工智能等領(lǐng)域的進(jìn)步中發(fā)揮關(guān)鍵作用。盡管本文聚焦于基于模型的推斷，但“典型性”這一概念本身與擬合優(yōu)度考量緊密相連，因此我們完全有理由預(yù)期，典型性原則及其衍生方法論不僅會影響推斷，也將對科學(xué)建模產(chǎn)生深遠(yuǎn)影響。

典型性原則及其所衍生的各類方法論仍有待進(jìn)一步的理論與應(yīng)用研究。在應(yīng)用方面，現(xiàn)代數(shù)據(jù)科學(xué)問題常涉及復(fù)雜模型，若無某種正則化策略的引導(dǎo)，極易發(fā)生過擬合；正是這種過擬合傾向，導(dǎo)致了第4節(jié)所示例中最大似然估計量的糟糕表現(xiàn)。因此，本文一個自然的后續(xù)工作，便是考察所提出的典型性正則化策略在一類現(xiàn)代數(shù)據(jù)科學(xué)問題中的表現(xiàn)，這些問題涉及深度神經(jīng)網(wǎng)絡(luò)（deepnets）、Transformer 等復(fù)雜且過參數(shù)化的模型（Vaswani et al. 2017）。此外，將我們提出的方法與其他先進(jìn)方法（如知識蒸餾，參見 Hinton et al. 2015；Jiang and Liu 2025）進(jìn)行比較也將十分有趣。

另一個重要的實踐問題是：如何設(shè)定式（1）中的調(diào)優(yōu)參數(shù) λ？盡管目前已有大量標(biāo)準(zhǔn)化的調(diào)參策略，但一個相關(guān)的問題是：我們基于典型性的懲罰項具有內(nèi)在的數(shù)據(jù)依賴性，這是否需要引入新的調(diào)參考量？畢竟，與常見的鼓勵稀疏性的懲罰項不同，p 值具有明確的尺度意義，因此可能需要新的思路來平衡此類懲罰項與似然函數(shù)之間的貢獻(xiàn)。

在理論方面，所提出的典型性正則化最大似然估計量（以及第5節(jié)中發(fā)展的更廣泛不確定性量化方法）在有限樣本和大樣本下的效率性質(zhì)，目前仍是完全開放的研究課題。盡管如此，在必要時，傳統(tǒng)的稀疏性懲罰項也可輕松納入，形成一種混合正則化方法。

與我們所提出的統(tǒng)計原則相一致，并受到其他深刻哲學(xué)思考的驅(qū)動，近期已有研究致力于提升人工智能的創(chuàng)造力與可信度（例如 Eschker and Liu 2024）。當(dāng)前的一大挑戰(zhàn)在于，如何理解這些（以及其他）哲學(xué)進(jìn)展如何幫助完善當(dāng)今最前沿的方法，并激發(fā)突破現(xiàn)代邊界的全新發(fā)展。同樣重要的是，這些哲學(xué)貢獻(xiàn)應(yīng)體現(xiàn)圖基那種“親自動手、面向應(yīng)用”的“自下而上”風(fēng)格，而非由象牙塔中發(fā)出的“自上而下”、束縛手腳的教條式指令。

原文鏈接：https://arxiv.org/pdf/2501.14860