通過實(shí)際信息增益量化不完美認(rèn)知

Quantifying Imperfect Cognition Via Achieved Information Gain

https://onlinelibrary.wiley.com/doi/pdf/10.1002/andp.202500057

認(rèn)知，即以推理、通信和記憶形式進(jìn)行的信息處理，是任何智能的核心活動(dòng)。其在大腦、計(jì)算機(jī)或任何其他智能系統(tǒng)中的物理實(shí)現(xiàn)需要資源，如時(shí)間、能量、記憶、帶寬、金錢及其他資源。由于資源有限，許多現(xiàn)實(shí)世界中的智能系統(tǒng)僅執(zhí)行不完美的認(rèn)知。為了理解現(xiàn)有系統(tǒng)（例如在生物學(xué)中）中準(zhǔn)確性與資源投入之間的權(quán)衡，以及為了信息處理系統(tǒng)（如計(jì)算機(jī)算法和人工神經(jīng)網(wǎng)絡(luò)）的資源感知優(yōu)化設(shè)計(jì)，對不完美的認(rèn)知操作中獲得的信息進(jìn)行量化是可取的。為此，提出了信念更新的實(shí)際信息增益（AIG）概念，其由從初始知識狀態(tài)更新到理想狀態(tài)所獲得的信息量，減去從不完美狀態(tài)到理想狀態(tài)的變化將產(chǎn)生的信息量給出。AIG 具有許多用于量化不完美認(rèn)知的理想性質(zhì)。實(shí)際獲得信息與理想可獲得信息的比率衡量認(rèn)知保真度，而 AIG 與必要認(rèn)知努力的比率衡量認(rèn)知效率。這項(xiàng)工作提供了 AIG 的公理化推導(dǎo)，將其與其他信息度量相關(guān)聯(lián)，闡述了其在后驗(yàn)不準(zhǔn)確性的常見場景中的應(yīng)用，并討論了認(rèn)知效率對計(jì)算推理中可持續(xù)資源分配的影響。

1. 引言 1.1. 信息度量

   物理世界中的任何信息處理實(shí)體——簡稱認(rèn)知系統(tǒng)——都必須在有限資源下運(yùn)行。這對技術(shù)系統(tǒng)以及生物系統(tǒng)都成立，因此它們都需要在準(zhǔn)確性和成本之間做出權(quán)衡。為了評估前者，需要任何信息處理操作所獲得、丟失或傳輸?shù)男畔⒘康亩攘�。我們這里考慮的基本認(rèn)知操作包括信息傳輸、記憶和推理。

常用的信息量度量是熵，特別是相對熵。相對熵，又名 Kullback-Leibler 散度 [1]，根源于統(tǒng)計(jì)力學(xué) [2] 和信息論 [3]，并且可以通過多種方式推導(dǎo) [4–13]。它表征了從知識較少信息的初始狀態(tài)改變?yōu)橹R較多信息的狀態(tài)所獲得的信息量，或在反向改變中丟失的信息量。因此，它是理解、表征和設(shè)計(jì)信息處理系統(tǒng)的核心，因此可以在大量語境中找到。僅舉幾例：分配概率分布的最大熵原理 [14–18]，通過期望傳播 [19] 和變分推斷 [20–22] 的近似貝葉斯推理，信息幾何 [23,24]，推斷中的平均場近似 [25–29]，神經(jīng)網(wǎng)絡(luò)訓(xùn)練 [30]，特別是變分自編碼器 [31–34]，最優(yōu)編碼 [35]，有損數(shù)據(jù)壓縮 [36,37]，模型融合 [38]，基于互信息的因果推斷 [39,40]，信息場論 [41]，主動(dòng)學(xué)習(xí)和主動(dòng)推斷 [42–45]，生態(tài)學(xué) [46]，以及計(jì)算心理學(xué) [47,48]。盡管這份列表多種多樣，但它遠(yuǎn)未完成。

相對熵作為認(rèn)知更新中獲得的信息量的度量的問題在于，它對更新是走向正確方向還是錯(cuò)誤方向不敏感。對錯(cuò)誤的事情變得非常確定會(huì)帶來顯著的正相對熵，盡管它本應(yīng)更與負(fù)信息相關(guān)聯(lián)，因?yàn)槌蜂N錯(cuò)誤的更新將需要正量的信息才能恢復(fù)初始狀態(tài)，而那沒有信息增益。因此，更新后與初始知識狀態(tài)之間的相對熵僅表征了表觀信息增益，而不是真實(shí)的信息增益。真實(shí)的信息增益還應(yīng)考慮有多少更新走向了正確的方向，以便能夠區(qū)分純粹表觀的信息與實(shí)際信息。因此，它取決于三個(gè)信息狀態(tài)：初始狀態(tài)、最終狀態(tài)和理想狀態(tài)，見圖 1。我們在本工作中主張，使用理想更新的相對熵減去剩余更新到理想信息狀態(tài)的相對熵，作為實(shí)際信息增益（AIG）的度量，是量化不完美認(rèn)知操作中獲得的信息的一種非常好的方法。如果沒有更新，AIG 為零；如果更新是理想的，則最大；當(dāng)更新走向錯(cuò)誤方向時(shí)，它變?yōu)樨?fù)值。其單位是奈特（nits）或比特（bits），它有一個(gè)簡單的直觀解釋：它提供了由于實(shí)際更新導(dǎo)致的驚喜減少的估計(jì)，是從理想知識狀態(tài)的角度計(jì)算的。

AIG 衡量近似認(rèn)知操作獲得的信息量。因此，它允許將此類操作的認(rèn)知保真度（CF）表征為實(shí)際信息增益與理想信息增益的比率，將其認(rèn)知效率（CE）表征為 AIG 與投入資源（如時(shí)間、金錢、能量和環(huán)境足跡）的比率。

這里提出的 CE 定義似乎也與心理學(xué)和認(rèn)知研究中使用的定義很好地一致：“認(rèn)知效率（CE）通常定義為相對于知識獲取中投入的時(shí)間和努力所獲得的知識的質(zhì)量增加”[49]。知識質(zhì)量的提高表明，只有正確方向的知識才應(yīng)計(jì)入 CE，這正是我們在 AIG 和 CE 定義中所做的。

AIG、CE 和 CF 應(yīng)該具有重要的技術(shù)應(yīng)用。它們可以指導(dǎo)決策，即在許多在保真度和計(jì)算成本方面不同的數(shù)據(jù)處理方法中選擇哪種方法。由于數(shù)據(jù)分析的計(jì)算成本可能很大 [50]，較便宜的方法乍一看可能顯得有利。然而，這些方法可能需要更大的數(shù)據(jù)集，才能提供與更昂貴但更高保真度方法可比的結(jié)果。由于后者意味著更少的測量成本，盡管它們的計(jì)算成本更大，但從全局角度來看，它們實(shí)際上可能更便宜。為了判斷，需要為每種考慮的方法量化作為數(shù)據(jù)集大小函數(shù)的信息增益。AIG 的概念使這成為可能，而由此衍生的 CF 和 CE 概念可以為可持續(xù)計(jì)算決策提供有價(jià)值的定量指導(dǎo)。

1.2. 工作結(jié)構(gòu)

本工作的結(jié)構(gòu)如下：第 2 節(jié)陳述數(shù)學(xué)預(yù)備知識，在通信、推斷和記憶的認(rèn)知操作上發(fā)展 AIG，并在數(shù)學(xué)上定義 CF。第 4 節(jié)提供 AIG 的公理化推導(dǎo)，并表明在初始和更新后的知識狀態(tài)均可分離的情況下，它成為一個(gè)可分離的量。第 3 節(jié)討論 AIG 與其他信息度量的關(guān)系。第 5 節(jié)通過許多說明性案例說明了 AIG 的使用，如具有不準(zhǔn)確參數(shù)的伯努利、二項(xiàng)、泊松和高斯分布的更新，平均場近似中參數(shù)間交叉相關(guān)的忽略，數(shù)據(jù)的不完全使用，并展示了如何為非高斯概率分布估計(jì) AIG。第 6 節(jié)介紹基于 AIG 的 CE 的數(shù)學(xué)定義，并展示 CE 如何指導(dǎo)可持續(xù)數(shù)據(jù)分析。最后，第 7 節(jié)以簡要總結(jié)和展望結(jié)束本工作。

1. 信息增益

2.1. 數(shù)學(xué)預(yù)備知識

2.2. 信息傳輸

是一個(gè)類似相對熵的表達(dá)式，它涉及通信中所有三個(gè)相關(guān)的信念狀態(tài)，即消息發(fā)送者 Alice 的狀態(tài)，以及消息接收者 Bob 在消息傳輸前后的狀態(tài)，分別為 。

2.3. 記憶

這種負(fù)增益的量正是記憶行為中丟失的信息量。一些旨在以壓縮形式記憶信息的貝葉斯方案，其目標(biāo)正是盡可能最小化這種損失。[37,53]

2.4. 推理

2.5. 認(rèn)知保真度

為了表征 AIG，我們可以將通信、記憶和推理置于同等地位，并將它們都視為配置略有不同的信息處理操作。我們將它們統(tǒng)稱為認(rèn)知。

此外，我們可以將認(rèn)知保真度定義為認(rèn)知更新操作中 AIG 與理想信息增益的比率，

1. 與其他度量的關(guān)系

   AIG 與許多現(xiàn)有的信息度量相關(guān)，例如 Kullback-Leibler 散度、互信息、Rényi 散度，以及其他用于表征概率及其差異的評分規(guī)則。這些度量捕捉了概率分布的不同方面，因此可能適用于不同的目的，而這些目的可用于推導(dǎo)它們。[13] 在我們于第 4 節(jié)對 AIG 進(jìn)行公理化推導(dǎo)之前，我們先討論它與若干其他信息度量的關(guān)系。

3.1. Kullback-Leibler 散度

最著名的信息度量是 Kullback-Leibler (KL) 散度 [ 1 ] ，又名相對熵

3.2.交互信息

3.3. Rényi 散度

Rényi 散度或 alpha-散度 [ 56 ] 可以定義為

3.5. 信息幾何

1. 公理化推導(dǎo)

4.1. 公理

1. 說明性示例

這是一個(gè)現(xiàn)實(shí)世界的應(yīng)用示例，例如天氣預(yù)報(bào)員 Alice 需要決定向受眾更新改進(jìn)后的天氣預(yù)報(bào)有多重要。她所在電視臺的政策是將任何傳達(dá)的概率四舍五入到 10%。她需要決定是否發(fā)布的公告是第二天的降雨概率為 60%。這則新聞值得發(fā)布嗎？

5.2. 二項(xiàng)分布

二項(xiàng)分布在重復(fù)伯努利醫(yī)學(xué)實(shí)驗(yàn)的分析中起著核心作用，在這些實(shí)驗(yàn)中，一定數(shù)量的患者接受某種治療或安慰劑，并在不同條件下統(tǒng)計(jì)各種效果（如治愈疾病或副作用）的發(fā)生情況。[60]

5.5. 多元高斯概率

一個(gè)特殊但非常相關(guān)的情況是，當(dāng)所有涉及的概率均為多元高斯分布時(shí)，

5.8. 不完整的數(shù)據(jù)使用

不完美高斯更新的一個(gè)特例是那些僅使用了部分可用數(shù)據(jù)的情況。設(shè)

1. 可持續(xù)數(shù)據(jù)分析 6.1. 認(rèn)知效率

   隨著科學(xué)實(shí)驗(yàn)、觀測站以及其數(shù)據(jù)分析所需的計(jì)算工作成本的增加，出現(xiàn)了這樣一個(gè)問題：如何優(yōu)化科學(xué)的認(rèn)知效率，即每投入金錢和其他資源所獲得的科學(xué)信息量。[50] 我們將認(rèn)知效率定義為

為了使這一論點(diǎn)成立，需要仔細(xì)討論認(rèn)知效率的分子和分母。實(shí)際獲得的信息增益可能并非更新的唯一收益，例如，它可能具有教育、文化、技術(shù)或政治維度。然而，在此我們要關(guān)注的是 AIG 的量。在估算成本時(shí)，是僅考慮更新的計(jì)算成本，還是將獲取更新所用數(shù)據(jù)的成本也納入成本預(yù)算，往往會(huì)產(chǎn)生顯著差異。如果數(shù)據(jù)無論如何都是可用的，從而數(shù)據(jù)獲取成本微乎其微，那么前者是一種適當(dāng)?shù)慕�。如果獲取數(shù)據(jù)需要專門的投資，則必須使用后者。從社會(huì)的角度來看，任何可持續(xù)性計(jì)算都應(yīng)包含數(shù)據(jù)生成成本。

因此，從不同角度來看，認(rèn)知效率存在顯著差異。對于一位分析免費(fèi)可用數(shù)據(jù)集的科學(xué)家來說，一種成本較低但認(rèn)知保真度較低的方法可能更具吸引力，因?yàn)樗赡軙?huì)最大化其認(rèn)知效率。然而，從社會(huì)的角度來看，應(yīng)考慮生產(chǎn)數(shù)據(jù)的成本，這使得更準(zhǔn)確但通常計(jì)算成本更高的方法從全局認(rèn)知效率的角度來看是有益的，當(dāng)然前提是更高的準(zhǔn)確性是有益的。

在科學(xué)實(shí)踐中，這種利益差距通�？梢酝ㄟ^科學(xué)出版機(jī)制來彌合。這些機(jī)制通常要求，為了被同行評審期刊接受，對數(shù)據(jù)的重新分析與早期的分析相比，必須具有更高的認(rèn)知保真度。

6.2. 可持續(xù)成本

為了從可持續(xù)性角度決定兩種認(rèn)知方法（例如“B”和“C”）中的哪一種應(yīng)用于分析來自測量設(shè)備的數(shù)據(jù)，我們必須比較它們的收益和成本。由于實(shí)際信息增益（AIG）的收益未必隨其大小線性增長，比較兩種方法的最佳方式并非對兩者使用相同的數(shù)據(jù)集，而是要求為每種方法提供大小適當(dāng)?shù)臄?shù)據(jù)集，使得它們各自產(chǎn)生相同的（預(yù)期）實(shí)際信息增益。通過這種方式，它們的收益將是相同的，但它們的數(shù)據(jù)獲取和處理成本將有所不同，而這些成本通常更容易量化。

因此，計(jì)算上更精確因而更昂貴的數(shù)據(jù)分析方法，可能比那些精度較低因而較便宜的方法更具可持續(xù)性，特別是在數(shù)據(jù)獲取成本很高時(shí)。我們在第 5.8 節(jié)中的觀察加強(qiáng)了這一論點(diǎn)，即實(shí)際信息增益（AIG）往往僅隨數(shù)據(jù)集大小的對數(shù)增長。這意味著，認(rèn)知保真度較低的方法 C 可能需要顯著更大的數(shù)據(jù)集才能達(dá)到相同的 AIG。獲取這個(gè)更大的數(shù)據(jù)集會(huì)消耗更多比例的昂貴設(shè)施時(shí)間 ，從而惡化了這種計(jì)算成本低廉的方法的可持續(xù)性。

6.3. 說明性場景

這甚至可能涵蓋方法 B 開發(fā)的人員成本，特別是如果它可以用于多次此類測量的情況。

7. 結(jié)論

7.1. 總結(jié)

量化不完美認(rèn)知操作的需求——無論是生物的還是計(jì)算的，無論是通信、推理還是記憶——促使我們引入并公理化推導(dǎo)了實(shí)際信息增益（AIG）的概念，將其定義為最優(yōu)可能增益減去不完美認(rèn)知后的剩余增益。我們表明 AIG 具有表征不完美認(rèn)知操作所需的許多性質(zhì)，并使我們能夠定義認(rèn)知保真度和認(rèn)知效率。此外，我們討論了它與其他幾種信息度量的關(guān)系，并展示了如何通過區(qū)分更新所達(dá)到的知識狀態(tài)與理想達(dá)到的知識狀態(tài)，將這些度量也轉(zhuǎn)化為實(shí)際增益。

我們解析地考察了具有高斯和各種非高斯概率的說明性場景，并展示了在分布難解的情況下如何通過采樣數(shù)值計(jì)算 AIG。我們表明，在更新均值存在未計(jì)入誤差的情況下，鼓勵(lì)采取擴(kuò)大不確定性的做法，因?yàn)樗梢詫⒃緸樨?fù)的 AIG 轉(zhuǎn)為正值。對于某量的重復(fù)測量，數(shù)值實(shí)驗(yàn)表明，平均而言 AIG 隨所獲數(shù)據(jù)集大小的對數(shù)增長，但會(huì)被具有顯著降低 AIG 的不幸數(shù)據(jù)序列片段所中斷。表觀信息增益對此類不幸的數(shù)據(jù)實(shí)現(xiàn)不敏感，因此可能具有誤導(dǎo)性。

最后，我們說明了 AIG 如何被用來幫助決定大型研究設(shè)施昂貴數(shù)據(jù)的準(zhǔn)確性與計(jì)算復(fù)雜度之間的權(quán)衡。在決定哪種計(jì)算方法更可持續(xù)時(shí)，AIG 的概念使我們能夠確定，對于具有較低認(rèn)知保真度的方法，設(shè)施需要被額外使用多長時(shí)間才能生成同樣具有信息量的數(shù)據(jù)，從而設(shè)定了高保真度方法值得付出的尺度，盡管其潛在計(jì)算成本可能更高。

7.2. 展望

我們希望實(shí)際信息增益（AIG）的概念能在量化和理解技術(shù)、生物、心理及社會(huì)信息處理方面得到廣泛應(yīng)用。它應(yīng)有助于設(shè)計(jì)認(rèn)知高效的數(shù)據(jù)處理系統(tǒng)，例如用于處理由日益增多的科學(xué)、工業(yè)和私人傳感器、探測器及望遠(yuǎn)鏡所產(chǎn)生的、不斷增長的數(shù)據(jù)流所帶來的高能耗處理問題。[50] 它可以幫助理解塑造現(xiàn)有生物、心理或社會(huì)信息處理系統(tǒng)演化的權(quán)衡關(guān)系。而且，作為一種依賴于三個(gè)位置（初始位置、達(dá)到的位置和理想位置）的信息“距離”度量，AIG 為近似認(rèn)知操作的幾何特性提供了洞見，這在理解人工智能系統(tǒng)的操作等方面可能變得相關(guān)。

原文鏈接：https://onlinelibrary.wiley.com/doi/pdf/10.1002/andp.202500057