A CHARACTERIZATION OF ENTROPY IN TERMS OF INFORMATION LOSS

熵在信息損失方面的表征

https://arxiv.org/pdf/1106.1791

摘要

香農(nóng)熵和Tsallis熵作為滿足特定性質(zhì)的信息度量，已有多種刻畫方式?；诜ń菀蚝凸攀械难芯抗ぷ鳎覀兺茖?dǎo)出一種極其簡(jiǎn)潔的刻畫方法。該方法并非聚焦于有限集合上概率測(cè)度的熵，而是關(guān)注與保測(cè)函數(shù)相關(guān)聯(lián)的"信息損失"（即熵的變化）。信息損失是條件熵的一種特殊情形：即某個(gè)隨機(jī)變量在給定該變量的函數(shù)條件下的熵。我們證明，香農(nóng)熵是唯一滿足函子性、凸線性與連續(xù)性的信息損失概念。該刻畫方式亦可自然地推廣至Tsallis熵。

1. 引言
   有限集合X上概率測(cè)度p的香農(nóng)熵[9]由下式給出：

   
   

有許多定理試圖從看似合理的假設(shè)出發(fā)來(lái)刻畫香農(nóng)熵；可參見(jiàn)例如Aczél和Daróczy的著作[1]。本文中，我們給出一個(gè)新的、非常簡(jiǎn)潔的刻畫定理。其主要新穎之處在于，我們不直接關(guān)注單個(gè)概率測(cè)度的熵，而是關(guān)注與保測(cè)函數(shù)相關(guān)聯(lián)的熵的變化。單個(gè)概率測(cè)度的熵可以通過(guò)指向單點(diǎn)空間的唯一保測(cè)函數(shù)的熵變化來(lái)還原。

一個(gè)保測(cè)函數(shù)可以將多個(gè)點(diǎn)映射到同一個(gè)點(diǎn)，但反之則不然，因此這種熵的變化始終是減少的。由于熱力學(xué)第二定律討論的是熵的增加，這看起來(lái)可能違反直覺(jué)。但如果我們把這個(gè)函數(shù)看作是某種不引入任何額外隨機(jī)性的數(shù)據(jù)處理，那么這種直覺(jué)可能會(huì)減弱。此時(shí)，熵只會(huì)減少，我們可以討論與該函數(shù)相關(guān)的“信息損失”。

1. 主要結(jié)果

這與我們之前對(duì)凸線性組合的表示法是一致的。我們希望給出一些條件，以確保一個(gè)將 FinMeas 中的態(tài)射映射到非負(fù)實(shí)數(shù)的映射來(lái)源于香農(nóng)熵的某個(gè)倍數(shù)。為此，我們需要定義配備了測(cè)度 p p（不一定是概率測(cè)度）的有限集合 X X的香農(nóng)熵。將 ( X , p )
的總質(zhì)量定義為：

1. 為什么香農(nóng)熵有效

于是可以證明，方程(5)對(duì) FinMeas 中的每一個(gè)態(tài)射 f 都成立?？杉有怨砗妄R次性公理也由此容易推出。

1. 法捷耶夫定理

這可以很容易地使用香農(nóng)熵的定義和對(duì)數(shù)的基本性質(zhì)來(lái)驗(yàn)證。而且，法捷耶夫定理中的條件(iii)等價(jià)于強(qiáng)可加性加上條件 I ( ( 1 ) ) = 0
，這使得我們可以將法捷耶夫定理重新表述如下：

1. 主要結(jié)果的證明
   現(xiàn)在我們來(lái)完成定理2的證明。假設(shè) F F滿足該定理陳述中的條件(i)–(iii)。
   回顧一下，(1) 表示集合 {1} 及其上唯一的概率測(cè)度。
   對(duì)于 FinProb 中的每一個(gè)對(duì)象 p p，存在唯一的態(tài)射

1. Tsallis熵的刻畫

自香農(nóng)于1948年定義了他的熵以來(lái)，該概念已以多種方式被推廣。我們的定理2可以很容易地?cái)U(kuò)展，以刻畫其中一個(gè)推廣族，即所謂的“Tsallis熵”。對(duì)于任意正實(shí)數(shù) α，有限集合 X 上概率測(cè)度 p 的 α 階 Tsallis 熵定義為：

與香農(nóng)熵的情況一樣，這個(gè)結(jié)果可以擴(kuò)展到有限集合上的任意測(cè)度。為此，我們需要定義有限集合上任意測(cè)度的 Tsallis 熵。我們通過(guò)要求以下條件來(lái)實(shí)現(xiàn)：

原文鏈接： https://arxiv.org/pdf/1106.1791