作者：David Tse
編譯：子曦

2020年底，斯坦福大學(xué)工程學(xué)院的 David Tse 教授在知名的在線科普出版物《量子雜志》（Quanta Magazine）上發(fā)表 專欄文章 ，紀(jì)念美國數(shù)學(xué)家、電子工程師和密碼學(xué)家、信息論的創(chuàng)始人克勞德·香農(nóng)（Claude Shannon）博士。確實(shí)，給我們今天的生活帶來極大便利的全球互聯(lián)網(wǎng)和高速無線通信網(wǎng)絡(luò)的開創(chuàng)和發(fā)展，都要?dú)w功于香農(nóng)于1948年創(chuàng)立的現(xiàn)代信息理論。香農(nóng)如此大名鼎鼎，卻又異常低調(diào)，乃至許多學(xué)生和學(xué)者以為他是早已作古的先驅(qū)。在1985年的IEEE信息學(xué)年會上，當(dāng)與會者得知香農(nóng)現(xiàn)身在會議中時(shí)，會場一片轟動。當(dāng)年的會議主席回憶：“就好像牛頓出現(xiàn)在物理學(xué)會議中。”香農(nóng)最終于2001年去世，終年84歲。巨星隕落，但他的學(xué)術(shù)遺產(chǎn)已經(jīng)由一代又一代的科學(xué)家、數(shù)學(xué)家和工程師所繼承和發(fā)揚(yáng)，繼續(xù)照耀人類前進(jìn)的道路。特此翻譯此文，向先驅(qū)致敬！

感謝一位獨(dú)到的天才的開創(chuàng)性工作，讓今天的信息時(shí)代成為可能。

科學(xué)尋求自然的基本定律。數(shù)學(xué)在舊的基礎(chǔ)上尋找新的定理。工程學(xué)構(gòu)建解決人類需求的系統(tǒng)。這三個(gè)學(xué)科相互依存但又截然不同。很少有個(gè)人同時(shí)在這三個(gè)學(xué)科做出核心貢獻(xiàn) —— 但是克勞德·香農(nóng)就是這樣一個(gè)難得的個(gè)人。

雖然是最近的紀(jì)錄片《 比特玩家 》(The Bit Player) 的主角 —— 而他的工作和研究理念也激發(fā)了我自己的職業(yè)生涯 —— 香農(nóng)并不是一個(gè)家喻戶曉的人物。他從未獲得過諾貝爾獎，而且在2001年去世前后，他都不是像阿爾伯特·愛因斯坦或理查德·費(fèi)曼那樣的名人。然而70多年前，在一篇劃時(shí)代的論文中，他為構(gòu)成現(xiàn)代信息時(shí)代根本的通信基礎(chǔ)設(shè)施奠基。

香農(nóng)于1916年出生于密歇根州的蓋洛德市，是一位當(dāng)?shù)厣倘撕鸵幻處煹膬鹤?。從密歇根大學(xué)獲得電氣工程和數(shù)學(xué)學(xué)位后，他在麻省理工學(xué)院撰寫了一篇 碩士論文 ，將名為布爾代數(shù)的數(shù)學(xué)理論應(yīng)用于開關(guān)電路的分析和綜合。這是一項(xiàng)變革性的工作，將電路設(shè)計(jì)從一門藝術(shù)變成了科學(xué)，現(xiàn)在被認(rèn)為是數(shù)字電路設(shè)計(jì)的起點(diǎn)。

年輕的克勞德·香農(nóng)

接下來，香農(nóng)將目光投向了一個(gè)更大的目標(biāo)：通信。

通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話和電視，人類一直在尋求更遠(yuǎn)、更快和更可靠的通信方法。但是，通信系統(tǒng)的工程學(xué)過去總是與特定的信息源和物理介質(zhì)相關(guān)聯(lián)。而香農(nóng)提出的問題是：“是否有一個(gè)大一統(tǒng)的通信理論？”1939年，在給導(dǎo)師萬尼瓦爾·布什（Vannevar Bush）的信中，香農(nóng)概述了他關(guān)于“用于情報(bào)傳遞的通用系統(tǒng)的基本特性”的一些初步想法。經(jīng)過十年的研究，香農(nóng)終于在1948年發(fā)表了他的開創(chuàng)性杰作《 通信的數(shù)學(xué)理論 》。

他的理論的核心是一個(gè)簡單但非常通用的通信模型：發(fā)送器將信息編碼為信號，該信號會被噪聲破壞，然后被接收器解碼。雖然簡單，香農(nóng)的模型融合了兩個(gè)關(guān)鍵見解：將信息源和噪聲源與要設(shè)計(jì)的通信系統(tǒng)隔離開來，并對這兩個(gè)源進(jìn)行概率建模。他設(shè)想信息源會生成許多可能的消息來進(jìn)行通信，每條消息都有一定的概率。概率化噪聲進(jìn)一步增加了接收器解析的隨機(jī)性。

在香農(nóng)之前，通信問題主要被視為確定性信號重建問題：如何轉(zhuǎn)換被物理介質(zhì)扭曲的接收信號，以盡可能準(zhǔn)確地重建原始信號。香農(nóng)的天才在于，他洞察到通信的關(guān)鍵是不確定性。畢竟，如果你提前知道了我在本專欄中對你說的話，那么還有什么必要寫它呢？

香農(nóng)的通信模型示意圖

這一觀察將通信從實(shí)體問題轉(zhuǎn)向到抽象問題，從而使香農(nóng)可以使用概率對不確定性進(jìn)行建模。這給當(dāng)時(shí)的通信工程師們帶來了極大的沖擊。

確定了不確定性和概率論的框架，香農(nóng)在其具有里程碑意義的論文中著手系統(tǒng)地確定通信的基本限定。他的回答分為三個(gè)部分。在這三個(gè)方面都扮演著重要角色的，是信息“比特”（bit) 的概念。香農(nóng)將其用作不確定性的基本單位。比特好比是“二進(jìn)制數(shù)字”的兩格式旅行箱，可以是1或0，香農(nóng)的論文是第一個(gè)使用該詞的人（盡管他說數(shù)學(xué)家約翰·圖基（John Tukey）先在一個(gè)備忘錄中用到了該詞）。

首先，香農(nóng)提出了一個(gè)用于表示信息量的每秒最少比特?cái)?shù)的公式，這個(gè)數(shù)字他稱之為熵率 H。該數(shù)字量化了確定信息源將生成哪個(gè)消息所涉及的不確定性。熵率越低，不確定性越小，因此將消息壓縮成較短的內(nèi)容越容易。例如，以每分鐘100個(gè)英文字母的速率發(fā)送短信，意味著每分鐘發(fā)送有26100種可能的消息，每條消息均由100個(gè)字母的序列表示。因?yàn)?470≈26100，人們可以將所有這些可能性編碼為470比特。如果所有序列的可能性相同，那么香農(nóng)的公式表明熵率確切值是每分鐘470比特?，F(xiàn)實(shí)中，由于某些序列比其他序列出現(xiàn)的可能性高得多，所以熵率要低得多，可以進(jìn)行更大的壓縮。

其次，他給出了一個(gè)噪聲條件下可以可靠通信的每秒最大比特?cái)?shù)的公式，他將其稱為系統(tǒng)的容量 C。這是接收機(jī)可以有效解析消息不確定性的最大速率，也就是實(shí)際上的通信速度的上限。

最后，他表明當(dāng)且只當(dāng) H

雖然這是一種通信理論，但同時(shí)也是一種有關(guān)信息如何產(chǎn)生和轉(zhuǎn)換的理論—— 信息論 。因此，香農(nóng)現(xiàn)在被譽(yù)為“信息論之父”。

他的定理得出了一些與直覺相反的結(jié)論。假設(shè)你在嘈雜的地方講話，確保你的消息能夠傳達(dá)的最佳方法是什么？也許重復(fù)多次？當(dāng)然，這是每個(gè)人在喧嘩的餐廳中的第一個(gè)本能，但事實(shí)證明這不是很有效。當(dāng)然，你重復(fù)自己的次數(shù)越多，通信越可靠。但是你犧牲了速度來換取可靠性。香農(nóng)向我們展示了我們可以做得更好。重復(fù)消息只是使用編碼傳輸消息的一個(gè)例子，通過使用不同且更復(fù)雜的編碼，可以在維持既定可靠性的同時(shí)，快速地通信——直到速度上限 C。

香農(nóng)的理論得出的另一個(gè)意外結(jié)論是，無論信息的特質(zhì)是什么——莎士比亞十四行詩、貝多芬第五交響曲的錄音、還是黑澤明的電影——在傳輸之前，將其編碼為比特總是最有效的。因此以無線電系統(tǒng)為例，即使初始的聲音和通過空中發(fā)送的電磁信號都是模擬波形式的，香農(nóng)定理也表明最好先將聲波數(shù)字化為比特，然后將這些比特映射到電磁波。這一令人驚訝的結(jié)果是現(xiàn)代數(shù)字信息時(shí)代的基石，在這個(gè)時(shí)代里，作為信息通用貨幣的比特?zé)o所不在。

香農(nóng)的通用信息理論是如此自然，以至于他似乎發(fā)現(xiàn)了宇宙的通信定律，而不是發(fā)明了它們。他的理論與自然界的物理定律一樣基本。從這個(gè)意義上說，他是一名科學(xué)家。

香農(nóng)發(fā)明了新的數(shù)學(xué)來描述通信定律。他引入了一些新思想，比如概率模型的熵率，這些新思想已應(yīng)用于研究動力學(xué)系統(tǒng)長期行為的遍歷數(shù)學(xué)等廣泛的數(shù)學(xué)分支。從這個(gè)意義上說，香農(nóng)是一個(gè)數(shù)學(xué)家。

但最重要的是，香農(nóng)是一名工程師。他的理論受到實(shí)際工程問題的啟發(fā)。盡管對當(dāng)時(shí)的工程師來說是深奧的，但香農(nóng)的理論現(xiàn)已成為所有現(xiàn)代通信系統(tǒng)（光學(xué)、水下、甚至行星際）基礎(chǔ)的標(biāo)準(zhǔn)框架。就我個(gè)人而言，我很幸運(yùn)地參與了將香農(nóng)的理論應(yīng)用和擴(kuò)展到無線通信的全球性努力中，歷經(jīng)幾代標(biāo)準(zhǔn)將通信速度提高了兩個(gè)數(shù)量級。確實(shí)，當(dāng)前推出的5G標(biāo)準(zhǔn)使用的不是一種而是兩種實(shí)用的編碼，它們被證明可以達(dá)到香農(nóng)的速度上限。

晚年香農(nóng)手持土星的照片

香農(nóng)在70多年前就為所有這一切奠定了基礎(chǔ)。他是怎么做到的？通過不懈地專注于問題的根本特征，忽略所有其它方面。他的通信模型的簡單性就是這種風(fēng)格的很好例證。他還知道要專注于可能，而不是立即可行的事情。

香農(nóng)的工作說明了頂級科學(xué)研究的真正作用。當(dāng)我開始讀研究生時(shí)，我的導(dǎo)師告訴我，最好的工作是修剪知識樹，而不是擴(kuò)張知識樹。那時(shí)候我不知道該怎么做；我一直認(rèn)為研究人員的工作就是添加自己的樹枝。但是在我的職業(yè)生涯中，由于我有機(jī)會在自己的工作中運(yùn)用這種思想，我開始理解了。

當(dāng)香農(nóng)開始研究通信時(shí)，工程師已經(jīng)掌握了大量技術(shù)。正是他的統(tǒng)一工作，將所有這些知識枝條修剪成了一棵貫通而優(yōu)美的樹——這棵樹為幾代科學(xué)家、數(shù)學(xué)家和工程師帶來了累累碩果。