編輯｜Panda

剛剛，Geoffrey Hinton 正式成為歷史上第二位 Google Scholar 引用量突破 100 萬大關(guān)的計(jì)算機(jī)科學(xué)家。

在他之前，只有他的老搭檔、另一位「深度學(xué)習(xí)教父」Yoshua Bengio 達(dá)成了這一成就。目前，Hinton 的引用量仍在以驚人的速度增長，每一次引用都代表著他對人工智能領(lǐng)域不可磨滅的貢獻(xiàn)。從反向傳播算法的推廣到 AlexNet 的驚艷問世，從獲得圖靈獎(jiǎng)到斬獲 2024 年諾貝爾物理學(xué)獎(jiǎng)，Hinton 的職業(yè)生涯幾乎就是一部現(xiàn)代 AI 的發(fā)展史。

這一數(shù)字不僅是學(xué)術(shù)影響力的量化，更是對這位 78 歲長者一生執(zhí)著探索的最高致敬。

Geoffrey Hinton：來自學(xué)術(shù)世家的「教父」

童年

Geoffrey Everest Hinton，1947 年 12 月 6 日出生于英國倫敦的一個(gè)學(xué)術(shù)世家。他的中間名「Everest」來自他的叔祖父，也就是以其名字命名珠穆朗瑪峰英文名的 George Everest。他的家族星光熠熠，曾祖父是布爾邏輯的創(chuàng)始人 George Boole，表姑是參與曼哈頓計(jì)劃的核物理學(xué)家 Joan Hinton（寒春）。

生在這樣的家庭，壓力與榮耀并存。Hinton 的母親曾給他下過一道溫和卻嚴(yán)厲的「最后通牒」：「要么做個(gè)學(xué)者，要么就是個(gè)失敗者（Be an academic or be a failure）」。這種高期待或許解釋了他日后對學(xué)術(shù)的極致追求。

他的童年充滿了像電影《天才一族》般古怪而硬核的色彩。家里養(yǎng)過貓鼬，車庫的坑里甚至養(yǎng)著毒蛇。8 歲那年，Hinton 曾揮舞著手帕逗弄坑里的毒蛇，結(jié)果一條蛇猛地?fù)湎蛩氖?，僅差一英寸就咬中了他，差點(diǎn)讓他喪命。

8 歲的 Hinton 摟著一條蟒蛇

家族的軼事甚至還涉及到了加拿大政壇。1961 年，他的父親訪華時(shí)帶回了一打中國烏龜。在旅途中，老 Hinton 與未來的加拿大總理皮埃爾?特魯多（Pierre Trudeau）住同一間酒店房間。據(jù)說老 Hinton 把烏龜都養(yǎng)在了浴缸里，導(dǎo)致特魯多根本沒法洗澡。

求學(xué)之路

然而，這位天才的學(xué)術(shù)之路并非一片坦途，但他對世界本質(zhì)的好奇心早在 4 歲時(shí)就已萌芽。

那時(shí)，他在一輛鄉(xiāng)村巴士上發(fā)現(xiàn)了一個(gè)奇怪的現(xiàn)象：當(dāng)巴士急剎車時(shí)，座位上的硬幣并沒有順著慣性向前滑，而是反直覺地向后移動(dòng)。這個(gè)違反物理常識(shí)的現(xiàn)象困擾了他整整十年，直到后來他才明白這是座位絨毛角度與振動(dòng)共同作用的結(jié)果。對此，他曾說道：「有些人可以接受自己不理解的事物，但我不行。我無法接受有什么東西違反了我對世界的認(rèn)知模型。」

這種對「理解世界運(yùn)作方式」的執(zhí)念貫穿了他的求學(xué)生涯。在劍橋大學(xué)國王學(xué)院期間，他曾在物理學(xué)、哲學(xué)和心理學(xué)之間反復(fù)橫跳。畢業(yè)后，在迷茫中他甚至曾短暫地做過一段時(shí)間的木匠。在攻讀博士學(xué)位期間，由于神經(jīng)網(wǎng)絡(luò)在當(dāng)時(shí)不被看好，他一度陷入抑郁和自我懷疑。

在一個(gè)類似心理治療的研討會(huì)上，當(dāng)其他人都在大喊「我想要被愛」來釋放情感時(shí)，Hinton 憋了半天，最終吼出了心底最深層的渴望：「我真正想要的是一個(gè)博士學(xué)位?。╓hat I really want is a PhD!）」。帶著這股執(zhí)拗，他在愛丁堡大學(xué)獲得了人工智能博士學(xué)位，正式開啟了他在神經(jīng)網(wǎng)絡(luò)荒原上的長征。

31 歲的 Hinton 與他的博士后同學(xué) Chris Riesbeck

北上加拿大

在 70 年代和 80 年代，當(dāng) AI 領(lǐng)域被符號(hào)主義主導(dǎo)時(shí)，Hinton 就像一個(gè)孤獨(dú)的異類。由于對羅納德?里根時(shí)代美國國防部主導(dǎo)的軍事資助感到失望，他做出了一個(gè)改變?nèi)松壽E的決定：離開美國，北上加拿大。

除了政治原因，這背后還有一個(gè)鮮為人知的溫情理由：當(dāng)時(shí)他和妻子計(jì)劃收養(yǎng)一對來自南美洲的兒女。他不希望在一個(gè)當(dāng)時(shí)正暴力干涉拉美事務(wù)的國家撫養(yǎng)這些孩子。于是，他在多倫多大學(xué)扎根，在那里數(shù)十年如一日地在神經(jīng)網(wǎng)絡(luò)的「荒原」上耕耘，這也為后來加拿大成為全球 AI 重鎮(zhèn)埋下了伏筆。

學(xué)術(shù)成就

Geoffrey Hinton 最著名的成就之一是與 David Rumelhart 和 Ronald Williams 共同發(fā)表了關(guān)于反向傳播（Backpropagation）的論文，解決了多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難題，為后來深度學(xué)習(xí)的爆發(fā)埋下了伏筆。

但他的貢獻(xiàn)遠(yuǎn)不止于此：

• 玻爾茲曼機(jī)（Boltzmann Machine）與受限玻爾茲曼機(jī)（RBM）：為無監(jiān)督學(xué)習(xí)和特征表示學(xué)習(xí)奠定了基礎(chǔ)，可用于生成模型和預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
• 深度信念網(wǎng)絡(luò)（DBN）：在 2006 年提出，通過逐層貪心訓(xùn)練方法有效訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，點(diǎn)燃了深度學(xué)習(xí)復(fù)興的火種。
• Dropout：一種簡單而高效的正則化技術(shù)，通過隨機(jī)「丟棄」神經(jīng)元防止過擬合，成為大型神經(jīng)網(wǎng)絡(luò)訓(xùn)練的標(biāo)準(zhǔn)做法。
• t-SNE：一種高維數(shù)據(jù)可視化技術(shù)，用于將復(fù)雜數(shù)據(jù)嵌入低維空間，廣泛用于理解深度學(xué)習(xí)特征表示。
• 分布式表示（Distributed Representations）：強(qiáng)調(diào)分布式特征編碼在學(xué)習(xí)系統(tǒng)中的重要性。
• 膠囊網(wǎng)絡(luò)（Capsule Networks）：提出對卷積神經(jīng)網(wǎng)絡(luò)中空間關(guān)系處理不足的問題的一種改進(jìn)，通過「膠囊」表示和動(dòng)態(tài)路由機(jī)制增強(qiáng)特征層次感知。
• 混合專家模型（MoE）：通過多個(gè)子網(wǎng)絡(luò)（專家）協(xié)同工作并由路由器選擇性激活，提高模型容量與計(jì)算效率，成為大規(guī)模模型的重要設(shè)計(jì)思路。
• 知識(shí)蒸餾（Knowledge Distillation）：提出將大型復(fù)雜模型（教師模型）的知識(shí)遷移到小型模型（學(xué)生模型），在保證性能的同時(shí)降低計(jì)算成本。
• 層歸一化（Layer Normalization）：改進(jìn)深度網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性和收斂速度的技術(shù)，對自然語言處理模型尤其重要。
• 深度生成模型與概率圖模型：在生成模型領(lǐng)域提出了多種創(chuàng)新方法，為后續(xù)的變分自編碼器（VAE）和生成對抗網(wǎng)絡(luò)（GAN）奠定了理論基礎(chǔ)。
• AlexNet 與 ImageNet 變革： 他與學(xué)生 Alex Krizhevsky、Ilya Sutskever 共同推出了 AlexNet，在 ImageNet 競賽中以絕對優(yōu)勢奪冠。這被公認(rèn)為深度學(xué)習(xí)時(shí)代的「大爆炸」時(shí)刻，證明了深層卷積神經(jīng)網(wǎng)絡(luò)在海量數(shù)據(jù)和 GPU 算力下的統(tǒng)治力。
• Forward-Forward Algorithm（前向 - 前向算法，2022）： 這是他在職業(yè)生涯后期對反向傳播生物學(xué)合理性的反思與挑戰(zhàn)，提出了一種更接近人腦運(yùn)作機(jī)制的學(xué)習(xí)替代方案。

2018 年，他與 Yoshua Bengio 和 Yann LeCun 共同獲得了計(jì)算機(jī)領(lǐng)域的最高榮譽(yù)：圖靈獎(jiǎng)。這三人也常被稱為「深度學(xué)習(xí)三巨頭」。

值得注意的是，這三位圖靈獎(jiǎng)得主也是 Hinton 引用量第二高的論文《Deep learning》的共同作者。該論文于 2015 年 5 月發(fā)表于 Nature，十年時(shí)間已經(jīng)收獲了超過 10 萬引用量。其中系統(tǒng)總結(jié)了深度學(xué)習(xí)的發(fā)展歷程、基本原理、關(guān)鍵算法（例如多層表征學(xué)習(xí)、反向傳播、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)）以及其在語音識(shí)別、視覺識(shí)別、目標(biāo)檢測、基因組學(xué)等領(lǐng)域的廣泛應(yīng)用，標(biāo)志著深度學(xué)習(xí)從學(xué)術(shù)探索邁向應(yīng)用驅(qū)動(dòng)的成熟階段，被公認(rèn)為推動(dòng)該領(lǐng)域走向主流的里程碑性工作。

2024 年，Hinton 與 John Hopfield 共同獲得了諾貝爾物理學(xué)獎(jiǎng)，以表彰他們「實(shí)現(xiàn)了利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)的奠基性發(fā)現(xiàn)和發(fā)明」。參閱報(bào)道《剛剛，2024 諾貝爾物理學(xué)獎(jiǎng)授予 Geoffrey Hinton、John Hopfield》。

冷靜的警示者

然而，這位「AI 教父」在晚年卻不僅是一位技術(shù)布道者，更成為了一位冷靜的警示者。

2023 年 5 月，他從工作了十年的谷歌離職，只為能「自由地談?wù)?AI 的風(fēng)險(xiǎn)」。他曾表示：「我想我現(xiàn)在對自己畢生的工作有一部分感到后悔。」他擔(dān)憂數(shù)字智能可能會(huì)演變成一種比人類更優(yōu)越的智能形式，并可能因缺乏控制而對人類構(gòu)成生存威脅。他警告說：「如果你想知道不再是處于食物鏈頂端的智慧生物是什么感覺，去問問雞就知道了。」

Alex Krizhevsky 與 Ilya Sutskever

在 Hinton 浩如煙海的著作中，引用量最高的一篇無疑是 2012 年發(fā)表在 NeurIPS 上的奠基之作：《ImageNet classification with deep convolutional neural networks》。這篇論文目前的引用量已超過 18 萬次（可能僅次于引用量近 30 萬的 ResNet 論文和引用量超過 20 萬的 Transformer 論文），它不僅標(biāo)志著深度學(xué)習(xí)時(shí)代的正式開啟，也讓兩位共同作者的名字響徹云霄：Alex KrizhevskyIlya Sutskever

作為 Hinton 的兩名得意門生，他們在那間多倫多大學(xué)的實(shí)驗(yàn)室里，共同推開了 AI 新世界的大門。

Alex Krizhevsky 與 Ilya Sutskever 是 Geoffrey Hinton 引用量最高的論文的第一和第二作者。

Alex Krizhevsky：低調(diào)的隱士天才

作為那篇傳奇論文的第一作者，Alex Krizhevsky 是 AlexNet 的主要構(gòu)建者。正是他編寫了關(guān)鍵的 CUDA 代碼，讓神經(jīng)網(wǎng)絡(luò)得以在兩塊 GeForce GPU 上高效訓(xùn)練，從而在 2012 年的 ImageNet 挑戰(zhàn)賽上以驚人的 10.8% 優(yōu)勢碾壓第二名，一舉震驚世界。

然而，與他在學(xué)術(shù)界的赫赫聲名形成鮮明對比的是他極度低調(diào)的性格。Alex 出生于烏克蘭，成長于加拿大。他被很多同行描述為一位「純粹的工程師」，擁有極深的技術(shù)洞察力。在谷歌工作了數(shù)年后，他于 2017 年離職，理由是「對工作失去了興趣」。

此后，他加入了初創(chuàng)公司 Dessa，隨后又逐漸淡出公眾視野。據(jù)悉，他目前可能已處于半退休狀態(tài)，享受著徒步旅行的樂趣。在科技圈追逐名利的熱潮中，Alex Krizhevsky 就像一位事了拂衣去的隱士。盡管 AlexNet 如今在技術(shù)上已被更新的模型取代，但正如一位評論者所言：「沒有他，就沒有今天的 ChatGPT，沒有便捷的 3A 大作，也沒有先進(jìn)的醫(yī)學(xué)影像分析?！?/p>

Ilya Sutskever：執(zhí)著的 AI 愿景者

如果說 Alex 是低調(diào)的技術(shù)天才，那么該論文的第二作者 Ilya Sutskever 則是充滿使命感的 AI 領(lǐng)袖。

Ilya 同樣出生于前蘇聯(lián)（俄羅斯），并在以色列和加拿大長大。在多倫多大學(xué)期間，他與 Hinton 和 Alex 共同締造了 AlexNet 的輝煌。隨后，他在 Google Brain 參與了序列到序列（Seq2Seq）學(xué)習(xí)算法和 TensorFlow 的開發(fā)，并是 AlphaGo 論文的眾多作者之一。

2015 年，Ilya 離開谷歌，作為聯(lián)合創(chuàng)始人兼首席科學(xué)家創(chuàng)辦了 OpenAI。他是 ChatGPT 和 GPT-4 誕生的關(guān)鍵人物，被譽(yù)為能夠「通過直覺看到深度學(xué)習(xí)未來」的人。然而，他對 AI 安全的關(guān)注也日益加深。2023 年，他曾主導(dǎo)了 OpenAI 董事會(huì)罷免 Sam Altman 的風(fēng)波，理由是「溝通不坦誠」，盡管后來 Altman 復(fù)職，Ilya 對 AI 對齊（Alignment）和安全超級智能（SSI）的執(zhí)著從未改變。

2024 年，Ilya 成立了新公司 Safe Superintelligence Inc. (SSI)，并為其籌集了 10 億美元資金。與商業(yè)化氣息濃厚的硅谷公司不同，SSI 宣稱其「第一個(gè)產(chǎn)品將是安全的超級智能，在此之前不會(huì)做任何其他事情」。

結(jié)語

Geoffrey Hinton 引用量突破百萬，不僅是他個(gè)人學(xué)術(shù)生涯的高光時(shí)刻，也是 Alex Krizhevsky 和 Ilya Sutskever 等一代 AI 杰出人才共同奮斗的縮影。

從 Alex 編寫的那行 CUDA 代碼，到 Ilya 對通用人工智能（AGI）的深邃構(gòu)想，再到 Hinton 對神經(jīng)網(wǎng)絡(luò)半個(gè)世紀(jì)的堅(jiān)守與晚年的憂思，這一里程碑背后，是人類探索智能本質(zhì)的波瀾壯闊的歷史。

今天，我們致敬 Hinton，也致敬所有為這一刻鋪路的研究者。

https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en

https://www.youtube.com/watch?v=giT0ytynSqg

https://www.britannica.com/biography/Geoffrey-Hinton

https://www.nobelprize.org/prizes/physics/2024/hinton/podcast/

https://torontolife.com/life/ai-superstars-google-facebook-apple-studied-guy/

https://yiqinfu.github.io/posts/hinton-intellectual-dynasty