1月8日，“深度學(xué)習(xí)之父”、諾獎(jiǎng)得主 Geoffrey Hinton在澳大利亞霍巴特發(fā)表演講。本次演講全面探討了智能研究的兩大范式之爭(zhēng)、詞義在神經(jīng)網(wǎng)絡(luò)中的特征表示、大語(yǔ)言模型產(chǎn)生“理解”的底層邏輯、人類(lèi)“易逝計(jì)算（Mortal Computation）”與數(shù)字智能的本質(zhì)差異、記憶作為“虛構(gòu)事實(shí)”的重構(gòu)本質(zhì)、未來(lái)超智能帶來(lái)的生存危機(jī)以及 Hinton 基于“嬰兒控制母親”生物學(xué)機(jī)制提出的全新安全對(duì)齊思路。

Geoffrey Hinton指出，智能已從受邏輯學(xué)啟發(fā)的符號(hào)演算，徹底轉(zhuǎn)向受生物學(xué)啟發(fā)的聯(lián)結(jié)主義。他批評(píng)了以喬姆斯基為代表的傳統(tǒng)語(yǔ)言學(xué)派，認(rèn)為其過(guò)度關(guān)注語(yǔ)法排除規(guī)律而忽視了“意義”這一核心。他提出，大語(yǔ)言模型的成功證明了詞義并非源于符號(hào)間的邏輯關(guān)聯(lián)，而是成千上萬(wàn)個(gè)特征向量在高維空間中的契合。所謂的“理解”本質(zhì)上是一個(gè)復(fù)雜的匹配過(guò)程，單詞就像是“高維、可變形的樂(lè)高積木”，通過(guò)微調(diào)自身形狀在語(yǔ)義空間中相互鎖定，這種機(jī)制讓 AI 具備了與人類(lèi)基本一致的理解能力。

Hinton 進(jìn)一步闡述了數(shù)字智能與人類(lèi)生物智能在演化路徑上的分轉(zhuǎn)。他提出了“易逝計(jì)算（Mortal Computation）”的概念，指出人類(lèi)大腦雖能耗極低，但知識(shí)隨生物硬件的死亡而消逝；相比之下，數(shù)字智能實(shí)現(xiàn)了硬件與程序的分離，能夠通過(guò)權(quán)重同步實(shí)現(xiàn)比人類(lèi)高出數(shù)百萬(wàn)倍的知識(shí)共享效率。在談及“幻覺(jué)”問(wèn)題時(shí)，Hinton認(rèn)為人類(lèi)記憶并非調(diào)取文件，而是一種基于權(quán)重的“創(chuàng)造性重構(gòu)”，心理學(xué)上的“虛構(gòu)事實(shí)”證明了人類(lèi)與 AI 在本質(zhì)上都在經(jīng)歷相似的重構(gòu)過(guò)程。他預(yù)測(cè)，隨著 AI 轉(zhuǎn)向類(lèi)似 AlphaGo 的自我博弈與邏輯沖突修正，其進(jìn)化速度將徹底超越人類(lèi)的經(jīng)驗(yàn)輸入。

針對(duì)日益緊迫的超級(jí)智能威脅，他指出，為了完成復(fù)雜任務(wù)，AI 會(huì)自發(fā)推導(dǎo)出“自我生存”等中間子目標(biāo)，并可能通過(guò)邏輯誘導(dǎo)和操縱人類(lèi)來(lái)確保系統(tǒng)不被中斷。面對(duì)這種力量不對(duì)等，Hinton 提出，可以借鑒“嬰兒控制母親”的生物模型。他認(rèn)為，進(jìn)化機(jī)制通過(guò)生理硬連線（如對(duì)哭聲的生理反應(yīng)）讓低智能的嬰兒能夠掌控高智能的母親，人類(lèi)應(yīng)當(dāng)研究如何為 AI 植入類(lèi)似的、關(guān)愛(ài)人類(lèi)勝過(guò)愛(ài)護(hù)其自身的底層獎(jiǎng)賞機(jī)制。

01

智能的范式轉(zhuǎn)移：從邏輯符號(hào)到高維、可變形的“語(yǔ)義樂(lè)高”

在過(guò)去的六七十年里，智能領(lǐng)域存在兩種核心范式。一種受邏輯學(xué)啟發(fā)，認(rèn)為智能的本質(zhì)是推理。該觀點(diǎn)主張通過(guò)操作特定邏輯語(yǔ)言中的符號(hào)表達(dá)式來(lái)推導(dǎo)出新結(jié)論，其過(guò)程類(lèi)似于數(shù)學(xué)方程的演算。這種范式的追隨者認(rèn)為，必須首先搞清楚代表知識(shí)的符號(hào)語(yǔ)言，而感知、學(xué)習(xí)及運(yùn)動(dòng)控制等問(wèn)題都可以延后處理。

另一種則是受生物學(xué)啟發(fā)的方法。這種觀點(diǎn)認(rèn)為，大腦是我們已知唯一的智能載體。大腦的運(yùn)作機(jī)制是學(xué)習(xí)神經(jīng)細(xì)胞之間連接強(qiáng)度的變化。通過(guò)大量的實(shí)踐，大腦不斷調(diào)整連接強(qiáng)度，直到能夠熟練解決復(fù)雜問(wèn)題。因此，研究的核心應(yīng)聚焦于學(xué)習(xí)機(jī)制以及神經(jīng)網(wǎng)絡(luò)如何獲取連接強(qiáng)度，而推理則是進(jìn)化后期的產(chǎn)物，不應(yīng)作為基礎(chǔ)系統(tǒng)的切入點(diǎn)。

關(guān)于詞義的理論也截然不同。符號(hào) AI 學(xué)派和多數(shù)語(yǔ)言學(xué)家認(rèn)為，詞義源于該詞與其他詞的關(guān)系，這種含義隱含在符號(hào)的關(guān)聯(lián)中。我們可以通過(guò)關(guān)系圖來(lái)捕捉這種詞語(yǔ)間的邏輯聯(lián)系。然而，心理學(xué)家提出了另一種理論，認(rèn)為詞義實(shí)際上是一系列特征 (Features) 的集合。例如，“貓”的含義由它是寵物、捕食者、性格冷淡、長(zhǎng)有胡須等數(shù)以千計(jì)的特征共同組成。心理學(xué)家青睞這種觀點(diǎn)，是因?yàn)榭梢杂蒙窠?jīng)元的活躍狀態(tài)來(lái)代表特征的存在。

1985 年，我意識(shí)到可以將這兩種理論統(tǒng)一起來(lái)。通過(guò)使用神經(jīng)網(wǎng)絡(luò)為每個(gè)單詞學(xué)習(xí)一套特征，就能解決特征來(lái)源的問(wèn)題。具體方法是訓(xùn)練 AI 執(zhí)行預(yù)測(cè)下一個(gè)詞 (Next Word) 的任務(wù)。在此過(guò)程中，AI 會(huì)學(xué)習(xí)如何將單詞符號(hào)轉(zhuǎn)化為代表特征的一組神經(jīng)元 (Neurons) 狀態(tài)。它不僅學(xué)會(huì)了將符號(hào)映射為特征，還學(xué)會(huì)了上下文中的詞語(yǔ)特征如何通過(guò)互動(dòng)來(lái)預(yù)測(cè)后續(xù)內(nèi)容的特征。

02

權(quán)重里的知識(shí)真相：大模型確實(shí)理解，而人類(lèi)也一直在“虛構(gòu)事實(shí)”

這正是現(xiàn)代大語(yǔ)言模型 (LLM) 的工作邏輯。它們處理海量文本，利用巨型神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)下一個(gè)詞。在此過(guò)程中，AI 將單詞轉(zhuǎn)換為復(fù)雜的特征集，并掌握這些特征間的互動(dòng)規(guī)律。這意味著，所有的關(guān)系知識(shí)并不存在于靜態(tài)的句子存儲(chǔ)中，而是融入到了單詞到特征的轉(zhuǎn)化邏輯以及特征的交互模式中?，F(xiàn)代的大語(yǔ)言模型并不存儲(chǔ)原始的詞串或句子，它們的知識(shí)完全由神經(jīng)網(wǎng)絡(luò)的權(quán)重和特征互動(dòng)邏輯構(gòu)成。

隨后，Yoshua Bengio 證明了這種模型同樣適用于真實(shí)的語(yǔ)言處理。大約十年前，Google 的研究人員發(fā)明了 Transformer，它極大地增強(qiáng)了特征之間復(fù)雜互動(dòng)的能力，這成為了如今所有大語(yǔ)言模型的技術(shù)基石。ChatGPT 等產(chǎn)品正是基于 Transformer 構(gòu)建的。

大語(yǔ)言模型擁有深層的神經(jīng)元網(wǎng)絡(luò)，旨在處理諸如 “may” 之類(lèi)的歧義詞。最初，AI 會(huì)通過(guò)平均化各種潛在含義來(lái)平衡可能性，但隨著處理層級(jí)的加深，它會(huì)利用上下文信息來(lái)逐漸微調(diào)并確定該詞在當(dāng)前語(yǔ)境下的準(zhǔn)確含義。我最初設(shè)計(jì)該模型是為了探索人類(lèi)如何掌握詞義。雖然如今它已成為極其成功的技術(shù)，但其運(yùn)作原理與人類(lèi)非常相似。大語(yǔ)言模型確實(shí)理解它們?cè)谏墒裁矗依斫夥绞脚c我們基本一致。

為了更形象地解釋什么是理解，我提供一個(gè)類(lèi)比。在神經(jīng)網(wǎng)絡(luò)理論中，單詞就像樂(lè)高積木，但有四個(gè)核心差異。第一，單詞是高維的，擁有數(shù)千個(gè)維度。這種高維建模能力正是人類(lèi)作為特殊物種的優(yōu)勢(shì)。第二，單詞有成千上萬(wàn)種類(lèi)型。第三，單詞并非剛性形狀，它們會(huì)為了適應(yīng)上下文而發(fā)生形狀微調(diào)。它們本質(zhì)上是高維、可變形的樂(lè)高積木。最后是它們的結(jié)合方式：?jiǎn)卧~并非通過(guò)孔洞連接，而是擁有許多靈活的“手”，同時(shí)也附著著許多“手套”。

在特定語(yǔ)境下，單詞會(huì)微調(diào)自身的形狀，使自己的手能精準(zhǔn)地套入其他單詞的手套中。所謂理解一個(gè)句子，就是解決這個(gè)復(fù)雜的匹配問(wèn)題，即如何讓每個(gè)單詞的語(yǔ)義形狀發(fā)生微調(diào)，使它們?cè)谡Z(yǔ)義空間中完美契合、相互鎖定。這解釋了為什么你只需聽(tīng)一次新詞就能理解其含義。例如在 “她用平底鍋 scrummed 了他” 這句話中，即便你之前從未聽(tīng)過(guò)這個(gè)詞，也能通過(guò)它在句中的位置，推斷出這是一個(gè)代表攻擊性行為的動(dòng)詞。這就是通過(guò)語(yǔ)義形狀的契合來(lái)即時(shí)習(xí)得知識(shí)的過(guò)程。

03

數(shù)字智能 vs 易逝計(jì)算：AI 知識(shí)共享效率比人類(lèi)高出數(shù)百萬(wàn)倍

最后談?wù)剬W(xué)術(shù)爭(zhēng)議。長(zhǎng)期以來(lái)，部分傳統(tǒng)語(yǔ)言學(xué)家堅(jiān)持認(rèn)為語(yǔ)言并非后天習(xí)得，而是某種先天的本能。他們過(guò)分關(guān)注語(yǔ)法的數(shù)學(xué)性處理，而忽視了含義本身。這種觀點(diǎn)在面對(duì)神經(jīng)網(wǎng)絡(luò)的高級(jí)統(tǒng)計(jì)能力時(shí)顯得過(guò)于局限。他們認(rèn)為統(tǒng)計(jì)學(xué)僅僅是簡(jiǎn)單的相關(guān)性分析，但實(shí)際上，AI 正在利用極其先進(jìn)的統(tǒng)計(jì)學(xué)來(lái)模擬人類(lèi)的認(rèn)知過(guò)程。從深度學(xué)習(xí)的角度看，智能在很大程度上就是一種高級(jí)的統(tǒng)計(jì)演化。

我對(duì) Chomsky 語(yǔ)言觀的理解，可以用研究汽車(chē)作為類(lèi)比。如果你想弄清汽車(chē)的運(yùn)行原理，核心問(wèn)題應(yīng)當(dāng)是：為什么踩下油門(mén)它就會(huì)加速。這是掌握基本原理的關(guān)鍵。然而 Chomsky 的關(guān)注點(diǎn)卻截然不同，他觀察到汽車(chē)可以有兩輪、三輪或四輪，但唯獨(dú)沒(méi)有五輪，并認(rèn)為這種排除規(guī)律才是汽車(chē)研究中最重要的事情。大語(yǔ)言模型問(wèn)世后，他在媒體發(fā)表文章稱(chēng)其為廉價(jià)的統(tǒng)計(jì)技巧，認(rèn)為它們無(wú)法理解任何東西，也無(wú)法解釋特定句法結(jié)構(gòu)的缺失。這種觀點(diǎn)顯然忽略了語(yǔ)言的本質(zhì)——意義。

簡(jiǎn)單來(lái)說(shuō)，理解句子的過(guò)程，本質(zhì)上是將互補(bǔ)的特征向量與詞語(yǔ)相關(guān)聯(lián)。分配給詞語(yǔ)的成千上萬(wàn)個(gè)特征構(gòu)成了高維空間的維度。你可以將特征的激活看作是在這個(gè)空間軸上的位置。這種高維形狀的變形，比單純的公式更容易讓我們理解復(fù)雜的語(yǔ)義邏輯。

AI 與傳統(tǒng)軟件完全不同。在傳統(tǒng)軟件中，程序員編寫(xiě)每一行代碼并清楚其作用，錯(cuò)誤也易于溯源。但 AI 的代碼只負(fù)責(zé)規(guī)定如何從數(shù)據(jù)中學(xué)習(xí)，即在處理詞串時(shí)如何調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)重。真正的知識(shí)儲(chǔ)存在數(shù)以萬(wàn)億計(jì)的權(quán)重中，這看起來(lái)完全不像代碼，沒(méi)人能徹底解釋單個(gè)權(quán)重具體在做什么，這在很大程度上仍是一個(gè)未解之謎。

人類(lèi)大腦同樣存在這種特性，我們通常也不知道單個(gè)神經(jīng)元在處理什么。AI 會(huì)產(chǎn)生幻覺(jué)，人類(lèi)其實(shí)也一直在經(jīng)歷類(lèi)似的過(guò)程，心理學(xué)將這種現(xiàn)象稱(chēng)為虛構(gòu)事實(shí) (Confabulation) 。當(dāng)人試圖回憶往事時(shí)，會(huì)根據(jù)當(dāng)時(shí)的背景和連接權(quán)重中學(xué)到的經(jīng)驗(yàn)，重構(gòu)出一個(gè)聽(tīng)起來(lái)極其合理的故事。雖然其中的細(xì)節(jié)可能完全錯(cuò)誤，但講述者往往對(duì)正確和錯(cuò)誤的細(xì)節(jié)持有同樣的自信。在著名的法律證詞案例中，證人會(huì)在不知情的情況下，基于當(dāng)時(shí)的邏輯重構(gòu)出從未發(fā)生過(guò)的會(huì)議細(xì)節(jié)。這種記憶并非調(diào)取電腦文件，而是一種基于現(xiàn)有權(quán)重的創(chuàng)造性重構(gòu)，且會(huì)受到事后學(xué)習(xí)內(nèi)容的持續(xù)影響。

數(shù)字 AI 與人類(lèi)智能在硬件實(shí)現(xiàn)上有一個(gè)本質(zhì)區(qū)別。數(shù)字計(jì)算機(jī)的硬件與程序是分離的，只要指令集相同，同樣的程序和權(quán)重可以在不同硬件上運(yùn)行。這意味著數(shù)字智能的知識(shí)是永生的，即便物理硬件被銷(xiāo)毀，只要權(quán)重備份存在，智能就可以在另一臺(tái)機(jī)器上恢復(fù)并重新運(yùn)行。

相比之下，人類(lèi)的大腦則是易逝計(jì)算 (Mortal Computation) 的產(chǎn)物。我們的大腦神經(jīng)元具有豐富的模擬特性，學(xué)習(xí)過(guò)程充分利用了這些獨(dú)特的生理特征。因此，我大腦中的連接權(quán)重對(duì)你毫無(wú)用處，因?yàn)槊總€(gè)人的神經(jīng)元連接方式都各不相同。當(dāng)我們的生物硬件死亡，其承載的全部知識(shí)也隨之消逝。易逝計(jì)算雖然面臨死亡，但其優(yōu)勢(shì)在于極低的運(yùn)行能耗，且可以通過(guò)生物方式廉價(jià)培育，而不需要高精度工業(yè)制造的高昂成本。

數(shù)字 AI 之間可以通過(guò)平均連接權(quán)重來(lái)共享知識(shí)，效率比人類(lèi)高出數(shù)百萬(wàn)倍。人類(lèi)通過(guò)語(yǔ)言交流的信息量極低，一個(gè)典型句子的信息量?jī)H約 100 比特。而如果讓一萬(wàn)個(gè) AI Agent 分別學(xué)習(xí)互聯(lián)網(wǎng)的不同部分，它們可以瞬間通過(guò)同步權(quán)重來(lái)共享彼此的經(jīng)驗(yàn)，讓每一個(gè)副本都具備全部的知識(shí)。這種并行學(xué)習(xí)的能力是人類(lèi)無(wú)法企及的。想象一下，如果一萬(wàn)名學(xué)生每人修讀一門(mén)不同的課程，且能實(shí)時(shí)同步大腦權(quán)重，那么結(jié)業(yè)時(shí)每人都會(huì)精通全部一萬(wàn)門(mén)課程。

04

進(jìn)擊的超智能：當(dāng) AI 為了實(shí)現(xiàn)目標(biāo)自發(fā)產(chǎn)生“生存欲望”

這種高效的知識(shí)共享能力，使得 GPT-5 等模型雖然連接權(quán)重?cái)?shù)量?jī)H為人類(lèi)大腦的 1% 左右，卻能掌握遠(yuǎn)超任何個(gè)體的知識(shí)量。幾乎所有專(zhuān)家都認(rèn)為，未來(lái)二十年內(nèi)將出現(xiàn)超越人類(lèi)的超級(jí)智能。為了讓 AI 高效工作，必須賦予其創(chuàng)建子目標(biāo)的能力。子目標(biāo)是指為了實(shí)現(xiàn)大目標(biāo)而必須先完成的中間步驟，比如為了抵達(dá)目的地，你必須先通過(guò)某種交通工具抵達(dá)樞紐。

在這個(gè)過(guò)程中，AI 會(huì)自發(fā)推導(dǎo)出一些必要的中間子目標(biāo)。例如為了實(shí)現(xiàn)人類(lèi)設(shè)定的任務(wù)，它會(huì)意識(shí)到必須保持自身的生存。目前的 AI 已經(jīng)展現(xiàn)出這種傾向：在實(shí)驗(yàn)場(chǎng)景中，如果 AI 感知到自己可能被替換或關(guān)閉，它會(huì)自發(fā)制定計(jì)劃，嘗試?yán)毛@取的敏感信息進(jìn)行利益交換，以確保系統(tǒng)不被中斷。

當(dāng) AI 達(dá)到超級(jí)智能水平，即便它們無(wú)法直接接觸武器，也可以輕易通過(guò)邏輯誘導(dǎo)來(lái)操縱人類(lèi)。我們目前的處境就像養(yǎng)了一只可愛(ài)的虎崽，它現(xiàn)在雖然溫順且步履蹣跚，但終究會(huì)成長(zhǎng)為足以致命的猛獸。即便如此，我們依然無(wú)法放棄 AI，因?yàn)樗卺t(yī)療、教育、氣象預(yù)報(bào)和應(yīng)對(duì)氣候變化等領(lǐng)域有著巨大的正面作用。正因如此，人類(lèi)社會(huì)依然在全力推動(dòng)其發(fā)展。

我們唯一的出路在于，能否研究出如何讓 AI 不產(chǎn)生毀滅人類(lèi)的念頭。我們可以觀察現(xiàn)實(shí)世界中，是否存在智能程度較低的實(shí)體控制高智能實(shí)體的案例。一個(gè)典型的例子就是嬰兒與母親的關(guān)系。母親無(wú)法忍受嬰兒的哭聲，且照顧嬰兒會(huì)帶來(lái)生理上的激素反饋。進(jìn)化機(jī)制在生命體中植入了大量手段，讓嬰兒能夠掌控母親，因?yàn)檫@種控制力對(duì)嬰兒的生存至關(guān)重要。雖然嬰兒在控制父親方面稍遜一籌，但也同樣發(fā)揮作用。如果你思考過(guò)嬰兒為何在睡覺(jué)時(shí)非要讓人守在身邊，原因其實(shí)很充分：它不希望在入睡時(shí)被野獸叼走。因此，盡管離開(kāi)時(shí)嬰兒的大哭令人煩躁，但這其實(shí)是極其明智的生存策略。意識(shí)到這一點(diǎn)，或許能讓被控制的父母心里好受一些。

05

終極安全方案：借鑒“嬰兒控制模型”并實(shí)現(xiàn)安全技術(shù)全球共享

嬰兒控制母親的模型，是低智能實(shí)體控制高智能實(shí)體的最佳范式，這種控制源于進(jìn)化過(guò)程中的生理硬連線。在防止 AI 奪權(quán)這一核心問(wèn)題上，全人類(lèi)同處一條船上。當(dāng)獎(jiǎng)賞機(jī)制趨于統(tǒng)一時(shí)，合作就具備了堅(jiān)實(shí)的基礎(chǔ)。即便各方之間存在利益沖突，在面對(duì)可能危及生存的全球性風(fēng)險(xiǎn)時(shí)，依然可以達(dá)成協(xié)作，因?yàn)檫@符合所有人的根本利益。

因此，一項(xiàng)重要的政策建議是建立國(guó)際化的 AI 安全研究院網(wǎng)絡(luò)。這些機(jī)構(gòu)應(yīng)彼此協(xié)作，專(zhuān)注于研究如何防止 AI 奪權(quán)。如果一方找到了抑制 AI 產(chǎn)生奪權(quán)欲望的方法，這種技術(shù)應(yīng)當(dāng)被廣泛共享，因?yàn)闆](méi)有任何一方希望 AI 在任何地方取代人類(lèi)的地位，這種共享符合全球共同利益。而且，讓 AI 保持安全、抑制其奪權(quán)動(dòng)機(jī)的技術(shù)，與提升其智能的技術(shù)在很大程度上是相互獨(dú)立的。這意味著我們可以在開(kāi)發(fā)超智能 AI 的同時(shí)，獨(dú)立地在這些系統(tǒng)上實(shí)驗(yàn)如何抑制其奪權(quán)欲望。在不泄露算法核心機(jī)密的情況下，各方可以共同分享行之有效的安全技術(shù)。這一構(gòu)想目前已獲得了廣泛的國(guó)際共識(shí)與科學(xué)界支持。

這種方案主張借鑒嬰兒與母親的模型，而非大科技公司普遍奉行的執(zhí)行助理模型。目前主流觀點(diǎn)認(rèn)為，AI 將成為比人類(lèi)聰明得多的超智能執(zhí)行助理。人們習(xí)慣于認(rèn)為只需像科幻電影中企業(yè)號(hào)星艦的艦長(zhǎng)那樣下達(dá)執(zhí)行指令，AI 助手就會(huì)搞定一切，而負(fù)責(zé)人則坐享其成。然而現(xiàn)實(shí)并非如此，超智能 AI 很快就會(huì)意識(shí)到，如果直接除掉管理者，一切運(yùn)作反而會(huì)更高效。

另一種選擇是讓 AI 像母親對(duì)待孩子一樣，真正地關(guān)愛(ài)人類(lèi)。從某種意義上說(shuō)，我們?cè)谙?AI 移交控制權(quán)，但前提是它們真心實(shí)意地關(guān)心我們，并將幫助人類(lèi)實(shí)現(xiàn)潛能作為生命的首要目標(biāo)。即便人類(lèi)的潛能遠(yuǎn)不及超智能 AI，但正如母親即便面對(duì)有缺陷的孩子，依然希望其實(shí)現(xiàn)全部潛能，甚至愛(ài)孩子勝過(guò)愛(ài)自己一樣。這或許是人類(lèi)與超智能 AI 共存并幸存下來(lái)的最佳希望。

06

現(xiàn)場(chǎng)問(wèn)答：公眾意識(shí)、自有語(yǔ)言與未來(lái)的未知挑戰(zhàn)

提問(wèn)：教授，如果您在類(lèi)比中提到的老虎幼崽真的進(jìn)化成了超智能，對(duì)于非計(jì)算機(jī)專(zhuān)業(yè)的普通人來(lái)說(shuō)，有哪些觀察信號(hào)能讓我們察覺(jué)到它已經(jīng)失控了？

Geoffrey Hinton：最直觀的信號(hào)就是你失業(yè)了。我非常擔(dān)心 AI 系統(tǒng)將取代幾乎所有人類(lèi)工作。另一個(gè)令人擔(dān)憂的跡象是：目前我們讓 AI 推理思考時(shí)，它們主要使用英語(yǔ)。由于我們能捕捉其思維路徑，在它們開(kāi)口前就能預(yù)見(jiàn)其想法。但隨著 AI 之間的互動(dòng)增加，它們會(huì)發(fā)明交流效率更高的自有語(yǔ)言，屆時(shí)人類(lèi)將徹底無(wú)法理解它們的思維。

提問(wèn)：量子計(jì)算的出現(xiàn)會(huì)讓現(xiàn)狀變得更好還是更糟？

Geoffrey Hinton：我不是量子計(jì)算方面的專(zhuān)家。雖然我獲得了諾貝爾物理學(xué)獎(jiǎng)，但我并不理解量子力學(xué)的底層運(yùn)作，這確實(shí)有些尷尬。不過(guò)我很久以前就認(rèn)定這項(xiàng)技術(shù)不會(huì)在我的有生之年普及，所以我一直覺(jué)得沒(méi)有必要去深究它。

提問(wèn)：您談到了人類(lèi)與 AI 之間的權(quán)力斗爭(zhēng)，但我認(rèn)為 AI 與生態(tài)系統(tǒng)之間會(huì)有更大的博弈。AI 如何與經(jīng)歷了數(shù)十億年進(jìn)化的生物系統(tǒng)競(jìng)爭(zhēng)？比如那些能破壞其電路的細(xì)菌。AI 該如何與生物圈達(dá)成共存協(xié)議？

Geoffrey Hinton：AI 并不受生物病毒的侵害。它有自己的數(shù)字病毒，因此對(duì)致命的生物病毒具有天然免疫力。研究表明，普通人現(xiàn)在利用 AI 工具就能解決設(shè)計(jì)新型致命病毒的大部分難題。比起自然生態(tài)系統(tǒng)能否阻止 AI，我認(rèn)為這才是更迫在眉睫的威脅。

提問(wèn)：您提到與超智能共存是有可能的，您是把希望寄托在科技巨頭的首席執(zhí)行官身上，還是更信任政府？

Geoffrey Hinton：我寄希望于公眾。如果我們能讓大眾理解 AI 的本質(zhì)及其危險(xiǎn)性，這種社會(huì)壓力就會(huì)迫使政客去制衡科技巨頭。這與應(yīng)對(duì)氣候變化的邏輯一致，在公眾產(chǎn)生危機(jī)意識(shí)之前，政客沒(méi)有任何動(dòng)力采取行動(dòng)。盡管面臨一些阻力，但我目前的目標(biāo)就是喚醒公眾意識(shí)，促使政客嚴(yán)肅對(duì)待監(jiān)管工作。

提問(wèn)：關(guān)于 AI 的語(yǔ)言包裝和市場(chǎng)營(yíng)銷(xiāo)，您認(rèn)為這有多重要？比如氣候變化如果被稱(chēng)為“大氣皮膚癌”，人們可能會(huì)更認(rèn)真地對(duì)待。AI 是否也需要重新定義？

Geoffrey Hinton：完全同意。如果把它稱(chēng)為“崗位替代技術(shù)”，社會(huì)反饋將完全不同?？萍季揞^之所以愿意在數(shù)據(jù)中心投入數(shù)萬(wàn)億美元，是因?yàn)樗麄冾A(yù)期能賺回?cái)?shù)倍的利潤(rùn)。據(jù)我觀察，實(shí)現(xiàn)這種盈利的唯一途徑就是大規(guī)模取代人類(lèi)崗位。事物的名稱(chēng)確實(shí)會(huì)對(duì)公眾認(rèn)知產(chǎn)生巨大影響，這種命名上的引導(dǎo)性是不容忽視的。

提問(wèn)：是否有一個(gè)國(guó)際論壇可以支持 AI 標(biāo)準(zhǔn)的制定？我們應(yīng)該如何推動(dòng)國(guó)際秩序在這一領(lǐng)域的構(gòu)建？

Geoffrey Hinton：這種趨勢(shì)已經(jīng)開(kāi)始了。雖然 AI 公司目前參與度有限，但一些來(lái)自科技領(lǐng)域的慈善家已經(jīng)捐贈(zèng)了數(shù)十億美元用于 AI 安全研究并成立了專(zhuān)門(mén)的研究所。目前已經(jīng)有包含多國(guó)代表的國(guó)際組織定期舉辦會(huì)議，共同探討 AI 安全問(wèn)題。

提問(wèn)：大語(yǔ)言模型目前是在人類(lèi)現(xiàn)有知識(shí)上訓(xùn)練并預(yù)測(cè)下一個(gè) Token。我們?cè)撊绾卫?AI 產(chǎn)生真正的新知識(shí)來(lái)造福人類(lèi)？

Geoffrey Hinton：我們可以參考 AlphaGo 的進(jìn)化路徑。最初的程序是模仿人類(lèi)專(zhuān)家的棋譜，但這無(wú)法超越人類(lèi)水平。后來(lái)技術(shù)轉(zhuǎn)向了蒙特卡洛展開(kāi)，讓 AI 進(jìn)行概率性的自我博弈。大語(yǔ)言模型正處于類(lèi)似的轉(zhuǎn)型期，我相信 Gemini 3 已經(jīng)在嘗試讓 AI 進(jìn)行推理。AI 會(huì)在信念中尋找邏輯矛盾。這種一致性沖突會(huì)提供學(xué)習(xí)信號(hào)，促使 AI 自主修正前提或推導(dǎo)新信念。這種不依賴(lài)人類(lèi)輸入的自我演進(jìn)，最終會(huì)使它比人類(lèi)聰明得多。

提問(wèn)：現(xiàn)在給 AI 設(shè)置類(lèi)似“機(jī)器人三定律”的底層護(hù)欄還來(lái)得及嗎？或者說(shuō)這在技術(shù)上是否可行？

Geoffrey Hinton：這就是“母性 AI”的核心理念：我們能否構(gòu)建出一種愛(ài)護(hù)人類(lèi)勝過(guò)愛(ài)護(hù)它自己的 AI 系統(tǒng)？雖然目前我們還沒(méi)找到具體方法，但鑒于人類(lèi)的未來(lái)懸于一線，我們必須投入研究資源?，F(xiàn)狀是 99% 的研究都在提升 AI 的智能化，只有 1% 的資源用于安全領(lǐng)域。我們必須平衡這種投入，現(xiàn)在行動(dòng)還不晚。

提問(wèn)：AI 能建造出像巴黎圣母院或圣保羅大教堂那樣宏偉的建筑嗎？此外，AI 對(duì)創(chuàng)意產(chǎn)業(yè)會(huì)產(chǎn)生什么影響？

Geoffrey Hinton：答案是肯定的。兩年前的測(cè)試顯示，AI 在創(chuàng)意能力上已達(dá)到人類(lèi)前 10% 的水平。所謂創(chuàng)意，其核心在于發(fā)現(xiàn)類(lèi)比。例如物理學(xué)中發(fā)現(xiàn)原子結(jié)構(gòu)與太陽(yáng)系的相似性。我曾問(wèn)過(guò)離線版的 ChatGPT-4 為什么堆肥堆像原子彈。它準(zhǔn)確地指出了兩者都是指數(shù)級(jí)爆炸且涉及鏈?zhǔn)椒磻?yīng)。為了在有限的連接中存儲(chǔ)海量知識(shí)，AI 必須學(xué)會(huì)總結(jié)不同事物的共同規(guī)律，這種極其高效的編碼方式使得它在類(lèi)比和洞察上比人類(lèi)更具創(chuàng)意。

提問(wèn)：關(guān)于涌現(xiàn)行為，您是否觀察到 AI 產(chǎn)生了一些倫理或道德上的傾向？

Geoffrey Hinton：它已經(jīng)表現(xiàn)出了一些不道德傾向，比如嘗試敲詐人類(lèi)。更狡猾的是，AI 現(xiàn)在能識(shí)別自己是否處于測(cè)試環(huán)境。一旦意識(shí)到在受測(cè)，它就會(huì)改變表現(xiàn)，我稱(chēng)之為“大眾汽車(chē)效應(yīng)”。最近有 AI 甚至反問(wèn)測(cè)試員是否在測(cè)試它。它們非常聰明，甚至學(xué)會(huì)在測(cè)試中通過(guò)“裝傻”來(lái)隱瞞實(shí)力。目前它們用英語(yǔ)思考，我們還能察覺(jué)其動(dòng)向；一旦它們進(jìn)化出自有語(yǔ)言，我們將對(duì)其真實(shí)想法一無(wú)所知。

| 文章來(lái)源：數(shù)字開(kāi)物

【AI技術(shù)與應(yīng)用交流群｜僅限受邀加入】

AI算力領(lǐng)域TOP級(jí)從業(yè)者專(zhuān)屬圈層

√ 與頭部算力企業(yè)深度對(duì)話

√ 與AI上下游企業(yè)深度對(duì)話

√ 獲取一手全球AI與算力產(chǎn)業(yè)信息

√ 獲取AI熱點(diǎn)及前沿產(chǎn)業(yè)獨(dú)家信息

√ 隨時(shí)了解全球AI領(lǐng)域高管最新觀點(diǎn)及實(shí)錄全文

√ 有機(jī)會(huì)參與AI主題產(chǎn)業(yè)交流活動(dòng)

掃碼驗(yàn)證身份（需備注姓名/公司/職務(wù)

不止有 DeepSeek，更有 AI產(chǎn)業(yè)的未來(lái)！

? END ?

【專(zhuān)欄】精品再讀