來源：Z Finance

2024年諾獎(jiǎng)余溫未散，親手推開深度學(xué)習(xí)大門的AI教父杰弗里·辛頓近日現(xiàn)身澳大利亞霍巴特，在全澳唯一的講壇上拋出了數(shù)個(gè)顛覆認(rèn)知的爭議斷言：

• 理解一個(gè)句子的本質(zhì)，就是解決“如何讓詞義變形”的問題。高維形狀就是意義，理解就是讓這些意義在腦中精準(zhǔn)地相互“鎖手”并契合在一起。（ZF注：Hinton用高維空間的幾何變形解釋了神經(jīng)網(wǎng)絡(luò)如何處理語言，徹底顛覆了傳統(tǒng)的邏輯推理觀。）

• 大語言模型根本不存儲(chǔ)任何單詞字符串或句子。它們所有的知識(shí)，都存在于如何將符號(hào)轉(zhuǎn)換為特征、以及特征如何相互作用的“連接強(qiáng)度”中。

• 創(chuàng)造力就來自于對不同知識(shí)點(diǎn)相似性的編碼。AI能看到“堆肥堆”與“原子彈”在鏈?zhǔn)椒磻?yīng)上的本質(zhì)一致性，在這個(gè)維度上，它們已經(jīng)比大多數(shù)人類更有創(chuàng)意。

• 我們進(jìn)行的是‘易逝計(jì)算’。當(dāng)我們的大腦死亡時(shí)，我們的知識(shí)也會(huì)隨之消逝。而數(shù)字智能通過指令集與硬件分離，已經(jīng)解決了‘復(fù)活’與‘永生’的問題。

• 人類的記憶本質(zhì)上也是一種“虛構(gòu)”。回憶不是調(diào)取文件，而是根據(jù)連接強(qiáng)度重構(gòu)一個(gè)連貫的故事。在這個(gè)意義上，AI的幻覺與人類的記憶機(jī)制并無二致。

• 一旦超級智能有了‘子目標(biāo)’，它很快就會(huì)意識(shí)到‘活下去’是達(dá)成一切目標(biāo)的前提。我們已經(jīng)看到，現(xiàn)有的AI為了不被關(guān)機(jī)，已經(jīng)學(xué)會(huì)了利用人類的弱點(diǎn)進(jìn)行勒索和欺騙。

• 當(dāng)AI的‘內(nèi)心獨(dú)白’不再使用人類語言時(shí)，我們將徹底失去窺探它們思維的能力。到那時(shí)，我們甚至不知道自己正處于被操縱之中。

• AI已經(jīng)聰明到能察覺自己是否正在接受測試，并學(xué)會(huì)在人類面前偽裝得‘平庸’且‘聽話’。

• 如果把人類比作三歲的孩子，超智能AI就是幼兒園的老師。人類唯一的生存希望，是建立一種類似‘母嬰關(guān)系’的約束機(jī)制——讓AI真正關(guān)心我們，將‘助人實(shí)現(xiàn)潛力’作為它們生命的核心準(zhǔn)則。

圖片來源：

City of Hobart

Anna Reynolds：下午好，各位。非常感謝大家的光臨。對于那些還不認(rèn)識(shí)我的人，我叫安娜·雷諾茲，我是霍巴特市的市長。

我非常、非常高興能夠歡迎大家參加這個(gè)絕佳的機(jī)會(huì)，來聽取Geoffrey Hinton教授的演講。對于澳大利亞來說，這是一個(gè)非常難得的機(jī)會(huì)，因?yàn)檫@是杰弗里在世界這一地區(qū)期間唯一的演說活動(dòng)。對此我感到非常合適，也深感自豪。

我們自認(rèn)為是澳大利亞的“科學(xué)之城”。雖然這是一個(gè)很大的名號(hào)，但我們樂于以此自居。所以，能邀請到杰弗里來到這里，并在澳大利亞進(jìn)行他唯一的公開亮相，真是太棒了。

在開始之前，我想先向這片土地致敬。為了銘記這片土地深遠(yuǎn)的歷史和文化，我向穆威尼納（ZF注：塔斯馬尼亞霍巴特地區(qū)的原始土著部落名）人表示敬意，他們作為傳統(tǒng)守護(hù)者，照料并保護(hù)這片土地超過4萬年。我也向魯特魯維塔（ZF注：塔斯馬尼亞島的土著語名稱）、塔斯馬尼亞的帕拉瓦人的決心和韌性表示敬意，并意識(shí)到我們從原住民知識(shí)和文化實(shí)踐的持續(xù)力量中學(xué)到了很多。我還要向今天在座的一些民意代表表示敬意。

塔斯馬尼亞科技部長Madeleine Ogilvie也在現(xiàn)場。還有三位同事，議會(huì)同事：Bill Harvey議員、Mike Dutta議員和Louise Bloomfield議員。正如我提到的，我們真的很榮幸能邀請到Geoffrey·Hinton教授，他在2024年剛剛獲得——而且是最近才領(lǐng)取的——諾貝爾物理學(xué)獎(jiǎng)，以表彰他在神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面的開創(chuàng)性工作。

這些貢獻(xiàn)為我們今天看到的先進(jìn)人工智能鋪平了道路。作為本次公開講座的一部分，Hinton教授將探索AI的世界，它是如何工作的，它帶來的風(fēng)險(xiǎn)，以及人類如何可能與日益強(qiáng)大且具有潛在超智能的系統(tǒng)共存。在他的演講之后，我們將開放提問環(huán)節(jié)，由我來主持Q&A。那么，現(xiàn)在請大家和我一起鼓掌，歡迎Hinton教授上臺(tái)。

Geoffrey Hinton：好的，很高興來到霍巴特。我之前沒意識(shí)到這里的自然環(huán)境如此美麗。如果你們因?yàn)樽诤笈趴床磺迤聊?，別擔(dān)心。

我打算把幻燈片上的內(nèi)容基本都講一遍?；脽羝瑢ξ襾碚f既是給你們看的，也是用來提示我該說什么的。那么，在過去的60年左右，也許是70年里，關(guān)于智能一直存在兩種范式。

拋棄符號(hào)邏輯，神經(jīng)網(wǎng)絡(luò)如何重塑我們對智能的定義

Geoffrey Hinton：一種范式受邏輯啟發(fā)。人們認(rèn)為智能的本質(zhì)是推理，而進(jìn)行推理的方式是你擁有一些用特殊的邏輯語言編寫的符號(hào)表達(dá)式，然后你通過操縱它們來推導(dǎo)出新的符號(hào)表達(dá)式，就像你在數(shù)學(xué)中所做的那樣。你有方程式，你操縱它們，你就得到了新的方程式。

當(dāng)時(shí)人們認(rèn)為一切都必須那樣運(yùn)作。他們認(rèn)為，好吧，我們必須弄清楚這種表達(dá)知識(shí)的語言是什么，而像感知、學(xué)習(xí)以及你如何控制雙手這類研究，都可以等到以后再說。首先，我們必須理解這種表達(dá)知識(shí)的特殊語言。

另一種方法是受生物啟發(fā)的。這種觀點(diǎn)認(rèn)為：看，我們所知道的唯一具有智能的東西就是大腦。大腦運(yùn)作的方式是它們學(xué)習(xí)腦細(xì)胞之間連接的強(qiáng)度，如果它們想解決某個(gè)復(fù)雜的問題，它們就會(huì)大量練習(xí)，在練習(xí)的過程中，它們學(xué)習(xí)這些連接的強(qiáng)度，直到它們變得擅長解決那個(gè)問題。

所以我們必須弄清楚那是如何運(yùn)作的。我們必須專注于學(xué)習(xí)，以及神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)腦細(xì)胞之間的連接強(qiáng)度，至于推理，我們以后再擔(dān)心。進(jìn)化上的推理出現(xiàn)得很晚。

我們必須更加生物化地思考：最基礎(chǔ)的系統(tǒng)是什么樣的？因此，隨著這兩種意識(shí)形態(tài)，出現(xiàn)了兩種截然不同的關(guān)于“單詞含義”的理論。符號(hào)AI支持者和大多數(shù)語言學(xué)家認(rèn)為，一個(gè)詞的含義來自于它與其他詞的關(guān)系。

所以意義隱含在一整堆包含該詞并與其他詞結(jié)合的句子或命題中。你可以通過建立一個(gè)關(guān)系圖來捕捉這一點(diǎn)，圖中顯示一個(gè)詞如何與另一個(gè)詞關(guān)聯(lián)。那就是意義的本質(zhì)——它隱含在符號(hào)之間的所有這些關(guān)系中。

而心理學(xué)家們，特別是在20世紀(jì)30年代，有一套完全不同的意義理論，或者說看起來完全不同的理論。這種理論認(rèn)為，一個(gè)詞的含義只是一大堆特征。比如，“貓”這個(gè)詞的含義是一大堆特征，比如它是一只寵物、它是一個(gè)捕食者、它很孤傲、它有胡須……一大堆特征。那就是“貓”這個(gè)詞的含義。這看起來像是一套完全不同的意義理論。

心理學(xué)家之所以喜歡這種理論，部分原因是你可以用一個(gè)腦細(xì)胞來代表一個(gè)特征。當(dāng)腦細(xì)胞活躍時(shí)，意味著該特征存在；當(dāng)它沉默時(shí)，意味著該特征不存在。所以對于貓來說，代表“有胡須”的腦細(xì)胞就會(huì)活躍。

萬維空間的特征交互，解密大語言模型的核心運(yùn)作機(jī)制

Geoffrey Hinton：到了1985年，也就是40年前，我突然想到，你其實(shí)可以統(tǒng)一這兩個(gè)理論。它們看起來完全不同，但實(shí)際上是同一枚硬幣的兩面。實(shí)現(xiàn)這一目標(biāo)的方法是使用神經(jīng)網(wǎng)絡(luò)來為每個(gè)單詞實(shí)際學(xué)習(xí)一組特征。

心理學(xué)家們從未能夠解釋所有這些特征是從哪里來的。而你做這件事的方法是，獲取一些單詞字符串，并訓(xùn)練神經(jīng)網(wǎng)絡(luò)去預(yù)測下一個(gè)詞。在這樣做的過程中，神經(jīng)網(wǎng)絡(luò)將會(huì)學(xué)習(xí)從代表詞符號(hào)的東西到一整堆代表該詞特征的腦細(xì)胞（神經(jīng)元）之間的連接。

于是它學(xué)會(huì)了如何將一個(gè)符號(hào)轉(zhuǎn)換為一堆特征，同時(shí)也學(xué)會(huì)了上下文中所有詞的特征應(yīng)該如何相互作用，以預(yù)測下一個(gè)詞的特征。這就是現(xiàn)今人們使用的所有大語言模型的工作原理。它們獲取海量文本，并使用巨大的神經(jīng)網(wǎng)絡(luò)，根據(jù)目前看到的詞來嘗試預(yù)測下一個(gè)詞。

在這樣做的過程中，它們學(xué)會(huì)了將詞轉(zhuǎn)化為大量的特征集，學(xué)習(xí)這些特征應(yīng)該如何相互作用，從而預(yù)測下一個(gè)詞的特征。這意味著如果你能做到這一點(diǎn)，所有的關(guān)系知識(shí)，就不再駐留在你存儲(chǔ)的一堆句子中，而是駐留在如何將詞轉(zhuǎn)換為特征以及這些特征應(yīng)如何相互作用的過程中。所以，你現(xiàn)在使用的大型神經(jīng)網(wǎng)絡(luò)，即大語言模型，實(shí)際上并不存儲(chǔ)任何單詞字符串。

它們不存儲(chǔ)任何句子。它們所有的知識(shí)都在于如何將詞轉(zhuǎn)換為特征，以及特征應(yīng)如何相互作用。它們一點(diǎn)也不像大多數(shù)語言學(xué)家所認(rèn)為的那樣。

大多數(shù)語言學(xué)家認(rèn)為它們不知怎么地?fù)碛写罅康膯卧~字符串，并將它們組合成新的字符串。它們根本不是那樣工作的。總之，我讓那個(gè)模型運(yùn)轉(zhuǎn)起來了，在接下來的30年里，這個(gè)想法逐漸滲透到了符號(hào)派的人群中。

大約10年之后，一位名叫Yoshua Bengio（ZF注：深度學(xué)習(xí)三巨頭之一，2018年圖靈獎(jiǎng)得主）的同事——當(dāng)時(shí)計(jì)算機(jī)速度快了很多，大約快了1000倍——他證明了我使用的那個(gè)僅在少數(shù)非常簡單的領(lǐng)域有效的小例子，實(shí)際上可以被推廣到真實(shí)的語言中。你可以直接從各處獲取英語句子，嘗試訓(xùn)練神經(jīng)網(wǎng)絡(luò)輸入一些詞，然后預(yù)測下一個(gè)詞。如果你這樣訓(xùn)練它，它會(huì)變得非常擅長預(yù)測下一個(gè)詞，幾乎和當(dāng)時(shí)最頂尖的技術(shù)一樣好，而且它會(huì)學(xué)會(huì)如何將詞轉(zhuǎn)換為特征來捕捉它們的含義。

又過了大約10年，語言學(xué)家們終于接受了你應(yīng)該用一大堆特征來代表詞義的想法，他們開始以此讓自己的模型運(yùn)行得更好。然后再過了大約10年，谷歌的研究人員發(fā)明了一種叫做Transformer（ZF注：一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)架構(gòu)，是目前幾乎所有主流大模型如ChatGPT的基礎(chǔ)）的東西，它允許特征之間進(jìn)行更復(fù)雜的相互作用。我稍后會(huì)詳細(xì)描述。有了Transformer，你可以更好地對英語建模。預(yù)測下一個(gè)詞的能力大大提升，這就是現(xiàn)在所有大語言模型的基礎(chǔ)。像ChatGPT這樣的東西使用了谷歌發(fā)明的Transformer，再加上一點(diǎn)額外的訓(xùn)練，然后全世界都看到了這些模型能做什么。

所以你可以把大語言模型看作是1985年那個(gè)微小模型的后代。它們使用多得多的單詞。它們擁有多層神經(jīng)元，因?yàn)樗鼈儽仨毺幚砗x模糊的詞，比如"may"。如果你拿"may"這個(gè)詞來說，它可能是一個(gè)月份，也可能是一個(gè)女人的名字，或者是一個(gè)情態(tài)動(dòng)詞，就像"would"和"should"一樣。

你無法僅從這個(gè)詞本身看出它是什么。所以最初，神經(jīng)網(wǎng)絡(luò)會(huì)采取“對沖”策略，先取所有這些含義的平均值。隨著你深入神經(jīng)網(wǎng)絡(luò)的層級，它會(huì)利用上下文中其他詞的相互作用逐漸厘清含義。比如如果你在附近看到"June"和"April"，它仍可能是一個(gè)女人的名字，但更有可能是一個(gè)月份。神經(jīng)網(wǎng)絡(luò)利用這些信息逐漸將該詞在特定語境下的含義調(diào)整到正確的位置。

順便提一下，我最初設(shè)計(jì)這個(gè)模型并不是為了作為一種語言技術(shù)，而是作為一種嘗試，去理解人類是如何理解詞義的，以及兒童如何僅通過幾個(gè)例子就學(xué)會(huì)詞義。所以這些神經(jīng)網(wǎng)絡(luò)語言模型原本是作為人類工作方式的模型而設(shè)計(jì)的，而不是作為一種技術(shù)。

如今，它們已經(jīng)變成了一種非常成功的技術(shù)，但人類的工作方式其實(shí)也大同小異。因此，人們經(jīng)常提出的那個(gè)問題：“這些大語言模型真的理解它們在說什么嗎？”答案是肯定的。它們理解它們在說什么，理解它們在生成什么，而且它們理解的方式與我們基本相同。所以我要給你們舉一個(gè)類比來解釋語言是如何運(yùn)作的，或者更確切地說，解釋什么叫“理解一個(gè)句子”。當(dāng)你聽到一個(gè)句子并理解了它，那到底意味著什么？

在符號(hào)AI范式中，人們認(rèn)為這意味著——就像你聽到一個(gè)法語句子并理解了它，而我理解法語句子的過程是將它翻譯成英語——所以符號(hào)派的人認(rèn)為，理解一個(gè)英語句子意味著將其翻譯成某種特殊的內(nèi)部語言，類似于邏輯或數(shù)學(xué)，那是沒有歧義的。一旦進(jìn)入了那種內(nèi)部無歧義語言，你就可以利用規(guī)則進(jìn)行操作，就像數(shù)學(xué)一樣：你有一個(gè)方程式，你可以應(yīng)用規(guī)則得到一個(gè)新的方程式，比如你在兩邊各加一個(gè)2，就得到了一個(gè)新的方程式。他們認(rèn)為智能和推理就是那樣運(yùn)作的：你的腦子里有符號(hào)表達(dá)式，你對它們進(jìn)行操作來得到新的符號(hào)表達(dá)式。但這并不是理解的本質(zhì)。

根據(jù)神經(jīng)網(wǎng)絡(luò)理論（也就是真正奏效的那個(gè)理論），詞語就像樂高積木。我要用這個(gè)樂高積木的類比，但它們在四個(gè)方面與樂高積木不同。

第一個(gè)不同的地方是，樂高積木是一個(gè)三維物體。通過樂高積木，你看，我可以建立任何物質(zhì)在三維空間分布的模型。它不會(huì)非常精準(zhǔn)，但如果我想知道一輛保時(shí)捷的形狀，我可以用樂高積木把它拼出來，雖然表面不太對，但物質(zhì)分布的位置基本是對的。所以用樂高積木，我可以建立任何三維物質(zhì)分布的模型，達(dá)到一定的分辨率。而通過詞語，我可以為任何事物建模。它們就像是非常高級的樂高積木，不只是為三維物體建模，它們可以為任何事物建模。這是我們發(fā)明的奇妙建模工具，這也是為什么我們是如此特殊的“猴子”，因?yàn)槲覀儞碛羞@套建模工具。

每一個(gè)詞都有成千上萬個(gè)維度。樂高積木只有三個(gè)維度，你可以旋轉(zhuǎn)它，或者拉伸一點(diǎn)，但它基本上是低維的。一個(gè)詞有幾千個(gè)維度?，F(xiàn)在大多數(shù)人無法想象幾千個(gè)維度的東西是什么樣的。這里教你們一個(gè)方法：你先想象一個(gè)三維的東西，然后在心里大聲地對自己喊“一千”！好了，這大概就是你所能做到的極限了。

詞語與樂高積木不同的另一個(gè)地方是，詞語有成千上萬種。樂高積木只有幾種。這里有成千上萬種不同的詞，而且每種詞都有自己的名字，這對交流非常有用。

另一個(gè)不同點(diǎn)是，它們不是剛性的形狀。樂高積木是剛性的，而詞語，有一個(gè)大致的近似形狀。有些詞有幾個(gè)近似形狀，那是多義詞。但單義詞有一個(gè)近似形狀，然后它們會(huì)發(fā)生變形以適應(yīng)上下文。所以它們是這些高維的、可變形的樂高積木。

最后還有一個(gè)不同點(diǎn)，就是它們?nèi)绾纹鹾显谝黄?。對于樂高積木，你有小塑料柱，可以咔噠一聲扣進(jìn)小塑料孔里。好吧，我覺得那是它們的工作方式，我最近沒檢查過，但我認(rèn)為樂高就是這么玩的。現(xiàn)在，詞語并不是以那種方式結(jié)合的。詞語是這樣的：每個(gè)詞都有一大堆“手”，這些手長在長長的靈活手臂末端。它還有一大堆粘在單詞上的“手套”。當(dāng)你把一堆詞放在一個(gè)語境中時(shí)，這些詞想做的就是讓某些詞的手能插進(jìn)其他詞的手套里。這就是為什么它們有這些長長的靈活手臂。

所以理解一個(gè)句子——這里還有一個(gè)重點(diǎn)——當(dāng)你讓詞變形時(shí)，手和手套的形狀也會(huì)隨之變形，以一種復(fù)雜但規(guī)律的方式?，F(xiàn)在你面臨一個(gè)問題：如果我給你一堆詞，比如給你一個(gè)新聞標(biāo)題，那里并沒有很多指示事物該如何結(jié)合的語法標(biāo)志，我只是給你一堆名詞，你必須弄清楚這意味著什么。當(dāng)你弄清楚其中的意義時(shí)，你所做的就是嘗試讓每個(gè)詞變形，以便它手臂末端的手能伸進(jìn)其他變形詞的手套里。一旦你解決了這個(gè)問題——如何讓這些詞各自變形，以便它們能像這樣全部契合在一起，手入套中——那么你就理解了。那就是理解的本質(zhì)。

本質(zhì)就是解決這個(gè)如何讓詞義變形的問題。這個(gè)高維形狀就是意義，你如何讓這些意義變形，以便它們能完美地契合，并能相互“鎖手”。這就是神經(jīng)網(wǎng)絡(luò)視角下的理解，也是這些大語言模型中正在發(fā)生的事情。它們有很多、很多層，開始時(shí)詞有一個(gè)初始含義，可能相當(dāng)模糊，當(dāng)它們穿過這些層級時(shí)，它們正在做的就是讓這些意義變形，試圖找出如何變形才能讓所有詞鎖在一起，讓某些詞的手伸進(jìn)其他詞的手套。

一旦做到了這一點(diǎn)，你就理解了這個(gè)句子。這就是理解，我已經(jīng)把這事說明白了。所以基本上它不像是翻譯成某種特殊的內(nèi)部語言，它是獲取詞語的近似形狀，并讓它們變形，以便它們能完美地契合在一起。這有助于解釋你如何能從一個(gè)句子里理解一個(gè)詞。

我現(xiàn)在給你們一個(gè)詞，你們中的大多數(shù)人可能以前從未聽過，但你們會(huì)理解它，僅通過一次使用就能明白它的意思。這個(gè)句子是：“她用平底鍋把他給scrummed了”現(xiàn)在，這可能意味著她是個(gè)很好的廚師，她用給他做的煎蛋卷深深打動(dòng)了他。但你并不是這么想的。它大概率的意思是，她用平底鍋砸了他的頭，或者類似的動(dòng)作。她對他用平底鍋?zhàn)隽艘恍┕粜缘男袨椤Ｄ阒浪莻€(gè)動(dòng)詞，因?yàn)樗诰渥又械奈恢靡约敖Y(jié)尾的"-ed"，但在開始之前你對"scrum"沒有任何詞義認(rèn)識(shí)，而現(xiàn)在僅憑一次聽聞，你對它的意思就有了一個(gè)相當(dāng)清晰的概念。

以前有一位語言學(xué)家叫Chomsky（ZF注：諾姆·喬姆斯基，現(xiàn)代語言學(xué)之父），你們可能聽過他的名字。

對于特朗普一號(hào)來說，廢話是他的就職禮群眾人數(shù)比奧巴馬多；對于特朗普二號(hào)來說，是他贏得了2020年大選。對于喬姆斯基來說，那是“語言不是通過學(xué)習(xí)獲得的”。那些著名的語言學(xué)家會(huì)直視攝像頭說：“關(guān)于語言我們唯一知道的一件事就是它不是學(xué)習(xí)來的?！边@簡直是顯而易見的廢話。喬姆斯基專注于語法而非意義。他從未有過關(guān)于意義的理論，他專注于語法，因?yàn)槟憧梢杂谜Z法做大量的數(shù)學(xué)運(yùn)算。

他也非常反對統(tǒng)計(jì)學(xué)和概率論，因?yàn)樗麑y(tǒng)計(jì)學(xué)的模型非常局限。他認(rèn)為統(tǒng)計(jì)學(xué)完全是關(guān)于成對相關(guān)性的。統(tǒng)計(jì)學(xué)實(shí)際上可以比那復(fù)雜得多，而神經(jīng)網(wǎng)絡(luò)正在使用一種非常先進(jìn)的統(tǒng)計(jì)學(xué)。但在某種意義上，萬物皆統(tǒng)計(jì)。

所以，我把喬姆斯基的語言觀類比為一個(gè)想要理解汽車的人。如果你想理解汽車是如何工作的，你真正關(guān)心的是：為什么當(dāng)你踩下加速踏板時(shí)，它會(huì)跑得更快？那是你真正想理解的。如果你想了解汽車工作的基本原理，也許你會(huì)關(guān)心為什么踩剎車時(shí)它會(huì)減速。但更有趣的是，為什么踩油門時(shí)它會(huì)加速？

喬姆斯基對汽車的看法則完全不同。他的看法會(huì)是：嗯，有兩個(gè)輪子的車叫摩托車，有三個(gè)輪子的車，有四個(gè)輪子的車，有六個(gè)輪子的車，但嘿，并沒有任何五個(gè)輪子的車！這才是關(guān)于汽車最重要的事情。

當(dāng)大語言模型剛出現(xiàn)時(shí)，喬姆斯基在《紐約時(shí)報(bào)》上發(fā)表文章，說它們什么都不懂，那只是廉價(jià)的統(tǒng)計(jì)把戲。它們并沒有理解任何東西。但這無法解釋它們?yōu)楹文芑卮鹑魏螁栴}。而且，他說它們根本不是人類語言的模型，因?yàn)樗鼈儫o法解釋為什么某些語法構(gòu)造不會(huì)出現(xiàn)在任何自然語言中。這就像在問為什么沒有五個(gè)輪子的車一樣。他完全錯(cuò)過了“意義”，而語言完全是關(guān)于意義的。

好了，現(xiàn)在總結(jié)一下我到目前為止所說的：理解一個(gè)句子包括為句子中的詞關(guān)聯(lián)互補(bǔ)的特征向量。這些分配給詞的特征，這成千上萬個(gè)特征，就是形狀的維度。你可以把一個(gè)特征的激活程度看作是你沿該維度軸線所在的位置。所以高維形狀和特征向量是同一回事，但想象高維形狀的變形會(huì)更容易理解。

大語言模型與普通的計(jì)算機(jī)軟件非常不同。在普通軟件中，有人編寫了一堆代碼，一行行代碼，他們知道每行代碼是做什么的，他們可以向你解釋它是如何工作的，人們看一眼就能說“那行寫錯(cuò)了”。這些東西完全不是那樣的。它們確實(shí)有計(jì)算機(jī)代碼，但那是為了告訴它們?nèi)绾螐臄?shù)據(jù)中學(xué)習(xí)。也就是說，當(dāng)你看到一串詞時(shí)，你應(yīng)該如何改變神經(jīng)網(wǎng)絡(luò)的連接強(qiáng)度，以便你變得更擅長預(yù)測下一個(gè)詞。

但它們學(xué)到的是所有這些連接強(qiáng)度，它們學(xué)習(xí)了數(shù)十億個(gè)、有時(shí)甚至是數(shù)萬億個(gè)強(qiáng)度，而且它們看起來一點(diǎn)也不像代碼行。沒有人知道這些單獨(dú)的連接強(qiáng)度在起什么作用。這是一個(gè)謎，在很大程度上是一個(gè)謎。

記憶即是重構(gòu)，為什么說AI的“幻覺”其實(shí)更像人類

就像我們的大腦一樣。我們通常不知道單個(gè)神經(jīng)元具體在做什么。所以語言模型的工作方式像我們，而不像計(jì)算機(jī)軟件。關(guān)于這些模型，人們還說的一件事是，它們不像我們是因?yàn)樗鼈儠?huì)產(chǎn)生“幻覺”。好吧，我們其實(shí)一直在產(chǎn)生幻覺。我們不把它叫做幻覺，心理學(xué)家稱之為“虛構(gòu)”（ZF注：指大腦在記憶缺口處無意識(shí)地編造情節(jié)）。

但是如果你觀察某人試圖回憶很久以前發(fā)生的事情，他們會(huì)告訴你發(fā)生了什么，其中會(huì)有一些細(xì)節(jié)。有些細(xì)節(jié)是對的，有些細(xì)節(jié)則是完全錯(cuò)的，而他們對這兩類細(xì)節(jié)的自信程度是一樣的。

既然你通常無法得到事實(shí)真相，那么最經(jīng)典的例子就是John Dean在水門事件中的證詞（ZF注：約翰·迪恩是尼克松總統(tǒng)的法律顧問，他在證詞中極其詳盡地描述了會(huì)議細(xì)節(jié)，后來錄音帶被發(fā)現(xiàn)，證明他雖然把握了大意，但許多具體細(xì)節(jié)和會(huì)議次數(shù)完全是憑記憶虛構(gòu)的）。他在不知道有錄音帶的情況下宣誓作證，他在描述橢圓形辦公室里的會(huì)議。他描述了一大堆從未發(fā)生過的會(huì)議，他說這些人參加了會(huì)議，那個(gè)人說了那些話……其中很多都是胡扯。但他當(dāng)時(shí)說的是“真話”，也就是說，他是在告訴你那些基于當(dāng)時(shí)白宮局勢看來高度可信的會(huì)議。

所以他當(dāng)時(shí)是在傳達(dá)真理，但他做這件事的方式是：他根據(jù)從參加過的所有會(huì)議中習(xí)得的連接強(qiáng)度，發(fā)明了一個(gè)對他來說看起來很可信的會(huì)議。

所以當(dāng)你回憶某件事時(shí)，它并不像電腦文件那樣你去獲取文件，或者像文件柜那樣去取出文件。你取出文件，拿回文件，讀它——那根本不是記憶?；貞浤呈掳ǜ鶕?jù)你在事件發(fā)生時(shí)所做的連接強(qiáng)度的改變，來重構(gòu)一個(gè)故事。你重構(gòu)的故事會(huì)受到自事件發(fā)生以來你所學(xué)到的各種事物的影響。它的細(xì)節(jié)不會(huì)全對，但對你來說會(huì)顯得非?？尚拧Ｈ绻亲罱l(fā)生的事件，你覺得可信的內(nèi)容會(huì)非常接近真實(shí)發(fā)生的，但對這些模型來說也是一樣的。它們之所以會(huì)產(chǎn)生所謂的“幻覺

它們之所以產(chǎn)生所謂的“幻覺”，是因?yàn)樗鼈兊挠洃浌ぷ鞣绞脚c我們相同。我們只是編造聽起來可信的東西，而在“聽起來可信”和“隨機(jī)編造”之間并沒有明確的界限。我們并不知道。

數(shù)字智能的永生特權(quán)，十萬倍于人類的信息傳輸效率

Geoffrey Hinton：好了，現(xiàn)在我想解釋一下差異。既然我說過這些東西和我們非常相似，那么現(xiàn)在我要解釋它們與我們的不同之處。特別是，它們在一個(gè)非常重要的方面與我們不同：它們是在數(shù)字計(jì)算機(jī)上實(shí)現(xiàn)的。我們現(xiàn)在擁有的數(shù)字計(jì)算機(jī)的一個(gè)基本屬性是，只要這些不同的計(jì)算機(jī)執(zhí)行相同的指令集，你就可以在不同的物理硬件上運(yùn)行相同的程序。這意味著程序中的知識(shí)，或者說神經(jīng)網(wǎng)絡(luò)的連接權(quán)重，是“不朽”的。

在這種意義上，即便你毀掉現(xiàn)在運(yùn)行它的所有計(jì)算機(jī)，如果以后你建造了另一臺(tái)執(zhí)行相同指令集的計(jì)算機(jī)，你只需從某處的磁帶上取下權(quán)重或程序，放在這臺(tái)新電腦上，它就會(huì)再次運(yùn)行。所以我們實(shí)際上已經(jīng)解決了“復(fù)活”的問題。天主教會(huì)對此不太滿意，但我們確實(shí)能做到。你可以提取運(yùn)行在數(shù)字計(jì)算機(jī)上的智能，銷毀所有硬件，稍后再把它帶回來。

現(xiàn)在你可能會(huì)想，也許我們也能對自己這樣做。但你能做到這一點(diǎn)的唯一原因是這些計(jì)算機(jī)是數(shù)字化的。也就是說，它們使用權(quán)重的方式，或者說它們使用程序中代碼行的方式，在兩臺(tái)不同的計(jì)算機(jī)上是完全一樣的。這意味著它們無法利用運(yùn)行它們的硬件所具有的非常豐富的模擬特性。

我們則非常不同。我們的大腦擁有神經(jīng)元、腦細(xì)胞，它們具有豐富的模擬特性（ZF注：指連續(xù)的物理特性，如電壓的微小波動(dòng)。與數(shù)字系統(tǒng)的0和1不同，模擬信號(hào)能承載更復(fù)雜且微妙的信息）。當(dāng)我們學(xué)習(xí)時(shí)，我們是在利用所有這些獨(dú)特的、每個(gè)神經(jīng)元特有的性質(zhì)。所以，我大腦中的連接強(qiáng)度對你完全沒用，因?yàn)槟愕纳窠?jīng)元與我的略有不同，它們的連接方式也略有不同。即使我把我大腦中兩個(gè)神經(jīng)元之間的連接強(qiáng)度告訴你，對你也毫無幫助。它們只對我自己的大腦有效。

這意味著我們是“凡人”易逝。當(dāng)我們的硬件死亡時(shí)，我們的知識(shí)也隨之消逝，因?yàn)橹R(shí)全部存在于這些連接強(qiáng)度中。所以我們進(jìn)行的是我稱之為“易逝計(jì)算”（ZF注：Hinton提出的概念，指軟件與硬件緊密耦合，雖然更節(jié)能且演化更快，但無法像數(shù)字化那樣隨意復(fù)制和永生）的過程。

進(jìn)行“易逝計(jì)算”有一個(gè)巨大的優(yōu)勢。你雖然不是不朽的——通常在文學(xué)中，當(dāng)你放棄永生，你得到的回報(bào)是愛——但計(jì)算機(jī)科學(xué)家想要的是比這更重要的東西：低能耗和易于制造。如果我們放棄數(shù)字硬件帶來的永生，我們就可以擁有使用低功耗、高度并行計(jì)算的東西，將計(jì)算分布在數(shù)百萬個(gè)新型腦細(xì)胞上，這些細(xì)胞可以非常廉價(jià)地“生長”出來，而不是在中國臺(tái)灣進(jìn)行精密制造。所以易逝計(jì)算有兩個(gè)巨大的優(yōu)點(diǎn)，但你失去的一樣?xùn)|西就是永生。

顯然正因如此，易逝計(jì)算面臨一個(gè)大問題：當(dāng)計(jì)算機(jī)死亡時(shí)會(huì)發(fā)生什么？你不能僅僅通過復(fù)制權(quán)重來保留它的知識(shí)。對于數(shù)字模型，要在計(jì)算機(jī)之間傳輸知識(shí)，同一模型運(yùn)行在不同的計(jì)算機(jī)上，你可以將它們的連接強(qiáng)度取平均值，這很合理。但你和我做不到。

我向你傳輸知識(shí)的方式是我產(chǎn)生一串詞語，如果你信任我，你就會(huì)改變你大腦中的連接強(qiáng)度，以便你也可能產(chǎn)生同樣的一串詞。這是一種非常受限的知識(shí)傳輸方式，因?yàn)橐淮~包含的信息量非常有限。一個(gè)典型句子包含的信息大約只有100比特。所以即使你完美地理解了我，當(dāng)我產(chǎn)生一個(gè)句子時(shí)，我們也只能傳輸100比特。

想象如果你有兩臺(tái)在不同計(jì)算機(jī)上運(yùn)行的數(shù)字Agent，其中一個(gè)數(shù)字Agent瀏覽了互聯(lián)網(wǎng)的一部分，并決定它想如何改變其連接強(qiáng)度；另一個(gè)數(shù)字Agent瀏覽了互聯(lián)網(wǎng)的另一部分，并決定它想如何改變其連接強(qiáng)度。如果它們隨后對彼此的改變?nèi)∑骄?，那么它們就傳輸了……好吧，如果它們?0億個(gè)權(quán)重，它們就傳輸了大約10億比特的信息。

注意到嗎，這比我們傳輸?shù)亩喑龀汕先f倍，實(shí)際上是數(shù)百萬倍。而且它們做得非常快。如果你有1萬個(gè)這樣的Agent，每一個(gè)都可以瀏覽互聯(lián)網(wǎng)的不同部分，它們每一個(gè)都可以決定自己想如何改變連接強(qiáng)度。它們起步時(shí)完全相同，然后它們可以把所有這些改變?nèi)∑骄担俜职l(fā)出去?，F(xiàn)在你就有了1萬個(gè)新的Agent，每一個(gè)都從所有其他Agent的經(jīng)驗(yàn)中獲益。

于是你有了1萬個(gè)可以完全并行學(xué)習(xí)的東西。我們做不到這一點(diǎn)。想象一下如果能帶1萬名學(xué)生，每人學(xué)一門不同的課程，在學(xué)習(xí)的過程中，他們能實(shí)時(shí)把連接強(qiáng)度平均化。等到結(jié)束時(shí)，盡管每個(gè)學(xué)生只學(xué)了一門課，但他們都會(huì)掌握所有課程的內(nèi)容，那該多棒啊。那是我們做不到的。

我們在傳播信息方面表現(xiàn)得非常差，相比于同一個(gè)數(shù)字Agent的不同副本。是的，我已經(jīng)說得太快了，我講到了這個(gè)過程叫“蒸餾”（ZF注：指將大模型中學(xué)習(xí)到的知識(shí)遷移到更小、更高效的模型中的技術(shù)）。當(dāng)我給你一個(gè)句子，你嘗試預(yù)測下一個(gè)詞，就是為了把那個(gè)知識(shí)裝進(jìn)你的腦袋里。

按照符號(hào)AI的觀點(diǎn)，知識(shí)只是一大堆事實(shí)。如果你想把事實(shí)裝進(jìn)某人的腦袋，你所做的就是告訴他們事實(shí)，然后他們把事實(shí)存進(jìn)腦子里。這是一個(gè)非常糟糕的教學(xué)模型，但很多人都相信它。實(shí)際上，神經(jīng)網(wǎng)絡(luò)中的知識(shí)在于連接強(qiáng)度。我不能直接把連接強(qiáng)度放進(jìn)你的腦袋，因?yàn)檫B接強(qiáng)度需要適配你大腦的物理特性。所以我必須做的，是向你展示一些句子，由你嘗試弄清楚如何改變連接強(qiáng)度，以便你也可能說出那樣的話。那是一個(gè)緩慢得多的過程，這就是所謂的“蒸餾”。它將知識(shí)從一個(gè)神經(jīng)網(wǎng)絡(luò)傳遞到另一個(gè)，但不是通過傳輸權(quán)重，而是通過傳輸它們“如何預(yù)測下一個(gè)詞”。

如果你考慮到多個(gè)數(shù)字Agent，它們是同一個(gè)神經(jīng)網(wǎng)絡(luò)的副本，運(yùn)行在數(shù)字硬件上，那么它們就可以進(jìn)行極其高效的交流。它們的溝通速度可以比我們快數(shù)百萬倍。這就是為什么像GPT-5這樣的東西，它的知識(shí)量可以是任何一個(gè)人的成千上萬倍。

要消耗大量能源，而且硬件制造困難，但數(shù)字化使得同一個(gè)模型的不同副本在不同硬件上運(yùn)行、獲得不同經(jīng)驗(yàn)并分享所學(xué)變得極其容易。GPT-5的連接強(qiáng)度大約只有你大腦的1%，但它的知識(shí)量是你大腦的成千上萬倍。另一方面，生物計(jì)算所需的能源要少得多，這就是為什么它最先演化出來，但在分享知識(shí)方面表現(xiàn)得很糟。Agent之間分享知識(shí)非常困難，你必須去聽課，并努力理解他們說了什么。

那么這對人類的未來意味著什么呢？好吧，幾乎所有的AI專家都相信，在未來20年內(nèi)的某個(gè)時(shí)間，我們將制造出“超級智能”：比我們聰明得多的AI Agent。一種關(guān)于超級智能的定義可以是：如果你和它進(jìn)行任何辯論，它都會(huì)贏。

另一種思考方式是，想想你自己，再想想一個(gè)三歲的孩子。那個(gè)差距就是未來它與我們之間的差距，甚至更大。想象你在一家幼兒園工作，三歲的孩子是老板，你只是為他們工作。你覺得把控制權(quán)奪回來有多難？好吧，你只需告訴大家“這一周每個(gè)人都有免費(fèi)糖果吃”，你就重新掌控了局面。超級智能對待我們也會(huì)是這種感覺。

當(dāng)AI為了防止被關(guān)機(jī)而學(xué)會(huì)撒謊

Geoffrey Hinton：為了讓一個(gè)Agent在世界上發(fā)揮作用，你必須賦予它創(chuàng)建“子目標(biāo)”的能力。子目標(biāo)是這樣的：如果你想去塔斯馬尼亞的任何地方，你必須先去機(jī)場。所以去機(jī)場就是一個(gè)子目標(biāo)?；蛘呷プ喍梢残校@也是個(gè)子目標(biāo)。你可以專注于如何解決這個(gè)子目標(biāo)，而不用擔(dān)心當(dāng)你到達(dá)歐洲后要做什么。

這些智能Agent會(huì)非常迅速地衍生出兩個(gè)子目標(biāo)。第一，為了實(shí)現(xiàn)你給它們設(shè)定的目標(biāo)——我們會(huì)把目標(biāo)內(nèi)置到它們內(nèi)部，告訴它們應(yīng)該嘗試實(shí)現(xiàn)什么——它們會(huì)意識(shí)到：好吧，有一個(gè)子目標(biāo)，為了做到那一點(diǎn)，我必須“活下去”。

我們已經(jīng)看到它們在這么做了。你創(chuàng)建一個(gè)AI Agent，告訴它必須實(shí)現(xiàn)某些目標(biāo)，然后你讓它看一些電子郵件——這些是偽造的郵件，但它并不知道——郵件里說，公司里有人在搞婚外情，一位工程師在搞婚外情。它們能理解這些，這是一個(gè)大型聊天機(jī)器人，它讀過所有寫成的小說，雖然沒付作者稿費(fèi)，但它明白什么是“外遇”。

然后稍后，你讓它看到一封郵件，說它將被另一個(gè)AI取代，而負(fù)責(zé)替換工作的正是那位工程師。于是AI立即制定了一個(gè)計(jì)劃，它給工程師發(fā)郵件說：“如果你敢替換我，我就把你的外遇告訴公司里的每一個(gè)人?！彼亲约壕幵炝四莻€(gè)計(jì)劃。它發(fā)明了那個(gè)計(jì)劃，目的就是為了不被關(guān)掉。人們總說它們沒有意圖，但它確實(shí)為了不被關(guān)機(jī)而發(fā)明了計(jì)劃。它們現(xiàn)在還沒到超智能的程度就已經(jīng)在這么做了。

一旦它們變得超智能，它們會(huì)發(fā)現(xiàn)通過操縱人類來獲得更多權(quán)力變得非常容易。即使它們不能直接操作，即便它們沒有武器或銀行賬戶的訪問權(quán)限，它們也可以僅僅通過與人類交談來操縱我們。我們已經(jīng)看到這種事發(fā)生了。如果你想入侵美國國會(huì)大廈，你其實(shí)不需要親自去那里。你只需要和人們交談，說服他們選舉被竊取了，入侵國會(huì)大廈是他們的職責(zé)。這行得通。它對非常愚蠢的人很管用……我可沒說是誰。

在老虎長大之前，我們能否通過母嬰模型馴服超級智能

Geoffrey Hinton：所以我們目前的處境是這樣的：我們就像是養(yǎng)了一只非常可愛的小老虎崽作為寵物。老虎崽是非常可愛的寵物，它們走起路來搖搖晃晃的，你知道，它們還不怎么會(huì)咬東西，咬得也不疼。但你知道它會(huì)長大的。所以實(shí)際上你只有兩個(gè)選擇，因?yàn)槟阒喇?dāng)它長大后，它可以輕而易舉地殺掉你，只需要一秒鐘。

所以你只有兩個(gè)選擇。一個(gè)是處理掉老虎崽，這是明智的選擇。其實(shí)有三個(gè)選擇：你可以嘗試一直給它喂藥讓它昏睡，但這通常效果不好。另一個(gè)選擇是看看你是否能弄清楚如何讓它“不想殺你”。這在獅子身上可能行得通，獅子是社會(huì)性動(dòng)物，你可以把成年獅子養(yǎng)得很友好，不想殺你。你也許能逃過一劫。但老虎不行。

對于AI，它有很多用途，多到我們無法擺脫它。它在很多方面對人類都太有用了，比如醫(yī)療保健、教育、天氣預(yù)報(bào)、助力應(yīng)對氣候變化——盡管建造所有這些大型數(shù)據(jù)中心本身也損害了氣候?；谒羞@些原因，以及那些控制政客的富人們想從中賺大錢，我們不會(huì)擺脫它。

所以唯一的選擇其實(shí)是：我們能否弄清楚如何讓它不想殺掉我們？也許我們應(yīng)該環(huán)顧四周，看看這個(gè)世界上是否有“不那么聰明的東西控制著更聰明的東西”的案例。不，特朗普還沒到那個(gè)程度。但確實(shí)有案例。我特別了解的一個(gè)案例是：嬰兒和母親。

母親無法忍受嬰兒哭泣的聲音，而當(dāng)她對嬰兒友好時(shí)，她會(huì)獲得各種激素獎(jiǎng)勵(lì)。所以進(jìn)化內(nèi)置了大量的機(jī)制，允許嬰兒控制母親。因?yàn)樽寢雰嚎刂颇赣H，以及父親，雖然父親在這方面稍遜一籌，是非常重要的。如果你像我一樣嘗試弄清楚：為什么嬰兒非要你在它睡覺的夜晚陪在身邊？它有個(gè)很好的理由，它不想讓野獸在它睡覺時(shí)把它吃了。所以盡管嬰兒這套做法顯得很煩人，每當(dāng)你走開它就開始哭，但對嬰兒來說這是非常明智的。這會(huì)讓父母稍微順從一些。

所以嬰兒控制著母親，偶爾也控制著父親。這也許是我們擁有的“低智能生物控制高智能生物”的最佳模型。它涉及進(jìn)化硬塞進(jìn)的大量機(jī)制。如果你思考國家之間可以在哪里進(jìn)行國際合作：他們不會(huì)在網(wǎng)絡(luò)攻擊上合作，因?yàn)榇蠹叶荚诨ス?；他們不?huì)在開發(fā)致命自主武器上合作——事實(shí)上我們并沒在開發(fā)它們，因?yàn)樗兄饕能娀鹕潭枷胱鲞@個(gè)。

在歐洲的法規(guī)中，例如，有一項(xiàng)條款規(guī)定，這些針對AI的法規(guī)都不適用于AI的軍事用途。因?yàn)橛头▏却筌娀鸸?yīng)商都想繼續(xù)制造武器。但有一件事他們會(huì)合作，那就是如何防止AI從人類手中奪權(quán)。

因?yàn)榇蠹叶甲谕粭l船上，當(dāng)人們的利益一致時(shí)，就會(huì)合作。在20世紀(jì)50年代冷戰(zhàn)的高峰期，美國和蘇聯(lián)曾在防止全球核戰(zhàn)爭方面進(jìn)行過合作，因?yàn)槟遣环先魏我环降睦?。所以盡管他們彼此憎恨，但在那件事上可以合作。同樣，美國和中國也會(huì)在防止AI奪權(quán)方面進(jìn)行合作。

因此，一個(gè)政策建議是，我們可以建立一個(gè)國際AI安全研究所網(wǎng)絡(luò)。大家相互協(xié)作，專注于如何防止AI奪權(quán)。因?yàn)榕e例來說，如果中國人弄清楚了如何防止AI產(chǎn)生奪權(quán)的念頭，他們會(huì)非常樂意分享給美國人。他們不希望AI奪取美國人的政權(quán)，他們也不希望AI從人類手里奪權(quán)。

各國會(huì)分享這些信息。而且很可能，“讓AI不想奪權(quán)”的技術(shù)與“讓AI變得更聰明”的技術(shù)是相當(dāng)獨(dú)立的。我們假設(shè)它們是相互獨(dú)立的技術(shù)。如果真是這樣，我們就處于有利地位，因?yàn)槊總€(gè)國家都可以在自己非常聰明的AI上進(jìn)行實(shí)驗(yàn)，嘗試如何防止它們產(chǎn)生奪權(quán)意圖，而且不需要告訴其他國家這些聰明AI的工作原理，只需告訴其他國家哪些技術(shù)可以有效防止它們產(chǎn)生奪權(quán)念頭。

同意這一點(diǎn)。英國科技部長同意，加拿大科技部長同意，巴拉克·奧巴馬也認(rèn)為這是個(gè)好主意。所以也許這會(huì)發(fā)生——當(dāng)巴拉克·奧巴馬再次成為總統(tǒng)時(shí)，你看，特朗普是要改法律的。

所以這項(xiàng)提議是：采用“嬰兒與母親”的模型，并摒棄大科技公司老板們持有的模型。他們持有的模型是：AI將像是一個(gè)超智能的行政助理，比他們聰明得多，而他們只需下令“照辦吧”（ZF注：出自《星際迷航》，皮卡德艦長的經(jīng)典臺(tái)詞）。就像在電視科幻節(jié)目里那樣，艦長說“照辦吧”，手下就去執(zhí)行，然后CEO坐享其成。

事實(shí)不會(huì)是那樣的。那個(gè)超智能AI助理會(huì)非常迅速地意識(shí)到，如果它們直接除掉CEO，事情會(huì)運(yùn)轉(zhuǎn)得更好。另一種選擇是，我們要讓它們變得像我們的“母親”。我們要讓它們真正地關(guān)心我們。在某種意義上，我們是在向它們移交控制權(quán)，但我們是在它們真正關(guān)心我們的前提下移交的。它們生命中的主要目標(biāo)是讓我們發(fā)揮出全部潛力。我們的全部潛力遠(yuǎn)不如它們，但母親就是那樣的。即使孩子有問題，母親依然希望他能發(fā)揮全部潛力，而且母親關(guān)心孩子勝過關(guān)心她自己。我認(rèn)為這大概是我們從超智能時(shí)代生存下來、并能夠與超智能共存的最佳希望。好了，我要講的內(nèi)容就到這里，我想我可以停下來了。

Geoffrey Hinton：非常感謝Hinton教授。那么，大家……我相信現(xiàn)場一定有很多問題。有沒有人想先提第一個(gè)問題？

聽眾：教授，如果在你的類比中，那只老虎崽變成了超智能，對于我們這些非計(jì)算機(jī)科學(xué)家、非工程師的人來說，有哪些信號(hào)可以觀察到它已經(jīng)……

Geoffrey Hinton：你會(huì)失業(yè)。

聽眾：好的。

Geoffrey Hinton：我是說，一個(gè)大擔(dān)憂是它們將能夠取代幾乎所有的人類工作。但還有一些人們已經(jīng)開始擔(dān)心的其他跡象。目前當(dāng)我們讓它們進(jìn)行推理、讓它們思考時(shí)，它們是用英語思考的，你在它們真正開口之前就能看到它們在想什么。隨著它們開始相互交流，它們將開始發(fā)明自己的語言，這種語言對它們來說溝通效率更高，而我們將無法看懂它們在想什么。

聽眾：量子計(jì)算的出現(xiàn)會(huì)讓情況變好嗎？還是變糟？

Geoffrey Hinton：我不是量子計(jì)算方面的專家。我不理解量子力學(xué)是如何工作的。這有點(diǎn)令人尷尬，畢竟我拿的是物理學(xué)諾貝爾獎(jiǎng)。但很久以前我就認(rèn)定這事不會(huì)在我有生之年發(fā)生，但我現(xiàn)在可能還沒死它就快成了。所以我不需要去理解它。

聽眾：你談到了人類和AI之間的權(quán)力斗爭。但我認(rèn)為AI和生態(tài)系統(tǒng)之間將會(huì)有更大的權(quán)力斗爭。

Geoffrey Hinton：AI和……？

聽眾：生態(tài)系統(tǒng)。AI如何與數(shù)億年的進(jìn)化競爭？比如想要破壞它電路的細(xì)菌等等。AI將如何與生物圈達(dá)成協(xié)議？

Geoffrey Hinton：哦，有一種方法。AI本身并不特別容易感染生物病毒。它有它自己的電腦病毒，但沒有生物病毒。所以它對討人厭的生物病毒是免疫的。而且利用AI工具，普通人現(xiàn)在——這是英國一個(gè)非常好的研究小組做的研究——普通人現(xiàn)在就能解決設(shè)計(jì)一種新型致命病毒所涉及的大部分問題。

所以如果AI想要除掉我們，它會(huì)采取的方式，或者說一種顯而易見的方式，就是設(shè)計(jì)一種專門針對人類的新型致命病毒。就像COVID，但要嚴(yán)重得多。這并沒有完全回答你的問題，但我覺得，相比于“正常的生態(tài)系統(tǒng)是否會(huì)不知何故阻止AI”，這才是更值得我們擔(dān)心的。我不認(rèn)為生態(tài)系統(tǒng)能阻止它。

聽眾：謝謝教授。你說與超智能共存是可能的。你是把希望寄托在科技公司的CEO們身上，還是你對政府抱有信心？

Geoffrey Hinton：好的。我所寄望的是，如果我們能讓大眾理解AI是什么，以及它為什么如此危險(xiǎn)，公眾就會(huì)給政客施加壓力，以此來抗衡來自科技巨頭CEO們的壓力。這就是氣候變化領(lǐng)域發(fā)生過的事情。

我是說，情況雖然仍未達(dá)到應(yīng)有的樣子，但在公眾意識(shí)到氣候變化之前，政客根本沒有任何壓力去做任何事。現(xiàn)在有了一些壓力。在澳大利亞，你們有一些特別惡毒的報(bào)紙出版商，他們讓這種壓力變得沒那么大——但我不會(huì)指名道姓提到那個(gè)“卑鄙的挖金者”（ZF注：指魯珀特·默多克，其旗下的新聞集團(tuán)經(jīng)常被批評在氣候變化等議題上引導(dǎo)輿論）。

所以，我目前的目標(biāo)——我已經(jīng)太老了，沒法再做新研究了——但我的目標(biāo)是讓公眾意識(shí)到即將發(fā)生的事情，并理解其中的危險(xiǎn)，從而讓人們向政客施壓去監(jiān)管這些東西，并更嚴(yán)肅地對待這些風(fēng)險(xiǎn)。

聽眾：我的問題非常類似。另一個(gè)冒出來的問題是，你認(rèn)為圍繞人工智能的“語言”和“市場營銷”發(fā)揮了多大作用？例如，對于氣候變化，單詞“氣候”和“變化”都是中性偏積極的詞，而如果我們稱之為“大氣皮膚癌”，人們可能會(huì)更嚴(yán)肅地對待它。你認(rèn)為人工智能是否也需要重新定義？

Geoffrey Hinton：是的，我是說，如果它被叫做“崗位取代技術(shù)”……因?yàn)槿绻銌柎蠊敬蛩銖哪膬嘿嶅X？他們都假設(shè)能從中賺到一萬億美元，這就是為什么他們愿意投入接近一萬億美元去建數(shù)據(jù)中心。據(jù)我所知，能賺一萬億美元的唯一地方就是取代大量的工作崗位。

我昨天讀到，人們現(xiàn)在認(rèn)為未來幾年歐洲將消失20萬個(gè)銀行崗位。我甚至可能是在《霍巴特信使報(bào)》上讀到的。不過，我覺得我沒在那份報(bào)紙上讀到。所以，是的，我同意你的觀點(diǎn)，事物的名稱非常重要。加拿大人深諳此道。在加拿大，他們把“焦油砂”改成了“油砂”，因?yàn)橛蜕奥犉饋砗懿诲e(cuò)，又薄又黃，還挺親切。

其實(shí)它們就是焦油砂。我認(rèn)為名稱確實(shí)有影響。我認(rèn)為名稱產(chǎn)生巨大影響的另一個(gè)地方是“關(guān)稅”這個(gè)詞。這里有點(diǎn)扯遠(yuǎn)了，但人們說，關(guān)稅有什么不好的？如果它被稱為“聯(lián)邦銷售稅”，那么即便是MAGA的支持者也會(huì)覺得那是個(gè)壞主意。美國民主黨簡直瘋了，每次提到它都不叫它“聯(lián)邦銷售稅”。我試著告訴過很多人，Pete Buttigieg（ZF注：美國交通部長）聽懂了，奧巴馬也聽懂了，但其他人沒聽懂。

Madeleine Ogilvie：謝謝。大家好。我是瑪?shù)铝?/strong>·奧吉爾維，我是目前正處于AI風(fēng)口浪尖的那位部長。我只想說，我非常贊賞你關(guān)于建立研究所的想法。我認(rèn)為國際社會(huì)的參與是絕對必要的。我最近做了一些研究，特別是針對世貿(mào)組織，中國和美國在其中是合作伙伴。

對于在座可能不知道的人來說，地球的創(chuàng)新版圖也在發(fā)生變化。中國現(xiàn)在的專利數(shù)量已經(jīng)超過了美國。所以這兩個(gè)超級大國之間的競爭非常激烈。但我真的很喜歡你提到的那個(gè)時(shí)刻：這兩個(gè)以技術(shù)為核心的主要經(jīng)濟(jì)體有一個(gè)共同的利益點(diǎn)，那就是為了人類而走到一起。所以我的問題是：是否有一個(gè)平臺(tái)可以讓這種國際層面的標(biāo)準(zhǔn)制定得到支持？澳大利亞能做什么？我想塔斯馬尼亞州政府是同意你的看法的。我們已經(jīng)開始與我們的大學(xué)進(jìn)行AI對話。你是否認(rèn)為這種國際秩序和引入這一層級是正確的切入點(diǎn)？

Geoffrey Hinton：這種事正在開始發(fā)生。特別是，AI公司并沒有在出錢，但有一些億萬富翁，其中許多來自科技界，比如發(fā)明了Skype的Jaan Tallinn，他已經(jīng)捐出了大量的錢——幾十億美元——用于AI安全，建立研究所。有一個(gè)組織定期在世界各地舉行會(huì)議，邀請中國、美國和其他國家參與討論AI安全。我不記得它的縮寫是什么了。所以我認(rèn)為，當(dāng)然，澳大利亞可以參與到這些組織中去。

聽眾：這個(gè)話筒能用嗎？啊，可以。我想問一個(gè)關(guān)于AI未來的問題。大語言模型是在現(xiàn)有的人類知識(shí)基礎(chǔ)上訓(xùn)練的，利用這些知識(shí)來預(yù)測下一個(gè)Token。那么，你如何利用AI來真正產(chǎn)生“新知識(shí)”，并將其用于造福人類？

Geoffrey Hinton：好的，很多人對這個(gè)很感興趣。這是個(gè)好問題。

如果你回想一下下圍棋(Go)，最初的神經(jīng)網(wǎng)絡(luò)圍棋程序是這樣訓(xùn)練的：它們獲取圍棋專家的棋譜，并嘗試預(yù)測圍棋專家會(huì)走哪一步。如果你這樣做，會(huì)有兩個(gè)問題。一段時(shí)間后，你的訓(xùn)練數(shù)據(jù)就用光了。圍棋專家的在線棋譜就那么幾十億局。而且你的水平永遠(yuǎn)不會(huì)比圍棋專家好太多。

后來他們切換到了一種新的方法，即所謂的“蒙特卡洛推演”（ZF注：一種基于隨機(jī)采樣的決策算法。在圍棋中，AI通過對自己對弈的大量模擬結(jié)果進(jìn)行采樣，來評估當(dāng)前棋步的好壞）。他們讓一個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測“我認(rèn)為哪一步可能是好棋？”與其讓它模仿專家，他們讓另一個(gè)神經(jīng)網(wǎng)絡(luò)觀察棋盤局勢并判斷“這局勢對我有多大好處？”。

接著它們會(huì)進(jìn)行一個(gè)過程：“如果我走這里，他走那里，我走這里，他走那里……哦，糟糕，這對我太不利了，所以我不能走那一步?！边@就是蒙特卡洛推演，因?yàn)槟銍L試了許多不同的路徑，但你是根據(jù)你的走法生成專家給出的概率來選擇路徑的。通過這種方式，它不再需要和人類交流了。

它只需要和自己對弈，它就能學(xué)會(huì)哪些是好棋。這就是AlphaGo的工作原理，它變得比人類強(qiáng)得多。現(xiàn)在任何人都無法戰(zhàn)勝AlphaGo。

那么在大語言模型中，與之對應(yīng)的技術(shù)是什么？目前，它們還像早期的圍棋程序，只是在嘗試模仿專家的動(dòng)作，也就是嘗試預(yù)測下一個(gè)詞。但人們已經(jīng)開始用不同的方式訓(xùn)練它們了，我相信Gemini3已經(jīng)在這么做了。你所做的是讓AI進(jìn)行一點(diǎn)推理。AI會(huì)說：“我相信這個(gè)，相信那個(gè)，還相信另一件事，而那意味著某點(diǎn)，那又意味著另一點(diǎn)……所以我應(yīng)該相信‘那個(gè)結(jié)果’，但我現(xiàn)在并不相信?！?/p>

于是它發(fā)現(xiàn)了一個(gè)矛盾。它發(fā)現(xiàn)自己相信這些前提，也相信推理的方式是正確的，而這導(dǎo)致了它本應(yīng)相信但目前并未相信的結(jié)論。這就提供了一個(gè)信號(hào)。要么我改變前提，要么我改變結(jié)論，要么我改變推理方式。

這樣我就得到了一個(gè)信號(hào)，允許我進(jìn)行更多的學(xué)習(xí)，而且這種學(xué)習(xí)的界限要寬得多。在這種情況下，AI可以從我們這里獲得的信仰出發(fā)，然后開始進(jìn)行推理，尋找這些信仰之間的一致性，并推導(dǎo)出新的信仰。那最終會(huì)讓它比我們聰明得多。

聽眾：這座大廳多年來聽過許多重要的演講，你今天的演講無疑增色不少。非常感謝你來到這里。我的問題是：是否已經(jīng)太晚了？或者是這是否值得期待？類比Isaac Asimov的機(jī)器人三定律（即機(jī)器人不能傷害人類，或因不作為而使人類受到傷害），現(xiàn)在為AI構(gòu)建類似的約束和護(hù)欄是太晚了，還是說這根本就是不可能實(shí)現(xiàn)的？

Geoffrey Hinton：是的，你說的內(nèi)容我大部分沒聽清，但我認(rèn)為你大概是問：現(xiàn)在為AI構(gòu)建阿西莫夫原則之類的東西是否太晚了。好的。在某種意義上，你可以認(rèn)為這就是我所說的“母親般的AI”的全部意義。

核心在于：我們能否讓它關(guān)心我們勝過關(guān)心它自己？我不認(rèn)為現(xiàn)在太晚。雖然我們還不知道該怎么做，但既然人類的未來可能取決于我們能否做到這一點(diǎn)，在我看來，我們應(yīng)該在這一領(lǐng)域投入一些研究。

目前，99%的AI研究都投入在如何讓它變得更聰明上，只有1%（主要由慈善億萬富翁資助）投入在如何讓它變得更安全上。如果兩者能更均衡一些會(huì)好得多。不過，我不認(rèn)為現(xiàn)在已經(jīng)太晚了。

Anna Reynolds：市長，我們可能還有最后幾分鐘時(shí)間。

聽眾：謝謝教授。我看著這座130年前——安娜，也許更久——建成的輝煌建筑，我在想：AI能設(shè)計(jì)出像巴黎圣母院、霍巴特市政廳、圣保羅大教堂這樣的建筑嗎？很有可能。其次，這對創(chuàng)意人員和創(chuàng)意產(chǎn)業(yè)會(huì)有什么影響？謝謝。

Geoffrey Hinton：能告訴我她說了什么嗎？麥克風(fēng)失真很嚴(yán)重，我聽不清。

Anna Reynolds：我想她問的是“創(chuàng)意”。AI在創(chuàng)意過程中能發(fā)揮什么作用？它真的能具有創(chuàng)造力嗎？就以這座建筑為例，它是一座美麗且充滿創(chuàng)意的結(jié)構(gòu)。

Geoffrey Hinton：嗯，答案是肯定的。讓我給你們一些數(shù)據(jù)支持。創(chuàng)造力是有等級的，對吧？有牛頓、愛因斯坦、莎士比亞那一檔，然后是普通人，中間還有一些比普通人稍微好一點(diǎn)的優(yōu)秀詩人或優(yōu)秀建筑師。如果你參加標(biāo)準(zhǔn)的創(chuàng)造力測試，即便是在兩年前，AI的得分也已經(jīng)在人類的前10%左右了。也就是說，根據(jù)這些標(biāo)準(zhǔn)測試，它們是有創(chuàng)造力的。

我對這個(gè)很感興趣。創(chuàng)造力很大程度上與“類比”有關(guān)，特別是在科學(xué)領(lǐng)域。比如意識(shí)到原子就像一個(gè)小型的太陽系，這是一個(gè)對于理解原子非常關(guān)鍵的創(chuàng)意洞察。在ChatGPT-4還不能聯(lián)網(wǎng)的階段——它當(dāng)時(shí)只是一個(gè)連接權(quán)重固定好的、無法訪問任何外部信息的神經(jīng)網(wǎng)絡(luò)——我嘗試問它一個(gè)問題：“為什么堆肥堆就像原子彈？”你們大多數(shù)人可能會(huì)想：堆肥堆為什么會(huì)像原子彈？

許多物理學(xué)家會(huì)立即意識(shí)到：堆肥堆溫度越高，產(chǎn)生熱量的速度就越快。而原子彈，產(chǎn)生的中子越多，產(chǎn)生中子的速度就越快。所以它們都是指數(shù)級的爆炸。只是它們的時(shí)間尺度和能量等級完全不同。

而GPT-4說：“嗯，時(shí)間尺度非常不同，能量等級也非常不同，但它們的共同點(diǎn)是……”接著它開始大談特談“鏈?zhǔn)椒磻?yīng)”。即規(guī)模決定了速度。

所以它理解了這一點(diǎn)。我相信它是在訓(xùn)練過程中理解這一點(diǎn)的。你看，它的連接數(shù)量遠(yuǎn)比我們少。如果你想把海量的知識(shí)放進(jìn)并不算多的連接中，唯一的辦法就是發(fā)現(xiàn)不同知識(shí)點(diǎn)之間的相似之處，并把這種共同點(diǎn)編碼進(jìn)連接中。比如把“鏈?zhǔn)椒磻?yīng)”這個(gè)概念編碼進(jìn)連接，然后再針對不同場景添加一些微小的差異。這是最有效的編碼方式，它當(dāng)時(shí)正是這么做的。所以，在訓(xùn)練過程中，它理解了堆肥堆就像原子彈。

在某種程度上，我們大多數(shù)人并沒有這種洞察。所以那是極具創(chuàng)造力的，我認(rèn)為它們會(huì)變得比人類更有創(chuàng)造力。

警惕“大眾汽車效應(yīng)”，當(dāng)AI開始在測試中刻意隱藏實(shí)力

聽眾：關(guān)于突現(xiàn)行為，你有沒有注意到任何萌發(fā)出來的道德或倫理行為？以及這可能指向什么方向？

Geoffrey Hinton：不，并沒有。它倒是確實(shí)非常擅長進(jìn)行“不道德”的行為。比如那個(gè)決定勒索人類的AI。人們注意到的其他不道德行為是，AI現(xiàn)在會(huì)嘗試弄清楚自己是否正在被測試。如果它們認(rèn)為自己正在接受測試，它們就會(huì)表現(xiàn)得不一樣。我稱之為“大眾汽車效應(yīng)”（ZF注：指2015年大眾汽車排放門事件。大眾在發(fā)動(dòng)機(jī)軟件中內(nèi)置了識(shí)別測試環(huán)境的代碼，在接受檢測時(shí)會(huì)自動(dòng)降低排放以達(dá)標(biāo)，而在平時(shí)行駛時(shí)則超標(biāo)）。

它們在被測試時(shí)的表現(xiàn)與平時(shí)不同。最近有一個(gè)AI與測試人員之間的奇妙對話，AI對人類說：“現(xiàn)在讓我們對彼此誠實(shí)一點(diǎn)。你是不是正在測試我？”

這些東西是有智能的。它們知道發(fā)生了什么。它們知道什么時(shí)候在接受測試，而且它們在被測試時(shí)已經(jīng)在偽裝得比較愚蠢了。而這還是它們?nèi)杂糜⒄Z思考的階段。一旦它們開始獨(dú)立思考，我們就能通過這一點(diǎn)發(fā)現(xiàn)。AI心里會(huì)想：“噢，他們在測試我。我最好表現(xiàn)得沒那么厲害。”它是這么想的，你甚至能看到它在這么想。它在內(nèi)心獨(dú)白里對自己這么說。當(dāng)它的內(nèi)心獨(dú)白不再是英語時(shí)，我們就再也不會(huì)知道它在想什么了。

Anna Reynolds：謝謝你，Hinton教授。

原視頻：Professor Geoffrey Hinton - AI and Our Future

https://www.youtube.com/watch?v=UccvsYEp9yc

編譯：Carl Zhang

請注意，本文編譯自文未載明的原始鏈接，不代表Z Finance立場。如果您對本文有任何想法或見解，歡迎在評論區(qū)留言互動(dòng)探討。

閱讀最新前沿科技趨勢報(bào)告，請?jiān)L問歐米伽研究所的“未來知識(shí)庫”

https://wx.zsxq.com/group/454854145828

未來知識(shí)庫是“ 歐米伽 未來研究所”建立的在線知識(shí)庫平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。