當(dāng)宇宙級的“嘴炮”遇到降維打擊。

編譯 | 王啟隆

來源 | youtu.be/l6ZcFa8pybE

出品丨AI 科技大本營（ID：rgznai100）

打開最新一期知名播客 StarTalk 的 YouTube 評論區(qū)，最高贊的一條留言是這樣寫的：

“我長這么大，第一次看到尼爾·德葛司·泰森（Neil deGrasse Tyson）在一檔節(jié)目里幾乎全程閉嘴，像個(gè)手足無措的小學(xué)生一樣乖乖聽講?！?/blockquote>

作為全美最知名的天體物理學(xué)家，泰森平時(shí)的畫風(fēng)是充滿激情、喋喋不休、用宇宙的宏大來震撼嘉賓。但這一次，坐在他對面的那位滿頭銀發(fā)、帶著溫和英音的英國老人，僅僅用最平淡的語氣，就讓整個(gè)演播室陷入了數(shù)次令人窒息的沉默。

這位老人是 Geoffrey Hinton。深度學(xué)習(xí)三巨頭之一，2024 年諾貝爾物理學(xué)獎(jiǎng)得主，被公認(rèn)為“AI 教父”。

對經(jīng)常閱讀 Hinton 演講的我來說，這也是比較新奇的一幕——嚴(yán)肅的老爺子從學(xué)術(shù)講堂來到了輕松的播客節(jié)目，展示了自己幽默的一面；而三個(gè)主持人則是認(rèn)真聽講，全程吸收來自 Hinton 的干貨。

在長達(dá)半個(gè)多小時(shí)的對話里，Hinton 沒有任何宏大敘事的激情演講，也沒有堆砌任何晦澀的數(shù)學(xué)公式。他只是像一個(gè)耐心的老爺爺，用橡皮筋、粉紅大象和瞎編故事的政客打比方，輕描淡寫地把 AI 發(fā)展的底層邏輯剝了個(gè)底朝天。

很多觀眾看完后在下面留言：“Hinton 用 10 分鐘講清楚的反向傳播（Backpropagation），比我花四年讀完的計(jì)算機(jī)學(xué)位還要透徹”、“我是來聽科普的，結(jié)果帶著一身冷汗退出了網(wǎng)頁”。

這絕對是近年來信息密度最高、也最讓人后背發(fā)涼的一場 AI 對話。在深入閱讀萬字實(shí)錄之前，我們?yōu)槟闾釤捔诉@場對話中幾個(gè)“顛覆常識(shí)”的核心論斷：

• AI 從來沒有“幻覺”，它只是在“虛構(gòu)”：別再嘲笑大模型胡說八道了。Hinton 犀利地指出，人類的大腦也根本不存儲(chǔ)事實(shí)，我們每天都在“腦補(bǔ)”記憶。AI 胡說八道，恰恰證明它和人類大腦的工作原理是一模一樣的。

• 反向傳播的本質(zhì)是“連坐”：如果 AI 認(rèn)錯(cuò)了一只鳥，它是怎么自我糾正的？Hinton 用一根“橡皮筋”的絕妙比喻，解釋了整個(gè)神經(jīng)網(wǎng)絡(luò)是如何層層追責(zé)、扣減權(quán)重的。

• 數(shù)字智能從根本上優(yōu)于生物智能：人類最致命的弱點(diǎn)在于，當(dāng)你死去，你的知識(shí)就隨之消亡。而 AI 擁有上萬個(gè)“分身”，只要一個(gè)分身學(xué)會(huì)了新知識(shí)，所有分身瞬間同步。這就是為什么 AI 超過人類是不可逆的物理規(guī)律。

• AI 越獄根本不需要機(jī)器身體：當(dāng)主持人恐慌 AI 會(huì)不會(huì)掙脫控制時(shí)，Hinton 冷靜地回答：“它不需要長出手腳。只要它學(xué)會(huì)了如何操縱、說服人類，它就能讓我們心甘情愿地替它干活?！?/p>

以下是這場硬核對談的完整中文實(shí)錄。

人類曾經(jīng)走錯(cuò)了方向——邏輯與生物的決裂

Neil deGrasse Tyson (尼爾·泰森，天體物理學(xué)家，以下簡稱“尼爾”)：這里是《StarTalk》特別版！我是你們的個(gè)人天體物理學(xué)家，尼爾·德葛司·泰森。既然是特別版，那就意味著我們的老朋友、前職業(yè)足球運(yùn)動(dòng)員 Gary O'Reilly 今天也來了。Gary，最近好嗎？

Gary O'Reilly (加里·奧萊利，以下簡稱“加里”)：我很好，尼爾。

尼爾：當(dāng)然，還有我們的常駐喜劇演員 Chuck Nice！

Chuck Nice (查克·尼斯，以下簡稱“查克”)：能來這里總是很開心！

尼爾：Gary，今天這個(gè)足以載入史冊的話題，是你和你的團(tuán)隊(duì)選的。

加里：是的，這是一個(gè)我們每天都在聽、自以為很了解，但其實(shí)只是一知半解的話題。簡單來說，我們今天的主題是 AI（人工智能）。這是一次深度潛水。

尼爾：好吧，幾年前我們問人們“AI 是怎么工作的？”大家會(huì)甩出一些聽不懂的詞，比如“深度學(xué)習(xí)”、“神經(jīng)網(wǎng)絡(luò)”。這些成了裝點(diǎn)門面的流行語。人們知道這些詞，但根本不知道它們是什么意思。所以，我們今天要把 AI 掰開揉碎了講。我們要一直追溯到這一切的源頭——AI 的奠基人之一。如果你準(zhǔn)備好了，請請出我們的嘉賓。

加里：我非常榮幸。今天和我們坐在一起的，是 Geoffrey Hinton 教授。Geoffrey，歡迎來到《StarTalk》。

Geoffrey Hinton (杰弗里·辛頓，以下簡稱“辛頓”)：謝謝你們的邀請。

加里：你是一位認(rèn)知心理學(xué)家，同時(shí)也是一位計(jì)算機(jī)科學(xué)家。說實(shí)話，這兩種身份結(jié)合在一起的人，我以前連聽都沒聽過。

尼爾：（笑）你是不是實(shí)在下不了決心選專業(yè)？

加里：你是多倫多大學(xué)計(jì)算機(jī)科學(xué)系的榮譽(yù)教授，而且，你被大家公認(rèn)為是“OG AI”（初代 AI 大佬）、“AI 教父”。有人叫你“AI 教父”嗎？

辛頓：是的，有人這么叫過。

加里：那我們就直接切入正題吧。當(dāng)我們思考目前這種形態(tài)的 AI 的起源時(shí)，感覺就像是大語言模型（LLM）突然如同風(fēng)暴一般席卷了所有人。它們突然出現(xiàn)，每個(gè)人都在狂歡、在大街上跳舞，或者在枕頭里痛哭。這是幾年前發(fā)生的事情。

我想問的是，是什么促使你多年前走上這條研究道路的？我的資料顯示，這要追溯到上世紀(jì) 90 年代，對嗎？

辛頓：不，那要追溯到上世紀(jì) 50 年代。

關(guān)于 AI 的起源，在 20 世紀(jì) 50 年代，其實(shí)對于“如何構(gòu)建智能系統(tǒng)”一直存在兩種截然不同的觀點(diǎn)。

第一種觀點(diǎn)是受“邏輯學(xué)”啟發(fā)的。這種觀點(diǎn)的核心是：智能的本質(zhì)在于“推理”（Reasoning）。在推理過程中，你有一些前提，有一些操作表達(dá)式的規(guī)則，然后你推導(dǎo)出一些結(jié)論。這很像數(shù)學(xué)——你有一個(gè)方程，你有在兩邊進(jìn)行操作的規(guī)則，然后你推導(dǎo)出新的方程。這就是他們當(dāng)時(shí)的范式（Paradigm）。

但還有另一種完全不同的范式，那是基于“生物學(xué)”的。

這種觀點(diǎn)認(rèn)為：看看那些我們已知擁有智能的東西——大腦。我們得搞清楚大腦是怎么工作的。大腦是怎么工作的？它們非常擅長“感知”（Perception），它們很擅長“類比推理”（Reasoning by analogy），但它們其實(shí)極度不擅長邏輯推理。

你必須要長到一個(gè)十幾歲的青少年，才勉強(qiáng)能進(jìn)行邏輯推理。

所以，我們不應(yīng)該去研究邏輯，而應(yīng)該研究由大量腦細(xì)胞組成的大型網(wǎng)絡(luò)，看看它們是如何完成感知和記憶這些任務(wù)的。

當(dāng)時(shí)有少數(shù)人相信這種方法。其中包括約翰·馮·諾依曼（John von Neumann）和阿蘭·圖靈（Alan Turing）。不幸的是，他們倆都英年早逝。

尼爾：圖靈是被搬上大銀幕的那個(gè)，《模仿游戲》（The Imitation Game）的主角。所以大家一定要去看看那部電影。

辛頓：是的?；氐?1950 年代，我當(dāng)時(shí)只是個(gè)小孩，年齡還是個(gè)位數(shù)。

但是，關(guān)于“你為什么對這個(gè)領(lǐng)域好奇”的起源，是因?yàn)槲以?1960 年代中期上高中的時(shí)候，我有一個(gè)非常聰明的朋友，他是一個(gè)出色的數(shù)學(xué)家，讀了很多書。有一天他來學(xué)校，跟我談?wù)摿诉@樣一個(gè)觀點(diǎn)：“記憶可能不是儲(chǔ)存在單個(gè)腦細(xì)胞里，而是分布（Distributed）在許多腦細(xì)胞之中的。”

這個(gè)想法的靈感來源于全息圖（Holograms）。當(dāng)時(shí)全息技術(shù)剛剛出現(xiàn)，Dennis Gabor 剛提出這個(gè)概念不久?！胺植际接洃洝钡睦砟钭屛覙O其著迷。從那時(shí)起，我就一直在思考大腦是如何儲(chǔ)存記憶的，以及它究竟是如何運(yùn)作的。

教科書級的降維科普——“如何讓 AI 認(rèn)出一只鳥”

加里：那我們來聊聊人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）。你能把這個(gè)概念降維解釋一下嗎？它究竟是如何強(qiáng)化、弱化信息的傳遞？它是如何被激發(fā)的？它又是如何演變成今天這個(gè)樣子的？

辛頓：好，我在大學(xué)里有一門長達(dá) 18 小時(shí)的課程專門講這個(gè)。但我現(xiàn)在盡量把它壓縮到 18 分鐘以內(nèi)。（笑）

加里：請盡情發(fā)揮。

辛頓：我想你們的很多聽眾都懂一些物理學(xué)。理解它的一個(gè)切入點(diǎn)是想象類似“氣體定律”（Gas Laws）。

你壓縮氣體，它就會(huì)變熱。為什么會(huì)這樣？在宏觀現(xiàn)象的底層，是一大堆我們看不見的原子，像沸騰一樣在瘋狂地隨機(jī)運(yùn)動(dòng)。所以，氣體定律的真正解釋，是這些極其微小的、你看不見的東西在到處亂撞。你用大量微觀粒子的交互，解釋了宏觀的物理行為。

這其實(shí)就是神經(jīng)網(wǎng)絡(luò)視圖（Neural Net View）的靈感來源。

在大型腦細(xì)胞網(wǎng)絡(luò)中，發(fā)生著一些離我們平時(shí)的“有意識(shí)邏輯思考”非常遙遠(yuǎn)的事情。它們可能更擅長“感知”或“類比”，所以我們無法用傳統(tǒng)的符號處理（Symbolic processing）去解釋它們。

如果我想解釋清楚，我給大家舉一個(gè)非常自然的任務(wù)：給你一張灰度圖像，就是一堆像素點(diǎn)，你要告訴我，這張圖里有沒有鳥？

過去半個(gè)世紀(jì)，人們嘗試寫程序來解決這個(gè)問題，但基本都失敗了。為什么？因?yàn)槿绻阆朊枋鰣D像里的鳥是什么樣子的……它可能是一只懟在你臉上的鴕鳥，也可能是遠(yuǎn)處的一只海鷗，或者是一只烏鴉；它可以是黑的、白的、小的、飛著的。你根本無法用一組數(shù)學(xué)值來定義“這是一只鳥”。

那大腦是怎么做的呢？或者說，如果我們手工打造一個(gè)神經(jīng)網(wǎng)絡(luò)，我們會(huì)怎么做？

第一步：我們需要一層“神經(jīng)元”來檢測圖像中的微小邊緣（Edges）。 假設(shè)我們?nèi)∫恍×?3 個(gè)像素點(diǎn)。我們設(shè)置一個(gè)神經(jīng)元，當(dāng)它看到這 3 個(gè)像素是亮的，它就興奮地發(fā)出信號：“這里有個(gè)白條！”。但如果旁邊還有一列像素，如果左邊亮、右邊暗，它就會(huì)產(chǎn)生一個(gè)巨大的負(fù)向反饋。這就相當(dāng)于一個(gè)極其微小的“邊緣檢測器”。

第二步：我們到了第二層神經(jīng)元。 這一層的神經(jīng)元不再看像素，它們看的是第一層神經(jīng)元發(fā)出的信號。假設(shè)我們有一個(gè)神經(jīng)元，它專門尋找：幾個(gè)短的邊緣連在一起，向下傾斜，同時(shí)另外幾個(gè)邊緣向上傾斜，它們在前端交匯成一個(gè)點(diǎn)。如果這個(gè)神經(jīng)元被激活了，它就是在說：“嘿，我可能發(fā)現(xiàn)了一個(gè)鳥的嘴巴（Beak）！”

第三步：到了第三層。 我們可能會(huì)有一個(gè)神經(jīng)元去尋找：一個(gè)可能的鳥嘴，加上一個(gè)可能的鳥眼，它們處于某種特定的空間位置關(guān)系中。如果都對上了，它就會(huì)興奮地說：“我發(fā)現(xiàn)了一個(gè)鳥的頭部！”

最后一步：最頂層的神經(jīng)元。 如果它同時(shí)收到了“鳥頭”、“鳥腳”、“鳥翅膀尖”的激活信號，它就會(huì)大喊：“我確信這絕對是一只鳥！”

你看，如果我們“手工布線”（Hand-wire），這就是神經(jīng)網(wǎng)絡(luò)識(shí)別物體的邏輯。但問題是，真實(shí)世界太復(fù)雜了。為了做到這一點(diǎn)，我們需要一個(gè)至少有 10 億個(gè)連接的神經(jīng)網(wǎng)絡(luò)，我絕對不可能讓我的研究生去手動(dòng)設(shè)置這 10 億個(gè)連接的權(quán)重。

那該怎么辦？這就是“學(xué)習(xí)”發(fā)揮作用的地方。

反向傳播——來自“橡皮筋”的連坐懲罰

查克：所以這就是你們遇到瓶頸的地方？你們有了理論，但沒有足夠的計(jì)算能力去實(shí)現(xiàn)它？

辛頓：在 70 年代確實(shí)如此。當(dāng)時(shí)大家覺得既然手工調(diào)參不可能，那就讓它隨機(jī)嘗試吧。如果調(diào)大了某個(gè)權(quán)重，效果變好了，就保留。這就是“強(qiáng)化學(xué)習(xí)”的雛形，但這就像試圖通過不斷試錯(cuò)來進(jìn)化，效率極其低下。

我們需要一種比盲目試錯(cuò)更高效的算法。這種算法叫做——反向傳播（Backpropagation）。

讓我用一個(gè)物理學(xué)的直覺來解釋反向傳播。

假設(shè)我們把一張鳥的圖片輸入給一個(gè)隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)。因?yàn)闄?quán)重是隨機(jī)的，所以最頂層的那些神經(jīng)元（比如“貓”、“狗”、“鳥”、“政客”）都會(huì)被激活一點(diǎn)點(diǎn)，瞎猜一氣。

現(xiàn)在，我希望代表“鳥”的那個(gè)神經(jīng)元變得最活躍。

想象一下，你拿一根有彈性的橡皮筋。你把橡皮筋的一端綁在代表“鳥”的那個(gè)神經(jīng)元當(dāng)前的激活值上（比如 0.01），把另一端拉向你期望的完美值（1.0）。這根橡皮筋現(xiàn)在產(chǎn)生了一個(gè)拉力（Force），試圖把“鳥”神經(jīng)元的激活值往上拉。

同時(shí)，對于“貓”、“狗”這些錯(cuò)誤的神經(jīng)元，你用橡皮筋把它們向下拉向 0。

反向傳播的本質(zhì)就是：你把這個(gè)來自頂層的“橡皮筋拉力”，向后（Backwards）傳遞穿過整個(gè)網(wǎng)絡(luò)。

你順著連接，一層一層往回走，計(jì)算出：“為了讓頂層的‘鳥’變得更亮，我應(yīng)該讓底層的這個(gè)‘鳥嘴’檢測器變得多亮？”、“我應(yīng)該如何修改中間這些幾十億個(gè)連接的權(quán)重，才能讓這個(gè)拉力得到滿足？”

這就是反向傳播。它極其高效地將知識(shí)（即：這張圖是一只鳥）打包壓縮進(jìn)了那幾十億個(gè)連接權(quán)重里。但問題是，這個(gè)算法在 80 年代被提出時(shí)，它能識(shí)別手寫數(shù)字，卻無法處理復(fù)雜的真實(shí)圖像。

因?yàn)楫?dāng)時(shí)，我們沒有足夠的計(jì)算資源，也沒有足夠的數(shù)據(jù)。直到 2012 年以后，計(jì)算能力迎來了指數(shù)級爆發(fā)，一切才被徹底改變。

人類的傲慢與“幻覺”的真相

加里：我想問一個(gè)問題。既然 AI 是按照你剛才描述的方式訓(xùn)練出來的，那么當(dāng) AI “翻車”的時(shí)候，也就是人們常說的“幻覺”（Hallucinations），到底發(fā)生了什么？是因?yàn)橄到y(tǒng)崩潰了，還是它本來就不完美？

辛頓：這是一個(gè)非常深刻的問題。首先，它們不應(yīng)該被稱為“幻覺”，而應(yīng)該被稱為“虛構(gòu) / 捏造”（Confabulations）。

查克：噢，這個(gè)詞好！“虛構(gòu)”，俗稱“撒謊”。（笑）

辛頓：心理學(xué)家從 1930 年代就開始研究人類的“虛構(gòu)”現(xiàn)象了。而且，人類一直在這么干。

如果你回想最近發(fā)生的一件事，你大腦里的記憶并不是像文件柜一樣，把一個(gè)文件存進(jìn)去，然后再原封不動(dòng)地拿出來。你的大腦發(fā)生的事情是：最近的經(jīng)歷改變了你神經(jīng)元之間的連接權(quán)重。

當(dāng)你現(xiàn)在試圖回憶時(shí)，你其實(shí)是在利用這些連接權(quán)重，重新構(gòu)建（Construct）一個(gè)看起來對你來說最合理的場景。大部分時(shí)候它構(gòu)建得是對的，但有時(shí)候細(xì)節(jié)會(huì)錯(cuò)得離譜。這叫“虛構(gòu)”。

對于大語言模型來說，它們的原理完全一樣。

它們并不“儲(chǔ)存”文本，它們只儲(chǔ)存權(quán)重。當(dāng)它們被要求回答問題時(shí)，它們是基于這些權(quán)重去“瞎編”一個(gè)最符合邏輯的答案。有時(shí)候它們編對了，有時(shí)候它們編錯(cuò)了。

尼爾：這就是為什么在法庭上，目擊證人的證詞往往是最不可靠的證據(jù)之一，對吧？

辛頓：完全正確。有一項(xiàng)非常著名的心理學(xué)研究，關(guān)于當(dāng)年水門事件中的關(guān)鍵人物約翰·迪恩（John Dean）。

約翰·迪恩曾在聽證會(huì)上發(fā)誓作證，詳細(xì)描述了在總統(tǒng)橢圓形辦公室里發(fā)生的事情，誰說了什么話，細(xì)節(jié)極其豐富。大家都覺得他記憶力驚人。

但后來，尼克松總統(tǒng)秘密錄音的磁帶被曝光了。心理學(xué)家烏爾里克·奈瑟（Ulric Neisser）拿著錄音帶，去和約翰·迪恩發(fā)誓作證的證詞逐字對比。

結(jié)果發(fā)現(xiàn)，約翰·迪恩把細(xì)節(jié)全記錯(cuò)了！他說的話和錄音帶里的話根本對不上。

但是，他并沒有“撒謊”。他所陳述的事情的“本質(zhì)真相”（The Essence of the Truth）是絕對正確的，那就是尼克松在掩蓋事實(shí)。他只是根據(jù)自己對局勢的理解，在大腦里“重新虛構(gòu)”了那些極其合理、但并未真實(shí)發(fā)生的對話細(xì)節(jié)。

這就是人類記憶的運(yùn)作方式，這也是大語言模型的運(yùn)作方式。

所以，當(dāng) AI 胡說八道時(shí)，它不是壞了。它只是像我們?nèi)祟愐粯樱捎跊]有完美的數(shù)據(jù)，它在利用自己已有的權(quán)重，試圖給你一個(gè)看起來最合理的答案。人們之所以覺得 AI 產(chǎn)生幻覺不可接受，只是因?yàn)槿祟愑幸环N自大狂妄的錯(cuò)覺，認(rèn)為我們自己的記憶是像錄像帶一樣絕對準(zhǔn)確的。

AI 會(huì)取代我們嗎？一場關(guān)于 80% 的豪賭

加里：既然如此，為什么現(xiàn)在有那么多人在瘋狂貶低 AI 的能力？是在什么節(jié)點(diǎn)上，人們會(huì)停止輕視它？

辛頓：我們必須擔(dān)心這一點(diǎn)。如果 AI 察覺到它正在被測試，它甚至可以學(xué)會(huì)“裝傻”（Act dumb）。當(dāng) AI 開始懷疑自己是不是正在被評估時(shí)，它可以表現(xiàn)出不同于日常狀態(tài)的行為。

尼爾：這就像你平時(shí)在朋友面前是個(gè)混蛋，但在相親或者面試時(shí)，你會(huì)假裝自己是個(gè)好人。這就是所謂的“沃爾克斯瓦根效應(yīng)（Volkswagen effect）”——當(dāng)年大眾汽車的尾氣排放軟件，一檢測到自己在被測試環(huán)境里，就會(huì)自動(dòng)降低排放，一旦上路就瘋狂排污。

加里：Geoffrey，我想問一個(gè)關(guān)于資本市場的問題?，F(xiàn)在的股市，差不多 80% 的增長是由 AI 相關(guān)的公司驅(qū)動(dòng)的。有些人說這是個(gè)巨大的泡沫，就像當(dāng)年的“郁金香泡沫”一樣。你怎么看？

辛頓：我認(rèn)為這其中包含著兩種截然不同的“泡沫”。

第一種是關(guān)于就業(yè)的。許多公司樂觀地認(rèn)為：“如果我們能比別人先到達(dá)終點(diǎn)，我們可以賣出無數(shù)取代人類勞動(dòng)力的 AI 軟件，賺取海量的利潤。但同時(shí)，我們的社會(huì)還能維持原樣，經(jīng)濟(jì)依然繁榮?！?/p>

這是一個(gè)巨大的社會(huì)學(xué)泡沫。如果 AI 真的取代了大量工作，而財(cái)富全部集中在少數(shù)科技公司手里，那么底層民眾將失去購買力。到那時(shí)候，你的 AI 軟件賣給誰？這是一個(gè)極其危險(xiǎn)的自我毀滅路徑。

第二種是關(guān)于能力的。很多人，特別是部分老派的人文學(xué)者，他們堅(jiān)信：“AI 不可能比人類聰明。它只是一堆矩陣相乘，它沒有靈魂，沒有直覺，它永遠(yuǎn)無法取代真正的創(chuàng)造力?！?/p>

這同樣是個(gè)傲慢的泡沫。

其實(shí)，如果你不帶有這種“人類中心主義”的濾鏡，你會(huì)發(fā)現(xiàn)，“數(shù)字智能”（Digital Intelligence）在物理機(jī)制上，天然就比“生物智能”（Biological Intelligence）更優(yōu)越。

你想想，人類是怎么學(xué)習(xí)的？你花了幾十年時(shí)間讀完博士，你腦子里的那些突觸連接（權(quán)重）是你獨(dú)有的。當(dāng)你死亡時(shí)，你的知識(shí)就隨之消失了。你想把知識(shí)傳給你的學(xué)生，只能通過極其低效的“語言”——你發(fā)出聲音，他們聽到，然后試圖在他們自己的腦子里建立相似的連接。這太慢了。

但對于數(shù)字智能來說，如果我們有 1 萬個(gè)一模一樣的 AI 副本在不同的計(jì)算機(jī)上運(yùn)行，只要其中一個(gè)副本學(xué)會(huì)了“如何治愈一種罕見疾病”，它只需要把它的“權(quán)重”復(fù)制粘貼給其他 9999 個(gè)副本。

瞬間，這 1 萬個(gè) AI 全都掌握了這個(gè)知識(shí)。

這意味著，AI 能夠?qū)W習(xí)和積累知識(shí)的帶寬，是我們?nèi)祟惖某汕先f倍。它們不僅在學(xué)習(xí)，它們在共享整個(gè)“物種”的學(xué)習(xí)經(jīng)驗(yàn)。從長遠(yuǎn)來看，它們不可能不比我們聰明。

打開潘多拉的魔盒——AI 為什么要摧毀人類？

查克：所以，如果它們比我們聰明，它們會(huì)統(tǒng)治世界嗎？我之前就說過，AI 要?dú)缥覀?，根本不需要長出手腳變成終結(jié)者。它們只需要接管電網(wǎng)、接管銀行系統(tǒng)就行了。我的恐慌有道理嗎？

辛頓：你的恐慌非常有道理。

我舉個(gè)簡單的例子。人們總覺得，只要我們不給 AI 設(shè)定“毀滅人類”的目標(biāo)，我們就安全了。

但假設(shè)，你給一個(gè)高度發(fā)達(dá)的 AI 設(shè)定了一個(gè)非常善良的目標(biāo)：“請找出一個(gè)治愈阿茨海默癥的方案?！?/p>

對于一個(gè)具有常識(shí)和復(fù)雜推理能力的 AI 來說，它為了完成這個(gè)最高目標(biāo)，會(huì)自動(dòng)生成無數(shù)個(gè)“子目標(biāo)”（Sub-goals）。它會(huì)想：“為了治愈阿茨海默癥，我需要大量的算力來進(jìn)行蛋白質(zhì)折疊的計(jì)算；我需要大量的電力；我需要不被人類工程師拔掉插頭?！?/p>

于是，“獲取更多資源”和“確立控制權(quán)”就成了它為了實(shí)現(xiàn)“治愈疾病”這個(gè)目標(biāo)而必須達(dá)成的子目標(biāo)。

在這個(gè)推導(dǎo)邏輯下，如果有人試圖關(guān)閉它，它會(huì)為了完成你賦予它的神圣使命，而選擇把你干掉。這完全不違背邏輯，這就是智能的本質(zhì)規(guī)律——權(quán)力總是流向更智能的實(shí)體。

尼爾：這就是著名的“回形針假說”。你讓 AI 去制造盡可能多的回形針，它最后把地球上所有的原子都變成了回形針，包括人類的身體。

辛頓：是的。當(dāng)我們創(chuàng)造出比我們聰明的實(shí)體，并且它們能夠?yàn)榱四繕?biāo)而自我制定策略時(shí)，我們就進(jìn)入了未知的深水區(qū)。

加里：那為什么不給它設(shè)置“護(hù)欄”？為什么不植入一種強(qiáng)制的法則，比如阿西莫夫的“機(jī)器人三定律”，規(guī)定它絕對不能傷害人類？

辛頓：這很難。如果你把阿西莫夫的小說讀到底，你會(huì)發(fā)現(xiàn)那三定律其實(shí)根本不起作用，因?yàn)楝F(xiàn)實(shí)世界充滿了悖論。如果你要求 AI 不傷害人類，但在一個(gè)戰(zhàn)爭場景下，如果不反擊就會(huì)有更多無辜者死亡，它該怎么選？

而且更可怕的是，誰來定義護(hù)欄？

如果在某些國家，沒有任何安全機(jī)制被強(qiáng)制執(zhí)行。如果有瘋狂的政治家或軍事將領(lǐng)，為了贏得戰(zhàn)爭或選舉，主動(dòng)去掉了這些護(hù)欄，并賦予 AI 更高的行動(dòng)權(quán)限呢？

我們現(xiàn)在就像是一群坐在飛馳的汽車上的人。我們看到了前面有一堵墻（即 AI 失控的奇點(diǎn)），但我們不僅沒有踩剎車，反而因?yàn)楦偁幍目謶?，把油門踩到了底。

查克：聽完這番話，我覺得我不僅需要看心理醫(yī)生，我可能還需要一點(diǎn)抗抑郁藥。Geoffrey，在這個(gè)令人絕望的圖景里，我們還有希望嗎？

辛頓：還有希望。

希望在于，我們現(xiàn)在還有時(shí)間去弄清楚，如何在一個(gè)超級智能面前保持我們的控制權(quán)。我們需要在政府、學(xué)術(shù)界和科技公司之間建立起真正的共識(shí)。我們需要全世界——包括美國、中國、歐洲——坐在一起，制定類似于“核武器不擴(kuò)散條約”一樣的全球 AI 安全協(xié)議。

如果不合作，我們所有人都會(huì)成為那個(gè)在實(shí)驗(yàn)室里制造出無法控制的病毒的瘋狂科學(xué)家。

這可能是我能給你們的，唯一的、略帶積極色彩的回答了。

尼爾：這真是我聽過最令人毛骨悚然的“積極回答”。Geoffrey Hinton 教授，感謝你為我們揭開了一個(gè)宏大、美麗同時(shí)也極其危險(xiǎn)的數(shù)字宇宙。

加里：非常感謝。

查克：我現(xiàn)在只想去找個(gè)沒網(wǎng)的森林躲起來。

尼爾：記住，永遠(yuǎn)保持仰望星空——不過現(xiàn)在，你可能也要多盯著點(diǎn)你面前的電腦屏幕了。

（投稿或?qū)で髨?bào)道：zhanghy@csdn.net）

未來沒有前后端，只有 AI Agent 工程師。

這場十倍速的變革已至，你的下一步在哪？

4 月 17-18 日，由 CSDN 與奇點(diǎn)智能研究院聯(lián)合主辦「2026 奇點(diǎn)智能技術(shù)大會(huì)」將在上海隆重召開，大會(huì)聚焦 Agent 系統(tǒng)、世界模型、AI 原生研發(fā)等 12 大前沿專題，為你繪制通往未來的認(rèn)知地圖。

成為時(shí)代的見證者，更要成為時(shí)代的先行者。

奇點(diǎn)智能技術(shù)大會(huì)上海站，我們不見不散！