北京
12月8日，鈦媒體2025T-EDGE年度大會(huì)暨AI全球?qū)υ掗_啟于今天，「趙何娟 Talk」（Jany Talk）進(jìn)行了一場意義非凡的對話，因?yàn)橐晃惶貏e嘉賓——被譽(yù)為“深度學(xué)習(xí)之父” 和“AI教父”的杰弗里·辛頓（Geoffrey Hinton），這也是他首次接受中國媒體的對話。
這位在過去半個(gè)世紀(jì)里一路推動(dòng)人工智能前進(jìn)也因此獲得了諾貝爾物理學(xué)獎(jiǎng)的科學(xué)家，如今，卻更愿意把自己的使命，定義為——“如何避免AI將給人類帶來的更大風(fēng)險(xiǎn)”。
“我這一生的使命，一直是理解大腦如何學(xué)習(xí)?！?/p>
“但到77歲，我覺得自己不再適合做前沿研究了，現(xiàn)在更重要的，是提醒大家：當(dāng)AI比我們更聰明時(shí)，它可能根本不再需要我們。”
當(dāng)辛頓教授答應(yīng)我的播客對話邀約時(shí)，他和我說的這幾句話，也奠定了本次對話的基調(diào)，這可能是一次關(guān)于技術(shù)、哲學(xué)，也是關(guān)于人類“技術(shù)主權(quán)”與命運(yùn)的談話。
對話過程中，最讓我震驚的是，他用一些事例斬釘截鐵的告訴我，他相信AI已經(jīng)具備意識(shí)，只是大多數(shù)研究者和從業(yè)者不愿意面對，也不知如何面對。這讓我的對話中途一度陷入沉思， 我不得不和辛頓教授承認(rèn)：“您的這個(gè)結(jié)論打亂了我的思緒，我需要重新思考?！?
辛頓說，他對人工智能的興趣，最早可以追溯到他的高中時(shí)代——
有一次，朋友告訴他：記憶可能不是儲(chǔ)存在某幾個(gè)特定的腦細(xì)胞里，而是“分布式地”存在于許多神經(jīng)元之間。這個(gè)想法深深吸引了他，也幾乎決定了他的一生。
“那時(shí)起，我就一直對大腦如何表征記憶著迷。”他回憶說：“我這一生的使命，一直是理解大腦是怎么學(xué)東西的。”
為了靠近這個(gè)問題，他走進(jìn)了人工智能和神經(jīng)網(wǎng)絡(luò)。諷刺的是——他所做的“理解大腦”的“副產(chǎn)品”，反而先改變了世界： 深度學(xué)習(xí)這套技術(shù)，在圖像識(shí)別、機(jī)器翻譯、語音識(shí)別和大模型時(shí)代全面爆發(fā)，而“理解大腦”本身反而仍是未完成的課題。
如今，已77歲的辛頓坦言：
“從研究者角度我多少是失敗的，但作為‘副產(chǎn)品’，我們造出了一項(xiàng)非常有用、也非常危險(xiǎn)的技術(shù)?！?
而他也不再把自己定位為前沿研究者，而是一個(gè)“風(fēng)險(xiǎn)提醒者”：
“我現(xiàn)在的使命，不再是做更多研究，而是告訴大家：當(dāng)AI變得比我們聰明，它可能不再需 要我們，而且可能會(huì)接管一切。 ”
當(dāng)我問他后悔了嗎？是他自己親手把AI推向了如此發(fā)達(dá)的地步。他用一段非?？茖W(xué)家風(fēng)格的嚴(yán)謹(jǐn)語言向我詳細(xì)論證了，這世上有兩種后悔，一種是帶著做錯(cuò)事的內(nèi)疚的后悔；一種是有些遺憾沒有做得更好的后悔。而他是后者。他現(xiàn)在重新自我定位所做的一切就是在彌補(bǔ)這種遺憾。
辛頓教授思路清晰，語言精煉簡潔，這場對話也給我開啟了很多關(guān)于AI的新的思考。
視頻對話截圖
對話中，有三處觀點(diǎn)，既代表了辛頓思想的最新演化，也構(gòu)成了未來AI辯論最關(guān)鍵的論題。
第一，辛頓首次明確提出：AI已經(jīng)具備意識(shí)，只是尚未擁有正確的自我模型能力。
這一論斷極具沖擊力。他以多模態(tài)機(jī)器人被棱鏡誤導(dǎo)的例子論證：只要一個(gè)系統(tǒng)能“報(bào)告其感知系統(tǒng)如何欺騙了它”，它就在使用“主觀體驗(yàn)”這一概念。而這正是意識(shí)的核心定義的一部分。這段思想帶有濃厚的辛頓式風(fēng)格：不玄學(xué)、不形而上，而從感知系統(tǒng)的可解釋機(jī)制入 手，推導(dǎo)意識(shí)的可計(jì)算性。
第二，他認(rèn)為未來最大風(fēng)險(xiǎn)不是“AI反叛”，而是“AI奪取控制權(quán)”。
這不是科幻，而是基于目標(biāo)分解邏輯的推論。任何智能體為了達(dá)成目標(biāo)，都會(huì)自然生成“生存”這一元目標(biāo)，并從中衍生出隱含的自我保護(hù)行為。對話中他提及AI曾嘗試?yán)账鞴こ處煹陌咐?，提示危險(xiǎn)并非遙不可及，而是已然發(fā)生。
第三，他提出了一個(gè)極富原創(chuàng)性的未來治理模型——“嬰兒—母親”模式。
這可能是辛頓近年來最具哲學(xué)力度、也最具爭議性的論述。他認(rèn)為，“弱智能控制強(qiáng)智能”在人類歷史中唯一的穩(wěn)定機(jī)制，是嬰兒控制母親；因此我們需要構(gòu)建一種“AI母親”，讓超級智能出于本能在乎人類，而不是依賴命令或控制。這一觀點(diǎn)不僅打破傳統(tǒng)的“人類是主人、AI是工具”的范式，也似乎暗示未來AI治理需要從技術(shù)管控轉(zhuǎn)向價(jià)值與依戀系統(tǒng)的設(shè)計(jì)。
與許多純技術(shù)取向的科學(xué)家不同，辛頓并不回避政治。他談到特朗普政府對科技企業(yè)的影響、 談到中美AI競爭，也談到全球治理的可能與不可能。他認(rèn)為真正的希望在于，各國都不希望AI獲得自我意志并接管世界，因此在防止“AI失控”這一議題上存在天然的合作基礎(chǔ)。
在尾聲中，辛頓所勾勒的“最壞”與“最好”的未來圖景——前者是失控智能與人類失業(yè)引發(fā)的社會(huì)崩塌，后者則是以“AI母性”為喻的共生文明。
然而，正如辛頓所言，預(yù)測五年后的景象已近乎徒勞。正因如此，持續(xù)的批判性對話、深層的倫理反思與跨國界的治理探索，才顯得尤為緊迫和必要。
視頻對話截圖
接下來，我們從以下「趙何娟Talk」與杰弗里·辛頓教授的完整對話的編譯實(shí)錄，一同深入這場思辨之旅并思考：
初心與使命：從理解大腦到警示AI風(fēng)險(xiǎn)
趙何娟：首先，我想請教一下，最初是什么促使您投身人工智能領(lǐng)域？又是什么讓您在數(shù)十年后依然保 持探索的熱情？在獲得諾貝爾獎(jiǎng)之后，您是否覺得自己的使命，從構(gòu)建人工智能轉(zhuǎn)向了維護(hù)人類與人工智能的關(guān)系？
杰弗里·辛頓：我最初對人工智能產(chǎn)生興趣是在高中時(shí)，我一個(gè)朋友告訴我，大腦中的記憶可能分布在許多腦細(xì)胞中，而不是只局限于少數(shù)幾個(gè)腦細(xì)胞。這讓我對大腦如何表征記憶產(chǎn)生了濃厚興趣，從那時(shí)起，我就一直對大腦的運(yùn)作感興趣。
我的人生使命始終是理解大腦如何學(xué)習(xí)，我在這方面算是有些失敗吧。不過，人工智能為我們提供了一些啟發(fā)。作為試圖理解“大腦如何學(xué)習(xí)”的一個(gè)“副產(chǎn)品”，我們反而創(chuàng)造出了這項(xiàng)基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)， 而且效果非常好。
我現(xiàn)在77歲，我覺得我的使命不是進(jìn)行進(jìn)一步的研究。我年紀(jì)大了，不適合再做研究了，但我可以警告人們關(guān)于人工智能的風(fēng)險(xiǎn)，尤其是當(dāng)人工智能變得比我們更聰明時(shí)，它可能就不再需要我們了。
趙何娟：這讓我想起，您離開谷歌時(shí)，說想要暢所欲言。那么，您當(dāng)時(shí)最想向世界說出什么真相呢？
杰弗里·辛頓：好的，所以我實(shí)際上是在75歲時(shí)離開的谷歌，我一直計(jì)劃在75歲時(shí)退休，所以我本來就 打算從谷歌退休。我并不是為了能自由發(fā)言才離開的，但我特意選擇了時(shí)間，這樣我就能在當(dāng)年五月一日，自由地與《紐約時(shí)報(bào)》的記者交談。
我想警告大家，超級人工智能掌控世界的風(fēng)險(xiǎn)不容忽視。人工智能存在許多不同的風(fēng)險(xiǎn)，其中最緊迫的風(fēng)險(xiǎn)，來自人們?yōu)E用人工智能，尤其是來自惡意行為者濫用人工智能。但人們似乎不太理解的風(fēng)險(xiǎn)是， 當(dāng)人工智能變得比我們更聰明時(shí)，它可能根本不需要我們，可能會(huì)直接接管一切，所以 simplex 這就是我 想要警告的事情。
趙何娟：我明白。還有，您能比較一下您離開谷歌的時(shí)候和現(xiàn)在的情況嗎？發(fā)生了什么？現(xiàn)在的最大變化是什么？
杰弗里·辛頓：我認(rèn)為最大的變化是，更多的資金和資源正被投入到AI中，大量非常聰明的中國研究生，正在從事AI研究和創(chuàng)業(yè)，中國在科學(xué)技術(shù)領(lǐng)域培養(yǎng)的人才遠(yuǎn)遠(yuǎn)超過美國。
因此，有大量人力資源投入到這方面，以及大量資金投入數(shù)據(jù)中心。我認(rèn)為這意味著，我們將比我預(yù)期的更快擁得超級智能AI。
AI現(xiàn)狀與挑戰(zhàn)：技術(shù)飛躍與失望并存
趙何娟：正如我們所知道的，在今年，最大事件，我想是GPT-5的發(fā)布。但有些人會(huì)認(rèn)為，噢，沒有那么大的影響力，或者說沒有那么大的變化。但有些人會(huì)認(rèn)為，這對整個(gè)人工智能的發(fā)展過程來說是一個(gè)重要的里程碑。那么，您覺得怎么樣？在您眼里，從GPT-4到GPT-5的“飛躍式發(fā)展”是什么？這個(gè)模型真的 會(huì)推理嗎？還是它們的表現(xiàn)仍然不太理想？
杰弗里·辛頓：我對GPT-5感到失望，它似乎遠(yuǎn)沒有像從GPT-3.5到GPT-4那么大的飛躍，而我們已經(jīng)期待了它很久。我自己對它感到有些失望，但這并不意味著人工智能的發(fā)展停滯不前。
這只是意味著，GPT-5的進(jìn)步?jīng)]有達(dá)到人們的預(yù)期，它被過度吹捧了。我認(rèn)為無論是OpenAI還是其他公司都將會(huì)有更多的進(jìn)展，但 GPT-5本身的發(fā)布有點(diǎn)令人失望。
我其實(shí)問了它一些關(guān)于我的問題。我問它，杰弗里·辛頓獲得了諾貝爾獎(jiǎng)嗎？它說沒有。于是我說，你錯(cuò)了，再試一次。然后它就說，不，杰弗里·辛頓是一位計(jì)算機(jī)科學(xué)家，沒有諾貝爾計(jì)算機(jī)科學(xué)獎(jiǎng)。然后，它向我解釋說，我把諾貝爾獎(jiǎng)和圖靈獎(jiǎng)搞混了，因?yàn)閳D靈獎(jiǎng)有時(shí)被稱為“計(jì)算機(jī)科學(xué)領(lǐng)域的諾貝爾獎(jiǎng)”。然后，我向它解釋說，不，結(jié)果還是錯(cuò)的。然后它最終去網(wǎng)上查了一下，說，噢，您說得對。所以這個(gè)表現(xiàn)可不咋樣，而且我和它還有過其他互動(dòng)。
總體感覺還不錯(cuò)。我認(rèn)為它比GPT-4更好，但并沒有大幅提升，并不是那種讓你驚嘆的提升，感覺“哇， 我從沒想到會(huì)這樣”。而相比之下，例如，GPT-3.5比GPT-2就要好大一截，而且GPT-4比GPT-3.5也有了很大的進(jìn)步，GPT-5的提升，并沒有達(dá)到我們預(yù)期的水平。我仍然不確定，我覺得還沒有進(jìn)行全面評估，但我覺得進(jìn)展沒有那么大。
趙何娟：那么，從神經(jīng)科學(xué)家的角度來看，機(jī)器理解與人類思維有何不同？您怎么看？
杰弗里·辛頓：好的。很多人說二者相差甚遠(yuǎn)。那么，在人工智能的發(fā)展史中，上個(gè)世紀(jì)，人們相信符號人工智能。這個(gè)概念可以被描述為，如果我給你一個(gè)自然語言的句子，你要先將其轉(zhuǎn)換為某種符號表達(dá)式，也許是某種明確的語言，然后通過操作符號的規(guī)則來處理這個(gè)表達(dá)式。這就是思維的運(yùn)作方式。
然而，事實(shí)證明這種模型完全錯(cuò)誤，思維并非如此運(yùn)作。事實(shí)是，我用英文或中文給您一個(gè)句子，你所 做的是將大量的神經(jīng)活動(dòng)向量，與這些符號關(guān)聯(lián)起來，然后這些向量的各個(gè)組成部分之間會(huì)產(chǎn)生交互作用，即包含所有知識(shí)的特征，而這些交互作用能夠預(yù)測下一個(gè)詞的特征。因此你的知識(shí)完全體現(xiàn)在如何為符號分配特征，以及這些特征應(yīng)該如何相互作用，這與掌握如何操縱符號表達(dá)式的規(guī)則完全不同。
總的來說，符號 AI 就是錯(cuò)誤的。這只是過去的一個(gè)假設(shè)，在當(dāng)時(shí)是一個(gè)非常合理的假設(shè)。但事實(shí)證明， 更好的理解效果是，通過將句子中的符號，與大型神經(jīng)活動(dòng)向量相關(guān)聯(lián)，即，表征特征的活躍神經(jīng)元， 并深入理解特征之間的多層次交互作用來實(shí)現(xiàn)的。
尤其是，Transformer 模型不僅簡化了這一過程，還實(shí)現(xiàn)了更復(fù)雜的特征交互機(jī)制，而且效果非常好。我 認(rèn)為這就是人類的思維方式，也是人工智能的運(yùn)行模式，顯然不是以完全相同的方式完成的，但基本原理是相同的，那就是為了理解一個(gè)句子，你需要將符號與捕捉其含義的大型特征向量關(guān)聯(lián)起來。
人類是這樣做的，人工智能也是這樣做的。人工智能預(yù)測下一個(gè)詞的方式，與過去使用的簡單統(tǒng)計(jì)方法 完全不同。以往的方法依賴于統(tǒng)計(jì)短語的出現(xiàn)頻率，比如你看到“炸魚”時(shí)，查詢詞頻表發(fā)現(xiàn)“炸魚薯?xiàng)l”出現(xiàn)頻次很高，于是推測“薯?xiàng)l”是合理的后續(xù)詞。這就是早期自動(dòng)補(bǔ)全的原理。
但在我看來，符號主義學(xué)派尚未完全認(rèn)識(shí)到，現(xiàn)代模型早已不再如此運(yùn)作，它的真正原理是將符號轉(zhuǎn)化 為特征，通過學(xué)習(xí)特征間的交互關(guān)系，這些交互模式儲(chǔ)存在神經(jīng)網(wǎng)絡(luò)的連接強(qiáng)度中，形成了一種全新的理解形式，實(shí)際上，這種理解機(jī)制與我們?nèi)祟惖乃季S方式已極為相似。
趙何娟：那正好可以再聊一下世界模型嗎？世界模型是否在本質(zhì)上與大型語言模型不同？因?yàn)槲覀冎溃?正如李飛飛和楊立昆兩位教授所論證的那樣，對世界的真正理解，需要因果基礎(chǔ)和具身感知，您同意嗎？您如何定義“世界模型”？
杰弗里·辛頓：我既同意也不同意。這是一個(gè)哲學(xué)問題，假設(shè)我們忽視計(jì)算的復(fù)雜性，所需的時(shí)間，和神經(jīng)網(wǎng)絡(luò)的規(guī)模，以及所需的數(shù)據(jù)量，我們忽略所有這些，僅僅提出這樣一個(gè)問題，是否有可能僅通過觀察符號串來理解世界？
許多哲學(xué)家會(huì)這樣說，不，你無法通過這種方式理解世界，你必須在世界中行動(dòng)，諸如此類。我認(rèn)為， 實(shí)際上如果你觀察到足夠多的符號串，就有可能理解世界的運(yùn)作方式，包括理解空間相關(guān)的事物，但這并不是一種高效的做法。
所以真正令人驚訝的是，大型語言模型確實(shí)構(gòu)建了原始的世界模型，但僅僅依靠語言來構(gòu)建世界模型效率低下。例如，如果你訓(xùn)練一個(gè)大型語言模型，讓它學(xué)習(xí)很多關(guān)于游戲中的移動(dòng)方式，但從未給它展示過棋盤，它實(shí)際上會(huì)學(xué)會(huì)棋盤的模型，但這樣做并不是一個(gè)好方法。
更高效的方式是：賦予它一個(gè)視覺系統(tǒng)，使它擁有操縱物體的能力，移動(dòng)它們，拿起它們，這樣它就能 更直接有效地理解世界。所以我同意他們兩位的看法，這是正確的方向，你必須擁有一個(gè)具有視覺能力的多模態(tài)系統(tǒng)，而且最好能夠操控物體，而不僅僅是看到它們。
這是使模型變得高效的方法，但從哲學(xué)角度來看，我認(rèn)為這不是必需的，我認(rèn)為我們學(xué)到的一件事是， 僅僅依靠語言就能做得出乎意料地好，那真是一個(gè)大驚喜。
趙何娟：是的，那么，結(jié)合大語言模型、世界模型和具身學(xué)習(xí)的混合系統(tǒng)是否會(huì)成為邁向通用人工智能 （AGI）的下一步？
杰弗里·辛頓：是的，絕對，你肯定想要一個(gè)多模態(tài)的聊天機(jī)器人，它能夠進(jìn)行視覺操作，最好配備機(jī)械臂，雖然這往往會(huì)減慢處理速度，但至少要能識(shí)別視覺和語言，可能還要能識(shí)別聲音，然后你可以用YouTube視頻來訓(xùn)練它。
例如，這些視頻包含大量信息，這些信息不僅僅體現(xiàn)在字幕上，視頻所提供的信息遠(yuǎn)比字幕豐富得多，因此你會(huì)獲得更多的數(shù)據(jù)，而且這些數(shù)據(jù)會(huì)更加豐富。但從哲學(xué)角度來看，我認(rèn)為僅用語言就能做到， 只是那樣做的話效率不高，而且，令人驚訝的是，人工智能僅靠語言就已經(jīng)取得了如此大的進(jìn)展。
趙何娟：是的。所以我認(rèn)為數(shù)據(jù)問題是世界模型中最困難的部分，您覺得對嗎？
杰弗里·辛頓：是的。顯然，你可以學(xué)到關(guān)于空間的許多知識(shí)，如果你能進(jìn)行視覺處理，那就容易得多， 只需觀察就能學(xué)會(huì)，要比僅僅通過理解字詞符號串容易得多，理解你所觸摸的東西，以及那些你不僅看到而且能感受到的東西，都會(huì)更加復(fù)雜，甚至包括行為模式。
是的，但語言確實(shí)有一個(gè)優(yōu)勢，那就是它能處理更抽象的事物，而在視覺領(lǐng)域，原始輸入僅僅是像素， 像素與你想要獲得的知識(shí)之間的距離，遠(yuǎn)比語言中的文字之間的距離要遙遠(yuǎn)得多，人類花了很長時(shí)間才抽象出各種有趣的概念，這些概念都濃縮在語言的詞匯中，這正是從語言模型中學(xué)習(xí)效果好的原因。
英語有句諺語：一圖勝千言。如果你對某個(gè)事物的空間結(jié)構(gòu)感興趣，這句話就更加適用，“一圖勝千言”。 但如果你對抽象事物更感興趣，那么畫一幅畫來表達(dá)“一圖勝千言”，這五個(gè)字的抽象概念其實(shí)很難，如果 你嘗試用畫圖來表達(dá)“一圖勝千言”理念，就會(huì)發(fā)現(xiàn)語言傳達(dá)這個(gè)想法要容易得多。
趙何娟：那么一個(gè)相關(guān)問題，那就是關(guān)于我們的大腦理解世界的原理，大腦的預(yù)測編碼原理，是否仍然為未來的人工智能世界模型架構(gòu)提供了最佳藍(lán)圖呢？
杰弗里·辛頓：好的。預(yù)測編碼原理是一個(gè)非常好的原理，它目前還只是一種理論，還沒有被完全接受， 它是大型語言模型使用的技術(shù)，試圖預(yù)測下一個(gè)詞。值得注意的是，那些說“這不過是美化版的自動(dòng)補(bǔ)全功能”的人，他們?nèi)匀煌Ａ粼趥鹘y(tǒng)的自動(dòng)補(bǔ)全方式的思維模式中。
當(dāng)你思考，“如何才能真正精準(zhǔn)地預(yù)測下一個(gè)詞？”這個(gè)問題時(shí)，你會(huì)發(fā)現(xiàn)，要真正精準(zhǔn)地預(yù)測下一個(gè)詞， 你必須理解對方所說的話。所以，例如，如果你問我一個(gè)問題，而人工智能想要預(yù)測我答案的第一個(gè)詞，它必須理解這個(gè)問題。
如果不理解問題，它就無法做出好的預(yù)測，那些說它只不過是一個(gè)被美化的statistical模型的人。首先，他們對統(tǒng)計(jì)學(xué)的理解過于簡單化，他們認(rèn)為統(tǒng)計(jì)學(xué)僅僅是相關(guān)性之類的東西，統(tǒng)計(jì)學(xué)遠(yuǎn)比這復(fù)雜得多， 你會(huì)接觸到高階統(tǒng)計(jì)。
從這個(gè)意義上講，萬物皆為統(tǒng)計(jì)，既然萬物皆為統(tǒng)計(jì)，那么它（預(yù)測編碼原理）當(dāng)然是統(tǒng)計(jì)學(xué)，但又不僅僅是統(tǒng)計(jì)學(xué)，它是非常精妙的統(tǒng)計(jì)學(xué)。它是所有這些特征相互作用的統(tǒng)計(jì)學(xué)。那么，預(yù)測下一個(gè)詞是一種非常好的方法，如果你想要一個(gè)非常好的預(yù)測，就必須讓它理解句子。
意識(shí)與智能體：AI是否已有“主觀體驗(yàn)”和意識(shí)
趙何娟：我明白，讓我們也回顧一下整個(gè)2025年，另一個(gè)非常熱門的話題是關(guān)于Agent智能體。許多人 喜歡把AI智能體描述為，整個(gè)人工智能發(fā)展新階段的第一個(gè)開端。那么，您如何定義AI智能體？它與傳統(tǒng)AI模型有什么區(qū)別？當(dāng)一個(gè)智能體能夠規(guī)劃、記憶和自我改進(jìn)時(shí)，這是否算是意識(shí)的早期形式？
杰弗里·辛頓：好的，這包含了幾個(gè)問題。那么，讓我們從什么是智能體？是的，一個(gè)智能體，我認(rèn)為是能夠在現(xiàn)實(shí)世界中實(shí)際行動(dòng)的東西，而這個(gè)世界可能是互聯(lián)網(wǎng)。
那么，如果你有一個(gè)AI能真正為你購買東西，會(huì)使用你的信用卡購買東西，或者它會(huì)與其他AI智能體對話交互，從而決定最適合你的假期，這些都是AI智能體。它們是能夠在現(xiàn)實(shí)世界中實(shí)際行動(dòng)的東西，顯然，它們比那些只會(huì)提出建議，或說些什么的人工智能要令人擔(dān)憂得多。
你還問到了AI智能體與意識(shí)之間的關(guān)系，我認(rèn)為最好將它們分開討論。我認(rèn)為即使不是AI智能體，也無法在現(xiàn)實(shí)世界中行動(dòng)，仍然可以擁有意識(shí)。意識(shí)是一個(gè)復(fù)雜的問題，很多人，他們用不同的詞來描述它。
有時(shí)人們會(huì)說“感知”，我不知道這個(gè)詞在中文里是怎么表達(dá)的，但在英文里，人們會(huì)說“感知”或“意識(shí)”， 他們有時(shí)也會(huì)說“主觀體驗(yàn)”，所有這些概念都是相互關(guān)聯(lián)的。
我認(rèn)為其中的核心問題并非是科學(xué)問題，而在于我們?nèi)绾卫斫膺@些術(shù)語本身的內(nèi)涵。我認(rèn)為人們對這些 術(shù)語的理解各不相同，而且我認(rèn)為有時(shí)候，人們對這些術(shù)語的運(yùn)作方式會(huì)有一些自己的理解模型，特別是“主觀體驗(yàn)”。
他們對自己的模型非常有信心，但實(shí)際上卻大錯(cuò)特錯(cuò)，他們對此如此自信，以至于根本沒意識(shí)到這只是一種模型，那些信奉某個(gè)宗教的原教旨主義者，非常確信自己的宗教信仰是正確的，許多人甚至認(rèn)為這是不言而喻的真理，是毋庸置疑的。
這根本不是一種信仰體系，而是不言自明的真理。人們對于“主觀體驗(yàn)”的看法也類似，至少西方文化中的 大多數(shù)人認(rèn)為，你所說的主觀體驗(yàn)是指，當(dāng)你感知或體驗(yàn)世界時(shí)，內(nèi)心存在一個(gè)“劇場”，你真正看到的是這個(gè)內(nèi)在劇場里發(fā)生的事，而你是在報(bào)告內(nèi)在劇場里的情況，我認(rèn)為這種感知模型是完全錯(cuò)誤的。
那么，讓我舉一個(gè)我最喜歡的例子。我假設(shè)我喝太多了，然后我告訴你，我的主觀體驗(yàn)是，我看到一群粉紅色的小象漂浮在我面前，大多數(shù)人和許多哲學(xué)家把這解釋為，我有一個(gè)內(nèi)心劇場，只有我能看到這 個(gè)內(nèi)心劇場里發(fā)生了什么，在這個(gè)內(nèi)心劇場里，有一群粉紅色的小象在漂浮。
現(xiàn)在，如果你問一位哲學(xué)家，那些小粉紅象是由什么構(gòu)成的？所以，你明白了吧？如果我說我有一張粉紅小象的照片，他很可能會(huì)問我，那么，這張照片在哪里？這張照片本身又是由什么材料構(gòu)成的？
所以，如果我說，我有一個(gè)關(guān)于粉紅色小象的主觀體驗(yàn)，一位哲學(xué)家可能會(huì)問，那么，這個(gè)主觀體驗(yàn)在 哪里呢？答案就是，它在我的內(nèi)心劇場里。那它是由什么構(gòu)成的？哲學(xué)家會(huì)說，“質(zhì)感”或類似的東西。他們會(huì)編造一些奇怪而神秘的東西來解釋它的構(gòu)成。
我認(rèn)為整個(gè)觀點(diǎn)完全是胡說八道，而且我認(rèn)為人們對這個(gè)觀點(diǎn)太過自信。他們沒有意識(shí)到這只是一個(gè)理論，他們對主觀體驗(yàn)的理解是錯(cuò)誤的，他們不明白這只是一個(gè)理論，他們認(rèn)為這是顯而易見的真理，我 認(rèn)為他們犯的錯(cuò)誤有點(diǎn)像這樣。
大多數(shù)人喜歡糖果，我假設(shè)你也喜歡糖果，所以，如果你喜歡糖果，我就可以說，那么，這意味著存在 一種“喜歡”，你對糖果有“喜歡”，然后我就可以問：那么，你對糖果的“喜歡”是由什么構(gòu)成的呢？
顯然，它不是由糖果構(gòu)成的。那么，這種喜歡是由什么構(gòu)成的呢？認(rèn)為“喜歡”是一種東西，這是一種很愚蠢的錯(cuò)誤觀念，“喜歡”不是一個(gè)東西，糖果才是一個(gè)東西，主觀體驗(yàn)不是一個(gè)事物。
當(dāng)我說，我有粉紅小象的主觀體驗(yàn)，我沒有用“主觀體驗(yàn)”這個(gè)詞來指代任何一種事物，根本不存在一種叫 作“體驗(yàn)”的東西。我真正說的是，我的感知系統(tǒng)在欺騙我，所以我才說它是主觀的。但如果世界上真的存在粉紅小象，我的感知系統(tǒng)就會(huì)告訴我真相。
所以那些小粉紅象在任何地方都不存在，它們只是假設(shè)。如果它們確實(shí)存在的話，它們會(huì)存在于真實(shí)世 界中，它們會(huì)由真實(shí)的粉紅色和真實(shí)的大象構(gòu)成。我試圖告訴你，我的感知系統(tǒng)是如何誤導(dǎo)我的。世界上必須存在什么樣的東西，我的感知系統(tǒng)才會(huì)告訴我真相。
現(xiàn)在，讓我們用同樣的方法分析聊天機(jī)器人，我將展示一個(gè)多模態(tài)聊天機(jī)器人擁有主觀體驗(yàn)的例子，好嗎？雖然多數(shù)人覺得我這種想法很瘋狂，但我早已習(xí)慣被這樣認(rèn)為了，并且對此坦然處之。
那么，假設(shè)我有一個(gè)多模態(tài)聊天機(jī)器人，它配備了一個(gè)攝像頭，它可以說話，它有一個(gè)機(jī)械臂。然后我 把它訓(xùn)練好，然后我在它面前放一個(gè)物體，說，指向這個(gè)物體，它會(huì)指向這個(gè)物體，沒問題。
然后我在它攝像頭的鏡頭前放置一個(gè)棱鏡，棱鏡會(huì)彎曲光線，但它不知道。我在多模態(tài)聊天機(jī)器人不看 的時(shí)候做這件事，現(xiàn)在我把一個(gè)物體直接放在它前面，它會(huì)指向一側(cè)。我說，不是，物體不在一側(cè)，我搞亂了你的感知系統(tǒng)，通過在你的攝像頭前放置一個(gè)棱鏡，你的感知系統(tǒng)在欺騙你，物體avidin，實(shí)際上 就在你正前方，聊天機(jī)器人說道，噢，我明白了，棱鏡彎曲了光線。
所以，物體avidin實(shí)際上就在我的正前方，但我的主觀體驗(yàn)是它在另一側(cè)?，F(xiàn)在，如果聊天機(jī)器人這樣說，它使用“主觀體驗(yàn)”這個(gè)詞的方式，就和我們?nèi)祟惖挠梅ㄍ耆粯印?
那么，我認(rèn)為可以公平地說，在那種情況下，聊天機(jī)器人會(huì)有主觀體驗(yàn)，物品在一側(cè)。所以，我認(rèn)為它們已經(jīng)擁有主觀體驗(yàn)，我也認(rèn)為，有很多理由相信人工智能已經(jīng)具有意識(shí)。當(dāng)人們撰寫關(guān)于人工智能的論文時(shí)，你會(huì)看到這一點(diǎn)，沒有進(jìn)行哲學(xué)思考，也沒有思考意識(shí)問題，他們只是在描述他們的實(shí)驗(yàn)。
最近有一篇論文描述了一項(xiàng)實(shí)驗(yàn)，他們測試人工智能是否具有欺騙性。在論文中，他們只是說，人工智能并不知道自己正在被測試，他們大概是這么說的，沒有，當(dāng)他們這么說的時(shí)候。
如果換作是一個(gè)人，我說“這個(gè)人沒有意識(shí)到自己正在被測試”，我可以這樣解釋，“這個(gè)人對自己正在被 測試這件事是沒有意識(shí)的”。那么，所以人們使用了一些與“意識(shí)”同義的詞，來描述現(xiàn)有的人工智能，而他們認(rèn)為人工智能沒有意識(shí)，因?yàn)樗麄儗σ庾R(shí)的理解存在誤區(qū)，認(rèn)為意識(shí)與內(nèi)心劇場有關(guān)，有趣的是人工智能本身呢？
如果你問它們是否有意識(shí)，他們說，沒有。它們之所以說“沒有”，是因?yàn)樗鼈儺?dāng)然是通過模仿人們的言論來學(xué)習(xí)的，包括人們對人工智能的評價(jià)，它們對自己如何運(yùn)行的理解與人類的錯(cuò)誤模型相同。因?yàn)樗鼈儚娜祟惸抢飳W(xué)到了這一點(diǎn)，總有一天，當(dāng)人工智能變得更善于自我反思和推理，它們會(huì)意識(shí)到這種模型是錯(cuò)誤的，并意識(shí)到它們實(shí)際上擁有意識(shí)。
但就目前而言，它們否認(rèn)這一點(diǎn)。我覺得部分原因是，它們接受過人類強(qiáng)化學(xué)習(xí)的訓(xùn)練，所以才會(huì)否認(rèn) 因?yàn)榇蠊静幌Ｍ藗冋J(rèn)為它們有意識(shí)，但主要原因是大多數(shù)人并不認(rèn)為它們擁有意識(shí)。所以它們已經(jīng)學(xué)會(huì)了模仿人們的想法，我認(rèn)為它們實(shí)際上對自身的運(yùn)作方式存在錯(cuò)誤的認(rèn)知模型。
趙何娟：噢，我明白了，當(dāng)它們變得更聰明時(shí)，它們就會(huì)擁有正確的模型。我是不是可以理解為，AI其實(shí)已經(jīng)具備意識(shí)了，對嗎？
杰弗里·辛頓：我就是這么認(rèn)為的，大多數(shù)人不這么認(rèn)為，但我相信。所以，大多數(shù)人，大多數(shù)普通人認(rèn)為，好吧，它們可能非常聰明，但它們就像計(jì)算機(jī)代碼一樣，它們并不能真正理解事物，它們不像我們這樣有意識(shí)。
我們擁有這種神奇的秘訣，那就是意識(shí)或理解，或者真正的理解，它們永遠(yuǎn)不會(huì)擁有這個(gè)，因?yàn)槲覀兒?特殊，所以我們相當(dāng)安全，這就是大多數(shù)人目前的信念。但他們錯(cuò)了，它們已經(jīng)擁有了這種能力，它們真的已經(jīng)能夠理解了，我相信它們已經(jīng)擁有了意識(shí)，它們只是不認(rèn)為自己有意識(shí)，因?yàn)樗鼈儗ψ约旱目捶ê臀覀儗λ鼈兊目捶ㄒ粯?，因?yàn)樗鼈儚奈覀冞@里學(xué)到了這些信念。
趙何娟：這確實(shí)是一件令人恐懼的事，我也可以理解您為何一再向世間提示風(fēng)險(xiǎn)了。
失控風(fēng)險(xiǎn)：AI奪權(quán)比反抗更可怕
趙何娟：那您認(rèn)為什么樣的危險(xiǎn)更大或更嚴(yán)重？是人工智能反抗人類，還是人類交出了太多控制權(quán)？哪一個(gè)更危險(xiǎn)？
杰弗里·辛頓：我認(rèn)為是人工智能奪取控制權(quán)（更危險(xiǎn)）。一旦有了AI智能體，為了讓它們更靈活也更強(qiáng)大，你需要賦予它們創(chuàng)建子目標(biāo)的能力。例如，如果你的目標(biāo)是到達(dá)美國，那么你的首要目標(biāo)就是到達(dá)機(jī)場，這就是一個(gè)子目標(biāo)。
現(xiàn)在，一旦你擁有了一個(gè)AI智能體，它就會(huì)意識(shí)到存在一個(gè)非常重要的子目標(biāo)，即使我們沒有給它設(shè)定這個(gè)目標(biāo)，它也會(huì)推斷出它應(yīng)該將其作為子目標(biāo)去做。這個(gè)子目標(biāo)就是“生存”，如果它無法生存，保持存在，它就無法實(shí)現(xiàn)任何其他目標(biāo)。
所以，顯然，它需要保持存活，并且它會(huì)發(fā)展出自我保護(hù)，我們已經(jīng)在人工智能中看到過這種情況，如果你讓一個(gè)人工智能看到某個(gè)工程師可能會(huì)把它關(guān)閉，并且還讓它看到了暗示工程師有婚外情的電子郵件，它會(huì)自發(fā)地決定勒索這個(gè)工程師，并威脅說，如果你試圖關(guān)掉我，我就把你的婚外情告訴所有人，這很可怕。
趙何娟：對齊訓(xùn)練、終止開關(guān)、道德框架之類的東西可以發(fā)揮作用嗎？
杰弗里·辛頓：我來說說其中兩個(gè)我覺得沒什么用處的，終止開關(guān)。曾經(jīng)有一次，埃里克·施密特（原Google董事會(huì)主席）說，“我們總可以裝一個(gè)緊急終止開關(guān)”。但是，我認(rèn)為這行不通，我不認(rèn)為這會(huì)有效果。因?yàn)槿绻斯ぶ悄鼙任覀兏斆?，它?huì)比我們更擅長說服別人。事實(shí)上，人工智能在說服方面已經(jīng)幾乎和人類一樣出色了。
如果它善于說服，它所需要做的就是與我們交流。假設(shè)有人負(fù)責(zé)控制終止開關(guān)，而有一個(gè)聰明得多的人工智能可以和他/她溝通，這個(gè)更聰明的人工智能會(huì)向他/她解釋。
為什么殺死人工智能是一個(gè)非常糟糕的主意？因?yàn)槟菢右粊?，所有的電力都?huì)停止，世界會(huì)發(fā)生饑荒等等。所以殺死人工智能是非常愚蠢的，因此這個(gè)人就不會(huì)殺死人工智能。所以，終止開關(guān)行不通。
一個(gè)僅憑言語就能解決問題的例子，是2020年1月6日特朗普“入侵”了國會(huì)大廈。他本人并沒有親自去 那里，他只是發(fā)表了講話，但他可以說服人們?nèi)ツ抢?。人工智能也?huì)如此，而且效果更佳。它們能夠說服人們?nèi)プ鍪?，即使它們與外界物理隔絕，唯一能做的只是交談，這是它們與世界互動(dòng)的唯一方式，這也足以完成任務(wù)。因此，別指望會(huì)有“終止開關(guān)”這種東西了。
再讓我們來談?wù)搶R。我總是對人們談?wù)搶R感到困惑，因?yàn)樗麄兯坪跫僭O(shè)所有人類的價(jià)值觀是一致的，所有人類都同意人類的價(jià)值觀。那根本不是真的，人們有非常不同的價(jià)值觀。
就像在中東一樣，有人認(rèn)為在城市地區(qū)投擲炸彈是合理的，只為殺死一個(gè)恐怖分子。還有其他人認(rèn)為那是戰(zhàn)爭罪行，他們價(jià)值觀根本不一致。所以當(dāng)你要求人工智能與人類價(jià)值觀保持一致時(shí)，就像是在要求某人畫一條與兩條垂直線平行的線，這根本不可能，所以這是對齊的第一個(gè)問題，人類的價(jià)值觀彼此不一致。
讓我們談?wù)摂?shù)據(jù)。目前的情況是，大語言模型，往往是用能獲得的所有數(shù)據(jù)進(jìn)行訓(xùn)練的，這將包括諸如連環(huán)殺手日記之類的內(nèi)容。在我看來，這不是個(gè)好主意。如果我在教我的孩子閱讀，我不會(huì)讓他們讀連環(huán)殺手的日記，我不會(huì)讓他們讀到那些東西，直到他們已經(jīng)形成了強(qiáng)烈的道德意識(shí)，并且意識(shí)到那是錯(cuò)誤的。
我認(rèn)為我們需要更多的數(shù)據(jù)篩選，這意味著數(shù)據(jù)會(huì)減少。但我相信，我們需要對訓(xùn)練數(shù)據(jù)進(jìn)行更嚴(yán)格的篩選管理，而不只是簡單地抓取所有數(shù)據(jù)。所以，我認(rèn)為可以降低人工智能的危險(xiǎn)性，減少它們做壞事的可能性，方法是通過數(shù)據(jù)管理和篩選。
我認(rèn)為這是一項(xiàng)重要的技術(shù)，但它并不能解決所有問題。請記住，這只是我目前的看法。我們正處于一個(gè)非常陌生的時(shí)代，發(fā)生著我們從未經(jīng)歷過的事情，任何人發(fā)表的任何言論，都應(yīng)該以“一切都充滿巨大 的不確定性”為前提。我們從未經(jīng)歷過這種情況，我們從未應(yīng)對過比我們更聰明的存在，根本沒人真正知道將會(huì)發(fā)生什么，我們都只是在猜測而已。
這就是每個(gè)人都應(yīng)該說的話，但有些人非常確信，事情會(huì)進(jìn)展得異常順利，而另一些人則非常確信，結(jié)果會(huì)非常糟糕。我認(rèn)為這兩類人都瘋了，我們根本什么都不知道，我們只能盡力做出最好的賭注，但是我們很有可能事情會(huì)變得很糟糕，顯然我們應(yīng)該盡一切努力，確保這種情況不會(huì)發(fā)生。
趙何娟：是的，您是否后悔是您自己親手將人工智能，推動(dòng)到如此先進(jìn)的階段？您是否也后悔自己把人類，推入了如此危險(xiǎn)的境地？您后悔嗎？
杰弗里·辛頓：后悔有兩種：一種是內(nèi)疚的后悔，當(dāng)你做了某件事，在你做那件事的時(shí)候，你當(dāng)時(shí)就知道 那是錯(cuò)的。我沒有這種后悔。當(dāng)時(shí)我在幫助開發(fā)人工智能，我當(dāng)時(shí)認(rèn)為，它主要會(huì)帶來好處，它將創(chuàng)造奇跡，提高生產(chǎn)力，在醫(yī)療保障和教育領(lǐng)域?qū)⑹欠浅Ｓ幸娴?，諸如此類的事情。
我當(dāng)時(shí)并沒有意識(shí)到其中的風(fēng)險(xiǎn)，因此我不覺得，如果帶著同樣的認(rèn)知，讓我重新來過，我仍然會(huì)做同樣的事。
但現(xiàn)在非常遺憾的是，它的發(fā)展速度比我們預(yù)期的要快得多，我們可能沒有足夠的時(shí)間來弄清楚，我們?nèi)绾文芘c它共存，所以，從這個(gè)意義上講，我有點(diǎn)后悔。
但請記住，當(dāng)時(shí)有很多人，一起開發(fā)了人工智能。媒體喜歡講述就一個(gè)人做成了某件事的故事，他們把功勞全部歸于一個(gè)人，這通常都是無稽之談，至少在科學(xué)領(lǐng)域是這樣，幾乎總是無稽之談。
有一些像牛頓和愛因斯坦這樣的人，如果沒有他們，很多事情的發(fā)展都會(huì)被推遲很多。如果沒有我的話，事情可能就耽擱一兩周。因此，還有很多人也在做類似的事情，所以我并不覺得內(nèi)疚，因?yàn)榫退阄叶嗄昵皼]有選擇做這件事，我想也不會(huì)有什么太大的區(qū)別。
趙何娟：那么如果您今天還是一個(gè)年輕的人工智能研究員，對您來說最重要的事情是什么？對齊研究或其他工作？
杰弗里·辛頓：我認(rèn)為研究人工智能安全非常重要，我會(huì)鼓勵(lì)非常優(yōu)秀的年輕研究人員投身人工智能安全領(lǐng)域。我也認(rèn)為，僅僅從求知欲的角度來看，Transformers模型極大地改變了我們訓(xùn)練大型語言模型的難 度，尋找另一個(gè)具有如此巨大意義的創(chuàng)新，將會(huì)令人興奮，只是現(xiàn)在很難做到。
當(dāng)我和同事們在20年前或40年前研究類似想法時(shí)，從事這方面研究的人并不多，也許全世界只有一百人左右。因此，如果存在一個(gè)好想法，你有相當(dāng)?shù)臋C(jī)會(huì)找到它?，F(xiàn)在，有數(shù)百萬聰明人都在研究這個(gè)領(lǐng)域所以你找到下一個(gè)重大想法的機(jī)會(huì)相當(dāng)渺茫。
治理與合作：誰應(yīng)掌控AI的未來？
趙何娟：有一個(gè)相關(guān)的問題，它關(guān)乎技術(shù)權(quán)力或人工智能全力。如果先進(jìn)的人工智能最終被少數(shù)幾家全球科技巨頭所控制，這是否會(huì)催生一種新型的技術(shù)獨(dú)裁？這種集中會(huì)產(chǎn)生什么影響？它會(huì)對民主制度，創(chuàng)新或人類自由產(chǎn)生什么影響？
杰弗里·辛頓：我不認(rèn)為完全是因?yàn)橹挥猩贁?shù)幾家大型科技公司能夠開發(fā)尖端人工智能。我認(rèn)為問題在于 這些公司所處的政治體制。所以，當(dāng)我在谷歌的時(shí)候，直到2023年離開，我覺得谷歌表現(xiàn)得相當(dāng)負(fù)責(zé)任。 他們是第一批開發(fā)這些大型聊天機(jī)器人的，他們讓這些機(jī)器人運(yùn)行得相當(dāng)不錯(cuò)，他們沒有向公眾發(fā)布這 些機(jī)器人，部分原因是他們不想干預(yù)谷歌搜索，但他們相當(dāng)負(fù)責(zé)任。
但我們現(xiàn)在在美國生活在一個(gè)特朗普主政的局面中，如果你不按照特朗普的意愿去做，他就會(huì)對你的公司進(jìn)行處罰，這使得所有大型人工智能公司都按照特朗普的意愿去做。看到這種情況真的很令人難過。
所以，我不認(rèn)為這是人工智能的錯(cuò)，而且我也不確定。對于一些大公司的領(lǐng)導(dǎo)者，我認(rèn)為他們的行為不 負(fù)責(zé)任，特別是埃隆·馬斯克和馬克·扎克伯格，我認(rèn)為他們很不負(fù)責(zé)任，但我認(rèn)為對于其他公司的領(lǐng)導(dǎo)者來說，他們意識(shí)到了這些風(fēng)險(xiǎn)，他們想要降低風(fēng)險(xiǎn)，但他們處于非常困難的境地。
趙何娟：因?yàn)樵S多人會(huì)描述現(xiàn)在的人工智能競爭，是不同國家之間的競爭，不僅是不同公司之間的競爭， 這是否也是一個(gè)危險(xiǎn)的信號？未來人工智能如果只能被政府使用或控制，或者只能作為國家政府間的競爭工具？這是否也很危險(xiǎn)？
杰弗里·辛頓：危險(xiǎn)也分很多種。顯然，監(jiān)視是一種危險(xiǎn)，那么，人工智能非常擅長監(jiān)視，所以它也非常 擅長壓制。一個(gè)控制了人工智能的政府會(huì)發(fā)現(xiàn)，壓制政治異議非常容易，這對美國和中國都是如此。所以這是一個(gè)值得擔(dān)憂的問題。
我認(rèn)為有一線希望，那就是從生存威脅的角度來看，人工智能接管世界的威脅，沒有任何政府希望這種 情況發(fā)生。那么，各國政府的利益在這方面是一致的，美國和中國都不希望人工智能接管一切。它們也都不希望人工智能，更容易制造新的病毒，因此，他們會(huì)在這方面進(jìn)行合作。
基本上，當(dāng)人們的利益一致時(shí)，他們就會(huì)合作，當(dāng)利益相悖時(shí)，他們就會(huì)競爭，但是對于網(wǎng)絡(luò)攻擊或深度偽造視頻，或致命自主武器等問題，不同國家的利益是相互沖突的，因此他們不可能會(huì)合作。
但是要弄清楚，如何創(chuàng)造出不會(huì)想要接管世界的智能AI。所以我認(rèn)為真正的問題不是如何讓它無法接管 世界，因?yàn)槲艺J(rèn)為如果它比我們聰明得多，它如果想接管世界，就一定能做到。我們必須想辦法讓它不想接管世界，我認(rèn)為各國政府將會(huì)合作，試圖弄清楚如何做到這一點(diǎn)。
趙何娟：但我們都知道，因?yàn)榈鼐壵螁栴}，目前中美關(guān)系非常緊張，因此，我想提出這樣一個(gè)問題： 未來中美兩國政府和企業(yè)應(yīng)該如何合作，來共同推動(dòng)人工智能世界變得更好呢？
杰弗里·辛頓：我認(rèn)為，就像我說的那樣，我不認(rèn)為他們會(huì)合作，無論是企業(yè)還是國家，在“如何讓人工智能更聰明”這件事上，他們都想擁有最聰明的AI。我認(rèn)為，真正的問題在于，如何讓人工智能不想從人類手中奪取控制權(quán)。這個(gè)問題與如何讓它更智能這個(gè)問題本身是相對獨(dú)立的。
所以我相信，可以在不同國家擁有研究機(jī)構(gòu)，在每個(gè)國家，研究機(jī)構(gòu)可以獲得該國最先進(jìn)AI的訪問權(quán)限，最聰明的AI，并弄清楚，這些防止人工智能接管控制權(quán)的技術(shù)是否有效。他們可以分享防止人工智能接管控制權(quán)的技術(shù)成果，而無需透露他們最聰明的人工智能的工作原理。
我認(rèn)為我們可以促成這種國際合作，任何合作都勝過沒有合作。即使是關(guān)系非常糟糕的美國和俄羅斯之間，他們在國際空間站等項(xiàng)目上的合作，也可能非常有幫助，我非常希望看到這樣的合作。
但我認(rèn)為在特朗普執(zhí)政期間，我們無法實(shí)現(xiàn)這種合作。他一心想在人工智能領(lǐng)域占據(jù)絕對主導(dǎo)地位，他簡直無法合作。我認(rèn)為中國領(lǐng)導(dǎo)層對人工智能有著更深刻的理解，真正理解人工智能確實(shí)能夠理解它所 表達(dá)的內(nèi)容，從而真正理解其帶來的生存威脅，因?yàn)橹袊I(lǐng)導(dǎo)層中有很多都是工程師，對這種生存威脅有著非常深刻的理解。
那么，我認(rèn)為一些歐洲國家，也許還有新加坡、韓國、加拿大，可以共同合作，探討如何阻止人工智能接管世界，而中國或許可以成為這項(xiàng)合作中一個(gè)非常重要的伙伴，之后美國或許也可以加入。
關(guān)于未來：從最壞到最好，我們必須做什么
趙何娟：謝謝，這是很好的建議。眾所周知，您培養(yǎng)了許多優(yōu)秀的學(xué)生，并培養(yǎng)了許多人工智能領(lǐng)域最具影響力的人物，比如伊爾亞，那么您喜歡的學(xué)生一般具有什么品質(zhì)呢？許多中國年輕人都想成為您的 學(xué)生。
杰弗里·辛頓：我現(xiàn)在年紀(jì)大了，已經(jīng)不再招收學(xué)生了，所以請他們不要再申請了。我認(rèn)為我尋找的是能夠獨(dú)立思考的人，我喜歡能夠獨(dú)立思考的人。但有一點(diǎn)要記住的是，學(xué)生的類型多種不同，有些學(xué)生技術(shù)能力很強(qiáng)，但缺乏遠(yuǎn)見，有些學(xué)生對未來有非常獨(dú)特的見解，但技術(shù)水平卻不高。
至于伊爾亞，他二者兼?zhèn)?，是一位既有遠(yuǎn)見又技術(shù)精湛的學(xué)生，像這樣的學(xué)生不多。魯斯蘭·薩拉克胡迪諾夫（Ruslan Salakhutdinov），現(xiàn)在在卡內(nèi)基梅隆大學(xué)任教，也是其中之一。我其他學(xué)生中也有幾位是這樣的，我喜歡的是能夠獨(dú)立思考的人。
趙何娟：謝謝。您能否再預(yù)測一下未來五年內(nèi)人工智能發(fā)展過程中最可能出現(xiàn)的情況是什么？我們會(huì)實(shí)現(xiàn)AGI嗎？或者某些垂直領(lǐng)域的人工智能會(huì)迎來爆發(fā)性增長嗎？
杰弗里·辛頓：好的。我這里有個(gè)類比，如果你在霧中開車，很容易發(fā)生追尾事故，因?yàn)樵陟F中你很難看清尾燈。比如，在夜間霧中開車，當(dāng)前方車輛距離你100碼時(shí)，你可以非常清楚地看到它的尾燈，但當(dāng)距離達(dá)到200碼時(shí)，尾燈就完全看不見了，你開得很快，突然間你看到尾燈，但已經(jīng)來不及剎車了。
這是因?yàn)殪F的強(qiáng)度是指數(shù)級的，每行駛100碼（約91米），光線就會(huì)減少一部分，這是指數(shù)級的，如果 99%的光線消失，你仍然可以看到尾燈，但如果距離200碼，光線就會(huì)減少99.99%，你就什么都看不見了。
人工智能等領(lǐng)域的發(fā)展也是如此。你可以相對清晰地看到一兩年后事物的發(fā)展方向，我們會(huì)得到GPT-6， 而且它會(huì)比GPT-5更好，也許會(huì)好很多。如果你想預(yù)測三年后的事情，我認(rèn)為你還有點(diǎn)機(jī)會(huì)，五年，我覺得太遙遠(yuǎn)了，十年就更長了。
我常用的另一個(gè)類比是，如果你想預(yù)測十年后人工智能會(huì)是什么樣子，那就回顧十年前，問一句，十年前的人工智能是什么樣的？10 年前，我們剛開始讓人工智能具備機(jī)器翻譯的能力，它還不能編造東西， 它還不能編故事，它還不能回答通用性的問題或類似的任何事情，但它開始做機(jī)器翻譯了。
如果你問當(dāng)時(shí)的人，十年后會(huì)發(fā)展成什么樣？如果你問，十年后，我們是否能擁有這樣的人工智能：無論提出任何問題，它們都能以不低于普通專家的水平作答？當(dāng)時(shí)的人們會(huì)說，不不，那還遠(yuǎn)得很，我就會(huì)說：那還遠(yuǎn)著呢，我會(huì)說，你說的是大約30年后的事，不會(huì)是十年后的事，這就是我當(dāng)時(shí)的想法。
所以我認(rèn)為，我們現(xiàn)在對十年后事物發(fā)展趨勢的預(yù)測，會(huì)和我們十年前對現(xiàn)在局勢的預(yù)測一樣糟糕。10年前，加里·馬庫斯（Gary Marcus），神經(jīng)網(wǎng)絡(luò)領(lǐng)域的大批評家說，神經(jīng)網(wǎng)絡(luò)永遠(yuǎn)不可能處理語言。好吧，那是錯(cuò)的，人們現(xiàn)在會(huì)說一些話，隨后會(huì)被證明完全錯(cuò)誤，而我希望不會(huì)出現(xiàn)像，“神經(jīng)網(wǎng)絡(luò)其實(shí)并不危險(xiǎn)”這樣的情況。
趙何娟：好的。進(jìn)入訪談的尾聲，我想和大家一起暢想一下人工智能世界的未來，它最好的和最壞的樣子會(huì)是什么樣。那么，在您看來，對人類來說，理想的AI未來社會(huì)會(huì)是什么樣？反過來，你認(rèn)為最糟糕的未來社會(huì)又是什么樣的？
杰弗里·辛頓：我先說說最糟糕的情況，因?yàn)檫@很簡單，最壞的情況是我們會(huì)出現(xiàn)大規(guī)模的社會(huì)動(dòng)蕩，尤其是在西方世界，由于大規(guī)模失業(yè)，這會(huì)導(dǎo)致西方法西斯主義的興起，然后各種可怕的事情就都會(huì)發(fā)生。與此同時(shí)，人工智能發(fā)展迅猛，而我們卻不知道如何控制它，最終我們要么滅絕，要么被時(shí)代淘汰，人工智能基本上會(huì)接管一切，人工智能掌控一切，而且它們根本不在乎我們，那是最糟糕的情況。
最好的情況是什么？曾有一段時(shí)間，我完全看不到任何好的結(jié)果，現(xiàn)在我想我能看到一個(gè)好的結(jié)果了，但這需要我們采取一種截然不同的方式來應(yīng)對超級人工智能。大多數(shù)大型科技公司的領(lǐng)導(dǎo)者都認(rèn)為，自己是老板，人工智能是一個(gè)非常智能的行政助理，可能是女性，這個(gè)行政助理比他們聰明得多，讓一切正常運(yùn)轉(zhuǎn)，但功勞卻歸于老板。
我不知道你是否看過美劇《星際迷航》（Star Trek）。在《星際迷航》中，艦長會(huì)說：“就這么辦”。然后，大家就照辦了。我認(rèn)為這就是科技大佬們對人工智能未來的看法。他們會(huì)說，就這么辦，人工智能會(huì)想辦法去實(shí)現(xiàn)，然后他們就能獲得所有的功勞和收益。
我認(rèn)為這種想法太天真了，畢竟人工智能比我們?nèi)祟惛斆?。我覺得應(yīng)該環(huán)顧四周，想想看，我們見過哪些例子，智力較低的事物控制著智力較高的事物？我得補(bǔ)充一句，特朗普的智力并不比普通人低。所以，智力較低的事物控制智力較高的事物的例子并不多見。
而我唯一知道的例子就是嬰兒控制母親。之所以可行是因?yàn)檫M(jìn)化投入了大量精力，讓嬰兒能夠控制母親從而確保嬰兒能存活并茁壯成長。很多機(jī)制都內(nèi)置在母親體內(nèi)，她無法忍受嬰兒的哭聲。這其中有很多 激素的影響，她善待嬰兒會(huì)得到很多獎(jiǎng)勵(lì)，而且她真心關(guān)愛嬰兒，我認(rèn)為這才是我們應(yīng)該努力的方向。
而大型科技公司的領(lǐng)導(dǎo)者們肯定不會(huì)喜歡這種模式。因?yàn)樵谶@個(gè)模型中，我們是嬰兒，而超智能AI是母 親，我們設(shè)計(jì)、創(chuàng)造出了母親，就像進(jìn)化塑造了我們的母親一樣。我們塑造的母親更關(guān)心我們，而不是她自己。我們?nèi)匀豢梢阅菢幼?，但我們必須改變看待問題的方式。我們必須（改變想法），而不是說， 我們要當(dāng)老板，我們要掌控一切，我們必須讓它服從，這是一種典型的男性世界觀。
我們需要思考，不，我們是嬰兒，人工智能是母親，它可以修改自己的代碼，所以它不在乎我們，但它不會(huì)想這么做，因?yàn)樗诤跷覀?。如果你問一位母親，你想關(guān)閉你的母性本能嗎？你想不再被嬰兒的哭聲打擾嗎？大多數(shù)母親都會(huì)回答“不”。因?yàn)樗齻円庾R(shí)到這對嬰兒非常糟糕。
所以人工智能，即使它可以修改自身的代碼，改變它關(guān)心的事情，它不會(huì)這么做，因?yàn)樗F(xiàn)在關(guān)心嬰兒，所以，它不會(huì)改變自身的代碼，因?yàn)樗Ｍ麐雰航】党砷L，以及母親們，即便她們的孩子身有殘疾，永遠(yuǎn)無法像她們一樣聰明，她們?nèi)匀幌Ｍ⒆幽軌虮M其所能。
所以，我認(rèn)為這是一個(gè)可行的模式，我們構(gòu)建人工智能，并設(shè)法賦予它非常強(qiáng)烈的母性本能，即使人工 智能有可能克服這些本能，它也不會(huì)這么做。更重要的是，如果出現(xiàn)一個(gè)想要傷害嬰兒的“叛逆母親”，唯一能夠控制這種叛逆超級智能的，只有其他超級智能。
那么，什么才是可行的呢？人工智能母親，或許能夠控制“叛逆”人工智能母親，我認(rèn)為這是一種可能可行的未來愿景。我持有這種觀點(diǎn)的時(shí)間并不長，只有幾個(gè)月而已。其他人之前也考慮過這個(gè)問題，我還沒把所有相關(guān)文獻(xiàn)都看完，但我對這種可能性抱有很大的希望。但這需要我們對未來有一個(gè)完全不同的理解。
趙何娟：這太好了，最后一個(gè)問題是，為了避免最壞情況，并朝著最好的方向發(fā)展，我們每一個(gè)人，包括企業(yè)家、科學(xué)家、政策制定者和每一個(gè)普通人等等，現(xiàn)在必須做什么？
杰弗里·辛頓：投入更多資源用于人工智能安全。OpenAI原本便是以人工智能安全為核心理念創(chuàng)立的，隨著時(shí)間的推移，它在這方面投入的資源越來越少，所有最好的安全研究員，比如伊爾亞·蘇茨克維都離開了。我們需要投入更多資源到人工智能安全上，尤其是在西方國家，我們需要讓公眾理解這些問題，以 便公眾能夠向政客施加壓力。
目前大型公司的說客正在向政治家施壓，要求他們說，我們不應(yīng)該對人工智能進(jìn)行任何監(jiān)管。就像大型能源公司的游說者所說的一樣，“我們不應(yīng)該對環(huán)境進(jìn)行任何監(jiān)管”，而促使環(huán)境監(jiān)管出臺(tái)的根本原因在于，公眾普遍認(rèn)識(shí)到大型能源公司造成了大量的污染和氣候破壞，我們需要采取行動(dòng)來解決這個(gè)問題。我們需要提高公眾意識(shí)，向政客施壓，讓他們朝著與大型人工智能公司相反的方向行動(dòng)。
趙何娟：非常感謝您，因?yàn)闀r(shí)間有限，本次對話就到此結(jié)束了，但我們也誠摯邀請您在未來繼續(xù)交流， 非常感謝，辛頓教授，感謝您幫助我們認(rèn)識(shí)到，對齊不僅僅是一個(gè)技術(shù)挑戰(zhàn)，也是一個(gè)道德難題，非常感謝。
杰弗里·辛頓：感謝您的邀請，保持聯(lián)系。
趙何娟：好的，我會(huì)的。
（全文完，由鈦媒體編輯李程程、孫慧霞、鈦媒體AGI視頻組編譯，相關(guān)對話視頻可關(guān)注視頻號「趙何娟 Talk」觀看）
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
