?p ?未經(jīng)授權(quán)請(qǐng)勿轉(zhuǎn)載，務(wù)必保留原文出處和公眾號(hào)按鈕

文：天空之城·城主

在最近幾天的最新訪談里， AI教父Geoffrey Hinton分享了他在人工智能研究、人才選拔以及與合作伙伴共事方面的獨(dú)到見(jiàn)解。這個(gè)采訪很有點(diǎn)形而上的意味，并不僅僅其他AI界訪談一樣停留在大模型的縮放定律或某些應(yīng)用前景的話題上，而是在一個(gè)更高的角度談?wù)摯竽X以及人工智能的本質(zhì)，非常精彩，推薦給大家。

B站傳送門：【精?！緼I教父Hinton 5月最新訪談 | @SANA【中英】-嗶哩嗶哩】

https://b23.tv/0Tlu5W8

Hinton強(qiáng)調(diào)，在選拔人才時(shí)，直覺(jué)扮演著至關(guān)重要的角色。他以他的學(xué)生Ilya為例，表示Ilya的直覺(jué)和對(duì)事物的理解給他留下了深刻的印象。Hinton還回憶起他在卡內(nèi)基梅隆大學(xué)的經(jīng)歷，那里的學(xué)生對(duì)未來(lái)充滿信心，這讓他感到十分新奇。

談到他對(duì)大腦工作方式的探索時(shí)，Hinton表示他從生理學(xué)到哲學(xué)，再到人工智能，一直在尋找答案。他提到了自己的幾位重要合作伙伴。通過(guò)與他們的合作，Hinton在研究玻爾茲曼機(jī)、探討大腦工作原理以及改變神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重等方面取得了重要進(jìn)展，也對(duì)人工智能有了更深入的理解。

Hinton特別提到了他與Ilya在研究反向傳播算法時(shí)的合作。Ilya的直覺(jué)和解決問(wèn)題的能力給他留下了深刻印象，他們的合作也為人工智能和神經(jīng)科學(xué)研究帶來(lái)了新的突破。

規(guī)模和算法是科技進(jìn)步的關(guān)鍵因素。他認(rèn)為Ilya Sutskever關(guān)于系統(tǒng)規(guī)模足夠大就能更好運(yùn)作的觀點(diǎn)已被證實(shí)。盡管Transformer等新想法很重要，但數(shù)據(jù)和計(jì)算規(guī)模才是決定性因素。

Hinton回顧了他與Ilya和James Martins在2011年發(fā)表的一篇論文，該論文使用字符級(jí)預(yù)測(cè)和維基百科數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果令人驚訝。他解釋說(shuō)，這種方法并非錯(cuò)誤，而是一種有效的學(xué)習(xí)方式。事實(shí)上，Hinton是第一個(gè)使用嵌入和反向傳播的神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的創(chuàng)造者。

他進(jìn)一步闡述了這種模型的工作原理，即通過(guò)預(yù)測(cè)下一個(gè)符號(hào)來(lái)理解問(wèn)題，這與傳統(tǒng)的自動(dòng)完成功能有很大不同。Hinton認(rèn)為，這種模型的理解方式與人類非常相似，盡管許多人認(rèn)為這些模型只是在預(yù)測(cè)下一個(gè)符號(hào)，而沒(méi)有進(jìn)行推理。

談到大型語(yǔ)言模型的工作原理時(shí)，Hinton解釋說(shuō)它們通過(guò)尋找共同的結(jié)構(gòu)來(lái)提高編碼效率。他以GPT-4回答問(wèn)題為例，說(shuō)明這種模型如何通過(guò)理解看似不同事物之間的類比來(lái)進(jìn)行創(chuàng)新。

Hinton還提到了AlphaGo的例子，解釋了強(qiáng)化學(xué)習(xí)如何使其超越當(dāng)前狀態(tài)。他認(rèn)為，這可能是當(dāng)前數(shù)據(jù)實(shí)驗(yàn)室所缺少的組件，但并非完全必要。他還提到了一個(gè)實(shí)驗(yàn)，即使訓(xùn)練數(shù)據(jù)中有一半的答案是錯(cuò)誤的，反向傳播也能將誤差降低到5%或更低，這表明大型神經(jīng)網(wǎng)絡(luò)實(shí)際上具有超越訓(xùn)練數(shù)據(jù)的能力。

為了提高這些模型的推理能力，Hinton提出了兩種可能的方法:一種是在模型之上添加啟發(fā)式方法，另一種是增加模型本身的規(guī)模。本文主要討論了大型語(yǔ)言模型的推理能力、多模態(tài)學(xué)習(xí)、語(yǔ)言與認(rèn)知的關(guān)系以及早期使用GPU進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的直覺(jué)。

Hinton認(rèn)為，隨著模型規(guī)模的擴(kuò)大，其推理能力會(huì)得到提升。這種推理能力的提升類似于 AlphaGo 或 AlphaZero 的工作方式，它們通過(guò)蒙特卡羅推演來(lái)修改評(píng)估函數(shù)，從而提高推理精度。大型語(yǔ)言模型也應(yīng)該開(kāi)始通過(guò)推理來(lái)訓(xùn)練，而不僅僅是模仿人類的行為。

在多模態(tài)學(xué)習(xí)方面，Hinton 認(rèn)為引入圖像、視頻和聲音等多種模式將極大地改變模型的理解和推理能力，特別是在空間理解方面。多模態(tài)模型可以通過(guò)更多的數(shù)據(jù)和更少的語(yǔ)言來(lái)進(jìn)行學(xué)習(xí)，這將使其在未來(lái)占據(jù)主導(dǎo)地位。

在語(yǔ)言與認(rèn)知的關(guān)系上，Hinton 提出了三種觀點(diǎn):符號(hào)觀點(diǎn)、向量觀點(diǎn)和嵌入觀點(diǎn)。他認(rèn)為，最合理的模型是將符號(hào)轉(zhuǎn)換成大向量，但保留符號(hào)的表面結(jié)構(gòu)，這樣可以更好地理解和預(yù)測(cè)下一個(gè)符號(hào)。

Hinton 回顧了他在 2009 年提出使用 GPU 進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的早期直覺(jué)。他發(fā)現(xiàn)，使用 GPU 可以將運(yùn)算速度提高 30 倍，這對(duì)于機(jī)器學(xué)習(xí)研究人員來(lái)說(shuō)至關(guān)重要。他在 NIPS 會(huì)議上公開(kāi)推薦了 NVIDIA 的 GPU，并向 NVIDIA 請(qǐng)求贊助，最終得到黃仁勛的支持。

Hinton 提出，模擬計(jì)算可以在較低的功率下運(yùn)行大型語(yǔ)言模型，但每個(gè)硬件的特性都會(huì)有所不同，因此學(xué)習(xí)過(guò)程需要利用硬件的特定屬性。然而，這種方法的局限性在于，當(dāng)一個(gè)人去世后，他的大腦中的權(quán)重對(duì)其他人沒(méi)有用處。

相比之下，數(shù)字系統(tǒng)可以通過(guò)共享權(quán)重來(lái)提高效率，因?yàn)橐坏┯辛藱?quán)重，就可以在不同的計(jì)算機(jī)上復(fù)制相同的計(jì)算過(guò)程。這種方式使得數(shù)字系統(tǒng)在知識(shí)共享方面遠(yuǎn)勝于人類。

Hinton 還討論了神經(jīng)科學(xué)的時(shí)間尺度問(wèn)題，指出在大腦中，權(quán)重改變的時(shí)間尺度很多，這是我們的神經(jīng)模型尚未實(shí)現(xiàn)的。大腦使用快速權(quán)重進(jìn)行臨時(shí)記憶，而我們的模型由于需要處理大量不同的情況，所以無(wú)法實(shí)現(xiàn)這一點(diǎn)。

此外，Hinton 反駁了喬姆斯基的觀點(diǎn)，認(rèn)為大腦并不需要所有的先天結(jié)構(gòu)，而是可以通過(guò)學(xué)習(xí)從數(shù)據(jù)中獲取大量信息。這種觀點(diǎn)對(duì)于理解大腦的工作方式具有重要意義。

Hinton 探討了人工智能助手的可能性，認(rèn)為如果助手具有自我反省的能力，那么它們也可能有感覺(jué)。他還提出了一個(gè)新的感覺(jué)模型，即如果沒(méi)有限制我們會(huì)采取的行動(dòng)，這就是感覺(jué)的真正含義。在 1973 年，Hinton 在愛(ài)丁堡見(jiàn)證了一個(gè)機(jī)器人的 "情感" 表現(xiàn)。這個(gè)機(jī)器人能夠組裝玩具車，但如果零件堆砌在一起，它會(huì)先將它們散落一地，然后再重新組裝。這種行為讓 Hinton 聯(lián)想到人類在面對(duì)不理解的情況時(shí)的反應(yīng)。

Hinton 曾將人類和大規(guī)模語(yǔ)言模型 (LLM) 比作類比機(jī)器。他認(rèn)為，他一生中最有影響力的類比是宗教信仰和符號(hào)處理信仰之間的類比。他認(rèn)為，我們正在進(jìn)行符號(hào)處理，但并非通過(guò)匹配符號(hào)，而是通過(guò)為符號(hào)提供嵌入向量，并使用這些嵌入向量組件之間的交互進(jìn)行思考。

Hinton 和他的學(xué)生一起完成了一些最有意義的研究，這主要得益于他與學(xué)生的良好合作，以及他選擇優(yōu)秀學(xué)生的能力。他選擇問(wèn)題的方式是尋找每個(gè)人都同意但感覺(jué)不對(duì)的東西，然后研究它，看看他是否能詳細(xì)說(shuō)明為什么他認(rèn)為它是錯(cuò)的。

Hinton 認(rèn)為，我們不使用快速權(quán)重的做法聽(tīng)起來(lái)很可疑，我們只有兩個(gè)時(shí)間尺度。這完全是錯(cuò)誤的，這根本不像大腦的工作方式。他認(rèn)為我們將不得不擁有更多的時(shí)間尺度。他相信大腦會(huì)獲得梯度。但是大腦是如何獲得梯度的?這是一個(gè)懸而未決的大問(wèn)題。

Hinton 認(rèn)為他對(duì)玻爾茲曼機(jī)的看法是錯(cuò)誤的，但他很高興自己花了很長(zhǎng)時(shí)間研究它。關(guān)于如何獲得梯度，有比反向傳播更漂亮的理論。但他認(rèn)為事實(shí)并非如此。

Hinton 覺(jué)得科學(xué)家應(yīng)該做一些對(duì)社會(huì)有益的事情，但實(shí)際上這并不是進(jìn)行最佳研究的方式。當(dāng)好奇心驅(qū)使時(shí)，人們會(huì)進(jìn)行最好的研究。最近，他意識(shí)到這些東西既能帶來(lái)很多好處，也能帶來(lái)很多壞處，他更加擔(dān)心它們對(duì)社會(huì)的影響。但這不是他的動(dòng)機(jī)。他只是想了解，大腦究竟是如何學(xué)習(xí)做事的?這正是他想要知道的。

Hinton 認(rèn)為醫(yī)療保健是最有前途的應(yīng)用領(lǐng)域，因?yàn)樯鐣?huì)對(duì)醫(yī)療保健的需求幾乎無(wú)窮無(wú)盡。人工智能的發(fā)展可能會(huì)帶來(lái)更多的醫(yī)療保健需求。新的工程項(xiàng)目和新材料的開(kāi)發(fā)，如改進(jìn)太陽(yáng)能電池板或超導(dǎo)性能的材料，也將產(chǎn)生巨大影響。然而，他擔(dān)憂有人可能會(huì)利用這些技術(shù)進(jìn)行惡意行為，如制造殺人機(jī)器人、操縱輿論或進(jìn)行大規(guī)模監(jiān)控。

Hinton 認(rèn)為人工智能助手會(huì)大大提高研究效率。在人才選拔方面，他依賴直覺(jué)，他認(rèn)為優(yōu)秀的學(xué)生并不只有一種類型，我們需要的是各種不同類型的研究生。

-以下是全部訪談的 Web3天空之城 書(shū)面整理版-

主持人

您是否曾經(jīng)思考過(guò)如何選拔人才？或者，這對(duì)您來(lái)說(shuō)主要是依賴直覺(jué)？比如，當(dāng)Ilya出現(xiàn)后，您就會(huì)立即想到，他是個(gè)聰明人，我們應(yīng)該一起合作?；蛘?，您對(duì)此進(jìn)行了深思熟慮？

Hinton：

我記得我第一次從英國(guó)來(lái)到卡內(nèi)基梅隆大學(xué)的情景。在英國(guó)的一個(gè)研究單位，到了六點(diǎn)鐘，大家都會(huì)去酒吧喝酒。然而，在卡內(nèi)基梅隆大學(xué)，我記得我剛到那里幾個(gè)星期后的一個(gè)星期六晚上，我還沒(méi)有朋友，也不知道該做什么。于是，我決定去實(shí)驗(yàn)室做一些編程，因?yàn)槲矣幸慌_(tái)Lisp機(jī)器，你不能在家里編程。所以我在星期六晚上九點(diǎn)左右去了實(shí)驗(yàn)室，那里人山人海，所有的學(xué)生都在那里。他們之所以在那里，是因?yàn)樗麄兯芯康氖俏磥?lái)，他們都相信，他們接下來(lái)所做的事情將改變計(jì)算機(jī)科學(xué)的進(jìn)程。這與英格蘭的情況完全不同，所以這對(duì)我來(lái)說(shuō)非常新鮮。

讓我回到最初的問(wèn)題，當(dāng)Geoff在劍橋試圖了解大腦的時(shí)候，那是什么樣的感覺(jué)？

那是非常令人失望的。所以我學(xué)了生理學(xué)。在夏季學(xué)期，他們要教我們大腦是如何工作的，他們教我們的只是神經(jīng)元如何傳導(dǎo)動(dòng)作電位。這很有趣，但它并沒(méi)有告訴你大腦是如何工作的，所以這非常令人失望。然后我轉(zhuǎn)到哲學(xué)，我想也許他們會(huì)告訴我們思維是如何運(yùn)作的，這同樣令人失望。我最終去了愛(ài)丁堡做人工智能，那更有趣，至少你可以模擬事物，所以你可以測(cè)試?yán)碚摗?/p>

你還記得是什么讓你對(duì)人工智能感興趣嗎？是一篇論文嗎？還是某個(gè)特定的人向你介紹了這些想法？

我想那是我讀過(guò)的唐納德·赫布寫(xiě)的一本書(shū)，這本書(shū)對(duì)我影響很大。他對(duì)如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的連接強(qiáng)度非常感興趣。我早期也讀過(guò)約翰·馮·諾依曼的一本書(shū)，他對(duì)大腦如何計(jì)算非常感興趣，以及它與普通計(jì)算機(jī)有何不同。

您是否確信這些想法會(huì)在那時(shí)實(shí)現(xiàn)？或者，您在愛(ài)丁堡時(shí)的直覺(jué)是什么？

在我看來(lái)，大腦必須有一種學(xué)習(xí)方式，顯然，這不是通過(guò)將各種東西編入其中，然后使用邏輯推理規(guī)則。在我看來(lái)，這從一開(kāi)始就很瘋狂。所以我們必須弄清楚大腦如何學(xué)會(huì)修改神經(jīng)網(wǎng)絡(luò)中的連接，這樣它就可以做復(fù)雜的事情。馮·諾依曼相信這一點(diǎn)，圖靈也相信這一點(diǎn)。因此，盡管馮·諾依曼和圖靈都非常擅長(zhǎng)邏輯，但他們并不相信這種合乎邏輯的方法。

您在研究神經(jīng)科學(xué)思想方面是如何分工的？并且只做看起來(lái)對(duì)AI來(lái)說(shuō)很好的算法。你早期獲得了多少靈感？

因此，我從未深入研究過(guò)神經(jīng)科學(xué)。我總是受到我所學(xué)習(xí)的關(guān)于大腦工作方式的啟示。大腦中有許多神經(jīng)元，它們執(zhí)行相對(duì)簡(jiǎn)單的操作。這些神經(jīng)元是非線性的，但它們會(huì)收集輸入，對(duì)輸入進(jìn)行加權(quán)，然后輸出取決于加權(quán)輸入的結(jié)果。問(wèn)題在于，你如何改變這些權(quán)重以使整個(gè)系統(tǒng)正常運(yùn)作？這似乎是一個(gè)相當(dāng)簡(jiǎn)單的問(wèn)題。

你還記得當(dāng)時(shí)的合作伙伴嗎？

我在卡內(nèi)基梅隆大學(xué)的主要合作伙伴實(shí)際上是來(lái)自卡內(nèi)基梅隆大學(xué)以外的人。我與約翰霍普金斯大學(xué)巴爾的摩分校的Terry Sinofsky有很多交流。大約每月一次，他或我都會(huì)開(kāi)車去匹茲堡，那里距離約250英里。我們會(huì)一起度過(guò)一個(gè)周末，研究玻爾茲曼機(jī)。這是一次美妙的合作，我們都相信這就是大腦的工作方式。這是我做過(guò)的最令人興奮的研究。雖然有很多技術(shù)成果都非常有趣，但我認(rèn)為這并不是大腦的工作方式。

我還與非常優(yōu)秀的統(tǒng)計(jì)學(xué)家Peter Brown進(jìn)行了非常好的合作。他在IBM從事語(yǔ)音識(shí)別工作，然后作為一名更成熟的學(xué)生來(lái)到卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位。但他已經(jīng)知道很多了。他教了我很多關(guān)于演講的知識(shí)，事實(shí)上，他還教了我隱馬爾可夫模型。我認(rèn)為我從他身上學(xué)到的東西比他從我身上學(xué)到的東西多。這就是你想要的那種學(xué)生。當(dāng)他教我隱馬爾可夫模型時(shí)，我正在用隱藏層做反向傳播。只是那時(shí)它們不叫隱藏層。我認(rèn)為他們?cè)陔[馬爾可夫模型中使用的名稱對(duì)于你不知道它們?cè)谧鍪裁吹淖兞縼?lái)說(shuō)是一個(gè)很好的名字。這就是神經(jīng)網(wǎng)絡(luò)中隱藏層名稱的由來(lái)。我和彼得認(rèn)為這是神經(jīng)網(wǎng)絡(luò)中隱藏層的一個(gè)好名字。但我從彼得那里學(xué)到了很多關(guān)于語(yǔ)言的知識(shí)。

讓我們回到伊利亞出現(xiàn)在你辦公室的那一天。

我當(dāng)時(shí)在辦公室，可能是星期天，我想我正在編程。然后有人敲門，不是普通的敲門聲，而是有點(diǎn)緊急的敲門聲。所以我去開(kāi)門，這就是那個(gè)年輕學(xué)生。他說(shuō)他夏天會(huì)做炸薯?xiàng)l，但他更愿意在我的實(shí)驗(yàn)室工作。所以我說(shuō)，好吧，你為什么不約個(gè)時(shí)間，然后我們?cè)倭牧哪?？于是Ilya說(shuō)，現(xiàn)在怎么樣？這就是Ilya的性格。

于是我們聊了一會(huì)兒。我給了他一篇關(guān)于反向傳播的《自然》論文。我們一周后又開(kāi)了一次會(huì)。他回來(lái)后說(shuō)，我不明白。我非常失望。我想，他看起來(lái)像個(gè)聰明人，但這只是鏈?zhǔn)椒▌t，這并不難理解。他表示：“不，不，我明白你的意思。我只是不明白為什么我們不將梯度交給一個(gè)合理的函數(shù)優(yōu)化器?！?這是我們花了好幾年時(shí)間去思考的問(wèn)題。Ilya一直都是這樣，他對(duì)事物的直覺(jué)總是很好。

你認(rèn)為是什么讓Ilya有了這些直覺(jué)？

我也不知道。我認(rèn)為他總是為自己著想。他從小就對(duì)人工智能感興趣，顯然他擅長(zhǎng)數(shù)學(xué)，但具體原因很難知道。

你們兩人的合作情況，以及各自扮演的角色是怎么樣的？

這是一個(gè)很有趣的問(wèn)題。我記得有一次我們?cè)噲D做一件復(fù)雜的事情，制作數(shù)據(jù)地圖。我有一種混合模型，所以你可以把同樣的相似之處做成兩張地圖。在一張地圖上，銀行可能接近貪婪，而在另一張地圖上，銀行可能接近河流。因?yàn)樵谝粡埖貓D上，你不可能讓它接近兩者，因?yàn)楹恿骱拓澙废嗑嗌踹h(yuǎn)。所以我們會(huì)有混合地圖。我們?cè)?MATLAB 中做這件事，這需要對(duì)代碼進(jìn)行大量重組才能正確執(zhí)行矩陣乘法。Ilya 對(duì)此感到厭煩，于是有一天他來(lái)找我說(shuō)，他要為 MATLAB 編寫(xiě)一個(gè)界面。所以我用這種不同的語(yǔ)言編程，然后我有一個(gè)可以將其轉(zhuǎn)換為 MATLAB 的東西。我告訴他，這需要你一個(gè)月的時(shí)間才能完成，我們必須繼續(xù)這個(gè)項(xiàng)目，不要被這個(gè)分散注意力。但I(xiàn)lya說(shuō)，沒(méi)關(guān)系，他今天早上就做到了。

這真是太不可思議了。這些年來(lái)，最大的轉(zhuǎn)變不一定只是算法，還有規(guī)模。這些年來(lái)你是如何看待這種規(guī)模的？

Ilya很早就有了這種直覺(jué)。所以Ilya總是說(shuō)，只要把它做大一點(diǎn)，它就會(huì)工作得更好。我一直認(rèn)為這是一種逃避，你也必須有新的想法。但事實(shí)證明，Ilya基本上是對(duì)的。新的想法很有幫助，像Transformer這樣的東西幫了大忙。但實(shí)際上，問(wèn)題在于數(shù)據(jù)的規(guī)模和計(jì)算的規(guī)模。當(dāng)時(shí)，我們不知道計(jì)算機(jī)的速度會(huì)提高十億倍，我們認(rèn)為它們的速度可能會(huì)提高一百倍。我們?cè)噲D通過(guò)提出巧妙的想法來(lái)解決問(wèn)題，如果我們擁有更大規(guī)模的數(shù)據(jù)和計(jì)算，這些想法就會(huì)自行解決。

大約在 2011 年，Ilya 和另一名研究生 James Martins 和我發(fā)表了一篇使用字符級(jí)預(yù)測(cè)的論文。因此，我們采用了維基百科，并嘗試預(yù)測(cè)下一個(gè) HTML 字符。結(jié)果非常好，我們總是對(duì)它的效果感到驚訝。那是在 GPU 上使用一個(gè)花哨的優(yōu)化器。我們從來(lái)不相信它理解了任何東西，但它看起來(lái)好像理解了。這可能讓人難以置信。

你能否告訴我們，這些模型是如何被訓(xùn)練以預(yù)測(cè)下一個(gè)單詞的？為什么這被視為錯(cuò)誤的思考方式？

實(shí)際上，我并不認(rèn)為這是錯(cuò)誤的方式。事實(shí)上，我認(rèn)為我是第一個(gè)使用嵌入和反向傳播的神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的制作者。這個(gè)模型使用的是非常簡(jiǎn)單的數(shù)據(jù)，只是三元組。它將每個(gè)符號(hào)轉(zhuǎn)換為嵌入，然后讓嵌入相互作用以預(yù)測(cè)下一個(gè)符號(hào)的嵌入。然后從中預(yù)測(cè)下一個(gè)符號(hào)。接著，它通過(guò)整個(gè)過(guò)程反向傳播來(lái)學(xué)習(xí)這些三元組。我已經(jīng)證明了它可以進(jìn)行概括

大約10年后，Yoshio Bengio使用了一個(gè)非常相似的網(wǎng)絡(luò)并展示了它可以處理真實(shí)文本。大約10年后，語(yǔ)言學(xué)家開(kāi)始接受嵌入的概念。這是一個(gè)緩慢的過(guò)程。

我認(rèn)為它不僅僅是預(yù)測(cè)下一個(gè)符號(hào)的原因是，那么，預(yù)測(cè)下一個(gè)符號(hào)需要什么？特別是如果你向我提問(wèn)，然后答案的第一個(gè)詞是下一個(gè)符號(hào)，你必須理解這個(gè)問(wèn)題。所以我認(rèn)為通過(guò)預(yù)測(cè)下一個(gè)符號(hào)，它與傳統(tǒng)的自動(dòng)完成功能有很大的不同。

傳統(tǒng)的自動(dòng)完成功能會(huì)存儲(chǔ)一組三元組單詞。然后，如果你存儲(chǔ)了一對(duì)單詞，你會(huì)看到不同的單詞出現(xiàn)在第三位的頻率，這樣你就可以預(yù)測(cè)下一個(gè)符號(hào)。這就是大多數(shù)人認(rèn)為的自動(dòng)完成功能。但現(xiàn)在，情況已經(jīng)不再是這樣了。要預(yù)測(cè)下一個(gè)符號(hào)，你必須理解所說(shuō)的內(nèi)容。所以我認(rèn)為你通過(guò)讓它預(yù)測(cè)下一個(gè)符號(hào)來(lái)強(qiáng)迫它理解。我認(rèn)為它的理解方式與我們非常相似。

很多人會(huì)告訴你這些東西和我們不一樣。他們只是預(yù)測(cè)下一個(gè)符號(hào)。他們不像我們一樣推理。但實(shí)際上，為了預(yù)測(cè)下一個(gè)符號(hào)，它必須進(jìn)行一些推理。我們現(xiàn)在已經(jīng)看到，如果你制造大型機(jī)器，而不放入任何特殊的東西來(lái)進(jìn)行推理，它們已經(jīng)可以進(jìn)行一些推理。我認(rèn)為隨著你把它們做得越來(lái)越大，它們將能夠進(jìn)行越來(lái)越多的推理。

現(xiàn)在除了預(yù)測(cè)下一個(gè)符號(hào)外，還做了其他什么嗎？

我認(rèn)為這就是學(xué)習(xí)的方式。你在預(yù)測(cè)下一個(gè)視頻幀。你在預(yù)測(cè)下一個(gè)聲音。但我認(rèn)為這是關(guān)于大腦如何學(xué)習(xí)的一個(gè)相當(dāng)合理的理論。

那么，是什么使這些模型能夠?qū)W習(xí)如此廣泛的領(lǐng)域？

這些大型語(yǔ)言模型所做的是尋找共同的結(jié)構(gòu)。通過(guò)找到共同的結(jié)構(gòu)，它們可以使用共同的結(jié)構(gòu)對(duì)事物進(jìn)行編碼，這樣效率更高。

讓我給你舉個(gè)例子。如果你問(wèn)GPT-4，為什么堆肥堆像原子彈？大多數(shù)人都無(wú)法回答這個(gè)問(wèn)題。大多數(shù)人沒(méi)有想過(guò)……他們認(rèn)為原子彈和堆肥堆是非常不同的東西。但GPT-4會(huì)告訴你，能量尺度非常不同，時(shí)間尺度也非常不同。但相同的是，當(dāng)堆肥堆變熱時(shí)，它會(huì)更快地產(chǎn)生熱量。當(dāng)原子彈產(chǎn)生更多的中子時(shí)，其產(chǎn)生中子的速度也會(huì)隨之加快。這就引出了鏈?zhǔn)椒磻?yīng)的概念。我相信大家都能理解，這些都是鏈?zhǔn)椒磻?yīng)的表現(xiàn)形式。通過(guò)這種理解，所有的信息都被壓縮到權(quán)重中。如果這樣做，那么它將能夠?qū)ξ覀兩形匆?jiàn)過(guò)的數(shù)百種類比進(jìn)行處理，盡管它已經(jīng)看到了這些類比。這就是你能從中獲得創(chuàng)造力的地方，從看到這些看似非常不同的事物之間的類比中獲取。因此，我認(rèn)為當(dāng)GPT-4變得更大時(shí)，它將變得非常有創(chuàng)造力。我認(rèn)為，認(rèn)為它只是在重復(fù)它所學(xué)到的東西，只是將它已經(jīng)學(xué)過(guò)的文本拼湊在一起，這種想法是完全錯(cuò)誤的。它更有創(chuàng)造力。

你可能會(huì)說(shuō)，它不僅會(huì)重復(fù)我們迄今為止開(kāi)發(fā)的人類知識(shí)，而且還會(huì)超越這一點(diǎn)。我認(rèn)為這是我們還未見(jiàn)過(guò)的事物。我們已經(jīng)開(kāi)始看到一些例子，但在很大程度上，我們?nèi)匀惶幱诋?dāng)前的科學(xué)水平。你認(rèn)為什么能讓它超越這一點(diǎn)呢？

我們?cè)诟邢薜沫h(huán)境中已經(jīng)看到了這一點(diǎn)。以AlphaGo為例，在與李世石的那場(chǎng)著名比賽中，AlphaGo在第37步做出了一個(gè)所有專家都認(rèn)為一定是錯(cuò)誤的舉動(dòng)。但實(shí)際上后來(lái)他們意識(shí)到這是一步絕妙的舉動(dòng)。所以這是在那個(gè)有限的領(lǐng)域內(nèi)富有創(chuàng)造力的舉動(dòng)。我認(rèn)為隨著這些事情變得越來(lái)越大，我們會(huì)看到更多這樣的舉動(dòng)。

AlphaGo的不同之處在于它使用了強(qiáng)化學(xué)習(xí)，這使它能夠超越當(dāng)前狀態(tài)。所以它從模仿學(xué)習(xí)開(kāi)始，觀察人類如何玩游戲，然后通過(guò)自我對(duì)弈，發(fā)展到超越這一點(diǎn)。你認(rèn)為這是當(dāng)前數(shù)據(jù)實(shí)驗(yàn)室缺少的組件嗎？

我認(rèn)為這很可能是一個(gè)缺失的組件，是的。AlphaGo和AlphaZero的自我對(duì)弈是它能夠做出這些創(chuàng)造性舉動(dòng)的重要原因。但我認(rèn)為這不是完全必要的。很久以前我做過(guò)一個(gè)小實(shí)驗(yàn)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字。我很喜歡這個(gè)例子，MNIST的例子。你給它訓(xùn)練數(shù)據(jù)，其中一半的答案是錯(cuò)誤的。問(wèn)題是，它能學(xué)得多好？你把一半的答案弄錯(cuò)一次，然后保持這種狀態(tài)。所以它不能通過(guò)只看同一個(gè)例子來(lái)平均化錯(cuò)誤率，但有時(shí)答案正確，有時(shí)答案錯(cuò)誤。當(dāng)它看到那個(gè)例子時(shí)，一半的例子，當(dāng)它看到這個(gè)例子時(shí)，答案總是錯(cuò)的。所以訓(xùn)練數(shù)據(jù)的誤差為50%。但是如果你訓(xùn)練反向傳播，誤差會(huì)降到5%或更低。換句話說(shuō)，從標(biāo)記不良的數(shù)據(jù)中，它可以得到更好的結(jié)果。它可以看到訓(xùn)練數(shù)據(jù)是錯(cuò)誤的。這就是聰明的學(xué)生能比他們的導(dǎo)師更聰明的原因。他們的導(dǎo)師告訴他們所有這些東西，而對(duì)于導(dǎo)師告訴他們的一半，他們認(rèn)為，不，是胡說(shuō)八道，他們聽(tīng)從另一半，然后他們最終比導(dǎo)師更聰明。因此，這些大型神經(jīng)網(wǎng)絡(luò)實(shí)際上具有超越訓(xùn)練數(shù)據(jù)的能力，這是大多數(shù)人未曾意識(shí)到的。

那么，我們?nèi)绾纹谕@些模型能夠獲得推理能力呢？一種可能的方法是在這些模型之上添加某種啟發(fā)式方法。目前，許多研究都在嘗試這種方法，即你有一個(gè)思維鏈，只需將其推理反饋到模型自身中。另一種可能的方法是在模型本身中增加規(guī)模。那么，你對(duì)此有何看法？

我的直覺(jué)告訴我，隨著我們擴(kuò)大這些模型的規(guī)模，它們的推理能力會(huì)得到提升。如果問(wèn)人們這是如何工作的，大致上，我們有這些直覺(jué)，我們可以進(jìn)行推理，我們用推理來(lái)糾正我們的直覺(jué)。當(dāng)然，我們?cè)谕评磉^(guò)程中也會(huì)使用直覺(jué)。但如果推理的結(jié)論與我們的直覺(jué)相沖突，我們就會(huì)意識(shí)到需要改變我們的直覺(jué)。這與AlphaGo或AlphaZero的工作方式類似，它們有一個(gè)評(píng)估函數(shù)，只需看一眼棋盤，然后判斷“這對(duì)我來(lái)說(shuō)有多好？”但是，當(dāng)你進(jìn)行蒙特卡羅推演時(shí)，你會(huì)得到一個(gè)更準(zhǔn)確的想法，你可以修改你的評(píng)估函數(shù)。因此，你可以通過(guò)讓模型接受推理的結(jié)果來(lái)訓(xùn)練它。

我認(rèn)為這些大型語(yǔ)言模型必須開(kāi)始這樣做，他們必須開(kāi)始通過(guò)推理來(lái)訓(xùn)練他們對(duì)下一步應(yīng)該做什么的原始直覺(jué)，并意識(shí)到這是不對(duì)的。這樣，他們就可以獲得更多的訓(xùn)練數(shù)據(jù)，而不僅僅是模仿人們所做的。這正是AlphaGo能夠做出第37步創(chuàng)新的原因，它擁有更多的訓(xùn)練數(shù)據(jù)，因?yàn)樗褂猛评韥?lái)檢查下一步應(yīng)該是什么。

那么，你對(duì)多模態(tài)有何看法？我們談到了這些類比，而這些類比往往遠(yuǎn)遠(yuǎn)超出了我們所能看到的范圍。模型發(fā)現(xiàn)的類比遠(yuǎn)遠(yuǎn)超出了人類的能力，可能是在我們永遠(yuǎn)無(wú)法理解的抽象層面上。現(xiàn)在，當(dāng)我們將圖像、視頻和聲音引入其中時(shí)，你認(rèn)為這會(huì)如何改變模型？你認(rèn)為它將如何改變它能夠進(jìn)行的類比？

我認(rèn)為這將帶來(lái)很大的改變。例如，我認(rèn)為它將使模型更好地理解空間事物。僅從語(yǔ)言角度來(lái)看，很難理解一些空間事物。盡管值得注意的是，即使在成為多模態(tài)之前，GPT-4也能做到這一點(diǎn)。但是，當(dāng)你讓模型成為多模態(tài)時(shí)，如果你讓它既能做視覺(jué)，又能伸手抓東西，如果它能拿起物體并翻轉(zhuǎn)它們等等，它就會(huì)更好地理解物體。因此，雖然你可以從語(yǔ)言中學(xué)到很多東西，但如果你是多模態(tài)的，學(xué)習(xí)起來(lái)會(huì)更容易。事實(shí)上，你需要的語(yǔ)言更少。YouTube上有很多關(guān)于預(yù)測(cè)下一幀的視頻，或者類似的東西。因此，我認(rèn)為這些多模態(tài)模型顯然會(huì)占據(jù)主導(dǎo)地位。你可以通過(guò)這種方式獲得更多數(shù)據(jù)，它們需要更少的語(yǔ)言。因此，從哲學(xué)角度來(lái)看，你可以僅從語(yǔ)言中學(xué)習(xí)出一個(gè)非常好的模型，但從多模態(tài)系統(tǒng)中學(xué)習(xí)要容易得多。

您如何看待這將對(duì)模型推理產(chǎn)生的影響？

例如，我認(rèn)為這將使模型能夠更好地進(jìn)行空間推理。如果你嘗試去拿起一個(gè)物體，你會(huì)得到各種有用的訓(xùn)練數(shù)據(jù)，這將有助于推理出如果你拿起物體會(huì)發(fā)生什么。

您認(rèn)為是人類大腦進(jìn)化得能很好地處理語(yǔ)言，還是語(yǔ)言進(jìn)化得能很好地處理人類大腦？

我認(rèn)為這是一個(gè)非常好的問(wèn)題，是語(yǔ)言進(jìn)化得能與大腦協(xié)同工作，還是大腦進(jìn)化得能與語(yǔ)言協(xié)同工作。我認(rèn)為兩者都發(fā)生了。我曾經(jīng)認(rèn)為我們可以在完全不需要語(yǔ)言的情況下進(jìn)行大量的認(rèn)知活動(dòng)，但現(xiàn)在我對(duì)此有了一些改變。

那么，我將給出三種不同的語(yǔ)言觀點(diǎn)以及它們與認(rèn)知的關(guān)系。

一種觀點(diǎn)是老式的符號(hào)觀點(diǎn)，即認(rèn)知包括使用某種經(jīng)過(guò)清理的邏輯語(yǔ)言中的符號(hào)串，這些語(yǔ)言沒(méi)有歧義，并應(yīng)用推理規(guī)則。這就是認(rèn)知，只是對(duì)語(yǔ)言符號(hào)串之類的事物進(jìn)行符號(hào)操作。這是一種極端觀點(diǎn)。

另一種極端觀點(diǎn)是，一旦你進(jìn)入頭腦，它就全是向量。所以符號(hào)進(jìn)來(lái)了，你把這些符號(hào)轉(zhuǎn)換成大向量，里面的所有內(nèi)容都是用大向量完成的，然后如果你想產(chǎn)生輸出，你又會(huì)生成符號(hào)。在2014年左右，機(jī)器翻譯中有一個(gè)點(diǎn)，當(dāng)時(shí)人們使用循環(huán)神經(jīng)網(wǎng)絡(luò)，單詞會(huì)不斷進(jìn)入，它們會(huì)有一個(gè)隱藏狀態(tài)，它們會(huì)在這個(gè)隱藏狀態(tài)下不斷積累信息。因此，當(dāng)它們讀完一個(gè)句子時(shí)，它們會(huì)得到一個(gè)大的隱藏向量，它捕捉到了該句子的含義，然后可以用來(lái)生成另一種語(yǔ)言的句子。這被稱為思維向量。這是對(duì)語(yǔ)言的第二種看法，你將語(yǔ)言轉(zhuǎn)換成一個(gè)與語(yǔ)言完全不同的大向量，這就是認(rèn)知的全部?jī)?nèi)容。

但是還有第三種觀點(diǎn)，也是我現(xiàn)在所相信的，即你采用這些符號(hào)，將符號(hào)轉(zhuǎn)換成嵌入，并使用多層嵌入，這樣你就得到了這些非常豐富的嵌入。但是嵌入仍然與符號(hào)相關(guān)聯(lián)，從某種意義上說(shuō)，你有一個(gè)用于這個(gè)符號(hào)的大向量，以及一個(gè)用于那個(gè)符號(hào)的大向量，這些向量相互作用產(chǎn)生下一個(gè)單詞的符號(hào)的向量。這就是理解。理解就是知道如何將符號(hào)轉(zhuǎn)換成這些向量，并知道向量的元素應(yīng)該如何相互作用以預(yù)測(cè)下一個(gè)符號(hào)的向量。這就是理解，無(wú)論是在這些大型語(yǔ)言模型中，還是在我們的大腦中。這是一個(gè)介于兩者之間的例子。你繼續(xù)使用符號(hào)，但將它們解釋為這些大向量，這就是所有工作所在。所有的知識(shí)都在于你使用的向量以及這些向量的元素如何相互作用，而不是符號(hào)規(guī)則。但這并不是說(shuō)你完全擺脫符號(hào)，而是說(shuō)你將符號(hào)變成大向量，但你保留符號(hào)的表面結(jié)構(gòu)。這就是這些模型的工作方式。在我看來(lái)，這也是人類思維更合理的模型。

您是最早想到使用GPU的人之一，我知道Jensen（黃仁勛）很喜歡你。早在2009年，你就告訴Jensen，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)非常好的想法。讓我們回顧一下使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的早期直覺(jué)。

實(shí)際上，我記得在2006年，我有一位研究生，他是一位非常優(yōu)秀的計(jì)算機(jī)視覺(jué)專家。我曾在一次會(huì)議上與他交談，他建議我考慮使用圖形處理卡，因?yàn)樗鼈冊(cè)诰仃嚦朔ǚ矫姹憩F(xiàn)出色，而我所做的基本上都是矩陣乘法。我考慮了一會(huì)兒，然后我們開(kāi)始研究那些配備四個(gè)GPU的Tesla系統(tǒng)。

最初，我們只是購(gòu)買了游戲用的GPU，發(fā)現(xiàn)它們使運(yùn)算速度提高了30倍。然后我們購(gòu)買了一個(gè)配備四個(gè)GPU的Tesla系統(tǒng)，并在此基礎(chǔ)上進(jìn)行了一次演講，效果非常好。2009年，我在NIPS會(huì)議上發(fā)表了演講，我告訴在場(chǎng)的一千名機(jī)器學(xué)習(xí)研究人員，你們都應(yīng)該去購(gòu)買NVIDIA的GPU，因?yàn)樗鼈兪俏磥?lái)，你們需要它們來(lái)進(jìn)行機(jī)器學(xué)習(xí)。然后我實(shí)際上給NVIDIA發(fā)了一封郵件，說(shuō)我已經(jīng)告訴一千名機(jī)器學(xué)習(xí)研究人員去購(gòu)買你們的主板，你們能否免費(fèi)給我一個(gè)？他們并沒(méi)有回復(fù)。

但是，當(dāng)我后來(lái)把這個(gè)故事告訴Jensen時(shí)，他免費(fèi)給了我一個(gè)。

這真是太好了。我認(rèn)為同樣有趣的是，GPU是如何隨著這個(gè)領(lǐng)域的發(fā)展而發(fā)展的。那么，你認(rèn)為我們?cè)谟?jì)算領(lǐng)域的下一步應(yīng)該如何發(fā)展呢？

在我在谷歌的最后幾年里，我一直在思考如何嘗試進(jìn)行模擬計(jì)算。這樣，我們可以使用30瓦的功率（例如大腦），而不是使用一兆瓦的功率，并且可以在模擬硬件中運(yùn)行這些大型語(yǔ)言模型。我從未讓它發(fā)揮作用，但我開(kāi)始真正欣賞數(shù)字計(jì)算。

因此，如果你要使用這種低功耗的模擬計(jì)算，那么每個(gè)硬件都會(huì)有所不同。這個(gè)想法是，學(xué)習(xí)將利用該硬件的特定屬性。這就是發(fā)生在人們身上的事情。我們所有人的大腦都是不同的，因此，我們不能將你大腦中的權(quán)重放入我的大腦中。硬件不同，各個(gè)神經(jīng)元的精確屬性也不同。學(xué)習(xí)已經(jīng)學(xué)會(huì)了利用所有這些。因此，我們終有一死，因?yàn)槲夷X中的權(quán)重對(duì)其他任何腦都毫無(wú)用處。當(dāng)我死后，這些權(quán)重就毫無(wú)用處了。

我們可以很低效地將信息從一個(gè)人傳遞給另一個(gè)人，我寫(xiě)句子，你想辦法改變你的權(quán)重，這樣你就會(huì)說(shuō)同樣的話。這叫做提煉，但這是一種非常低效的知識(shí)交流方式。而對(duì)于數(shù)字系統(tǒng)，它們是不朽的，因?yàn)橐坏┠阌辛艘恍?quán)重，你就可以扔掉計(jì)算機(jī)，只需將權(quán)重存儲(chǔ)在某個(gè)磁帶上，然后建造另一臺(tái)計(jì)算機(jī)，把同樣的權(quán)重放進(jìn)去。如果它是數(shù)字的，它可以計(jì)算與其他系統(tǒng)完全相同的東西。因此，數(shù)字系統(tǒng)能夠共享權(quán)重，這種方式的效率極高。假設(shè)你有一大批數(shù)字系統(tǒng)，它們各自進(jìn)行微量的學(xué)習(xí)，從相同的權(quán)重開(kāi)始，進(jìn)行微量的學(xué)習(xí)，然后再次共享權(quán)重，這樣它們都能知道其他系統(tǒng)學(xué)到了什么。然而，我們?nèi)祟悷o(wú)法做到這一點(diǎn)，因此在知識(shí)共享方面，這些數(shù)字系統(tǒng)遠(yuǎn)勝于我們。

許多已經(jīng)在該領(lǐng)域?qū)嵤┑南敕ㄆ鋵?shí)都是非常傳統(tǒng)的，這些想法在神經(jīng)科學(xué)中一直存在。那么，你認(rèn)為還有哪些想法可以應(yīng)用于我們正在開(kāi)發(fā)的系統(tǒng)呢？

因此，我們?nèi)孕柙谧兓臅r(shí)間尺度上趕上神經(jīng)科學(xué)。在幾乎所有的神經(jīng)網(wǎng)絡(luò)中，都存在一個(gè)快速的活動(dòng)變化時(shí)間尺度。因此，當(dāng)輸入進(jìn)來(lái)后，活動(dòng)和嵌入向量都會(huì)發(fā)生變化，然后有一個(gè)緩慢的時(shí)間尺度會(huì)改變權(quán)重。這就是長(zhǎng)期學(xué)習(xí)。你只有這兩個(gè)時(shí)間尺度。然而在大腦中，權(quán)重會(huì)改變的時(shí)間尺度很多。

例如，如果我說(shuō)了一個(gè)意想不到的詞，比如“黃瓜”，五分鐘后，你戴上耳機(jī)，會(huì)聽(tīng)到很多噪音，而且單詞非常模糊，但你會(huì)更好地識(shí)別“黃瓜”這個(gè)詞，因?yàn)槲椅宸昼娗罢f(shuō)過(guò)這個(gè)詞。那么，大腦中的這些知識(shí)是如何存儲(chǔ)的呢？這些知識(shí)顯然是突觸的暫時(shí)變化，而不是神經(jīng)元在重復(fù)“黃瓜”這個(gè)詞。你沒(méi)有足夠的神經(jīng)元來(lái)做這件事。這是權(quán)重的暫時(shí)變化。你可以用暫時(shí)的權(quán)重變化做很多事情，我稱之為快速權(quán)重。

在我們的神經(jīng)模型中，我們并不會(huì)這樣做，原因是如果對(duì)依賴于輸入數(shù)據(jù)的權(quán)重進(jìn)行臨時(shí)更改，則無(wú)法同時(shí)處理大量不同的情況。目前，我們采用大量不同的字符串，將它們堆疊在一起，然后并行處理它們，因?yàn)檫@樣我們可以進(jìn)行矩陣乘法，效率要高得多。而正是這種效率阻止了我們使用快速權(quán)重。但大腦顯然將快速權(quán)重用于臨時(shí)記憶。而且，你可以通過(guò)這種方式做各種我們目前不做的事情。我認(rèn)為這是你必須學(xué)習(xí)的最重要的事情之一。我非常希望像Graphcore這樣的設(shè)備，如果它們采用順序方式并只進(jìn)行在線學(xué)習(xí)，那么它們就可以使用快速權(quán)重。但這還沒(méi)有奏效。我認(rèn)為當(dāng)人們使用電導(dǎo)作為權(quán)重時(shí)，它最終會(huì)奏效。

了解這些模型如何工作以及了解大腦如何工作對(duì)你的思維方式有何影響？

我認(rèn)為有一個(gè)很大的影響，這是在一個(gè)相當(dāng)抽象的層面上，那就是多年來(lái)，人們非常鄙視擁有一個(gè)大型隨機(jī)神經(jīng)網(wǎng)絡(luò)，只要給它大量的訓(xùn)練數(shù)據(jù)，它就會(huì)學(xué)會(huì)做復(fù)雜的事情的想法。如果你和統(tǒng)計(jì)學(xué)家或語(yǔ)言學(xué)家，或者大多數(shù)人工智能領(lǐng)域的人交談，他們會(huì)說(shuō)，那只是一個(gè)白日夢(mèng)。如果沒(méi)有某種先天知識(shí)，沒(méi)有很多架構(gòu)限制，你就不可能學(xué)會(huì)真正復(fù)雜的事情。然而，事實(shí)證明這是完全錯(cuò)誤的。你可以采用一個(gè)大型隨機(jī)神經(jīng)網(wǎng)絡(luò)，你可以從數(shù)據(jù)中學(xué)習(xí)一大堆東西。因此，隨機(jī)梯度下降的想法，即使用梯度反復(fù)調(diào)整權(quán)重，可以學(xué)習(xí)東西，而且可以學(xué)習(xí)非常復(fù)雜的東西，這些大型模型已經(jīng)證實(shí)了這一點(diǎn)。這是對(duì)大腦理解的一個(gè)非常重要的觀點(diǎn)。大腦并不需要擁有所有的先天結(jié)構(gòu)?，F(xiàn)在，雖然大腦確實(shí)擁有許多先天結(jié)構(gòu)，但對(duì)于易于學(xué)習(xí)的事物，它并不需要這些先天結(jié)構(gòu)。

因此，喬姆斯基的觀點(diǎn)是，除非所有的知識(shí)都已經(jīng)深深植根并且已經(jīng)成熟，否則你無(wú)法學(xué)習(xí)任何像語(yǔ)言這樣復(fù)雜的事物。然而，這種觀點(diǎn)現(xiàn)在顯然是荒謬的。

我相信喬姆斯基會(huì)很高興你稱他的觀點(diǎn)是荒謬的。

實(shí)際上，我認(rèn)為喬姆斯基的許多政治觀點(diǎn)非常明智。我總是很驚訝，為什么一個(gè)在中東問(wèn)題上有如此明智觀點(diǎn)的人在語(yǔ)言學(xué)方面會(huì)犯如此大的錯(cuò)誤。

你認(rèn)為什么會(huì)讓這些模型更有效地模擬人類的意識(shí)？想象一下，如果你有一個(gè)你一生中與之交談過(guò)的人工智能助手。而不是像現(xiàn)在的ChatGPT那樣，刪除對(duì)話的記憶，每次都從頭開(kāi)始。它有自我反省的能力。有一天，你去世了，其他人把這件事告訴了助手，你認(rèn)為助手在那個(gè)時(shí)候會(huì)有感覺(jué)嗎？

是的，我認(rèn)為他們也會(huì)有感覺(jué)。所以我認(rèn)為，就像我們有這種感知的內(nèi)在劇場(chǎng)模型一樣，我們也有一個(gè)感覺(jué)的內(nèi)在劇場(chǎng)模型。這些是我能體驗(yàn)到的東西，但其他人卻不能。我認(rèn)為那個(gè)模型同樣是錯(cuò)誤的。

所以我認(rèn)為，假設(shè)我說(shuō)，我想打加里的鼻子，我經(jīng)常這樣做。讓我們?cè)囍鴱膬?nèi)心劇場(chǎng)的概念中抽象出這一點(diǎn)。我真正想告訴你的是，如果不是因?yàn)槲业念~葉受到抑制，我就會(huì)采取行動(dòng)。所以當(dāng)我們談?wù)摳杏X(jué)時(shí)，我們實(shí)際上是在談?wù)撊绻麤](méi)有限制我們會(huì)采取的行動(dòng)。這就是感覺(jué)的真正含義，如果沒(méi)有限制我們會(huì)采取的行動(dòng)。所以我認(rèn)為你可以對(duì)感覺(jué)做出同樣的解釋，沒(méi)有理由說(shuō)這些東西不能有感覺(jué)。

事實(shí)上，在1973年，我看到一個(gè)機(jī)器人有情感。在愛(ài)丁堡，他們有一個(gè)帶有兩個(gè)夾子的機(jī)器人，如果你把零件分開(kāi)放在一塊綠色毛氈上，它可以組裝一輛玩具車。但是如果你把它們堆在一起，它的視力就不足以弄清楚發(fā)生了什么。所以它把夾子放在一起，然后開(kāi)始工作！它把它們敲碎，讓它們散落一地，然后又把它們拼湊在一起。如果你在一個(gè)人身上看到這一點(diǎn)，你會(huì)說(shuō)，這是因?yàn)椴焕斫馇闆r，所以它與情況不符，所以它摧毀了情況。這很深刻。

在我們之前的談話中，你把人類和LLM描述為類比機(jī)器。你認(rèn)為你一生中發(fā)現(xiàn)的最有力的類比是什么？

在我的一生中？我想可能對(duì)我影響很大的一種弱類比是宗教信仰和符號(hào)處理信仰之間的類比。所以當(dāng)我很小的時(shí)候，我來(lái)自一個(gè)無(wú)神論家庭，上學(xué)時(shí)就面臨著宗教信仰。在我看來(lái)，這簡(jiǎn)直是無(wú)稽之談。即使我再次審視，我仍然認(rèn)為這是無(wú)稽之談。

當(dāng)我將符號(hào)處理視為對(duì)人們工作方式的解釋時(shí)，我認(rèn)為這種觀點(diǎn)依然是無(wú)稽之談。我并不認(rèn)為現(xiàn)在的觀點(diǎn)完全是無(wú)稽之談，因?yàn)槲掖_信我們正在進(jìn)行符號(hào)處理。我們只是通過(guò)將這些大的嵌入向量賦予符號(hào)來(lái)實(shí)現(xiàn)這一點(diǎn)。但我們實(shí)際上是在進(jìn)行符號(hào)處理。

然而，這并不像人們想象的那樣，你匹配符號(hào)，一個(gè)符號(hào)的唯一屬性是它與另一個(gè)符號(hào)相同或不同。這是符號(hào)的唯一屬性。我們并不是這樣做的。我們使用上下文為符號(hào)提供嵌入向量，然后使用這些嵌入向量組件之間的交互進(jìn)行思考。

然而，谷歌有一位非常優(yōu)秀的研究員，名叫Fernando Pereira，他認(rèn)為，我們確實(shí)在進(jìn)行符號(hào)推理，我們的唯一符號(hào)就是自然語(yǔ)言。自然語(yǔ)言是一種符號(hào)語(yǔ)言，我們用它來(lái)推理。我現(xiàn)在相信這一點(diǎn)。

你已經(jīng)進(jìn)行了一些計(jì)算機(jī)科學(xué)史上最有意義的研究。你能給我們講講，比如，你是如何選擇合適的問(wèn)題來(lái)解決的？

首先，我要糾正一下，我和我的學(xué)生一起完成了很多最有意義的研究。這主要得益于我與學(xué)生的良好合作，以及我選擇優(yōu)秀學(xué)生的能力。在70年代、80年代、90年代和21世紀(jì)，很少有人研究神經(jīng)網(wǎng)絡(luò)。因此，少數(shù)研究神經(jīng)網(wǎng)絡(luò)的人可以挑選最優(yōu)秀的學(xué)生。這是一件幸運(yùn)的事。

我選擇問(wèn)題的方式基本上是，當(dāng)科學(xué)家談?wù)撍麄兊墓ぷ髟頃r(shí)，他們會(huì)有關(guān)于他們?nèi)绾喂ぷ鞯睦碚?，這可能與事實(shí)沒(méi)有太大關(guān)系。但我的理論是，我尋找的是每個(gè)人都同意但感覺(jué)不對(duì)的東西。只是有一點(diǎn)直覺(jué)，覺(jué)得它有問(wèn)題。然后我研究它，看看我是否能詳細(xì)說(shuō)明為什么我認(rèn)為它是錯(cuò)的。也許我可以用一個(gè)小的計(jì)算機(jī)程序做一個(gè)小演示，顯示它不像你預(yù)期的那樣工作。

讓我舉一個(gè)例子。大多數(shù)人認(rèn)為，如果你給神經(jīng)網(wǎng)絡(luò)添加噪音，它就會(huì)變得更糟。例如，如果每次你進(jìn)行訓(xùn)練示例時(shí)，讓一半的神經(jīng)元保持沉默，效果就會(huì)更糟。實(shí)際上，我們知道如果這樣做的話，它的概括效果會(huì)更好。你可以用一個(gè)簡(jiǎn)單的例子來(lái)證明這一點(diǎn)。這就是計(jì)算機(jī)模擬的優(yōu)點(diǎn)。

你可以證明，你的想法是，增加噪音會(huì)使情況變得更糟，而去掉一半的神經(jīng)元會(huì)使它工作得更糟，短期內(nèi)確實(shí)如此。但如果你這樣訓(xùn)練它，最終它會(huì)工作得更好。你可以用一個(gè)小型計(jì)算機(jī)程序來(lái)證明這一點(diǎn)，然后你可以認(rèn)真思考為什么會(huì)這樣，以及它如何阻止復(fù)雜的協(xié)同適應(yīng)。

但我認(rèn)為這是我的工作方法。找到聽(tīng)起來(lái)可疑的東西并對(duì)其進(jìn)行研究，看看你是否可以給出一個(gè)簡(jiǎn)單的演示來(lái)說(shuō)明為什么它是錯(cuò)誤的。

現(xiàn)在有什么聽(tīng)起來(lái)可疑的呢？

我們不使用快速權(quán)重的做法聽(tīng)起來(lái)很可疑，我們只有兩個(gè)時(shí)間尺度。這完全是錯(cuò)誤的，這根本不像大腦的工作方式。從長(zhǎng)遠(yuǎn)來(lái)看，我認(rèn)為我們將不得不擁有更多的時(shí)間尺度。這只是一個(gè)例子。

假設(shè)你今天有一群學(xué)生，他們來(lái)找你，問(wèn)你，我們之前討論過(guò)的漢明問(wèn)題，你的領(lǐng)域中最重要的問(wèn)題是什么？你建議他們接下來(lái)接受和研究什么？我們談到了推理、時(shí)間尺度。你會(huì)給他們什么最高優(yōu)先級(jí)的問(wèn)題？

對(duì)于我來(lái)說(shuō)，現(xiàn)在的問(wèn)題和我過(guò)去30年來(lái)一直存在的問(wèn)題是一樣的，那就是大腦會(huì)進(jìn)行反向傳播嗎？我相信大腦會(huì)獲得梯度。如果你得不到梯度，你的學(xué)習(xí)效果就會(huì)比得到梯度時(shí)差很多。但是大腦是如何獲得梯度的？它是以某種方式實(shí)現(xiàn)某種近似版本的反向傳播，還是某種完全不同的技術(shù)？這是一個(gè)懸而未決的大問(wèn)題。如果我繼續(xù)做研究，這就是我要研究的內(nèi)容。

當(dāng)你現(xiàn)在回顧你的職業(yè)生涯時(shí)，你會(huì)發(fā)現(xiàn)你在很多事情上都是對(duì)的。但是你錯(cuò)在什么地方，以至于你希望自己花更少的時(shí)間追求某個(gè)方向？好吧，這是兩個(gè)獨(dú)立的問(wèn)題。一是你錯(cuò)在什么地方？二，你希望自己花更少的時(shí)間在這上面嗎？

我認(rèn)為我對(duì)玻爾茲曼機(jī)的看法是錯(cuò)誤的，我很高興我花了很長(zhǎng)時(shí)間研究它。關(guān)于如何獲得梯度，有比反向傳播更漂亮的理論。反向傳播很普通，很明智，它只是一個(gè)鏈?zhǔn)椒▌t。玻爾茲曼機(jī)非常聰明，它是一種獲取梯度的非常有趣的方法。我希望大腦也能這樣工作，但我認(rèn)為事實(shí)并非如此。

您是否也花了很多時(shí)間想象這些系統(tǒng)開(kāi)發(fā)后會(huì)發(fā)生什么？您是否曾經(jīng)想過(guò)，如果我們能讓這些系統(tǒng)運(yùn)行良好，我們就能讓教育民主化，我們就能讓知識(shí)更容易獲得，我們可以解決醫(yī)學(xué)上的一些難題，或者對(duì)您來(lái)說(shuō)，這更多的是了解大腦？

是的，我覺(jué)得科學(xué)家應(yīng)該做一些對(duì)社會(huì)有益的事情，但實(shí)際上這并不是您進(jìn)行最佳研究的方式。當(dāng)好奇心驅(qū)使時(shí)，您會(huì)進(jìn)行最好的研究。您只需要了解一些事情。最近，我意識(shí)到這些東西既能帶來(lái)很多好處，也能帶來(lái)很多壞處，我更加擔(dān)心它們對(duì)社會(huì)的影響。但這不是我的動(dòng)機(jī)。我只是想了解，大腦究竟是如何學(xué)習(xí)做事的？這正是我想要知道的。但我有點(diǎn)失敗了。作為那次失敗的副作用，我們得到了一些不錯(cuò)的工程。

是的，這對(duì)世界來(lái)說(shuō)是一次很好的失敗。如果你從真正可能順利的事情的角度來(lái)看，你認(rèn)為最有前途的應(yīng)用是什么？

我認(rèn)為醫(yī)療保健顯然是一個(gè)很大的應(yīng)用。對(duì)于醫(yī)療保健，社會(huì)可以吸收的醫(yī)療保健幾乎是無(wú)窮無(wú)盡的。以一位老年人為例，他們可能需要五位全職醫(yī)生的照顧。因此，當(dāng)人工智能在某些領(lǐng)域的表現(xiàn)超過(guò)人類時(shí)，我們會(huì)期待它能在更多領(lǐng)域發(fā)揮更大的作用。這可能意味著我們需要更多的醫(yī)生。如果每個(gè)人都能擁有三位專屬的醫(yī)生，那將是極好的。我們有望實(shí)現(xiàn)這一目標(biāo)，這也是醫(yī)療保健領(lǐng)域的優(yōu)勢(shì)之一。

此外，新的工程項(xiàng)目和新材料的開(kāi)發(fā)，例如用于改進(jìn)太陽(yáng)能電池板或超導(dǎo)性能的材料，或者僅僅是為了更深入地了解人體的運(yùn)作機(jī)制，都將產(chǎn)生巨大的影響。這些都是積極的一面。然而，我擔(dān)心的是，有人可能會(huì)利用這些技術(shù)做出惡意的行為。利用人工智能制造殺人機(jī)器人，操縱輿論或進(jìn)行大規(guī)模監(jiān)控。這些都是非常令人擔(dān)憂的問(wèn)題。

你是否擔(dān)心，如果我們放慢這個(gè)領(lǐng)域的發(fā)展速度，也會(huì)阻礙其積極的發(fā)展？

當(dāng)然，我有這樣的擔(dān)憂。我認(rèn)為這個(gè)領(lǐng)域的發(fā)展速度不太可能放慢，部分原因是它具有國(guó)際性。如果一個(gè)國(guó)家選擇放慢發(fā)展速度，其他國(guó)家并不會(huì)跟隨。因此，中國(guó)和美國(guó)之間顯然存在競(jìng)爭(zhēng)，雙方都不會(huì)選擇放慢發(fā)展速度。有人提出我們應(yīng)該放慢六個(gè)月的發(fā)展速度，但我并未簽署這一提議，因?yàn)槲艺J(rèn)為這種情況永遠(yuǎn)不會(huì)發(fā)生。盡管如此，我可能應(yīng)該簽署這一提議，因?yàn)榧词惯@種情況永遠(yuǎn)不會(huì)發(fā)生，它也提出了一個(gè)政治觀點(diǎn)。為了表達(dá)觀點(diǎn)，有時(shí)候我們需要提出一些無(wú)法實(shí)現(xiàn)的要求，這往往是一種有效的策略。但我不認(rèn)為我們會(huì)放慢發(fā)展的步伐。

你認(rèn)為有了這些人工智能助手，會(huì)對(duì)AI研究過(guò)程產(chǎn)生什么影響？

我認(rèn)為它們會(huì)大大提高研究效率。有了這些助手，AI研究將變得更加高效，它們不僅能幫助你編程，還能幫助你思考問(wèn)題，甚至可能在解決方程式方面為你提供很大幫助。

你是否考慮過(guò)人才選拔的過(guò)程？這對(duì)你來(lái)說(shuō)主要是依賴直覺(jué)嗎？例如，當(dāng)Ilya出現(xiàn)在門口時(shí)，你會(huì)覺(jué)得他很聰明，于是決定與他一起工作。

在人才選拔方面，有時(shí)候你就是能感覺(jué)到。與Ilya交談不久后，我就覺(jué)得他非常聰明。再深入交談幾句，他的直覺(jué)、數(shù)學(xué)能力都非常出色，這讓我覺(jué)得他是理想的合作伙伴。

還有一次，我參加了一次NIPS會(huì)議。我們有一張海報(bào)，有人走過(guò)來(lái)，他開(kāi)始詢問(wèn)有關(guān)海報(bào)的問(wèn)題。他提出的每一個(gè)問(wèn)題都深入地揭示了我們的錯(cuò)誤。五分鐘后，我就給他提供了一個(gè)博士后職位。那個(gè)人就是David McKay，他非常聰明。他去世了，這讓人感到非常遺憾，但他的才華是顯而易見(jiàn)的，你會(huì)希望能與他一起工作。然而，有時(shí)候，情況并不總是那么明顯。我確實(shí)學(xué)到了一件事，那就是人與人是不同的。優(yōu)秀的學(xué)生并不只有一種類型。有些學(xué)生可能沒(méi)有那么有創(chuàng)造力，但他們?cè)诩夹g(shù)上非常強(qiáng)，能夠讓任何事情都成功。有些學(xué)生在技術(shù)上可能并不出色，但他們卻擁有極高的創(chuàng)造力。理想的情況下，我們希望找到的是既有技術(shù)實(shí)力又具備創(chuàng)造力的學(xué)生，但實(shí)際上，這樣的學(xué)生并不總是那么容易找到。然而，我認(rèn)為在實(shí)驗(yàn)室環(huán)境中，我們需要的是各種不同類型的研究生。

我始終堅(jiān)信我的直覺(jué)，有時(shí)候，你只需要和某人進(jìn)行一次交談，他們就能理解你的意思。這就是我們所期待的。

你是否曾經(jīng)思考過(guò)，為什么有些人的直覺(jué)會(huì)更強(qiáng)呢？他們是否只是比其他人擁有更好的訓(xùn)練數(shù)據(jù)？或者，你是如何培養(yǎng)自己的直覺(jué)的？

我認(rèn)為，部分原因在于他們不容忍胡說(shuō)八道。因此，這里有一種獲取錯(cuò)誤直覺(jué)的方式，那就是盲目相信你被告知的一切，這是非常危險(xiǎn)的。你必須能夠……我認(rèn)為有些人就是這樣做的。他們有一個(gè)理解現(xiàn)實(shí)的完整框架。當(dāng)有人告訴他們某件事情時(shí)，他們會(huì)試圖弄清楚這件事如何融入他們的框架。如果無(wú)法融入，他們就會(huì)予以拒絕。這是一個(gè)非常好的策略。

那些試圖將他們被告知的一切都融入自己的框架的人，最終會(huì)得到一個(gè)非常模糊的框架，并且會(huì)相信一切。這是無(wú)效的。因此，我認(rèn)為，對(duì)世界有強(qiáng)烈的看法，并試圖操縱傳入的事實(shí)以符合你的觀點(diǎn)是非常重要的。顯然，這可能會(huì)導(dǎo)致你陷入深刻的宗教信仰和致命的缺陷等等，就像我對(duì)玻爾茲曼機(jī)器的信仰一樣。但我認(rèn)為這是正確的做法。如果你有良好的直覺(jué)，你應(yīng)該相信它們。如果你的直覺(jué)不好，無(wú)論你做什么都沒(méi)用，所以你最好相信它們。

這是一個(gè)非常好的觀點(diǎn)。

當(dāng)你看到今天正在進(jìn)行的研究類型時(shí)，你是否認(rèn)為我們把所有的雞蛋都放在一個(gè)籃子里，我們應(yīng)該在這個(gè)領(lǐng)域更加多樣化我們的想法？或者你認(rèn)為這是最有前途的方向？所以讓我們?nèi)σ愿啊?/p>

我認(rèn)為擁有大型模型并在多模態(tài)數(shù)據(jù)上訓(xùn)練它們，即使只是為了預(yù)測(cè)下一個(gè)單詞，也是一種非常有前途的方法，我們應(yīng)該全力以赴。顯然，現(xiàn)在有很多人在做這件事。有很多人似乎在做瘋狂的事情，這很好。但我認(rèn)為大多數(shù)人走這條路是可以的，因?yàn)樗Ч芎谩?/p>

你認(rèn)為學(xué)習(xí)算法真的那么重要嗎，還是只是一個(gè)尺度？我們是否有數(shù)百萬(wàn)種方法可以達(dá)到人類水平的智能，或者我們需要發(fā)現(xiàn)少數(shù)幾種？

是的，所以我不知道這個(gè)問(wèn)題的答案，即特定的學(xué)習(xí)算法是否非常重要，或者是否有各種各樣的學(xué)習(xí)算法可以完成這項(xiàng)工作。但在我看來(lái)，反向傳播在某種意義上是正確的做法。獲得梯度以便更改參數(shù)使其更好地工作，這似乎是正確的做法，而且它取得了驚人的成功。可能還有其他學(xué)習(xí)算法，它們是獲得相同梯度的替代方法，或者將梯度轉(zhuǎn)移到其他東西上，并且也有效。我認(rèn)為現(xiàn)在這一切都是開(kāi)放的，也是一個(gè)非常有趣的問(wèn)題，關(guān)于是否還有其他你可以嘗試和最大化的東西可以為你提供良好的系統(tǒng)，也許大腦這樣做是因?yàn)檫@樣更容易。但反向傳播在某種意義上是正確的做法，我們知道這樣做效果很好。

最后一個(gè)問(wèn)題，當(dāng)您回顧您幾十年的研究歷程，您最引以為豪的成就是什么？是你學(xué)生的成就嗎？或者是您的研究成果？在您的整個(gè)職業(yè)生涯中，您最引以為豪的是什么？

我的回答是玻爾茲曼機(jī)的學(xué)習(xí)算法。這個(gè)算法非常優(yōu)雅，盡管在實(shí)踐中可能并不實(shí)用，但這是我和Terry共同開(kāi)發(fā)的過(guò)程中最享受的事情，也是我最引以為豪的成就，即使它可能是錯(cuò)誤的。

（彩蛋）那么，您現(xiàn)在最常思考的問(wèn)題是什么？

我應(yīng)該在Netflix上看什么節(jié)目？

哈哈 ！