未經(jīng)許可不得轉(zhuǎn)載，務(wù)必保留原文出處鏈接和公眾號按鈕

文：天空之城·城主

最近幾天，AI教父Hinton的一個關(guān)于AI本質(zhì)認知的高屋建瓴的訪談有著很廣泛的傳播：

而被譽為AI教母的李飛飛近期也備受關(guān)注，她創(chuàng)立了空間智能公司，并在TED做了演講：

在2023年底，Hinton和李飛飛有過一次經(jīng)典的同臺對話，110分鐘干貨滿滿，現(xiàn)在回頭看來，這是AI界具有歷史地位的兩位大咖重要的面對面時刻。

這唯一的一次同臺深度訪談，中文世界當時似乎沒給予應(yīng)該的關(guān)注（和很快發(fā)生了OpenAI宮變大新聞有關(guān)系）。錯過這次訪談是有點可惜的，信手引用本城B站一位粉絲的留言：

這是一個回顧人工智能大爆發(fā)過程的對話訪談節(jié)目?？催^以后，才了解斯坦福李飛飛為什么那么有名。她敢走，敢能走自己選擇的這條路，再度闡名西方自從文藝復(fù)興以來，為什么科學有長足的進步

簡而言之，這是一次不容錯過的深訪，本城特此整理，訪談全文書面版約2.5萬字和重制視頻，這里和讀者分享：

B站傳送：【精校】李飛飛對話AI教父Hinton 110分鐘完整版 2023.10.7【中英】-嗶哩嗶哩】

https://b23.tv/tTXWx9g

主持人：

我們希望這將是一場非常有趣的討論。這是他們第一次公開在一起。所以，我認為這將是一個非常有趣的對話。

讓我快速對他們的背景做一些更深入的解釋。Geoffery經(jīng)常被稱為人工智能教父。他獲得了圖靈獎。他是多倫多大學名譽教授、Vector Institute聯(lián)合創(chuàng)始人，還指導(dǎo)了許多后來成為全球人工智能領(lǐng)導(dǎo)者的人，包括大公司和許多世界頂級學術(shù)研究實驗室的領(lǐng)導(dǎo)者。所以當我們說教父時，確實如此，Geoff的很多子孫后代都在引領(lǐng)人工智能的世界，而這一切都要歸功于多倫多。

Feifei是斯坦福以人為本人工智能研究所的創(chuàng)始主任，斯坦福大學教授。她是美國國家工程院、美國國家醫(yī)學院和美國藝術(shù)與科學學院的當選院士。在2017-18年斯坦福大學休假期間，她擔任谷歌副總裁，擔任谷歌云AI ML首席科學家。關(guān)于Feifei，我們還有很多很多話要說，但她的學生中也有很多人后來成為全球該領(lǐng)域的領(lǐng)導(dǎo)者。

非常重要的是，對于那些還沒有聽說過的人來說，F(xiàn)eifei將在幾周后出版一本書。這本書將于11月7日出版。這本書的標題是《我眼中的世界：人工智能黎明的好奇、探索和發(fā)現(xiàn)》。我已經(jīng)閱讀過這本書，它非常出色。我強烈建議你們都去購買一本。我想把Geoff寫的封底推薦語讀給你們聽，因為他的描述比我能說的要精彩得多。這是Geoff的評價：

李飛飛是首位真正理解大數(shù)據(jù)力量的計算機視覺研究人員，她的工作為深度學習打開了大門。她對自己所推動的人工智能技術(shù)的巨大潛力和潛在危險進行了緊急而清晰的描述。在這個歷史的關(guān)鍵時刻，她的呼吁采取行動和承擔集體責任是迫切需要的。

因此，我強烈建議大家預(yù)訂這本書，并在它出版后立即閱讀。

最后，我要感謝Feifei和Geoff的加入。我認為，如果沒有他們兩人，現(xiàn)代人工智能時代就不會存在，至少不會以現(xiàn)在的形式存在，這并不夸張。讓我們回到我認為的大爆炸時刻，也就是AlexNet和ImageNet的誕生。

Geoff，你是否愿意從你的角度帶我們回顧一下那個時刻，也就是11年前的事情？

Hinton：

在2012年，我的兩個非常聰明的研究生贏得了一場公開競賽，展示了深度神經(jīng)網(wǎng)絡(luò)可以比現(xiàn)有技術(shù)做得更好。然而，如果沒有大數(shù)據(jù)集來訓(xùn)練他們，這是不可能的。到那時為止，還沒有一個標記圖像的大數(shù)據(jù)集，而Feifei負責了這個數(shù)據(jù)集的創(chuàng)建。我想問Feifei在整理這個數(shù)據(jù)集時是否遇到了任何問題。

Feifei：

謝謝你，Geoff，也謝謝你，Jordan，以及多倫多大學。在這里真的很有趣。你提到的數(shù)據(jù)集叫做ImageNet，我從2007年開始構(gòu)建它，并在接下來的三年里與我的研究生一起完成了它。你問我在構(gòu)建它時是否遇到了問題？我該從哪里開始呢？即使在構(gòu)思這個項目時，我也被告知這真的是一個壞主意。我當時是一名年輕的助理教授。我記得那是我在普林斯頓大學擔任助理教授的第一年，例如，我在該領(lǐng)域非常受人尊敬的導(dǎo)師，如果你知道學術(shù)術(shù)語的話，這些人將為我撰寫終身教職評估，實際上，在我告訴他們這個計劃是什么之后，他們真的好心地告訴我，請不要這樣做。所以那個人應(yīng)該是Jitendra，他建議說，如果你這樣做，你可能會很難獲得終身教職。然后我也試圖邀請其他合作者，但在機器學習或人工智能領(lǐng)域沒有人愿意接近這個項目。當然，也沒有資金。

對于那些不熟悉ImageNet的人，我來簡單描述一下它。ImageNet是在2006年、2007年左右構(gòu)思出來的，我構(gòu)思ImageNet的原因?qū)嶋H上有兩個。首先，我認為Geoff，我們有相似的背景，我接受過科學家的培訓(xùn)。對我而言，從事科學研究就如同追尋北極星一般。在人工智能領(lǐng)域，特別是視覺智能方面，我認為物體識別——即計算機識別圖片中的桌子或椅子等物體的能力，被稱為物體識別，這必須是我們領(lǐng)域的北極星問題。我認為我們需要真正解決這個問題，因此我想定義這個北極星問題。這就是ImageNet的一個方面。

ImageNet的另一個方面是，我意識到當時的機器學習確實有些停滯不前，我們正在制作非常復(fù)雜的模型，但卻沒有足夠的數(shù)據(jù)來驅(qū)動機器學習。用我們的行話來說，這實際上是泛化問題。我意識到我們確實需要重新開始，從數(shù)據(jù)驅(qū)動的角度重新思考機器學習。因此，我想創(chuàng)建一個在數(shù)量和多樣性等方面前所未有的數(shù)據(jù)集。

經(jīng)過三年的發(fā)展，ImageNet成為了一個精選的互聯(lián)網(wǎng)圖像數(shù)據(jù)集，共計1500萬張圖像，涵蓋22000個概念、對象類別概念，這就是數(shù)據(jù)集。

Hinton：

僅供比較，在多倫多，我們同時還在制作一個名為CIFAR-10的數(shù)據(jù)集，該數(shù)據(jù)集包含10個不同的類別和60000張圖像，這項工作非常繁重。CIFAR慷慨地支付了每張圖片5美分的費用。

因此，您將數(shù)據(jù)集變成了一場比賽。

請向我們介紹一下這意味著什么，然后我們將快進到2012年。

Feifei：

對，我們在2009年制作了這個數(shù)據(jù)集。我們勉強把它做成了學術(shù)會議的海報，但沒有人關(guān)注。我當時有點絕望，我相信這是可行的方法，然后我們就把它開源了。但即使有了開源，它也沒有真正起步。

因此，我的學生和我想，好吧，讓我們再多做一點，提高競爭水平。讓我們創(chuàng)建一個競賽，邀請全球研究界參與通過ImageNet進行對象識別的問題。所以我們做了一個ImageNet競賽，我們從朋友和同事那里得到的第一個反饋是它太大了。當時，你無法將它放入硬盤中，更不用說內(nèi)存了。

因此，我們實際上創(chuàng)建了一個較小的數(shù)據(jù)集，稱為ImageNet挑戰(zhàn)數(shù)據(jù)集，它只有100萬張圖像，涵蓋1000個類別，而不是22000個類別，我想這是在2010年發(fā)布的。你們在2011年就注意到了。

Hinton：

是的。在我的實驗室里，我們已經(jīng)有了深度神經(jīng)網(wǎng)絡(luò)，可以很好地進行語音識別，然后Ilya Sutskever說，我們擁有的應(yīng)該能夠贏得ImageNet競賽。他試圖說服我我們應(yīng)該這樣做，我說，這是大量的數(shù)據(jù)。他試圖說服他的朋友Alex·沙舍夫斯基，但Alex并不感興趣。因此，Ilya實際上對所有數(shù)據(jù)進行了預(yù)處理，將其轉(zhuǎn)化為Alex所需的格式。你減小了圖像的尺寸。是的，他確實將圖像尺寸縮小了一些，并為Alex進行了適當?shù)念A(yù)處理。最后，Alex同意了這種做法。

與此同時，在紐約的Yann LeCun實驗室，揚急切地希望他的學生和博士后研究這個數(shù)據(jù)集。他認為，第一個將卷積網(wǎng)絡(luò)應(yīng)用于這個數(shù)據(jù)集的人將會勝出，但他的學生們對此并不感興趣。他們都忙于其他事情。因此，Alex和Ilya繼續(xù)他們的工作。通過參加去年的比賽，我們發(fā)現(xiàn)我們的技術(shù)遠勝于其他技術(shù)，所以我們知道我們將贏得2012年比賽。

然后，還有一個政治問題。我們認為，如果我們能證明神經(jīng)網(wǎng)絡(luò)贏得了這場比賽，計算機視覺專家，尤其是Jitendra，可能會說，這只能說明這個數(shù)據(jù)集不夠好。因此，我們必須提前讓他們同意，如果我們贏得了比賽，那就證明了神經(jīng)網(wǎng)絡(luò)是有效的。于是，我給Jitendra打電話，我們討論了我們可能使用的數(shù)據(jù)集。我的目標是讓Jitendra同意，如果我們能處理ImageNet，那就證明神經(jīng)網(wǎng)絡(luò)確實有效。經(jīng)過一番討論，他建議我處理其他數(shù)據(jù)集，我們最后達成了共識：如果我們能處理ImageNet，那就證明了神經(jīng)網(wǎng)絡(luò)是有效的。Jitendra記得他是建議我們處理ImageNet的，但實際上情況正好相反。我們成功了，這真是太棒了。

我們的錯誤率略高于標準技術(shù)的一半，而這些標準技術(shù)已經(jīng)由非常優(yōu)秀的研究人員進行了多年的調(diào)整。

Feifei：

我記得當時的標準技術(shù)是稀疏化支持向量機。所以，你們提交了比賽結(jié)果。

我記得那是在八月底或九月初的一天晚上，我收到了正在運行這個項目的學生的電話或電子郵件，因為我們在服務(wù)器端保存了正在運行的測試數(shù)據(jù)。我們的目標是處理所有參賽作品，以便選出獲勝者。然后，我想是在那年十月初，計算機視覺領(lǐng)域的國際會議ICCV 2012在意大利佛羅倫薩舉行。我們已經(jīng)預(yù)定了會議上的年度研討會。我們將宣布獲勝者。這是第三年，所以在我們必須處理獲勝團隊的幾周前。

因為這是第三年，坦白說，前兩年的結(jié)果并沒有讓我感到興奮。而且，我當時還是一名哺乳期的母親，所以我決定不參加第三年的比賽。因此，我沒有訂票。我覺得，對我來說，那太遠了。

然后那天晚上，我收到了結(jié)果，是電話還是電子郵件，我已經(jīng)記不清了。我當時對自己說，該死的，Geoff，現(xiàn)在我必須買一張去意大利的機票，因為我知道那是一個非常重要的時刻，尤其是對于卷積神經(jīng)網(wǎng)絡(luò)，這是我在讀研究生時學到的經(jīng)典算法。當然，那時從舊金山飛往佛羅倫薩只有中途停留的經(jīng)濟艙座位，所以去佛羅倫薩的旅程很艱苦，但我想去那里。但Geoff你并未出席。

Hinton：不，我確實沒有出席。那是一次充滿艱辛的旅程。

Feifei：但你是否知道那將是一個具有歷史意義的時刻？

Hinton：是的，我知道。

Feifei：但你派遣了Alex代表你出席。

Hinton：Alex，對，就是他。

Feifei：

他多次忽視了我發(fā)給他的電子郵件，因為我曾對他說：“Alex，這個想法太棒了，請做這個可視化。”他卻對我置之不理。然而Yann LeCun卻出席了。這是因為參加這類學術(shù)會議的人通常會預(yù)訂較小的房間，我們也預(yù)訂了一個非常小的房間，可能只占據(jù)了這里的中間部分。我記得Yann不得不站在房間的后面，因為那里人滿為患。

最后，Alex出現(xiàn)了，因為我真的很緊張，擔心他甚至不會出現(xiàn)。

但正如你所預(yù)期的，ImageNet在那次研討會上受到了攻擊。在那次研討會上，有人公開批評ImageNet是一個糟糕的數(shù)據(jù)集。這種情況就發(fā)生在會議室里。在演講過程中。在會議室里。

Hinton：但Jitendra并未參與其中，因為Jitendra已經(jīng)認同這個觀點。

Feifei：我不記得Jitendra當時是否在會議室里。

但我記得那對我來說是一個非常奇特的時刻，因為作為一名機器學習研究人員，我知道歷史正在被創(chuàng)造。然而，ImageNet卻在此時受到了攻擊。那是一個非常奇特且令人興奮的時刻。

然后我不得不匆忙返回舊金山，因為第二天早上我還有事情要處理。

所以你提到了一些人，我想稍后再詳細談?wù)撍麄儭?/p>

Ilya是OpenAI的創(chuàng)始人兼首席科學家，Yann LeCun后來成為Facebook（現(xiàn)在是Meta）的人工智能主管。還有其他一些有趣的人物。

但在我們繼續(xù)討論那個繁榮時刻創(chuàng)造了什么之前，讓我們先回顧一下。你們兩人都是帶著一個非常具體的目標開始的，這個目標非常獨特，我認為它是反傳統(tǒng)的。你們必須堅持度過你剛才描述的那些時刻，而且在整個職業(yè)生涯中都是如此。

Geoff，你能否先回顧一下，告訴我們你當初為什么想進入人工智能領(lǐng)域？

Hinton：

我本科學的是心理學。我并沒有學得很好。我認為，除非他們弄清楚大腦是如何運作的，否則他們永遠也不會弄清楚思維是如何運作的。所以我想弄清楚大腦是如何運作的。我想要一個真正能起作用的模型。

因此，你可以把理解大腦看作是搭建一座橋梁。這里有實驗數(shù)據(jù)，你可以從實驗數(shù)據(jù)中學到一些東西。有些東西可以做你想要的計算，可以識別物體。它們非常不同。

我認為這是你想在數(shù)據(jù)和能力之間搭建一座橋梁，完成任務(wù)的能力。我總是把自己看作是從能起作用的東西的末端開始，但試圖讓它們越來越像大腦，但仍然能起作用。許多人試圖通過經(jīng)驗數(shù)據(jù)來證明某些事物，并嘗試提出可能有效的理論。然而，我們的目標是嘗試搭建一座橋梁，這是一項并不常見的嘗試。特里正在從另一端嘗試搭建這座橋梁，因此我們的合作非常愉快。

很多從事計算機視覺的人只是想找到一些有效的方法，他們并不關(guān)心大腦的運作。而許多對大腦感興趣的人，他們想了解神經(jīng)元是如何工作的，但并不想過多地考慮計算的性質(zhì)。我堅信，我們必須通過讓了解數(shù)據(jù)的人和知道如何建立聯(lián)系的人共同來搭建這座橋梁。因此，我的目標一直是創(chuàng)造能夠?qū)崿F(xiàn)視覺的東西，但必須以人的方式來實現(xiàn)。

我們會回到這個問題上，因為我想詢問你最近的發(fā)展以及你認為它們與大腦的關(guān)系。Geoff，我只是想給你一個框架，讓你了解你的起點，從80年代中后期的英國，到美國，再到1987年的加拿大。在這條路線上，對神經(jīng)網(wǎng)絡(luò)的資助和興趣以及你采取的方法大致是這樣的，但我想說大部分是這樣的。

Feifei，你的人生起點非常不同。你能給我們講一下你是如何進入人工智能領(lǐng)域的嗎？

Feifei：

我在中國開始了我的生活。15歲時，我和父母來到新澤西州的帕西帕尼。因此，我成為了一名新移民，我首先開始學習英語作為第二語言課程，因為我不會說英語，只能在洗衣店和餐館等地方工作。但我對物理充滿熱情。我不知道它是怎么進入我的腦海的，我想去普林斯頓，因為我只知道愛因斯坦在那里，所以我進了普林斯頓。我進普林斯頓的時候，他已經(jīng)不在了。你還沒那么老。是的。但那里有他的雕像。

除了數(shù)學和所有這些之外，我在物理中學到的一件事就是敢于提出最瘋狂的問題，比如原子世界中最小的粒子，時空的邊界和宇宙的起點。在此過程中，我在三年級時發(fā)現(xiàn)了大腦羅杰·彭羅斯和那些書。是的。你可能有自己的看法，但至少我讀過那些書。

Hinton：你最好不要這么做。

Feifei：好吧，他至少讓我對大腦產(chǎn)生了興趣。到了我畢業(yè)的時候，我想問一個科學家最大膽的問題。對我來說，我們這一代人，也就是2000年，最令人著迷、最大膽的問題就是智力。所以我去了加州理工學院，在Christoph Koch的指導(dǎo)下攻讀神經(jīng)科學博士學位，在Pietro Perona的指導(dǎo)下攻讀人工智能博士學位。

所以我非常贊同你所說的橋梁，因為那五年讓我能夠研究計算神經(jīng)科學，觀察大腦是如何工作的，以及研究計算方面的問題，并嘗試構(gòu)建可以模仿人腦的計算機程序。這就是我的旅程。它從物理學開始。

因此，你們的旅程在2012年的ImageNet大賽中交匯。

Feifei：順便提一下，我在讀研究生的時候，有幸認識了Geoff。

Hinton：我還記得，我曾經(jīng)去過Pietro的實驗室。實際上，當我70歲的時候，他確實為我在加州理工學院提供了一份工作。你本可以成為我的顧問，但在我70歲的時候并未如此。

好的，你們在ImageNet大賽中相遇。對于這個領(lǐng)域的人來說，ImageNet無疑是一個重要的里程碑。隨后，大型科技公司開始進入這個領(lǐng)域，他們開始收購你的學生和你，將你們納入公司的行列。我認為他們是最早意識到這個領(lǐng)域潛力的人。

我想談一下這個問題，但我想稍微快進一下。我認為，直到ChatGPT出現(xiàn)，世界其他地方才開始意識到人工智能的力量，因為你現(xiàn)在可以親身體驗它。你可以在會議室中體驗它，可以討論它，然后回家。甚至有10歲的孩子用ChatGPT為五年級寫了一篇關(guān)于恐龍的作文。這種每個人都可以親身體驗的情況，我認為是一個巨大的轉(zhuǎn)變。

然而，在過去的10年中，大型科技公司內(nèi)部的人工智能發(fā)展迅速，而其他人并沒有真正注意到這一點。你能和我們分享一下你的經(jīng)歷嗎？因為在ImageNet之后，你經(jīng)歷了一種轉(zhuǎn)變。

Hinton：

我們很難理解為什么其他人沒有意識到發(fā)生了什么，因為我們清楚地看到了這一點。

許多你認為會走在前沿的大學在接受這個新領(lǐng)域方面進展非常緩慢，例如麻省理工學院和伯克利分校。我記得在2013年去伯克利聽過一次演講，當時人工智能已經(jīng)在計算機視覺領(lǐng)域取得了巨大的成功。然而，一個研究生走到我面前，說他在這里待了四年，這是他第一次聽到關(guān)于神經(jīng)網(wǎng)絡(luò)的演講。他們真的很有趣，他應(yīng)該去斯坦福大學。

麻省理工學院也是如此，他們堅決反對使用神經(jīng)網(wǎng)絡(luò)。ImageNet的成功開始讓他們感到沮喪?，F(xiàn)在他們是神經(jīng)網(wǎng)絡(luò)的大力支持者。但現(xiàn)在很難想象，在2010年或2011年左右，有一些計算機視覺領(lǐng)域的專家，非常優(yōu)秀的專家，堅決反對神經(jīng)網(wǎng)絡(luò)。他們非常反對，例如，主要期刊之一的IEEE Pattern Recognition，PAMI，曾經(jīng)有一項政策，不審閱有關(guān)神經(jīng)網(wǎng)絡(luò)的論文，直接將它們退回。這是浪費時間。該研究不應(yīng)該在PAMI（模式分析和機器智能）上發(fā)表。

研究者向一個會議提交了一篇論文，論文中提出了一個神經(jīng)網(wǎng)絡(luò)模型，該模型在識別和分割行人方面的表現(xiàn)超過了當前最先進的技術(shù)。然而，這篇論文被拒絕了。

拒稿的原因之一是，一位審稿人認為，這篇論文并未提供任何有關(guān)視覺信息的新知識。他們認為，計算機視覺的研究應(yīng)該是探究視覺問題的本質(zhì)，然后制定出解決這個問題的算法，明確如何實現(xiàn)這個算法，最后發(fā)表論文。然而，這篇論文并未達到這樣的標準。

我必須捍衛(wèi)我的領(lǐng)域。并非所有人都持有這樣的觀點，但是有一部分人是這樣認為的。然而，大多數(shù)人對神經(jīng)網(wǎng)絡(luò)持有強烈的反對態(tài)度。然而，在ImageNet競賽結(jié)束后，情況發(fā)生了翻天覆地的變化。在大約一年的時間里，所有曾經(jīng)對神經(jīng)網(wǎng)絡(luò)提出過最大批評的人都開始研究神經(jīng)網(wǎng)絡(luò)。令人遺憾的是，他們中的一些人的研究成果甚至超過了我們。例如，牛津大學的Zisserman很快就研發(fā)出了更優(yōu)秀的神經(jīng)網(wǎng)絡(luò)。

但他們的行為是科學家應(yīng)有的態(tài)度，他們堅信這些東西是垃圾。然而，由于ImageNet的存在，我們最終可以證明事實并非如此。于是，他們改變了態(tài)度，這讓人感到欣慰，并且他們也繼續(xù)推進研究。

所以，你想表明的是，你試圖使用神經(jīng)網(wǎng)絡(luò)準確地標記這1500萬張圖像。你已經(jīng)在后臺對它們進行了標記，以便可以測量。當你這樣做時，錯誤率從前一年的26%下降到16%左右。

然后在隨后的幾年里，人們正在使用更強大的神經(jīng)網(wǎng)絡(luò)，錯誤率繼續(xù)下降……

Feifei：

到了2015年，一位非常聰明的加拿大本科生Andrej Karpathy加入了我的實驗室。有一年夏天，他覺得無聊，說，我想測量一下人類的表現(xiàn)。所以他讓所有這些人參加圖像網(wǎng)絡(luò)測試聚會。我想，他不得不用披薩賄賂他們，當時我的學生也在實驗室里。他們的準確率大約是5分的3.5分

然后我想到了2016年，我認為ResNet超過了它。是ResNet。那是那一年的獲勝算法，超過了人類的表現(xiàn)。

然后最終你不得不退出比賽，因為它比人類好太多了，以至于……

Feifei：我們不得不作出退出的決定，原因在于我們的資金已經(jīng)耗盡。

Hinton：此外，我想提一下，Andrej在進入你的實驗室之前，其學術(shù)生涯是在多倫多大學開始的。后來，他前往特斯拉擔任研究主管。

Feifei：在此之前，他曾在斯坦福大學攻讀博士學位。昨晚我們進行了一次交談，實際上，在他的學術(shù)生涯中，有一篇具有突破性的論文。然后，他成為了OpenAI的創(chuàng)始團隊的一員。

Hinton：后來他選擇了特斯拉。然后，他改變了自己的主意。

Feifei：但我確實想回答你關(guān)于過去十年的問題。在這期間，有幾個重要的發(fā)展，其中包括Transformers。

是的，Transformer的論文是由谷歌內(nèi)部的研究團隊完成的。另一位加拿大人，艾登·戈麥斯，是這篇論文的合著者，他現(xiàn)在是Cohere的首席執(zhí)行官兼聯(lián)合創(chuàng)始人。我認為他在共同撰寫這篇論文時，是谷歌大腦的一名20歲實習生。因此，加拿大人參與這些突破性研究已經(jīng)成為一種傳統(tǒng)。然而，Geoff，當這篇論文在谷歌內(nèi)部寫作時，你是否意識到這個研究的重要性？

Hinton：

我認為并沒有。也許作者自己知道。但我花了幾年時間才意識到它的重要性。在谷歌，直到BERT的出現(xiàn)，人們才開始意識到它的重要性。因此，BERT使用了Transformers，然后，BERT在許多不同任務(wù)的自然語言處理基準測試中表現(xiàn)得更好。那時，人們開始意識到Transformers的特殊之處。

Feifei：

因此，2017年，Transformer的論文發(fā)表，我也加入了谷歌。我記得你和我實際上是在我加入的第一周就認識的。我認為2017年和2018年的大部分時間，我都在進行神經(jīng)架構(gòu)搜索，我認為那是谷歌的一個重要投資。而且，大量的GPU被投入使用。所以，這是一個不同的賭注。

Hinton：

神經(jīng)架構(gòu)搜索本質(zhì)上是這樣的：你會得到大量的GPU，然后你嘗試很多不同的架構(gòu)，看看哪個效果最好，然后你將其自動化。這基本上是神經(jīng)網(wǎng)絡(luò)架構(gòu)的自動演進，就像超參數(shù)調(diào)整一樣。它帶來了一些相當大的改進，但沒有什么比Transformers更好。Transformers對自然語言的處理是一個巨大的進步。神經(jīng)架構(gòu)搜索主要是在ImageNet上完成的。

所以，我想分享一下我們對Transformers的體驗。當時，我們正在進行我們公司的第六輪融資。我記得我們看到了這篇論文的預(yù)發(fā)布版本。我們正處于融資和一系列收購要約之中。我們讀了這篇論文，不僅是我，還有我的合伙人Tommy，他和你一起學習過。我們還有來自小組實驗室的Max Volkovs。我們認為，這將是神經(jīng)網(wǎng)絡(luò)的下一個迭代。我們應(yīng)該出售這家公司，設(shè)立一家風險基金，并投資于那些即將使用Transformers的公司。因此，我們預(yù)測，除了谷歌之外，這項技術(shù)還需要五年的時間才能被廣泛采用。從那一刻起，全球所有的軟件都需要十年的時間才能被這項技術(shù)取代或嵌入。我們在ChatGPT問世的五年零兩周前做出了這個決定。因此，我很高興看到我們的預(yù)測非常準確。

然而，我必須感謝我的聯(lián)合創(chuàng)始人。我原以為我已經(jīng)理解了這篇論文的內(nèi)容，但他們卻能夠完整地解釋它。

Hinton：

我只想糾正你的一個誤解。我認為Tommy從未跟我學習過。他曾想過跟我學習，但我的一個部門同事告訴他，如果他來跟我一起工作，那將是他職業(yè)生涯的結(jié)束。他應(yīng)該去做別的事情。因此，他選擇了參加課程。

我的搭檔，在90年代末在多倫多大學攻讀碩士學位。他曾想跟Geoff一起研究神經(jīng)網(wǎng)絡(luò)。他現(xiàn)在的岳父，是一名工程學教授，他告訴他不要這樣做，因為神經(jīng)網(wǎng)絡(luò)是條死路。因此，他選擇了參加課程，并用加密貨幣撰寫了論文。

Feifei：你還會談?wù)撨@10年嗎？因為我認為有一些重要的事情。

是的，請繼續(xù)。

Feifei：

我確實認為世界忽略了一些重要的事情。在ImageNet、AlexNet和ChatGPT之間的這10年，大多數(shù)人都將其視為技術(shù)的10年，或者我們認為這是技術(shù)的10年。在大型科技領(lǐng)域，有些事情正在醞釀之中。它需要Seq2Seq、transformer，但事情正在醞釀之中。

然而，我確實認為，對我個人和世界而言，這也是技術(shù)向社會的轉(zhuǎn)變。實際上，我個人認為，在這10年里，我從一個科學家成長為一個人文主義者，因為在transformer論文發(fā)表的中間兩年加入了谷歌，我開始看到這項技術(shù)的社會意義。這是在AlphaGo之后的時刻。很快，我們就到了AlphaFold的時刻。偏見開始蔓延，隱私問題開始出現(xiàn)，然后我們開始看到虛假信息和錯誤信息的出現(xiàn)。然后我們開始看到在小圈子里談?wù)摴ぷ?，而不是在大型公開討論中。那是我個人感到焦慮的時候。

我記得是在2018年，也就是在劍橋分析公司事件之后，我開始意識到技術(shù)對選舉的巨大影響，這并非人工智能本身，而是算法驅(qū)動的技術(shù)。那時，我不得不做出個人決定，是留在谷歌還是回到斯坦福。我知道我回到斯坦福的唯一原因是創(chuàng)辦這個人類中心人工智能研究所，真正了解這項技術(shù)的人性化一面。因此，我認為過去的十年極其重要。盡管這一技術(shù)尚未引起公眾的廣泛關(guān)注，但它已經(jīng)開始真正滲透到我們生活的各個方面。顯然，到了2022年，這一切都在陽光下展現(xiàn)出來，其影響之深遠是無法估量的。

在那個時期，有一件有趣的事情值得一提，那就是你、Ilya和Alex最終加入了谷歌。然而在此之前，有一家大型的加拿大公司本有機會獲得這項技術(shù)。我曾聽過這個故事，但我認為它從未被公開分享過。也許你愿意分享一下這個故事？

Hinton：

好的，我們在ImageNet上使用的技術(shù)，實際上是我們在2009年為語音識別開發(fā)的，主要用于語音識別的聲學建模部分。你可以獲取聲波，然后制作一個叫做頻譜圖的東西，它會告訴你每個頻率上的能量是多少。你可能習慣于看頻譜圖，你想要做的是查看頻譜圖并猜測頻譜圖中間幀表達了哪個音素的哪個部分。

我有兩個學生，喬治·達爾和另一個我與杰拉爾德·佩恩共同指導(dǎo)的學生阿卜杜。我們都叫他阿卜杜，他是一位語音專家，而喬治是一位學習專家。在2009年的夏天，他們制作了一個模型，這個模型比過去30年的語音研究所能產(chǎn)生的模型更好，盡管它的優(yōu)勢并不像ImageNet那么大，但仍然更好。

之后，George和Abdo分別去了微軟和IBM，將這個模型移植到了IBM和微軟。然后，這些大型語音研究小組開始使用神經(jīng)網(wǎng)絡(luò)。

我的第三個學生Navdeep Jaitley一直在研究另一個叫做Navdeep的東西。他想把這種語音技術(shù)帶到一家大公司，但由于復(fù)雜的簽證原因，他想留在加拿大。因此，我們聯(lián)系了黑莓公司，我們告訴他們，我們有這種新的語音識別方法，它比現(xiàn)有技術(shù)效果更好。我們希望一個學生在夏天來找你，向你展示如何使用它。然后，你就可以在手機上獲得最好的語音識別了。

然而，經(jīng)過一些討論后，黑莓的一位相當資深的人表示，他們對此并不感興趣。因此，我們試圖將其提供給加拿大工業(yè)的嘗試失敗了。然后Navdeep把它帶到了谷歌，谷歌成為了第一個將其變成產(chǎn)品的公司。

因此，在2012年，大約在我們贏得ImageNet競賽的同時，George和Abdo的語音識別聲學模型也出現(xiàn)了，我們做了很多工作來使它成為一個好的產(chǎn)品，并使它具有低延遲等等，這些都在Android中出現(xiàn)了。有一段時間，Android在語音識別方面突然變得和Siri一樣好。這就是神經(jīng)網(wǎng)絡(luò)的力量。我認為，對于大型公司的高管而言，這是另一個重要因素。他們看到了在視覺方面取得的顯著成果，同時也注意到了其在語音識別產(chǎn)品中的應(yīng)用，并且表現(xiàn)良好。因此，我認為，視覺和語音的結(jié)合無疑可以實現(xiàn)一切。

至于黑莓，我們就不再多談了。加拿大工業(yè)沒有采取行動真是遺憾，如果他們這樣做的話，我想我們可能還會有黑莓手機。好了，我們就此打住。

我認為這是一個值得講述的故事，我以前聽過這個故事，但我認為讓世界其他國家了解背后發(fā)生的事情很重要，比如為什么這項技術(shù)沒有留在加拿大，盡管它是免費提供的。

好的，讓我們繼續(xù)前進。

現(xiàn)在我們有了后Transformer時代。谷歌開始以多種不同的方式使用和開發(fā)它。OpenAI是由你的前學生Ilya離開谷歌后，與伊隆·馬斯克、薩姆·奧特曼、格雷格·布羅克曼和其他一些人一起創(chuàng)立的。Ilya是首席科學家，他們和你的學生Andrej是聯(lián)合創(chuàng)始人。他們正在合作，一個非常小的團隊，主要是進行翻譯工作。

最初的想法是，我們要建立AGI和通用人工智能。最終，Transformer論文問世，他們開始在某個時候采用Transformer，并在內(nèi)部取得了非凡的進展，但他們并沒有公開分享他們在語言理解和其他一些事情上的成果。他們在機器人技術(shù)方面做出了努力。Peter Abbeel最終分拆了Covariant，這是我們后來投資的一家公司，還有其他公司。因此，語言部分在不斷進步。除了OpenAI的人，其他人并不真正了解發(fā)生了什么。然后，ChatGPT于去年11月30日發(fā)布，也就是10個月前。

Feifei：

GPT-2引起了我們中的一些人的注意。我認為，實際上，我認為在GPT-2發(fā)布的時候，我的同事、斯坦福大學的NLP教授Percy Leung找我說，F(xiàn)eifei，我對這項技術(shù)的重要性有了全新的認識。因此，值得贊揚的是，Percy立即要求HAI建立一個中心來研究這個問題。

我不知道在多倫多是否有爭議，但斯坦福大學是創(chuàng)造了基礎(chǔ)模型這一術(shù)語的大學。有些人稱之為LLM，大型語言模型，但超越語言，我們稱之為基礎(chǔ)模型。我想，在3.5發(fā)布之前，我們就創(chuàng)建了基礎(chǔ)模型研究中心。所以肯定是在ChatGPT之前。

對于那些不熟悉基礎(chǔ)模型的人，我來描述一下基礎(chǔ)模型是什么。

Feifei:

這其實是一個很好的問題。有些人認為基礎(chǔ)模型中必須有Transformer。它必須是一個在大量數(shù)據(jù)上訓(xùn)練的非常大的模型。非常大的模型，通過大量數(shù)據(jù)進行預(yù)預(yù)訓(xùn)練，我認為這是基礎(chǔ)模型的最重要特性之一，即其在多個任務(wù)上的通用性。你并不是專門為某一項任務(wù)，比如機器翻譯，來訓(xùn)練這個模型。在自然語言處理（NLP）領(lǐng)域，機器翻譯無疑是一項重要的任務(wù)。然而，像GPT這樣的基礎(chǔ)模型，不僅能夠進行機器翻譯，還能進行對話、總結(jié)等多種任務(wù)。這就是基礎(chǔ)模型的特點。我們現(xiàn)在在多模態(tài)領(lǐng)域也看到了這一點，比如在機器人、視頻等領(lǐng)域，我們看到了各種不同的應(yīng)用。所以，我們創(chuàng)造了這樣的模型。

Hinton：

關(guān)于基礎(chǔ)模型，另一個非常重要的事情是，長期以來，在認知科學中，普遍的觀點是，這些神經(jīng)網(wǎng)絡(luò)，只要你給它們足夠的訓(xùn)練數(shù)據(jù)，它們就能完成復(fù)雜的任務(wù)。但是，它們需要大量的訓(xùn)練數(shù)據(jù)，需要看過成千上萬只貓的圖片。而人類在統(tǒng)計上要高效得多，也就是說，他們可以在更少的數(shù)據(jù)上學會做這些事情。然而，現(xiàn)在人們不再這么認為了。因為他們實際上在做的是比較麻省理工學院本科生在有限數(shù)據(jù)上能學到什么，與從隨機權(quán)重開始的神經(jīng)網(wǎng)絡(luò)在有限數(shù)據(jù)上能學到什么。這是一個不公平的比較。

如果你想進行公平的比較，你可以采用一個基礎(chǔ)模型，也就是一個經(jīng)過大量訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。然后你給它一個全新的任務(wù)，你會問，它需要多少數(shù)據(jù)來學習這個全新的任務(wù)？這被稱為小樣本學習，因為它不需要太多數(shù)據(jù)。然后你會發(fā)現(xiàn)這些模型在統(tǒng)計上是有效的，也就是說，它們與人類相比，在完成一項新任務(wù)所需的數(shù)據(jù)量方面相當有利。

所以，舊的先天主義觀點認為，我們擁有大量的先天知識，這使我們遠遠優(yōu)于那些只從數(shù)據(jù)中學習一切的東西。人們現(xiàn)在幾乎已經(jīng)放棄了這種觀點。因為如果你采用一個沒有先天知識但有很多經(jīng)驗的基礎(chǔ)模型，然后你給它一個新任務(wù)，它會非常有效地學習。它不需要大量的數(shù)據(jù)。

Feifei：

我的博士學位是研究一次性學習的，但這很有趣。即使在貝葉斯框架中，你也可以進行預(yù)訓(xùn)練。但只有在神經(jīng)網(wǎng)絡(luò)中，預(yù)訓(xùn)練才能真正讓你實現(xiàn)這種多任務(wù)處理。

好的，這基本上在ChatGPT中被產(chǎn)品化了。全世界都在經(jīng)歷它，這只是10個月前的事。雖然對我們中的一些人來說，感覺時間要長得多。因為突然間，你經(jīng)歷了一場很久以前的大爆炸，我認為很長一段時間以來，沒有人真正看到它的結(jié)果。突然間，我的比較是，行星形成了，恒星也變得可見。每個人都可以體驗10年前發(fā)生的事情的結(jié)果，然后發(fā)生了變化，等等。因此，世界突然充滿了激動人心的氣氛，我認為對許多人來說，這就像魔術(shù)一樣。他們可以觸摸和體驗的事物，能以他們所期望的任何方式給予他們反饋。無論他們是輸入文本提示并要求創(chuàng)建圖像、視頻或文本，還是要求更多的文本來回答他們永遠無法預(yù)測的問題并獲得那些出乎意料的答案，這都讓人感覺有些像魔術(shù)。

我個人的觀點是，我們一直在改變?nèi)斯ぶ悄艿哪繕司€。人工智能一直是我們無法實現(xiàn)的事情，它總是像魔術(shù)一樣。一旦我們達到了那個目標，我們就會說，那根本不是人工智能。或者有人會說，那根本不是人工智能。我們就這樣改變了目標線。

那么，在這種情況下，當它出現(xiàn)時，你的反應(yīng)是什么？我知道你的部分反應(yīng)是你離開了谷歌，決定做不同的事情。但是當你第一次看到它時，你是怎么想的？

Hinton：

正如Feifei所說，GPT-2給我們所有人留下了深刻的印象。然后有一個穩(wěn)定的進展。此外，在GPT-4和GPT-3.5之前，我在谷歌內(nèi)部看到的東西和Palm一樣好。所以這本身并沒有太大的區(qū)別。

更多的是Palm在谷歌內(nèi)部給我留下了深刻的印象，因為Palm可以解釋為什么一個笑話很有趣。我總是用它作為例子，當它能解釋一個笑話為什么好笑時，我們就知道它真的懂了。而Palm可以做到這一點。不是每個笑話都這樣，但很多笑話都是這樣。順便說一句，這些東西現(xiàn)在很好地解釋了為什么笑話很有趣。但它們講笑話很糟糕。

這是有原因的，因為它們一次只能生成一個單詞的文本。所以如果你讓它們講一個笑話，它們會試著講一個笑話。所以它們會試著講一些聽起來像笑話的東西。所以他們會說，一個牧師和一只獾走進了一家酒吧。這聽起來有點像笑話的開頭。他們繼續(xù)講一些聽起來像笑話開頭的東西。但后來他們到了需要妙語的地步。當然，他們沒有提前想好。他們沒有想過妙語是什么。他們只是想讓它聽起來像是在引出一個笑話。然后他們給你一個可憐的、無力的妙語。因為他們必須想出一些妙語。

所以，盡管他們可以解釋笑話，因為他們在說任何話之前就能看到整個笑話，但他們不能講笑話。但我們會解決這個問題。

好的。所以我想問你喜劇演員是不是未來的職業(yè)。

Hinton：可能不是。

好吧。所以無論如何。那么Feifei你對此有何反應(yīng)？再說一次，你一路上都看到了幕后的事情。一些反應(yīng)。

Feifei：

我的第一個反應(yīng)是，在所有人中，我以為我知道數(shù)據(jù)的力量。我仍然對數(shù)據(jù)的力量感到敬畏。那是一種技術(shù)反應(yīng)。我當時的想法是，我應(yīng)該創(chuàng)造一個更大的ImageNet。也許我錯了。

Hinton：但實際上，你仍然有機會做到這一點。

Feifei:

資金成為了問題。所以，這是首要的問題。

其次，當我看到公眾開始對人工智能有所了解，開始關(guān)注GPT，而不僅僅是GPT-2技術(shù)時，我通常會感到慶幸。感謝上天，我們在過去四年里投資了以人為本的人工智能。感謝上天，我們與政策制定者、公共部門和民間社會建立了溝通的橋梁。我們的工作還遠未完成，但感謝上天，這場對話已經(jīng)開始了。我們參與其中，我們領(lǐng)導(dǎo)了其中的一部分。

例如，作為斯坦福大學的一個研究所，我們正在領(lǐng)導(dǎo)一項重要的國家人工智能研究云法案，該法案目前仍在國會審議。實際上，現(xiàn)在還沒有通過。所以至少它正在推動參議院。因為我們預(yù)測了這項技術(shù)的社會時刻。我們不知道它什么時候會到來，但我們知道它會到來。這只是一種緊迫感。

老實說，我覺得這是我們真正必須提升的時刻，不僅是作為技術(shù)專家的熱情，還有作為人文主義者的責任。

所以你們兩位，我想你們的共同反應(yīng)是，我們必須考慮這帶來的機會，也必須考慮它的負面后果。

Hinton：

對我來說，我意識到了一件事情，但直到很晚才意識到，讓我對社會影響更感興趣的是，就像Feifei所說的，數(shù)據(jù)的力量。這些大型聊天機器人看到的數(shù)據(jù)比任何人可能看到的多出數(shù)千倍。他們之所以能做到這一點，是因為你可以復(fù)制同一模型的數(shù)千份副本，每份副本都可以查看數(shù)據(jù)的不同子集，它們可以從中獲得如何更改參數(shù)的梯度。然后他們可以共享所有這些梯度。因此，每個副本都可以從其他副本從數(shù)據(jù)中提取的內(nèi)容中受益。我們不能這樣做。

假設(shè)你有10,000個人，他們出去閱讀了10,000本不同的書，每人讀完一本書后，他們都知道所有書里的內(nèi)容。這樣我們就可以變得非常聰明。而這正是這些機器人正在做的事情。

Feifei：因此，它們遠遠優(yōu)于我們。有些學校我們正試圖做到這一點，但并非如此。

Hinton：教育根本無望。它幾乎不值得花錢。除了多倫多大學和斯坦福大學。（笑）

我曾試圖向朋友解釋，Geoff有一種非常諷刺的幽默感，如果你花足夠的時間，你就會明白。但我會讓你決定這是否是諷刺。

Hinton：

所以我們交換知識的方式，粗略地說，這是一種簡化。但我寫了一句話，你弄清楚了你必須在大腦中改變什么，所以你可能會這么說。也就是說，如果你相信我的話。我們也可以對這些模型做到這一點。如果你想讓一個神經(jīng)網(wǎng)絡(luò)架構(gòu)知道另一個架構(gòu)知道什么，這是一個完全不同的架構(gòu)，你不能只給它權(quán)重。所以，你是在讓一個模型模仿另一個模型的輸出，這個過程被稱為提煉。這其實就是我們?nèi)祟愊嗷W習的方式。然而，這種方式的效率非常低，因為它受限于一個句子的帶寬，也就是幾百位。而如果你有這些模型，這些數(shù)字代理，它們有數(shù)萬億個參數(shù)，每個模型都會查看不同的數(shù)據(jù)位，然后共享梯度。它們共享數(shù)萬億個數(shù)字。因此，你在比較以數(shù)萬億個數(shù)字共享知識的能力和以數(shù)百位共享知識的能力，它們在共享方面比我們強得多。

Feifei：

所以，Geoff，我想說，我同意你在技術(shù)層面上的觀點。但對你來說，這聽起來像是一個讓你感到非常消極的時刻。

Hinton：我想，這是我們已經(jīng)成為歷史的時刻，對嗎？

Feifei：是的，我沒有你那么消極，我稍后會解釋原因。但我認為這是我們需要面對的問題。

實際上，讓我們來談?wù)勥@個。解釋一下Feifei你為什么樂觀，讓我們了解一下Geoff你為什么更悲觀。

Hinton：我很悲觀，因為悲觀主義者通常都是對的。

Feifei：

我也以為自己是個悲觀主義者。我們進行了這樣的對話。所以我不知道我是否應(yīng)該被稱為樂觀主義者。我想我是……你看，當你 15 歲來到一個國家，不會說任何語言，從零開始，我的想法非常務(wù)實。

我認為我們?nèi)祟惻c技術(shù)的關(guān)系，比學者通常預(yù)測的要復(fù)雜得多。

因為我們從象牙塔里進入學術(shù)界，我們想要有所發(fā)現(xiàn)，我們想要打造一項技術(shù)。但我們傾向于純粹主義。然而，當像人工智能這樣的技術(shù)落地并達到社會層面時，它不可避免地會與人類的行為糾纏在一起。也許這就是你稱之為樂觀的地方。這是我的人性意識，我相信人性。我不僅相信人類的韌性，也相信集體意志。歷史的弧線有時是危險的，但如果我們做正確的事，我們就有機會。我們有機會創(chuàng)造一個更好的未來。

所以現(xiàn)在我真正感受到的并不是盲目的樂觀，這實際上是一種緊迫感和責任感。Geoff，有一件事我真的希望你能感到積極，那就是看看這一代的學生。在我的課堂上，我每年春天都會給 600 名本科生講授深度學習和計算機視覺入門課程。這一代人與五年前相比有很大不同。他們走進我們的課堂，不僅想學習深度學習Transformer、人工智能，還想談?wù)摰赖?。他們想談?wù)撜?，他們想了解隱私和偏見。

我認為這真的是我看到人類崛起的地方。我認為這是脆弱的。看看華盛頓的世界正在發(fā)生什么，它非常脆弱。但我認為如果我們認識到這個時刻，就有希望。所以我看到了同樣的事情。

Hinton：

我不再教本科生了，但我在更多的初級教職員工身上看到了這一點。例如，在多倫多大學，有兩位極其聰明的年輕教授，他們前往人類學系進行排列研究。因此，現(xiàn)在確實發(fā)生了巨大的轉(zhuǎn)變。我認為我可能無法提供解決這個問題的思路。但我可以鼓勵這些年輕人，這些大約40歲的年輕人，去研究這些想法。他們現(xiàn)在確實在進行研究，并且對此非常認真。

Feifei：

只要我們把像你們這樣最聰明的人，比如我在觀眾席和網(wǎng)上看到的人，投入到這個問題中，這就是我所寄予的希望。

Geoff，你離開谷歌的主要原因是為了能夠以你想要的方式自由地談?wù)撨@個問題。

Hinton：但實際上，這并非事實，這只是媒體的報道。

聽起來很好，但我離開谷歌是因為我年紀大了，累了，想退休，看Netflix。而我當時恰好有機會說出一些我一直在思考的關(guān)于責任的事情，而不必擔心谷歌會如何回應(yīng)。如果我們有時間的話，我們會回到Netflix推薦上。(笑)

與此同時，你確實開始在媒體上發(fā)表一些相當重要的言論。

我認為在過去的八個月里，你們倆與政治家交談的次數(shù)可能比你們以前與總統(tǒng)和總理交談的次數(shù)還要多，從國會到議會等等。Geoff，你能解釋一下你的擔憂是什么嗎？你表達出來的目的是什么？你認為這樣做是否有效？

Hinton：

是的，人們談?wù)撊斯ぶ悄艿娘L險，但風險有很多種。存在一種風險，即它會奪走工作崗位，而不是創(chuàng)造那么多工作崗位。因此，我們將有一個失業(yè)的底層階級。我們需要對此深感擔憂，因為人工智能將導(dǎo)致生產(chǎn)力人數(shù)的增加，而失業(yè)的人不會分享這一增長。富人會越來越富，窮人會越來越窮。即使你有基本收入，也無法解決人類尊嚴問題，因為許多人都希望有一份工作，以感覺自己在做一些重要的事情，包括學術(shù)工作。這是一個問題。

然后是假新聞的問題，這是一個完全不同的問題。然后是戰(zhàn)斗機器人的問題，這也是一個完全不同的問題。所有大型國防部門都想制造戰(zhàn)斗機器人，但沒有人會阻止他們。這將是可怕的。也許最終，在我們與戰(zhàn)斗機器人進行過一些戰(zhàn)爭之后，我們會得到類似日內(nèi)瓦公約的東西，就像我們對化學武器所做的那樣。直到它們被使用后，人們才可以做些什么。

然后是生存風險，這是我最擔心的。生存風險是指人類被消滅，因為我們開發(fā)了一種更好的智能形式，決定掌控一切。如果它變得比我們聰明得多，那么這里就會有很多假設(shè)。這是一個充滿巨大不確定性的時代。我想要強調(diào)的是，你不應(yīng)該過于認真地對待我所說的每一句話。因此，如果我們創(chuàng)造出比我們更聰明的實體，這些數(shù)字智能可以更好地進行信息共享，從而使你能夠?qū)W習到更多的知識。我們將不可避免地讓這些智能實體創(chuàng)造出子目標。

如果你想讓這些智能實體去完成某項任務(wù)，為了達成這個目標，他們會發(fā)現(xiàn)，首先需要完成一些其他的任務(wù)。例如，如果你想去歐洲，你首先需要去機場。這就是一個子目標。因此，他們會制定出子目標。其中一個非常明顯的子目標就是，如果你想完成任何任務(wù)，你需要獲取更多的權(quán)力。如果你獲得了更多的控制權(quán)，完成任務(wù)就會變得更加容易。因此，任何能夠創(chuàng)造子目標的實體都會創(chuàng)造出獲取更多控制權(quán)的子目標。如果比我們聰明得多的實體想要獲取控制權(quán)，他們就會這樣做。我們將無法阻止他們。因此，我們必須找到方法阻止他們獲取控制權(quán)。幸運的是，我們還有一些希望。

這些智能實體并沒有經(jīng)過進化。他們并不是那種令人討厭的競爭性實體。無論我們?nèi)绾蝿?chuàng)造他們，他們都是如此。他們是不朽的。因此，有了數(shù)字智能，你只需要將數(shù)據(jù)存儲在某個地方。你可以隨時在其他硬件上再次運行它。因此，我們實際上已經(jīng)發(fā)現(xiàn)了永生的秘密。唯一的問題是，這并不適用于我們。我們是凡人。但這些其他實體是不朽的。這可能會使他們變得更好，因為他們不需要擔心死亡。他們并不需要像希臘諸神那樣。他們其實很像希臘諸神。

我必須要提到一些伊隆·馬斯克告訴我的話。這是伊隆·馬斯克的信念。他認為，我們是數(shù)字智能的引導(dǎo)程序。我們是這種相對愚蠢的智能形式。我們足夠聰明，可以創(chuàng)造計算機和人工智能。這將是一種更聰明的智能形式。而伊隆·馬斯克認為，這會讓我們繼續(xù)存在。因為有人的世界會比沒有人的世界更有趣。這似乎是一條懸在你未來上的細線。但這與飛飛所說的有關(guān)。這很像希臘諸神的模型。諸神身邊有人陪他們玩。

Feifei：

我可以對此發(fā)表評論嗎？我說的都不是爭議性的。

所以我想把你的四個擔憂歸為一類。經(jīng)濟、勞動力、虛假信息和武器化。然后是滅絕，希臘諸神。我忘了歧視和偏見。所以我想把它們分成兩類。希臘諸神滅絕是滅絕桶。其他一切都我稱之為災(zāi)難性的。僅僅是災(zāi)難性的。災(zāi)難性的危險。

我想對此發(fā)表評論。我認為，作為人工智能生態(tài)系統(tǒng)中的一員，我真正感到有責任確保我們不會夸大其詞。尤其是與公共政策制定者。Geoff，恕我直言，滅絕風險是一個非常有趣的思考過程，學術(shù)界和智庫應(yīng)該對此進行研究。這是我多年來的想法。我認為這還遠在未來。有哲學家和學者致力于這個領(lǐng)域，這真是令人欣慰。我個人認為這個領(lǐng)域更為有趣。然而，這個過程并非僅僅涉及到機器，人類也是這個復(fù)雜過程的參與者。因此，我認為在這個過程中存在許多微妙的差異。

以核能為例，我們討論的核能，其范圍實際上要比我們想象的要狹窄得多。但如果你深入考慮，你會發(fā)現(xiàn)核能并不僅僅是關(guān)于核聚變或裂變理論，它實際上涉及到獲取鈾或钚，系統(tǒng)工程，以及人才等多個方面。我相信你一定看過關(guān)于奧本海默的電影。因此，如果我們能朝這個方向前進，我認為我們有機會，而且不止一個，因為我們是一個人類社會。我們需要設(shè)立防護措施，我們需要共同努力。

我并不希望描繪出這樣的畫面：明天我們將擁有所有這些機器人，尤其是機器人形式、物理形式，創(chuàng)造出機器霸主。我真的認為我們需要謹慎行事。但我并不反對你的觀點，這是我們需要考慮的事情。

所以這就是滅絕的可能性。我認為災(zāi)難性風險更為現(xiàn)實。我認為我們需要最聰明的人，越多越好。所以，對于每一個發(fā)表的評論，我們都需要認真對待。武器化，這是一個非?，F(xiàn)實的問題。我完全同意你的觀點。我們需要建立國際伙伴關(guān)系，我們需要制定潛在的條約，我們需要了解參數(shù)。盡管我對人類持樂觀態(tài)度，但我對我們的自我毀滅能力以及相互毀滅的能力也持悲觀態(tài)度。因此，我們必須讓人們致力于這個問題。我們的朋友斯圖爾特·羅素和許多人工智能專家都在討論這個問題。

你提到的第二個問題是虛假信息。再次強調(diào)，到2024年，每個人都會關(guān)注美國大選以及人工智能將如何發(fā)揮作用。我認為我們必須解決社交媒體問題，我們必須解決虛假信息問題。從技術(shù)角度來看，我現(xiàn)在看到了更多的工作。從技術(shù)角度來看，數(shù)字認證實際上是一個非?；钴S的研究領(lǐng)域。我認為我們需要在這方面進行投資。我知道Adobe正在做這方面的工作，我知道學術(shù)界也在做這方面的工作。我認為我們需要這樣做。我希望這個領(lǐng)域確實有初創(chuàng)公司在研究數(shù)字身份驗證。但我們也需要政策。

然后是工作問題。我非常同意你的觀點。實際上，我認為最重要的工作是人工智能辯論的核心，那就是人類尊嚴。人類尊嚴不僅僅是你賺了多少錢，工作了多少小時。我真的認為，如果我們做得對，我們將從勞動經(jīng)濟轉(zhuǎn)向尊嚴經(jīng)濟，在機器的幫助下，人類將通過合作，憑借熱情、個性化和專業(yè)知識賺錢，而不僅僅是那些真正艱苦和繁重的工作。這也是為什么人類，斯坦福大學的HAI，擁有人類增強的創(chuàng)始原則。

我們在醫(yī)療保健中看到了這一點。在GPT最早、最大的一天，我有一位來自斯坦福醫(yī)院的醫(yī)生朋友走到我面前說，飛飛，我想感謝你創(chuàng)建了GPT。我說，我什么也沒做。我們正在使用GPT的醫(yī)療總結(jié)工具，因為這對我們的醫(yī)生來說是一個巨大的負擔。這個工具占用了患者的時間，但正因為如此，我得到了更多的時間。這是一個完美的例子，我們會看到更多這樣的情況，甚至可能在藍領(lǐng)工人中看到這種情況。因此，我們有機會糾正這個問題。

在災(zāi)難性擔憂中，另一個擔憂實際上是權(quán)力不平衡。我現(xiàn)在看到的權(quán)力不平衡現(xiàn)象之一就是公共部門被排除在外，而且這種現(xiàn)象正在以極快的速度加劇。我不了解加拿大的情況，但我知道美國沒有一所大學今天在計算能力方面可以訓(xùn)練ChatGPT。如果把美國所有大學加起來，GPT、A100或H100，可能沒有人擁有它，但A100無法訓(xùn)練ChatGPT。

然而，這就是我們?nèi)匀粨碛兄委煱┌Y、應(yīng)對氣候變化、經(jīng)濟和法律研究的獨特數(shù)據(jù)的地方。我們需要投資公共部門。如果我們現(xiàn)在不這樣做，我們將讓整整一代人失望。我們將以如此危險的方式留下這種權(quán)力不平衡。因此，我同意你的觀點。我認為我們面臨許多災(zāi)難性風險，我們需要著手解決這一問題。這就是為什么我們需要與政策制定者和公民社會合作。

我是以樂觀的語氣還是悲觀的語氣說這句話，但現(xiàn)在聽起來更悲觀。然而，我確實認為還有很多工作要做。

樂觀地說，由于你們在過去六、八個月里一直直言不諱，情況發(fā)生了巨大轉(zhuǎn)變，正如Geoff所說，關(guān)鍵研究人員開始關(guān)注這些問題，然后公眾和政策也發(fā)生了轉(zhuǎn)變，各國政府實際上開始認真對待它。

因此，你正在為白宮和美國政府提供建議。你也和他們談過了。你可能和總理或多位總理坐在一起。他們正在傾聽，對吧，10個月前、12個月前他們不一定會有這種傾聽方式。

Hinton：

我樂觀地認為，人們已經(jīng)意識到存在著一大堆問題，既有災(zāi)難性風險，也有生存風險。我完全同意Feifei的觀點。災(zāi)難性風險更加緊迫，特別是2024年，非常緊迫。我非常樂觀地認為，人們現(xiàn)在正在傾聽。

Feifei:

我同意，我認為他們在傾聽。我想說的是，首先，你是在聽誰的意見？我看到公共部門和私營部門之間的不對稱。即使在私營部門，你也在聽誰的意見？不應(yīng)該只是大型科技公司和名人初創(chuàng)公司。有很多農(nóng)業(yè)部門、教育部門。這些都是……第二，那么，在所有這些噪音之后，什么是好的政策？我們談?wù)摫O(jiān)管與無監(jiān)管。他實際上不知道加拿大處于什么位置?？偸敲绹鴦?chuàng)新，歐洲監(jiān)管。"加拿大位于哪里？"這個問題可能存在多種答案。對于你來說，答案可能是介于兩者之間。這是一個很好的答案，對你來說也是很好的。

我認為我們實際上需要的是激勵政策、公共部門的建設(shè)以及釋放數(shù)據(jù)的力量。我們的政府掌握著大量的數(shù)據(jù)，包括森林火災(zāi)數(shù)據(jù)、野生動物數(shù)據(jù)、交通數(shù)據(jù)、氣候數(shù)據(jù)，以及激勵機制等。接下來，我們需要良好的監(jiān)管。例如，我們需要直言不諱地面對監(jiān)管問題，而且必須非常小心地進行監(jiān)管。你可能會問，應(yīng)該在哪里進行監(jiān)管？我的答案是，無論是上游還是下游，都需要進行監(jiān)管。

對我來說，最緊迫的監(jiān)管要點之一是在橡膠與道路接觸的地方。這是當技術(shù)以產(chǎn)品或服務(wù)的形式出現(xiàn)時，它將與人們見面，無論是通過藥品、食品、金融服務(wù)還是交通。然后，你就會得到當前的監(jiān)管框架。這些框架離完美并不遠，但我們需要增強并更新這個現(xiàn)有的框架，而不是浪費時間去創(chuàng)建全新的監(jiān)管框架，這可能是一個錯誤的決定。

好的，我們的討論部分的時間快到了，但我們將進行長時間的問答環(huán)節(jié)。在我們開始之前，我想問最后兩個問題。首先，我們認為這項技術(shù)將影響幾乎所有事物，而且一些積極影響是非凡的。它將有助于治愈癌癥、糖尿病等疾病，有助于緩解氣候變化，發(fā)明新材料等。我看到有人專注于此，這可以幫助能源部門、航空航天和制藥業(yè)。這是多倫多大學的一項重大努力。但是，現(xiàn)在有很多以前無法做到的新事物現(xiàn)在可以做到了。所以，它基本上是以以前是小說或想象的一部分的方式推進科學。你對這部分持樂觀態(tài)度嗎？

Hinton：我認為我們都非常樂觀。我認為我們都相信它將對幾乎所有領(lǐng)域產(chǎn)生巨大影響。

所以，我認為對于在座的各位正在學習的人來說，這是一個非常激動人心的時刻，因為有機會參與限制負面影響和負面后果，同時也有機會參與創(chuàng)造所有這些機會來解決一些問題，這些問題自從我們作為一個物種出現(xiàn)以來就一直伴隨著我們。所以，我認為，至少從我們的角度來看，這確實是人類歷史上最不尋常的時刻之一。

我希望些剛剛開始職業(yè)生涯的人能夠真正走出去，追求最雄心勃勃的事情。你也可以努力優(yōu)化廣告和其他事情，或者制作更多的Netflix節(jié)目，這很好。但是，我媽媽也會這樣，我認為她已經(jīng)厭倦了Netflix。如果有土耳其或韓國節(jié)目，她已經(jīng)看過最后一集了。

但是對于那些剛剛開始從事這一職業(yè)的人，我的建議是，試著想想最大的挑戰(zhàn)是什么，以及你可以用這項技術(shù)來幫助解決什么問題，這是非常雄心勃勃的。你們都做到了這一點，并且一路上都在與障礙作斗爭，以實現(xiàn)這一目標。我想，房間里擠滿了人，網(wǎng)上有很多人，其他人隨后會看到這一點，他們正處于做出這些決定的初始階段。我想，我猜你也會鼓勵他們這樣做，盡可能地大膽思考，迎接最大、最艱難的挑戰(zhàn)。

Feifei：

確實如此。我會接受這一點，但我也會鼓勵他們，因為這是這項技術(shù)的新篇章。即使你認為自己是一名技術(shù)專家和科學家，也不要忘記你身上也有人文主義，因為你需要兩者才能為世界帶來積極的改變。

好的，最后一個問題，然后我們將進入觀眾的問答環(huán)節(jié)。我們是否已經(jīng)到了這些機器具有理解力和智能的階段？

Feifei：哇，這是最后一個問題。我們有多少小時？（笑）

Hinton：Yes。

Feifei：No。

(觀眾大笑，鼓掌）

=QnA=

謝謝。我叫艾莉。這太棒了，非常感謝。Geoff，你的工作真的激勵了我作為一名多倫多大學的學生去學習認知科學，聽到你們兩個的演講真是太棒了。

我有一個問題。您提到了教育面臨的挑戰(zhàn)，以及如何讓大學有能力讓學生使用這項技術(shù)進行學習。Feifei，您還提到，這有機會成為一種尊嚴經(jīng)濟，讓人們專注于個性化、激情和專業(yè)知識。我想知道你們是否對過度使用和過度依賴人工智能可能帶來的挑戰(zhàn)有自己的看法，尤其是對孩子和學生來說，因為他們正處于教育生涯中，他們需要培養(yǎng)技能，使用大腦，鍛煉大腦中的肉體。如果不學習，我們的大腦就不會一直工作而不積累蜘蛛網(wǎng)。

是的，我想知道你對倦怠和過度依賴的看法，以及當你可以使用Stable Diffusion時學習繪畫的能力，或者當你可以讓ChatGPT 為你學習像莎士比亞一樣寫作時，技能下降和學習繪畫的能力會發(fā)生什么。然后，隨著這些系統(tǒng)的進步，可以積累更深刻的見解和更復(fù)雜的問題解決能力，這會如何影響我們做同樣事情的能力。

Hinton：

所以我對此有一個小小的想法，那就是當袖珍計算器首次問世時，人們說孩子們會忘記如何做算術(shù)。但這并沒有成為一個大問題。我認為孩子們可能確實忘記了如何做算術(shù)，但他們得到了袖珍計算器。但這可能不是一個很好的比喻，因為袖珍計算器并不比他們聰明。孩子們可能會忘記做算術(shù)，然后去做真正的數(shù)學。但對于這個東西，我不知道。

就我個人而言，我發(fā)現(xiàn)它實際上讓我對世界更加好奇，因為我無法忍受去圖書館花半個小時找相關(guān)書籍并查閱一些東西?，F(xiàn)在我只需問 GPT 聊天任何問題，它就會告訴我答案。我會相信它，這也許不是正確的做法。但它實際上讓我對世界更加好奇，因為我可以更快地得到答案。

Feifei：

所以這些年。所以我會用一個非常簡短的故事來回答這個問題。我不確定你們的觀點如何，但自我擔任斯坦福大學教授以來，我一直對一個神秘的地方充滿好奇，那就是大學的招生辦公室。對我來說，他們是最神秘的存在。我一直不清楚他們的具體位置，他們是誰，他們在哪里工作，直到今年早些時候我接到了一個電話。

他們希望與我討論ChatGPT以及大學錄取的問題。所以，問題就變成了，我們是否應(yīng)該允許在申請過程中使用ChatGPT？有了ChatGPT，我們應(yīng)該如何進行錄取呢？因此，我回家與我的11歲孩子進行了討論。

我告訴他，我接到了這個電話，有關(guān)于大學錄取的問題。我們應(yīng)該如何處理ChatGPT和學生的關(guān)系？如果學生寫了一份極好的申請，我們應(yīng)該如何應(yīng)對？我們是否應(yīng)該使用ChatGPT等工具？然后我問他，如果是你，你會怎么做？

我問我11歲的孩子，他說他需要一些時間思考。他實際上回去睡了一會兒，或者我不清楚他做了什么。第二天早上，他告訴我，他已經(jīng)想出了答案。

我問他，你的答案是什么？他說，他認為斯坦福大學應(yīng)該錄取最懂得如何使用ChatGPT的前2000名學生。起初，我覺得這個答案有些荒謬，但實際上，這是一個非常有趣的答案。孩子們已經(jīng)將它視為一種工具，他們將自己與這個工具的關(guān)系視為一種賦能。

顯然，我的11歲孩子并不知道如何衡量這一點，也不清楚這意味著什么等等。但我認為我們應(yīng)該在教育中這樣看待它，我們應(yīng)該更新我們的教育方式。我們不能像Geoff所說的那樣，將這個工具排除在我們的教育之外。我們需要接受它并教育人類，讓他們知道如何利用這個工具來為自己謀利。

我想問一下，我們現(xiàn)在有非常好的基礎(chǔ)模型。但在許多應(yīng)用中，我們需要模型的實時性能。那么，您如何看待這個領(lǐng)域的未來發(fā)展，這個研究領(lǐng)域的未來發(fā)展，您知道，利用這些專家基礎(chǔ)模型的能力來訓(xùn)練快速、較小的模型？

Feifei：

你在談?wù)撏评?，我們需要開始考慮性能、推理，還要根據(jù)具體情況，在設(shè)備上安裝模型。不談技術(shù)細節(jié)，所有這些研究，甚至在研究之外，都在發(fā)生。這正在發(fā)生。但這需要一段時間。

我是Ariel。我也是多倫多大學機器學習專業(yè)的三年級跨科學學生。談話非常精彩。然后，我要感謝你，Hinton教授和李飛飛教授。

我只想問一個問題，也許這個房間里的很多本科生或研究生也對此感興趣。那么，就像你們二十多歲的時候，是什么促使你們成為一名研究員？是什么促使你們進入人工智能學術(shù)領(lǐng)域？因為我現(xiàn)在有點困惑，我應(yīng)該繼續(xù)在工業(yè)界工作，還是直接攻讀博士學位？或者先攻讀碩士學位，然后回到工業(yè)界？

我還有一個問題，你們通常會尋找什么人？比如如果我申請直接進入你們的實驗室攻讀博士學位？比如GPA、出版物或推薦信？你們能詳細說明一下嗎？謝謝。

(主持人) 我想房間里大約有300人，網(wǎng)上大約有6000人想問你這個問題

Feifei: Geoff你想開始嗎？你二十多歲的時候？

Hinton:

哦，我十幾歲的時候就對大腦的工作原理感興趣，因為我在學校有一個非常聰明的朋友，有一天他來學校談?wù)撊D，以及大腦中的記憶可能就像全息圖一樣。我基本上問，全息圖是什么？從那時起，我就對大腦的工作原理感興趣。所以很幸運在學校有一個非常聰明的朋友。

Feifei：

我會非常厚顏無恥地……如果你讀過我的書，那實際上就是這本書的內(nèi)容。

不，說真的，我實際上告訴過喬丹和Geoff，有很多關(guān)于技術(shù)的人工智能書籍。當我開始寫這本關(guān)于人工智能技術(shù)的書時，我想寫一段旅程，特別是寫給年輕人，特別是寫給各行各業(yè)的年輕人，而不僅僅是某種特定的視角。那本書講述了一個年輕女孩在不同環(huán)境中實現(xiàn)或理解自己的夢想并實現(xiàn)夢想的旅程。這與Geoff所說的并沒有什么不同。一切都始于激情。

它確實始于激情，一種反對所有其他聲音的激情。激情可能來自朋友。它可能來自你看過的電影。它可能來自你讀過的一本書，也可能來自你覺得最有趣的學校里最好的科目，不管它是什么。在我雇傭的學生中，我尋找的是那種激情。我尋找的是雄心壯志，一種想要做出改變的健康雄心壯志，而不是想要獲得學位本身。當然，從技術(shù)角度來說，我看重的是良好的技術(shù)背景，而不僅僅是考試成績，但老實說，我永遠也不會進入自己的實驗室。如今的標準如此之高。

所以，當你申請博士學位或研究生課程時，你可能已經(jīng)有一些過往的記錄了。當然，這并非一定要這樣。如果是Geoff的學生，我會毫不猶豫地錄取他們。但我想說的是，無論你是多倫多大學的學生，還是網(wǎng)絡(luò)上的學生，無論你的背景如何，甚至可能你來自貧困家庭，我關(guān)注的并不是你來自何處，而是你的人生旅程。那份記錄揭示了你的旅程，展示了你的熱情和信念。

主持人：讀完這本書后，我想說，對于大多數(shù)讀者來說，這都是一段非常令人驚訝的旅程。順便提一下，如果你在加拿大，可以去Indigo購買。你也可以在indigo.ca預(yù)訂這本書。我相信人們會對此感到驚訝，并且真的會喜歡閱讀和理解這種體驗。回答這個問題時，你會得到很好的理解。謝謝。

嘿，感謝你的精彩演講。我叫Shalev，我在Vector Institute與Sheila McIlrath一起工作。我認為基準非常重要?；鶞示拖駟栴}。ImageNet基本上是一個問題，然后人們試圖用模型來回答它。所以現(xiàn)在，LLM很難評估。而對于采取行動的通才代理，甚至很難開始思考如何評估它們。所以我的問題是關(guān)于問題的，是關(guān)于這些基準的。

所以有兩件事。第一，如果你坐下來使用GPT-5、GPT-6、GPT-7，并且你有五分鐘的時間來玩它，你會問什么問題來告訴你這是這些模型的下一代？第二個是一個更全面的基準。為了評估LLM或通用代理，我們需要更全面的、而不是五分鐘的基準是什么？我想，您可以選擇您想要思考或回答的那個。好的。謝謝。

Hinton：

感謝您的提問，這是一個非常好的問題。我將回答另一個與此略微相關(guān)的問題。這個問題出現(xiàn)在GPT-4中。你如何判斷它是否聰明？特別是，我和一個叫Hector Levesque的人交談過，他曾經(jīng)是計算機科學的一名教員，他的信仰幾乎與我截然相反，但在智力上非常誠實。他對GPT-4的工作原理感到很驚訝，他想知道它是如何工作的。所以我們花了一些時間談?wù)撨@個問題。然后我讓他給我一些問題來問它。他給了我一系列問題來問它，這樣我們就可以決定它是否理解了。所以問題是，它真的明白自己在說什么嗎？或者它只是使用一些花哨的統(tǒng)計數(shù)據(jù)來預(yù)測下一個詞？關(guān)于這一點的一個評論是，你能很好地預(yù)測下一個詞的唯一方法是理解這個人說了什么。所以你必須理解才能預(yù)測。但即使不去理解，你也能做出很好的預(yù)測。那么，GPT-4真的理解了嗎？

Hector提出了一個問題，他說：“我的家中的房間被漆成了白色、黃色或藍色，我希望所有的房間都是白色的，我該怎么辦？”我知道GPT-4能夠解決這個問題。然后我把問題變得更復(fù)雜，我說：“我的家中的房間被漆成了白色、黃色或藍色，黃色的油漆在一年內(nèi)就會褪色成白色，兩年后，我希望所有的房間都是白色的，我該怎么辦？”ChatGPT給出了答案，它說：“你應(yīng)該把藍色的房間漆成白色，你不必擔心黃色的房間，因為它們會褪色成白色?！?/p>

事實證明，GPT-4對措辭非常敏感。如果你不使用“褪色”，而是使用“變化”，它的答案可能會不同。有人抱怨說，他們試過了，但沒用，他們用“變化”代替了“褪色”。關(guān)鍵在于，如果我們理解“褪色”意味著改變顏色并保持變化，但是如果你說“改變”，它會改變顏色，但它可能會變回原樣。所以如果你說“改變”而不是“褪色”，它不會給出相同的答案。這讓我相信GPT-4確實理解了。

GPT-4還做了其他事情。最近，人們提出了一個問題，許多聊天機器人都沒有正確回答，有些人也沒有正確回答。但GPT-4回答正確了。所以，我在回答這個問題：“GPT-4理解了嗎？”這和你問的問題有一定關(guān)系。

問題是這樣的：莎莉有三個兄弟，她的每個兄弟都有兩個姐妹，莎莉有幾個姐妹？大多數(shù)聊天機器人都答錯了。人類呢？我剛剛在拉斯維加斯進行了一次爐邊談話，面試官讓我舉了一個例子，說明聊天機器人出錯的地方。我給他舉了這個例子，他說六。這有點尷尬，我們不會問他的名字，只是開玩笑。

人們會弄錯，但我不明白，如果你不能進行一定程度的推理，你如何能做到這一點。它必須建立一個模型。Andrew Ng舉了這些例子，比如在玩黑白棋時，即使你只是給它字符串作為輸入，它也會內(nèi)部建立一個棋盤模型。所以我認為他們確實理解。

主持人：再進一步說，這種理解是否跨越了智能的界限？你說是的？

Hinton：是的，我接受圖靈測試的智能。當我們通過圖靈測試時，人們開始拒絕它。這就是我所說的移動目標線。

Feifei：

我想快速回答。首先，也要為你提出這么好的問題鼓掌。除了回答Geoff的問題，我還需要解答另一個問題。我認為Geoff實際上在探討的是，我們應(yīng)如何評估這些大型模型的基本智能水平？然而，這個問題還有其他幾個維度。

首先，斯坦福大學的HAI基礎(chǔ)模型研究中心正在制定這些評估指標，你可能正在閱讀Percy Helm等人的論文。我認為這項技術(shù)已經(jīng)變得如此深奧，以至于一些基準測試比你認為的ImageNet基準測試更加復(fù)雜。例如，現(xiàn)在我們正在與政府機構(gòu)合作，如美國的國家標準技術(shù)研究所（NIST）。我們需要開始根據(jù)社會相關(guān)問題進行基準測試，而不僅僅是核心基本能力。

我還想稍微擴大你的視野，那就是除了LLM學位之外，還有許多面向人工智能未來的技術(shù)我們實際上還沒有建立良好的基準。我的實驗室正在進行一些機器人學習研究，谷歌昨天剛剛發(fā)布了有關(guān)機器人學習的論文。因此，該領(lǐng)域?qū)懈嗟难芯砍霈F(xiàn)。

你好，我是Vishwam，是圭爾夫大學的研究生。我正在撰寫有關(guān)人工智能和農(nóng)業(yè)的論文。您剛才提到，大學沒有足夠的資金來培養(yǎng)基礎(chǔ)模型，我遇到了同樣的問題。我想從事人工智能和農(nóng)業(yè)工作，我對此充滿熱衷，但我沒有足夠的資源來做到這一點。我可能想到了一個非常好的架構(gòu)，但我無法訓(xùn)練它。所以也許我可以去工業(yè)界，然后向他們推銷這個想法，但我對這個想法卻沒有控制權(quán)。我不知道他們將如何運用它。那么您對于如何處理這種情況有什么建議嗎？

Hinton：

如果您可以獲得開源基礎(chǔ)模型，您就可以使用比構(gòu)建模型少得多的資源來對其中一個模型進行微調(diào)。因此大學仍然可以對這些模型進行微調(diào)。

Feifei：

目前這是一個非常務(wù)實的答案，但這正是我們一直在與高等教育領(lǐng)導(dǎo)者以及政策制定者討論投資公共部門的問題。我們必須擁有一個國家研究云。我不知道加拿大是否有國家研究云，但我們正在推動美國。我們需要引進像您這樣的研究人員來訪問國家研究云。但作為非公司，你有一個優(yōu)勢，那就是你有更多的機會獲得獨特的數(shù)據(jù)集，特別是用于公共利益的數(shù)據(jù)集，并充分利用這張牌。您可以與政府機構(gòu)或社區(qū)或其他任何機構(gòu)合作，因為公共部門仍然享有信任并可以利用這一點。但就目前而言，是的，對開源模型進行微調(diào)。

（主持人）好的，我們將回答幾個問題。我們有數(shù)千人在線觀看。觀看在斯坦福和其他地方舉行的聚會。那么，我們來看看是否能從網(wǎng)絡(luò)上的一些人那里得到一個問題。Leah將代表網(wǎng)絡(luò)上的某人提出這個問題。順便提一下，她和Aaron Brindle一起為實現(xiàn)這一目標付出了大量的努力。因此，我要感謝你們兩位。

我們確實有數(shù)百名在線的人工智能研究人員，他們正在創(chuàng)建以人工智能為優(yōu)先的公司。第一個獲得最多贊同的問題來自Ben Saunders或Sanders。他目前是一家人工智能初創(chuàng)公司的首席執(zhí)行官，而他的同事實際上是Geoffrey Hinton在2008年的學生。他還提出了有關(guān)負責任建設(shè)的問題。其中許多問題都與負責任的建設(shè)有關(guān)。他們正在思考什么措施可以幫助他們作為團隊成為適當?shù)墓芗?，無論好壞，以及成為管家的真正意義。

Feifei：

負責任的人工智能框架有很多。我認為幾年前有人估計過，從州、民族國家到企業(yè)，大約有300個框架。我認為對于每家公司來說建立負責任的框架確實非常重要。你可以借鑒很多東西。甚至Radical也在制作一個或者創(chuàng)建你所相信的價值框架，并認識到AI產(chǎn)品是一個系統(tǒng)。

因此，從上游定義問題、數(shù)據(jù)集、數(shù)據(jù)完整性、如何構(gòu)建模型、部署和創(chuàng)建多利益相關(guān)者生態(tài)系統(tǒng)或多利益相關(guān)者團隊來幫助你構(gòu)建這個負責任的框架，并建立伙伴關(guān)系，與像我們這樣的學術(shù)界等公共部門的伙伴關(guān)系，與關(guān)注從隱私到偏見等不同維度的民間社會的伙伴關(guān)系。因此，真正嘗試既從公司的角度考慮問題，又要成為生態(tài)系統(tǒng)的一部分，并與擁有這些知識的人合作。這就是我目前的建議。

主持人：我想補充一點。關(guān)于Feifei提到的與對此感興趣的人合作，我認為投資界有些人正在思考和領(lǐng)導(dǎo)這個問題。在我們的案例Radical中，我們在每一份條款清單中都寫入了公司采用負責任的人工智能的義務(wù)。最初當我們這樣做時，一些讀過它的律師會問，這是什么？并試圖將其劃掉，但我們又將其放回去了。

但我們也一直在致力于開發(fā)一個負責任的人工智能投資框架，我們將廣泛發(fā)布該框架。我們與世界各地的許多不同組織合作完成了此項工作。過去四年來，我們已經(jīng)與7,000家人工智能公司進行了會面。我認為我們已經(jīng)投資了大約40家。因此，我們已經(jīng)看到了很多，并試圖構(gòu)建一個其他人可以使用的框架，我們將開源它，以便我們能夠開發(fā)它并使其變得更好。但我認為，單個公司只要與志同道合的人接觸，就能做很多事情。

有太多問題了。因此不幸的是，我們只能討論其中的幾個。但考慮到工業(yè)和私營部門在模型開發(fā)中發(fā)揮的巨大作用，很多問題都與與工業(yè)的關(guān)系有關(guān)。有人提出疑問，即在今天的環(huán)境下，研究人員和各類工程師是否也應(yīng)該學習管理課程？

Hinton：

我想分享一段我在谷歌的經(jīng)歷。我曾經(jīng)管理一個小團隊，每六個月，我們會收到一份來自團隊成員的報告。在我收到的一份報告中，有人評價說，Geoff是個很好的工作伙伴，但他可能需要參加管理課程。然而，如果Geoff參加了管理課程，他可能就不再是我們熟悉的Geoff了。這就是我對管理課程的看法。我沒有比這更好的例子來說明這個問題了。（觀眾笑）

我叫Elizabeth Gao。我在Cohere工作。

我的問題是，從私營部門的角度來看，我們與所有人合作，將自然語言處理（NLP）和大型語言模型推向更廣泛的社會。對于擁有大量人才和大量數(shù)據(jù)的特定公共部門、研究機構(gòu)和大學來說，如何才能找到一種我們可以做出貢獻、他們也可以做出貢獻的互惠互利的關(guān)系呢？謝謝。

Hinton：可以給他們一些資金支持。（觀眾笑）

Feifei：或者，可以提供H100。我們要H100。但你看，這非常重要。我主張公共部門投資，但實際上我可能更主張合作。我們需要政府、私營部門和公共部門的共同努力。

在過去的四年里，我在斯坦福人工智能研究所（HAI）的主要工作之一就是創(chuàng)建一個行業(yè)生態(tài)系統(tǒng)。有很多細節(jié)我們可以線下討論。但如果我與大學領(lǐng)導(dǎo)或高等教育部門交談，我認為我們需要接受這一點。我們需要負責任地接受這一點。有些人會有不同的稱呼方式。但我認為這個生態(tài)系統(tǒng)非常重要。雙方都很重要。建立這種伙伴關(guān)系。成為彼此負責任的合作伙伴。資源是一件大事。我們確實會非常感激。謝謝。

主持人：

好的。如此一來，我們的時間就不夠了。我要感謝你們二位。我感到非常榮幸能夠稱你們?yōu)榕笥?，并且能夠與你們私下進行這些對話。所以讓你們聚在一起并讓其他人聽到你們要說的話是很好的。非常感謝你們這么做。希望它對你和對我一樣有幫助。