↑閱讀之前記得關(guān)注+星標(biāo)??，，每天才能第一時間接收到更新

Ilya 大神現(xiàn)身最新采訪，整個采訪持續(xù)1個半小時，全文2萬字原汁原味呈現(xiàn)，這是最好的傳達(dá)大神思想的方式，不用任何總結(jié)，強(qiáng)烈建議收藏逐字反復(fù)閱讀

當(dāng)然為了最快感受大神的思想，我隨便挑了一些重點(diǎn)：

Ilya認(rèn)為當(dāng)前的方法會“走一段路，然后就走下坡路”，它們會不斷改進(jìn)，但無法實(shí)現(xiàn)通用人工智能

那種行之有效的系統(tǒng)是“我們目前還不知道如何構(gòu)建的”

預(yù)計(jì)未來幾年將對勞動力市場產(chǎn)生重大影響

主要瓶頸：泛化能力。模型在這方面遠(yuǎn)遜于人類

你可以訓(xùn)練模型解決所有競技編程問題，但模型仍然無法培養(yǎng)出真正的“品味”，而一個青少年大約 10 個小時就能學(xué)會開車

評估分?jǐn)?shù)看起來很棒，但實(shí)際性能卻很差，因?yàn)閺?qiáng)化學(xué)習(xí)訓(xùn)練最終會針對評估本身進(jìn)行優(yōu)化

真正的獎勵黑客是那些設(shè)計(jì)這些基準(zhǔn)和訓(xùn)練循環(huán)的研究人員

他說他知道還缺少什么，但不會公開分享

他預(yù)測，這種擁有“大陸級算力”的超級智能將在 5 到 20 年內(nèi)誕生

“你知道最瘋狂的是什么嗎？這一切都是真的，我們生活在科幻中”這句話讓我感同身受

在這1個半小時中Ilya 和主持人討論了 SSI（Ilya的超級智能公司） 的戰(zhàn)略、預(yù)訓(xùn)練存在的問題、如何提高 AI 模型的泛化能力，以及如何確保AGI的順利發(fā)展

正文

Ilya Sutskever

你知道最瘋狂的是什么嗎？這這一切都是真實(shí)的。

Dwarkesh Patel

是指什么？

Ilya Sutskever

你不覺得嗎？所有這些關(guān)于 AI 的事情，整個灣區(qū)的現(xiàn)狀……它正在發(fā)生。這難道不像是科幻小說里的情節(jié)嗎？

Dwarkesh Patel

另一件瘋狂的事是，“慢速起飛”（slow takeoff）的感覺是如此平常。以前覺得如果我們把 GDP 的 1% 投入到 AI 中，那感覺會是一件驚天動地的大事，但現(xiàn)在感覺就像是……

Ilya Sutskever

事實(shí)證明，我們適應(yīng)得很快。而且這也有點(diǎn)抽象。這到底意味著什么？意味著你在新聞里看到某某公司宣布了某某金額的投資。你只能看到這些。到目前為止，還沒有在其他方面真正感受到它。

Dwarkesh Patel

我們要從這里開始聊嗎？我覺得這是個有趣的討論。

Ilya Sutskever

當(dāng)然。

Dwarkesh Patel

我認(rèn)為你的觀點(diǎn)——即從普通人的角度來看，沒什么太大的不同——甚至在奇點(diǎn)到來時也會繼續(xù)成立。

Ilya Sutskever

不，我不這么認(rèn)為。

Dwarkesh Patel

好吧，這很有趣。

Ilya Sutskever

我剛才指的“感覺沒什么不同”，是因?yàn)楸热缒臣夜拘剂艘粋€難以理解的巨額投資數(shù)字。我覺得沒人知道這意味這什么。

但我認(rèn)為 AI 的影響將會被切實(shí)感受到。AI 將滲透到整個經(jīng)濟(jì)中。會有非常強(qiáng)大的經(jīng)濟(jì)力量推動這一點(diǎn)，我認(rèn)為這種影響會被非常強(qiáng)烈地感受到。

Dwarkesh Patel

你預(yù)計(jì)這種影響什么時候會出現(xiàn)？我覺得現(xiàn)在的模型看起來比它們實(shí)際產(chǎn)生的經(jīng)濟(jì)影響要聰明得多。

Ilya Sutskever

是的。這是目前關(guān)于模型最令人困惑的事情之一。如何調(diào)和“它們在評估測試（evals）中表現(xiàn)如此出色”這一事實(shí)？你看那些測試，你會想，“這些題目挺難的。”它們做得很好。但經(jīng)濟(jì)影響似乎大大滯后。很難理解，為什么模型一方面能做這些驚人的事情，另一方面卻會在某些情況下重復(fù)犯錯？

舉個例子，假設(shè)你用“感覺編程”（vibe coding）做點(diǎn)什么。你做到某一步，然后遇到了一個 bug。你告訴模型：“能不能幫我修一下這個 bug？”模型說：“天哪，你太對了。確實(shí)有個 bug。讓我來修好它?！比缓笏肓说诙€ bug。你告訴它：“你有這個新的第二個 bug，”它又告訴你：“天哪，我怎么會這樣？你又說對了，”然后它又把第一個 bug 帶回來了，你就在這兩個 bug 之間來回折騰。這怎么可能？我不確定，但這確實(shí)表明有一些奇怪的事情正在發(fā)生。

我有兩個可能的解釋。比較異想天開的解釋是，也許強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練讓模型變得有點(diǎn)過于一根筋和狹隘，有點(diǎn)過于缺乏意識，即使它在其他方面讓它們變得更有意識。正因?yàn)槿绱?，它們無法完成一些基本的事情。

但還有另一種解釋。以前人們做預(yù)訓(xùn)練（pre-training）時，“用什么數(shù)據(jù)訓(xùn)練”這個問題是有答案的，因?yàn)榇鸢甘恰八袛?shù)據(jù)”。當(dāng)你做預(yù)訓(xùn)練時，你需要所有的數(shù)據(jù)。所以你不用糾結(jié)是用這個數(shù)據(jù)還是那個數(shù)據(jù)。

但是當(dāng)人們做 RL 訓(xùn)練時，他們確實(shí)需要思考。他們會說，“好吧，我們要為這個東西做這種 RL 訓(xùn)練，為那個東西做那種 RL 訓(xùn)練。”據(jù)我所知，所有公司都有團(tuán)隊(duì)專門制作新的 RL 環(huán)境，并將其添加到訓(xùn)練組合中。問題是，那些環(huán)境是什么？自由度太高了。你可以制作的 RL 環(huán)境種類繁多。

有一件事是可以做的，而且我認(rèn)為這是無意中發(fā)生的，就是人們從評估測試中汲取靈感。你會說，“嘿，我希望我們的模型在發(fā)布時表現(xiàn)得非常好。我想讓評估分?jǐn)?shù)看起來很棒。什么樣的 RL 訓(xùn)練能在這個任務(wù)上有所幫助？”我認(rèn)為這種事情確實(shí)發(fā)生了，這可以解釋很多正在發(fā)生的事情。

如果你把這一點(diǎn)與“模型的泛化能力實(shí)際上并不夠好”結(jié)合起來，這就有可能解釋我們看到的許多現(xiàn)象，即評估表現(xiàn)與實(shí)際現(xiàn)實(shí)世界表現(xiàn)之間的脫節(jié)，這是我們今天甚至還沒完全理解其含義的事情。

Dwarkesh Patel

我喜歡這個觀點(diǎn)，真正的“獎勵黑客”（reward hacking）其實(shí)是那些過于關(guān)注評估分?jǐn)?shù)的人類研究員。

我認(rèn)為有兩種方式來理解，或者試圖思考你剛才指出的問題。一種是，如果僅僅通過在編程競賽中變得超人般強(qiáng)大，模型并不會自動變得更有品味、在改進(jìn)代碼庫時表現(xiàn)出更好的判斷力，那么你就應(yīng)該擴(kuò)展環(huán)境套件，這樣你就不只是測試它在編程競賽中的表現(xiàn)。它還應(yīng)該能夠?yàn)?X、Y 或 Z 制作最好的應(yīng)用程序。

另一種，也許這正是你暗示的，就是問：“為什么在編程競賽中變得超人般強(qiáng)大，卻不能讓你在更廣泛的意義上成為一個更有品味的程序員？”也許我們要做的不應(yīng)該是不斷堆疊環(huán)境的數(shù)量和多樣性，而是要找到一種方法，讓你能從一個環(huán)境中學(xué)習(xí)，并在其他事情上提高表現(xiàn)。

Ilya Sutskever

我有一個人類的類比可能會有幫助。讓我們以編程競賽為例，既然你提到了。假設(shè)有兩個學(xué)生。其中一個決定要成為最好的競賽程序員，所以他們會在這個領(lǐng)域練習(xí) 10,000 小時。他們會解決所有問題，記住所有證明技巧，并且非常熟練地快速正確實(shí)現(xiàn)所有算法。通過這樣做，他們成為了最好的之一。

第二個學(xué)生想，“哦，編程競賽很酷?！币苍S他們練習(xí)了 100 小時，少得多，但他們也做得很好。你認(rèn)為哪一個在以后的職業(yè)生涯中會做得更好？

Dwarkesh Patel

第二個。

Ilya Sutskever

對。我認(rèn)為這就是正在發(fā)生的事情?，F(xiàn)在的模型更像第一個學(xué)生，甚至程度更甚。因?yàn)槲覀儠f，模型應(yīng)該擅長編程競賽，所以讓我們把有史以來的每一個編程競賽問題都拿來。然后我們做一些數(shù)據(jù)增強(qiáng)，這樣我們就有了更多的編程競賽問題，然后我們在這些數(shù)據(jù)上訓(xùn)練?，F(xiàn)在你得到了這個偉大的競賽程序員。

用這個類比，我覺得更直觀。是的，好吧，如果它訓(xùn)練得這么好，所有不同的算法和證明技巧都觸手可及。但直覺告訴我們，這種程度的準(zhǔn)備并不一定能泛化到其他事情上。

Dwarkesh Patel

但是，第二個學(xué)生在進(jìn)行那 100 小時的微調(diào)之前，他在做什么？這里的類比是什么？

Ilya Sutskever

我覺得他們有“它”。那種“天賦”因素。我在讀本科的時候，記得有個同學(xué)就是這樣，所以我知道這種人是存在的。

Dwarkesh Patel

我覺得把這種“天賦”與預(yù)訓(xùn)練的作用區(qū)分開來很有趣。理解你剛才說的“不需要在預(yù)訓(xùn)練中選擇數(shù)據(jù)”的一種方式是，這實(shí)際上與那 10,000 小時的練習(xí)并無二致。只是你免費(fèi)得到了那 10,000 小時的練習(xí)，因?yàn)樗呀?jīng)在預(yù)訓(xùn)練分布中的某個地方了。但也許你是在暗示，實(shí)際上預(yù)訓(xùn)練并沒有帶來那么多的泛化。預(yù)訓(xùn)練中只有海量的數(shù)據(jù)，但它不一定比 RL 泛化得更好。

Ilya Sutskever

預(yù)訓(xùn)練的主要優(yōu)勢在于：A，數(shù)據(jù)量巨大；B，你不需要費(fèi)盡心思去想把什么數(shù)據(jù)放入預(yù)訓(xùn)練中。它是非常自然的數(shù)據(jù)，確實(shí)包含了很多人們做的事情：人們的思想和很多特征。它就像是整個世界被人們投射到了文本上，而預(yù)訓(xùn)練試圖利用海量數(shù)據(jù)來捕捉這一點(diǎn)。

預(yù)訓(xùn)練很難推理，因?yàn)楹茈y理解模型依賴預(yù)訓(xùn)練數(shù)據(jù)的方式。每當(dāng)模型犯錯時，是不是因?yàn)槟承〇|西碰巧沒有得到預(yù)訓(xùn)練數(shù)據(jù)的充分支持？“預(yù)訓(xùn)練支持”也許是個寬泛的術(shù)語。我不知道我還能不能補(bǔ)充更多有用的東西。我不認(rèn)為預(yù)訓(xùn)練有人類層面的類比。

Dwarkesh Patel

有些人提出過預(yù)訓(xùn)練的人類類比。我很想聽聽你認(rèn)為它們?yōu)槭裁纯赡苁清e的。一種是把這看作人生的前 18 年、15 年或 13 年，那時他們不一定有經(jīng)濟(jì)產(chǎn)出，但他們在做一些讓他們更好地理解世界的事情。另一種是把進(jìn)化看作是進(jìn)行了 30 億年的搜索，然后產(chǎn)生了一個人類生命實(shí)例。

我很好奇你是否認(rèn)為這些可以類比預(yù)訓(xùn)練。如果不是預(yù)訓(xùn)練，你會如何看待人類的終身學(xué)習(xí)？

Ilya Sutskever

我認(rèn)為這兩者與預(yù)訓(xùn)練之間都有一些相似之處，預(yù)訓(xùn)練試圖扮演這兩者的角色。但我認(rèn)為也有一些巨大的差異。預(yù)訓(xùn)練的數(shù)據(jù)量非常非常驚人。

Dwarkesh Patel

是的。

Ilya Sutskever

不知何故，一個人即使過了 15 年，接觸到的數(shù)據(jù)只是預(yù)訓(xùn)練數(shù)據(jù)的一小部分，他們知道的東西少得多。但無論他們知道什么，不知何故他們理解得更深。在這個年紀(jì)，你就不會犯我們 AI 犯的那種錯誤了。

還有一件事。你會說，這可能是像進(jìn)化一樣的東西嗎？答案是也許。但在這種情況下，我認(rèn)為進(jìn)化實(shí)際上可能更有優(yōu)勢。我記得讀過這個案例。神經(jīng)科學(xué)家了解大腦的一種方式是研究大腦不同部位受損的人。有些人的癥狀奇怪到你無法想象。這真的非常有趣。

我想到了一個相關(guān)的案例。我讀到過一個人，他的大腦受到某種損傷，中風(fēng)或事故，導(dǎo)致他的情感處理能力喪失。所以他不再感覺到任何情緒。他仍然非常善于表達(dá)，能解決小謎題，在測試中看起來一切正常。但他感覺不到情緒。他不感到悲傷，不感到憤怒，也不感到興奮。不知何故，他變得極不擅長做任何決定。決定穿哪雙襪子都要花好幾個小時。他會做出非常糟糕的財(cái)務(wù)決定。

這說明了我們內(nèi)置的情緒在使我們成為一個可行的智能體方面扮演了什么角色？聯(lián)系到你關(guān)于預(yù)訓(xùn)練的問題，也許如果你足夠擅長從預(yù)訓(xùn)練中獲取一切，你也能得到那個。但這似乎是那種……嗯，從預(yù)訓(xùn)練中獲得那個東西可能是可能的，也可能不可能。

Dwarkesh Patel

“那個”是什么？顯然不僅僅是直接的情緒。它看起來像是某種類似價值函數(shù)（value function）的東西，它告訴你任何決定的最終回報(bào)應(yīng)該是什么。你認(rèn)為這不會從預(yù)訓(xùn)練中隱式地產(chǎn)生嗎？

Ilya Sutskever

我認(rèn)為它是可以的。我只是說這不是 100% 顯而易見的。

Dwarkesh Patel

但這到底是什么？你怎么看待情緒？情緒在機(jī)器學(xué)習(xí)（ML）中的類比是什么？

Ilya Sutskever

它應(yīng)該是某種價值函數(shù)的東西。但我不認(rèn)為有一個很好的 ML 類比，因?yàn)槟壳埃瑑r值函數(shù)在人們做的事情中并沒有發(fā)揮非常突出的作用。

Dwarkesh Patel

如果方便的話，也許值得為觀眾定義一下什么是價值函數(shù)。

Ilya Sutskever

當(dāng)然，我很樂意。當(dāng)人們做強(qiáng)化學(xué)習(xí)（RL）時，目前的做法是如何訓(xùn)練這些智能體的？你有一個神經(jīng)網(wǎng)絡(luò)，給它一個問題，然后告訴模型，“去解決它?！蹦Ｐ蜁扇?shù)千甚至數(shù)十萬個動作或思考步驟，然后產(chǎn)生一個解決方案。這個解決方案會被打分。

然后，這個分?jǐn)?shù)被用來為你軌跡中的每一個動作提供訓(xùn)練信號。這意味著，如果你在做一件持續(xù)時間很長的事情——如果你在訓(xùn)練一個需要很長時間才能解決的任務(wù)——在你想出提議的解決方案之前，它完全不會進(jìn)行任何學(xué)習(xí)。這就是目前天真的 RL 做法。這就是 o1、R1 表面上的做法。

價值函數(shù)的意思是，“也許有時（不總是）我可以告訴你，你做得是好是壞?！眱r值函數(shù)的概念在某些領(lǐng)域比其他領(lǐng)域更有用。例如，當(dāng)你下國際象棋丟了一個棋子，我搞砸了。你不需要下完整局棋就知道我剛才做的是壞事，因此導(dǎo)致這一切的前序動作也是壞的。

價值函數(shù)讓你不必等到最后。假設(shè)你在做某種數(shù)學(xué)或編程的事情，你試圖探索一個特定的解決方案或方向。在思考了比如一千步之后，你得出結(jié)論這個方向沒有希望。一旦你得出這個結(jié)論，你就可以在一千個時間步之前，當(dāng)你決定走這條路時，就已經(jīng)得到一個獎勵信號。你會說，“下次在類似情況下我不應(yīng)該走這條路”，這早在你真正拿出提議的解決方案之前。

Dwarkesh Patel

這在 DeepSeek R1 的論文里提到過——軌跡的空間太廣了，也許很難學(xué)習(xí)從中間軌跡到價值的映射。而且考慮到，例如在編程中，你會有一個錯誤的想法，然后你會回過頭去，改變一些東西。

Ilya Sutskever

這聽起來像是對深度學(xué)習(xí)缺乏信心。當(dāng)然這可能很難，但沒有什么深度學(xué)習(xí)做不到的。我的預(yù)期是價值函數(shù)應(yīng)該是有用的，我完全預(yù)計(jì)它們將在未來被使用，如果不是已經(jīng)在用的話。

我提到的那個情感中樞受損的人的例子，更多是暗示也許人類的價值函數(shù)在某種重要方面受到情緒的調(diào)節(jié)，這是進(jìn)化硬編碼的。也許這對人類在世界上有效行事很重要。

Dwarkesh Patel

這正是我打算問你的。關(guān)于價值函數(shù)的情緒有一些非常有趣的地方，那就是它們在如此有用的同時，理解起來卻相當(dāng)簡單，這令人印象深刻。

Ilya Sutskever

我有兩個回應(yīng)。我確實(shí)同意，與我們學(xué)習(xí)的東西以及我們正在討論的 AI 相比，情緒相對簡單。它們甚至簡單到也許你可以用人類可理解的方式將它們繪制出來。我覺得這樣做會很酷。

但在實(shí)用性方面，我認(rèn)為存在一種復(fù)雜性與魯棒性的權(quán)衡，復(fù)雜的東西可能非常有用，但簡單的東西在非常廣泛的情況下都非常有用。解釋我們所見現(xiàn)象的一種方式是，我們的情緒大多是從我們的哺乳動物祖先演化而來的，然后在我們成為原始人類時進(jìn)行了一點(diǎn)微調(diào)，只是一點(diǎn)點(diǎn)。不過我們確實(shí)有相當(dāng)數(shù)量的社會性情緒，這是哺乳動物可能缺乏的。但它們并不是非常復(fù)雜。正是因?yàn)樗鼈儾粡?fù)雜，所以在這個與我們一直生活的世界截然不同的世界里，它們依然能很好地為我們服務(wù)。

實(shí)際上，它們也會犯錯。例如，我們的情緒……其實(shí)，我不知道。饑餓算是一種情緒嗎？這有爭議。但我認(rèn)為，例如，我們直覺上的饑餓感在這個食物充足的世界里并沒有成功地正確引導(dǎo)我們。

Dwarkesh Patel

人們一直在談?wù)摂U(kuò)展數(shù)據(jù)、擴(kuò)展參數(shù)、擴(kuò)展算力。有沒有更通用的方式來思考擴(kuò)展（scaling）？還有哪些其他的擴(kuò)展維度？

Ilya Sutskever

這里有一個我認(rèn)為可能是正確的視角。過去機(jī)器學(xué)習(xí)的工作方式是，人們只是修修補(bǔ)補(bǔ)，試圖得到有趣的結(jié)果。過去一直都是這樣。

然后擴(kuò)展的洞見出現(xiàn)了。Scaling Laws（擴(kuò)展定律）、GPT-3，突然之間大家都意識到我們應(yīng)該進(jìn)行擴(kuò)展。這是語言影響思維的一個例子。“Scaling”只是一個詞，但它是一個非常有力的詞，因?yàn)樗嬖V人們該做什么。他們說，“讓我們試著擴(kuò)展東西?！彼阅銜?，我們在擴(kuò)展什么？預(yù)訓(xùn)練是要擴(kuò)展的東西。它是一個特定的擴(kuò)展配方。

預(yù)訓(xùn)練的巨大突破在于意識到這個配方是好的。你會說，“嘿，如果你把一些算力和一些數(shù)據(jù)混合到一個特定大小的神經(jīng)網(wǎng)絡(luò)中，你會得到結(jié)果。你知道只要按比例放大這個配方，你就會變得更好?！边@也太棒了。公司喜歡這個，因?yàn)樗峁┝艘环N風(fēng)險(xiǎn)極低的方式來投資資源。

投資研究要難得多。比較一下。如果你做研究，你需要說，“去吧研究員們，去研究并想出點(diǎn)什么來”，對比“獲取更多數(shù)據(jù)，獲取更多算力”。你知道你會從預(yù)訓(xùn)練中得到東西。

確實(shí)，根據(jù)一些人在推特上的說法，看起來 Gemini 可能已經(jīng)找到了一種從預(yù)訓(xùn)練中獲得更多收益的方法。但在某個時刻，預(yù)訓(xùn)練的數(shù)據(jù)會用完。數(shù)據(jù)顯然是有限的。接下來你做什么？要么你做某種增強(qiáng)版的預(yù)訓(xùn)練，一種與以前不同的配方，要么你做 RL，或者可能是其他東西。但現(xiàn)在算力很大，算力現(xiàn)在非常大，從某種意義上說，我們又回到了研究時代。

也許換一種說法。直到 2020 年，從 2012 年到 2020 年，是研究時代。然后，從 2020 年到 2025 年，是擴(kuò)展時代——也許加減一些誤差范圍——因?yàn)槿藗冋f，“這太驚人了。你必須擴(kuò)展更多。繼續(xù)擴(kuò)展?！边@一個詞：擴(kuò)展。

但現(xiàn)在規(guī)模已經(jīng)這么大了。信念真的是“哦，它這么大，但如果你有 100 倍以上，一切都會變得如此不同”嗎？肯定會有不同。但信念是只要把規(guī)模擴(kuò)大 100 倍，一切都會發(fā)生質(zhì)變嗎？我不認(rèn)為這是真的。所以這又回到了研究時代，只是有了大電腦。

Dwarkesh Patel

這是一種非常有趣的說法。但讓我問你剛才提出的問題。我們在擴(kuò)展什么，擁有一個配方意味著什么？我想我還不知道預(yù)訓(xùn)練中存在的那種非常干凈的、幾乎看起來像物理定律的關(guān)系。在數(shù)據(jù)、算力或參數(shù)與損失之間存在冪律關(guān)系。我們應(yīng)該尋求什么樣的關(guān)系，我們應(yīng)該如何思考這個新配方可能是什么樣子的？

Ilya Sutskever

我們已經(jīng)見證了從一種類型的擴(kuò)展向另一種類型的擴(kuò)展的轉(zhuǎn)變，從預(yù)訓(xùn)練到 RL?，F(xiàn)在人們正在擴(kuò)展 RL。根據(jù)人們在推特上的說法，他們在 RL 上花費(fèi)的算力此時比預(yù)訓(xùn)練還多，因?yàn)?RL 實(shí)際上可以消耗相當(dāng)多的算力。你做很長的推演（rollouts），所以產(chǎn)生這些推演需要很多算力。然后你從每個推演中獲得相對較少的學(xué)習(xí)量，所以你真的可以花費(fèi)很多算力。

我甚至不會稱之為擴(kuò)展。我會說，“嘿，你在做什么？你做的事情是你最能產(chǎn)出的事情嗎？你能找到一種更有效利用算力的方法嗎？”我們之前討論過價值函數(shù)的事情。也許一旦人們擅長價值函數(shù)，他們將更有效地利用資源。如果你發(fā)現(xiàn)了一種完全不同的訓(xùn)練模型的方法，你會說，“這是擴(kuò)展還是僅僅是利用你的資源？”我認(rèn)為這變得有點(diǎn)模棱兩可。

某種意義上，當(dāng)人們回到那時的研究時代，就是“讓我們試試這個、這個和這個。讓我們試試那個、那個和那個。哦，看，有趣的事情發(fā)生了?！蔽艺J(rèn)為將會回歸到這種狀態(tài)。

Dwarkesh Patel

如果我們回到了研究時代，退一步說，我們需要最深入思考的配方部分是什么？當(dāng)你提到價值函數(shù)時，人們已經(jīng)在嘗試當(dāng)前的配方，比如用 LLM-as-a-Judge（大模型作為裁判）等等。你可以說那是一個價值函數(shù)，但聽起來你有更本質(zhì)的想法。我們是否應(yīng)該徹底重新思考預(yù)訓(xùn)練，而不僅僅是在那個過程的末尾添加更多步驟？

Ilya Sutskever

關(guān)于價值函數(shù)的討論，我認(rèn)為很有趣。我想強(qiáng)調(diào)，我認(rèn)為價值函數(shù)會讓 RL 更有效率，我認(rèn)為這很重要。但我認(rèn)為任何你可以用價值函數(shù)做的事，你不用它也能做，只是更慢。我認(rèn)為最根本的事情是，這些模型不知何故泛化能力比人類差得多。這非常明顯。這似乎是一個非常根本的事情。

Dwarkesh Patel

這就是關(guān)鍵：泛化。這有兩個子問題。一個是關(guān)于樣本效率：為什么這些模型學(xué)習(xí)需要比人類多得多的數(shù)據(jù)？還有第二個問題。即使不談所需的數(shù)據(jù)量，為什么教模型我們要的東西比教人類要難得多？對于人類，我們不一定需要一個可驗(yàn)證的獎勵來……你現(xiàn)在可能正在指導(dǎo)一群研究人員，你和他們交談，向他們展示你的代碼，向他們展示你是如何思考的。從中，他們學(xué)到了你的思維方式以及他們應(yīng)該如何做研究。

你不需要為他們設(shè)定一個可驗(yàn)證的獎勵，比如“好，這是課程的下一部分，現(xiàn)在這是你課程的下一部分。哦，這次訓(xùn)練不穩(wěn)定?！睕]有這種繁瑣的、定制的過程。也許這兩個問題實(shí)際上以某種方式相關(guān)，但我很想探討這第二件事，這更像是終身學(xué)習(xí)（continual learning），而第一件事感覺就像是樣本效率。

Ilya Sutskever

其實(shí)你可以思考，對人類樣本效率的一種可能的解釋是進(jìn)化。進(jìn)化給了我們少量最有用信息的先驗(yàn)。對于視覺、聽覺和運(yùn)動這些東西，我認(rèn)為有很強(qiáng)的理由證明進(jìn)化給了我們很多。

例如，人類的靈巧度遠(yuǎn)遠(yuǎn)超過……我是說，如果你在模擬中對機(jī)器人進(jìn)行大量訓(xùn)練，它們也能變得靈巧。但在現(xiàn)實(shí)世界中訓(xùn)練機(jī)器人像人一樣快速掌握一項(xiàng)新技能似乎遙不可及。在這里你可以說，“哦是的，運(yùn)動能力。我們所有的祖先都需要極好的運(yùn)動能力，比如松鼠。所以對于運(yùn)動能力，也許我們有一些不可思議的先驗(yàn)。”

你可以為視覺提出同樣的理由。我相信 Yann LeCun 提出過一個觀點(diǎn)，孩子在 10 小時的練習(xí)后學(xué)會開車，這是真的。但我們的視覺太好了。至少對我來說，我記得我五歲的時候。那時候我對汽車非常興奮。我敢肯定，我五歲時的汽車識別能力已經(jīng)足以用來開車了。作為一個五歲的孩子，你看不到那么多數(shù)據(jù)。你大部分時間都待在父母家里，所以數(shù)據(jù)多樣性很低。

但你可以說也許那也是進(jìn)化。但在語言、數(shù)學(xué)和編程方面，可能不是。

Dwarkesh Patel

它看起來仍然比模型好。顯然，模型在語言、數(shù)學(xué)和編程方面比普通人好。但它們在學(xué)習(xí)方面比普通人好嗎？

Ilya Sutskever

哦是的。哦是的，絕對的。我想說的是，語言、數(shù)學(xué)和編程——尤其是數(shù)學(xué)和編程——表明，無論是什么讓人類擅長學(xué)習(xí)，可能不僅僅是一個復(fù)雜的先驗(yàn)，而是更多的東西，某種根本性的東西。

Dwarkesh Patel

我不確定我理解了。為什么會這樣？

Ilya Sutskever

考慮一項(xiàng)人們表現(xiàn)出某種巨大可靠性的技能。如果這項(xiàng)技能對我們的祖先在數(shù)百萬年、數(shù)億年里都非常有用，你可以爭辯說，也許人類擅長它是因?yàn)檫M(jìn)化，因?yàn)槲覀冇幸粋€先驗(yàn)，一個以某種非常不明顯的方式編碼的進(jìn)化先驗(yàn)，不知何故使我們?nèi)绱松瞄L它。

但是，如果人們在一個直到最近才存在的領(lǐng)域表現(xiàn)出巨大的能力、可靠性、魯棒性和學(xué)習(xí)能力，那么這更多地表明人們可能只是擁有更好的機(jī)器學(xué)習(xí)機(jī)制，句號。

Dwarkesh Patel

我們應(yīng)該如何思考那是什么？什么是 ML 類比？這里有幾件有趣的事情。它需要更少的樣本。它更像是無監(jiān)督的。一個孩子學(xué)開車……孩子不學(xué)開車。一個青少年學(xué)開車并不是真的得到了某種預(yù)先建立的、可驗(yàn)證的獎勵。它來自他們與機(jī)器和環(huán)境的互動。它需要的樣本少得多。它看起來更無監(jiān)督。它看起來更魯棒？

Ilya Sutskever

魯棒得多。人類的魯棒性真的令人震驚。

Dwarkesh Patel

你有沒有一個統(tǒng)一的方式來思考為什么所有這些事情同時發(fā)生？能夠?qū)崿F(xiàn)類似這種東西的 ML 類比是什么？

Ilya Sutskever

你一直在問的一件事是，青少年司機(jī)如何在沒有外部老師的情況下自我糾正并從經(jīng)驗(yàn)中學(xué)習(xí)？答案是他們有自己的價值函數(shù)。他們有一種普遍的感覺，順便說一下，這種感覺在人身上也非常魯棒。無論人類的價值函數(shù)是什么，除了成癮等少數(shù)例外，它實(shí)際上非常非常魯棒。

所以對于像學(xué)開車的青少年來說，他們開始開車，馬上就能感覺到自己開得怎么樣，有多糟糕，多不自信。然后他們看到，“好的?！比缓?，當(dāng)然，任何青少年的學(xué)習(xí)速度都太快了。10 個小時后，你就可以上路了。

Dwarkesh Patel

看起來人類有某種解決方案，但我很好奇他們是如何做到的，以及為什么這這么難？我們需要如何重新構(gòu)想訓(xùn)練模型的方式來實(shí)現(xiàn)這種可能？

Ilya Sutskever

這是一個很好的問題，這也是我有很多觀點(diǎn)的問題。但不幸的是，我們生活在一個并非所有機(jī)器學(xué)習(xí)想法都可以自由討論的世界里，這就是其中之一?？赡苡幸环N方法可以做到。我認(rèn)為這是可以做到的。人們就是這樣，我認(rèn)為這證明了它是可以做到的。

不過可能還有另一個阻礙，就是人類神經(jīng)元進(jìn)行的計(jì)算量可能比我們要多。如果是真的，如果那起到了重要作用，那么事情可能會更困難。但無論如何，我確實(shí)認(rèn)為這指向了某種機(jī)器學(xué)習(xí)原則的存在，對此我有自己的看法。但不幸的是，環(huán)境使得很難詳細(xì)討論。

Dwarkesh Patel

我很好奇。如果你說我們回到了研究時代，你在 2012 年到 2020 年就在那里。如果我們要回到研究時代，現(xiàn)在的氛圍會是什么樣的？

例如，即使在 AlexNet 之后，用于運(yùn)行實(shí)驗(yàn)的算力也在不斷增加，前沿系統(tǒng)的規(guī)模也在不斷增加。你認(rèn)為現(xiàn)在的研究時代是否仍然需要大量的算力？你認(rèn)為這需要回到檔案館去閱讀舊論文嗎？

當(dāng)你在 Google、OpenAI 和斯坦福這些地方時，那時有更多的研究氛圍？我們在社區(qū)中應(yīng)該期待什么樣的事情？

Ilya Sutskever

擴(kuò)展時代的一個后果是，擴(kuò)展吸走了房間里所有的空氣。因?yàn)閿U(kuò)展吸走了所有的空氣，每個人都開始做同樣的事情。我們到了這樣一個地步，世界上的公司比想法多得多。實(shí)際上關(guān)于這一點(diǎn)，硅谷有句俗話說，想法是廉價的，執(zhí)行就是一切。人們常這么說，這也確實(shí)有道理。但我看到有人在 Twitter 上說，“如果想法這么廉價，怎么沒人有想法呢？”我覺得這也是真的。

如果你從瓶頸的角度思考研究進(jìn)展，有幾個瓶頸。其中一個是想法，另一個是你實(shí)現(xiàn)它們的能力，這可能是算力也可能是工程。如果你回到 90 年代，假設(shè)有人有很好的想法，如果他們有更大的計(jì)算機(jī)，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個非常非常小的演示，無法說服任何人。所以瓶頸是算力。

然后在擴(kuò)展時代，算力增加了很多。當(dāng)然，有個問題是需要多少算力，但算力是巨大的。算力大到你并不明顯需要更多的算力來證明某個想法。我給你一個類比。AlexNet 是在兩個 GPU 上構(gòu)建的。那是它使用的總算力。Transformer 是在 8 到 64 個 GPU 上構(gòu)建的。2017 年沒有任何單一的 Transformer 論文實(shí)驗(yàn)使用的 GPU 超過 64 個，這大概相當(dāng)于今天的兩個 GPU？ResNet 也是，對吧？你可以爭辯說 o1 推理并不是世界上最耗算力的東西。

所以對于研究，你肯定需要一定量的算力，但這遠(yuǎn)不意味著你需要有史以來絕對最大的算力來進(jìn)行研究。你可能會爭辯，而且我認(rèn)為這是真的，如果你想構(gòu)建絕對最好的系統(tǒng)，那么擁有更多的算力會有幫助。特別是如果每個人都在同一個范式內(nèi)，那么算力就成了巨大的差異化因素。

Dwarkesh Patel

我問你歷史是因?yàn)槟惝?dāng)時真的在場。我不確定實(shí)際發(fā)生了什么。聽起來使用最少的算力來開發(fā)這些想法是可能的。但 Transformer 并沒有立即變得出名。它成為了每個人開始做的事情，然后開始在其基礎(chǔ)上進(jìn)行實(shí)驗(yàn)和構(gòu)建，因?yàn)樗诟邔蛹壍乃懔ι系玫搅蓑?yàn)證。

Ilya Sutskever

沒錯。

Dwarkesh Patel

如果你在 SSI 有 50 個不同的想法，如果不擁有其他前沿實(shí)驗(yàn)室那種算力，你怎么知道哪一個是下一個 Transformer，哪一個是脆弱的？

Ilya Sutskever

我可以評論一下。簡短的評論是，你提到了 SSI。具體對我們來說，SSI 用于研究的算力真的不小。我想解釋一下為什么。簡單的數(shù)學(xué)可以解釋為什么我們擁有的研究算力比人們想象的要多。我會解釋。

SSI 籌集了 30 億美元，這在絕對意義上是一筆巨款。但你會說，“看看其他籌集更多資金的公司。”但他們的大部分算力都用于推理（inference）。這些大數(shù)字，這些大額貸款，是專門用于推理的。這是第一點(diǎn)。第二，如果你想擁有一個進(jìn)行推理的產(chǎn)品，你需要有龐大的工程師、銷售人員團(tuán)隊(duì)。大量的研究需要致力于生產(chǎn)各種與產(chǎn)品相關(guān)的功能。所以當(dāng)你看看實(shí)際上留給研究的是什么時，差距就變得小得多了。

另一件事是，如果你在做不同的事情，你真的需要絕對最大的規(guī)模來證明它嗎？我不認(rèn)為這是真的。我認(rèn)為在我們的案例中，我們有足夠的算力來證明，來說服我們自己和其他任何人，我們在做的事情是正確的。

Dwarkesh Patel

有公開估計(jì)稱，像 OpenAI 這樣的公司僅在實(shí)驗(yàn)上每年就花費(fèi) 50-60 億美元。這與他們在推理等方面的支出是分開的。所以看起來他們每年運(yùn)行研究實(shí)驗(yàn)的支出比你們的總資金還多。

Ilya Sutskever

我認(rèn)為這是一個你用它做什么的問題。這是一個你用它做什么的問題。在他們的情況下，在其他人的情況下，對訓(xùn)練算力有更多的需求。有更多不同的工作流，有不同的模態(tài)，只是有更多的東西。所以它變得碎片化了。

Dwarkesh Patel

SSI 將如何賺錢？

Ilya Sutskever

我對這個問題的回答是這樣的。現(xiàn)在，我們只專注于研究，然后這個問題的答案會自己顯現(xiàn)出來。我認(rèn)為會有很多可能的答案。

Dwarkesh Patel

SSI 的計(jì)劃仍然是直通超級智能嗎？

Ilya Sutskever

也許。我認(rèn)為這樣做有其優(yōu)點(diǎn)。我認(rèn)為這有很多優(yōu)點(diǎn)，因?yàn)椴皇苋粘Ｊ袌龈偁幍挠绊懯欠浅：玫?。但我認(rèn)為有兩個原因可能會導(dǎo)致我們改變計(jì)劃。一個是務(wù)實(shí)的，如果時間線變得很長，這是可能的。其次，我認(rèn)為最強(qiáng)大、最好的 AI 在外面影響世界是有很大價值的。我認(rèn)為這是一件有意義且有價值的事情。

Dwarkesh Patel

那為什么你的默認(rèn)計(jì)劃是直通超級智能？因?yàn)槁犉饋?OpenAI、Anthropic 以及所有其他公司，他們的明確想法是，“看，我們有越來越弱的智能，公眾可以適應(yīng)并為此做好準(zhǔn)備?！睘槭裁粗苯訕?gòu)建超級智能可能更好？

Ilya Sutskever

我會分別陳述支持和反對的理由。支持的理由是，人們在市場中面臨的挑戰(zhàn)之一是他們必須參與激烈的競爭（rat race）。這種競爭非常困難，因?yàn)樗屇忝媾R需要做出的艱難權(quán)衡。說“我們將把自己與這一切隔離開來，只專注于研究，只在準(zhǔn)備好時才出來，而不是之前”是很好的。但反駁也是有效的，那是相反的力量。反駁是，“嘿，讓世界看到強(qiáng)大的 AI 是有用的。讓世界看到強(qiáng)大的 AI 是有用的，因?yàn)槟鞘悄隳軌騻鬟_(dá)它的唯一方式?！?/p>

Dwarkesh Patel

我想甚至不僅僅是你能夠傳達(dá)這個想法——

Ilya Sutskever

傳達(dá) AI，不是想法。傳達(dá) AI。

Dwarkesh Patel

你說的“傳達(dá) AI”是什么意思？

Ilya Sutskever

假設(shè)你寫了一篇關(guān)于 AI 的文章，文章說，“AI 將會是這樣，AI 將會是那樣，它會是這個。”你讀了之后說，“好的，這是一篇有趣的文章。”現(xiàn)在假設(shè)你看到一個 AI 做這個，一個 AI 做那個。這是無法比擬的?；旧衔艺J(rèn)為 AI 公開化有很大的好處，這將是我們不完全直通的一個理由。

Dwarkesh Patel

我想甚至不僅僅是那個，雖然我確實(shí)認(rèn)為那是其中的重要部分。另一件大事是，我想不出人類工程和研究中有哪一門學(xué)科，其最終產(chǎn)品主要是通過僅僅思考如何使其安全而變得更安全的，相比之下——為什么今天的飛機(jī)每英里墜毀率比幾十年前低得多。為什么現(xiàn)在在 Linux 中找 bug 比幾十年前難得多？我認(rèn)為這主要是因?yàn)檫@些系統(tǒng)被部署到了世界上。你注意到了故障，這些故障被糾正了，系統(tǒng)變得更加健壯。

我不確定為什么 AGI 和超人類智能會有什么不同，尤其是考慮到——我希望我們會談到這點(diǎn)——看起來超級智能的危害不僅僅是關(guān)于有一個惡意的回形針制造者。這是一個真正強(qiáng)大的東西，我們甚至不知道如何概念化人們?nèi)绾闻c之互動，人們會用它做什么。逐步接觸它似乎是分散其影響并幫助人們?yōu)榇俗龊脺?zhǔn)備的更好方式。

Ilya Sutskever

嗯，我認(rèn)為關(guān)于這一點(diǎn)，即使在直通方案中，你仍然會逐步發(fā)布它，我是這樣想象的。漸進(jìn)主義將是任何計(jì)劃的固有組成部分。只是問題在于你推出的第一件東西是什么。這是第一點(diǎn)。

第二，我相信你比其他人更提倡終身學(xué)習(xí)（continual learning），而且我實(shí)際上認(rèn)為這是一件重要且正確的事情。原因如下。我給你另一個語言如何影響思維的例子。在這種情況下，我認(rèn)為有兩個詞塑造了每個人的思維。第一個詞：AGI。第二個詞：預(yù)訓(xùn)練。讓我解釋一下。

AGI 這個術(shù)語，為什么這個術(shù)語存在？這是一個非常特別的術(shù)語。它為什么存在？有原因的。在我看來，AGI 這個術(shù)語之所以存在，與其說是因?yàn)樗悄撤N智能終極狀態(tài)的非常重要、本質(zhì)的描述，不如說它是因?yàn)樗菍α硪粋€存在的術(shù)語的反應(yīng)，那個術(shù)語是“狹義 AI”（narrow AI）。如果你回到游戲和 AI、跳棋 AI、國際象棋 AI、電腦游戲 AI 的遠(yuǎn)古歷史，每個人都會說，看這個狹義的智能。當(dāng)然，國際象棋 AI 可以擊敗卡斯帕羅夫，但它不能做任何其他事情。它是如此狹隘，人工狹義智能。所以作為回應(yīng)，作為對此的反應(yīng)，有些人說，這不好。它太狹隘了。我們需要的是通用 AI，一個可以做所有事情的 AI。那個術(shù)語獲得了很多關(guān)注。

第二個獲得很多關(guān)注的是預(yù)訓(xùn)練，特別是預(yù)訓(xùn)練的配方。我認(rèn)為人們現(xiàn)在做 RL 的方式可能正在消除預(yù)訓(xùn)練的概念印記。但預(yù)訓(xùn)練有這種屬性。你做更多的預(yù)訓(xùn)練，模型在所有方面都會變得更好，或多或少是一致的。通用 AI。預(yù)訓(xùn)練產(chǎn)生 AGI。

但是 AGI 和預(yù)訓(xùn)練發(fā)生的事情是，在某種意義上它們超出了目標(biāo)。如果你在預(yù)訓(xùn)練的背景下思考“AGI”這個術(shù)語，你會意識到人類并不是一個 AGI。是的，肯定有技能的基礎(chǔ)，但人類缺乏大量的知識。相反，我們依賴終身學(xué)習(xí)。

所以當(dāng)你思考，“好吧，假設(shè)我們?nèi)〉昧顺晒Γ覀儺a(chǎn)生某種安全的超級智能?！眴栴}是，你如何定義它？它會在終身學(xué)習(xí)曲線的哪里？

我生產(chǎn)了一個超級聰明的 15 歲少年，非?？释霭l(fā)。他們知道的不多，是一個很好的學(xué)生，非?？释?。你去當(dāng)程序員，你去當(dāng)醫(yī)生，去學(xué)習(xí)。所以你可以想象部署本身將涉及某種學(xué)習(xí)試錯期。這是一個過程，而不是你扔出一個成品。

Dwarkesh Patel

我明白了。你是在暗示你指出的超級智能不是某種已經(jīng)知道如何做經(jīng)濟(jì)中每一項(xiàng)工作的成品思維。因?yàn)椋热缯f，最初的 OpenAI 章程或其他文件定義 AGI 的方式是，它可以做每一項(xiàng)工作，人類能做的每一件事。你提議的是一種可以 學(xué)會 做每一項(xiàng)工作的思維，那就是超級智能。

Ilya Sutskever

是的。

Dwarkesh Patel

但是一旦你有了學(xué)習(xí)算法，它就會像人類勞動力加入組織一樣被部署到世界上。

Ilya Sutskever

完全正確。

Dwarkesh Patel

看起來這兩種情況之一可能會發(fā)生，也許這兩種情況都不會發(fā)生。第一，這種超級高效的學(xué)習(xí)算法變得超人，變得和你一樣好，甚至可能比你更好，在 ML 研究任務(wù)上。結(jié)果算法本身變得越來越超人。

另一個是，即使那沒有發(fā)生，如果你有一個單一的模型——這顯然是你的愿景——模型的實(shí)例被部署到整個經(jīng)濟(jì)中做不同的工作，學(xué)習(xí)如何做那些工作，在工作中不斷學(xué)習(xí)，學(xué)會任何人能學(xué)會的所有技能，但同時也學(xué)會所有技能，然后合并它們的學(xué)習(xí)成果，你基本上就有了一個功能上變得超級智能的模型，即使軟件沒有任何遞歸的自我改進(jìn)。因?yàn)槟悻F(xiàn)在有了一個可以做經(jīng)濟(jì)中每一項(xiàng)工作的模型，而人類無法以同樣的方式合并我們的思想。所以你預(yù)計(jì)廣泛部署會帶來某種智能爆炸嗎？

Ilya Sutskever

我認(rèn)為我們很可能會有快速的經(jīng)濟(jì)增長。我認(rèn)為隨著廣泛部署，你可以提出兩個相互沖突的論點(diǎn)。一個是，一旦你確實(shí)到了擁有一個可以快速學(xué)習(xí)做事的 AI 并且你有很多這樣的 AI 的地步，那么將會有一股強(qiáng)大的力量將它們部署到經(jīng)濟(jì)中，除非會有某種監(jiān)管阻止它，順便說一句，可能會有。

但是關(guān)于非?？焖俚慕?jīng)濟(jì)增長的想法，我認(rèn)為從廣泛部署來看是非?？赡艿?。問題是它會有多快。我認(rèn)為這很難知道，因?yàn)橐环矫婺阌羞@個非常高效的工人。另一方面，世界真的很大，有很多東西，而那些東西以不同的速度移動。但另一方面，現(xiàn)在 AI 可以……所以我認(rèn)為非?？焖俚慕?jīng)濟(jì)增長是可能的。我們將看到各種各樣的事情，比如不同的國家有不同的規(guī)則，那些規(guī)則更友好的國家，經(jīng)濟(jì)增長會更快。很難預(yù)測。

Dwarkesh Patel

在我看來，這是一個非常不穩(wěn)定的處境。在極限情況下，我們知道這應(yīng)該是可能的。如果你有某種在學(xué)習(xí)方面和人類一樣好，但可以合并其大腦——以人類無法合并的方式合并不同實(shí)例——的東西，這似乎是一件物理上應(yīng)該可能的事情。人類是可能的，數(shù)字計(jì)算機(jī)是可能的。你只需要把這兩者結(jié)合起來就能產(chǎn)生這個東西。

看起來這種東西也非常強(qiáng)大。經(jīng)濟(jì)增長是描述它的一種方式。戴森球也是很多經(jīng)濟(jì)增長。但另一種說法是，你將在可能非常短的時間內(nèi)擁有……你在 SSI 雇傭人，六個月后，他們可能就是凈產(chǎn)出的。人類學(xué)得很快，而這個東西正變得越來越聰明。你如何考慮讓這一切順利進(jìn)行？為什么 SSI 定位于能做好這件事？SSI 在那里的計(jì)劃是什么，這基本上就是我想問的。

Ilya Sutskever

我的想法發(fā)生變化的一種方式是，我現(xiàn)在更加重視 AI 的增量部署和提前部署。關(guān)于 AI 的一件非常困難的事情是，我們正在談?wù)撋胁淮嬖诘南到y(tǒng)，很難想象它們。

我認(rèn)為正在發(fā)生的一件事是，實(shí)際上很難 感覺到 AGI。很難感覺到 AGI。我們可以談?wù)撍?，但這就像談?wù)摦?dāng)你年老體弱時是什么感覺。你可以談?wù)?，你可以試圖想象，但這很難，你會回到那不是事實(shí)的現(xiàn)實(shí)中。我認(rèn)為許多圍繞 AGI 及其未來力量的問題源于這樣一個事實(shí)：很難想象。未來的 AI 會有所不同。它將會很強(qiáng)大。確實(shí)，AI 和 AGI 的問題是什么？整個問題就是力量。整個問題就是力量。

當(dāng)力量真的很大時，會發(fā)生什么？我在過去一年中改變主意的一種方式——這種改變，我會稍微對沖一下，可能會反向傳播到我們公司的計(jì)劃中——是，如果很難想象，你做什么？你必須展示這個東西。你必須展示這個東西。我堅(jiān)持認(rèn)為，大多數(shù)從事 AI 工作的人也無法想象它，因?yàn)樗c人們?nèi)粘？吹降臇|西太不同了。

我確實(shí)堅(jiān)持，這是我的一個預(yù)測。我堅(jiān)持認(rèn)為隨著 AI 變得更強(qiáng)大，人們會改變他們的行為。我們將看到各種前所未有的事情，這些事情現(xiàn)在還沒有發(fā)生。我會舉一些例子。我認(rèn)為不管是好是壞，前沿公司將在發(fā)生的事情中扮演非常重要的角色，政府也是如此。我認(rèn)為你會看到的事情，你已經(jīng)看到了開端，那就是作為激烈競爭對手的公司開始在 AI 安全方面進(jìn)行合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出了一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預(yù)測的事情，這種事情會發(fā)生。我還堅(jiān)持認(rèn)為，隨著 AI 繼續(xù)變得更強(qiáng)大，更明顯地強(qiáng)大，政府和公眾也會渴望做點(diǎn)什么。我認(rèn)為這是一股非常重要的力量，即展示 AI。

這是第一點(diǎn)。第二點(diǎn)，好的，AI 正在被構(gòu)建。需要做什么？我堅(jiān)持認(rèn)為會發(fā)生的一件事是，目前，從事 AI 工作的人，我堅(jiān)持認(rèn)為 AI 并不讓人感到強(qiáng)大，是因?yàn)樗腻e誤。我確實(shí)認(rèn)為在某個時刻，AI 會開始讓人感到真正強(qiáng)大。我認(rèn)為當(dāng)這種情況發(fā)生時，我們將看到所有 AI 公司對待安全的方式發(fā)生巨大變化。他們會變得更加偏執(zhí)。我這是作為一個預(yù)測說出來的，我們會看到這種事發(fā)生。我們要看看我是不是對的。但我認(rèn)為這是會發(fā)生的，因?yàn)樗麄儠吹?AI 變得更強(qiáng)大。目前發(fā)生的一切，我堅(jiān)持認(rèn)為是因?yàn)槿藗兛粗裉斓?AI，很難想象未來的 AI。

還有第三件事需要發(fā)生。我是從更廣泛的角度說的，不僅僅是從 SSI 的角度，因?yàn)槟銌柕搅宋覀児尽栴}是，公司應(yīng)該渴望建立什么？他們應(yīng)該渴望建立什么？有一個每個人都被鎖定的大主意，那就是自我改進(jìn)的 AI。為什么會這樣？因?yàn)橄敕ū裙旧?。但我?jiān)持認(rèn)為有更好的東西可以建立，我認(rèn)為每個人都會想要那個。

那就是穩(wěn)健地對齊以關(guān)愛感知生命（sentient life）的 AI。我想特別指出，有理由認(rèn)為建立一個關(guān)心感知生命的 AI 比建立一個只關(guān)心人類生命的 AI 更容易，因?yàn)?AI 本身將是有感知的。如果你想想鏡像神經(jīng)元和人類對動物的同理心，你可能會說這不夠大，但它確實(shí)存在。我認(rèn)為這是一種涌現(xiàn)屬性，源于我們用模擬自己的同一回路來模擬他人，因?yàn)槟鞘亲罡咝У淖龇ā?/p>

Dwarkesh Patel

即使你讓 AI 關(guān)心感知生物——如果真的解決了對齊問題，我不清楚這是否就是你應(yīng)該嘗試做的——情況仍然是，大多數(shù)感知生物將是 AI。最終會有數(shù)萬億、數(shù)千萬億的 AI。人類將是感知生物中非常小的一部分。所以如果不清楚目標(biāo)是對這個未來文明進(jìn)行某種人類控制，那么我不清楚這是不是最好的標(biāo)準(zhǔn)。

Ilya Sutskever

這是真的。它可能不是最好的標(biāo)準(zhǔn)。我會說兩點(diǎn)。第一，關(guān)心感知生命，我認(rèn)為有其優(yōu)點(diǎn)。應(yīng)該被考慮。我認(rèn)為如果有一些公司在處于這種情況下時可以使用的簡短想法清單，那會有所幫助。這是第二點(diǎn)。

第三，我認(rèn)為如果最強(qiáng)大的超級智能的力量以某種方式被設(shè)定上限，那將真的有實(shí)質(zhì)性的幫助，因?yàn)檫@將解決很多這些擔(dān)憂。關(guān)于如何做到這一點(diǎn)的問題，我不確定，但我認(rèn)為當(dāng)你談?wù)撜嬲⒄嬲龔?qiáng)大的系統(tǒng)時，那將有實(shí)質(zhì)性的幫助。

Dwarkesh Patel

在我們繼續(xù)對齊討論之前，我想深入探討一下這一點(diǎn)。頂部有多少空間？你是如何看待超級智能的？利用這個學(xué)習(xí)效率的想法，你認(rèn)為它可能只是在學(xué)習(xí)新技能或新知識方面極快嗎？它是否只是擁有更大的策略池？中心是否有一個單一的、有凝聚力的“它”更強(qiáng)大或更大？如果是這樣，你是否想象這與其余人類文明相比會像神一樣，還是它只是感覺像另一個智能體，或另一組智能體？

Ilya Sutskever

這是不同人有不同直覺的領(lǐng)域。我認(rèn)為它肯定會非常強(qiáng)大。我認(rèn)為最有可能發(fā)生的是，大約在同一時間會有多個這樣的 AI 被創(chuàng)造出來。我認(rèn)為如果集群足夠大——比如如果集群真的是大陸級的——那個東西可能會非常強(qiáng)大，確實(shí)如此。如果你真的擁有一個大陸級的集群，那些 AI 可能會非常強(qiáng)大。我能告訴你的是，如果你在談?wù)摌O其強(qiáng)大的 AI，真正極其強(qiáng)大的，如果它們能以某種方式受到限制，或者有某種協(xié)議之類的東西，那就太好了。

超級智能的擔(dān)憂是什么？解釋這種擔(dān)憂的一種方式是什么？如果你想象一個足夠強(qiáng)大的系統(tǒng)，真的足夠強(qiáng)大——你可以說你需要做一些理智的事情，比如以一種非常專一的方式關(guān)心感知生命——我們可能不喜歡結(jié)果。這就是它的本質(zhì)。

順便說一句，也許答案是你不用通常意義上的 RL 智能體。我會指出幾件事。我認(rèn)為人類是半 RL 智能體。我們追求獎勵，然后情緒或其他東西讓我們對獎勵感到厭倦，我們追求不同的獎勵。市場是一種非常短視的智能體。進(jìn)化也是一樣。進(jìn)化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設(shè)計(jì)成三個部分之間永無止境的斗爭，這也是一種效果。所以我想像這樣的事情。

另一件讓這個討論變得困難的事情是，我們談?wù)摰氖遣淮嬖诘南到y(tǒng)，我們不知道如何構(gòu)建。那是另一件事，實(shí)際上這也是我的信念。我認(rèn)為人們現(xiàn)在正在做的事情會走一段距離，然后逐漸平息。它會繼續(xù)改進(jìn)，但它也不會是“那個東西”。我們不知道如何構(gòu)建“那個東西”，很多都取決于理解可靠的泛化。

我還要說另一件事。你可以說導(dǎo)致對齊困難的原因之一是，你學(xué)習(xí)人類價值觀的能力是脆弱的。然后你優(yōu)化它們的能力是脆弱的。你實(shí)際上學(xué)會了去優(yōu)化它們。你難道不能說，“這些不都是不可靠泛化的例子嗎？”為什么人類似乎泛化得這么好？如果泛化能力好得多呢？在這種情況下會發(fā)生什么？會有什么效果？但這些問題目前仍然無法回答。

Dwarkesh Patel

人們該如何思考 AI 進(jìn)展順利是什么樣子的？你已經(jīng)勾勒了 AI 可能如何演變。我們將擁有這類終身學(xué)習(xí)智能體。AI 將非常強(qiáng)大。也許會有許多不同的 AI。你怎么看待許多大陸級算力的智能體四處游蕩？那有多危險(xiǎn)？我們?nèi)绾巫屗兊貌荒敲次ｋU(xiǎn)？我們?nèi)绾我砸环N保護(hù)平衡的方式做到這一點(diǎn)，即使外面可能有未對齊的 AI 和壞人？

Ilya Sutskever

這也是我喜歡“關(guān)心感知生命的 AI”的一個原因。我們可以爭論它是好是壞。但如果前 N 個這樣的劇變性系統(tǒng)真的關(guān)心、愛護(hù)人類或者什么的，關(guān)心感知生命，顯然這也就必須實(shí)現(xiàn)。這需要被實(shí)現(xiàn)。所以如果前 N 個系統(tǒng)實(shí)現(xiàn)了這一點(diǎn)，那么我可以看到它進(jìn)展順利，至少在相當(dāng)長的一段時間內(nèi)。

然后就是長期會發(fā)生什么的問題。你如何實(shí)現(xiàn)長期均衡？我認(rèn)為那里也有一個答案。我不喜歡這個答案，但它需要被考慮。

長期來看，你可能會說，“好吧，如果你有一個強(qiáng)大的 AI 存在的世界，短期內(nèi)，你可以說你有普遍高收入。你有普遍高收入，我們都過得很好。”但佛教徒怎么說？“變化是唯一的常數(shù)?！笔虑闀?。有某種政府、政治結(jié)構(gòu)的東西，它會變，因?yàn)檫@些東西有保質(zhì)期。一些新的政府形式出現(xiàn)了，它運(yùn)作，然后過了一段時間它停止運(yùn)作。這是我們一直看到發(fā)生的事情。

所以我認(rèn)為對于長期均衡，一種方法是你可以說也許每個人都會有一個 AI 聽命于他們，這很好。如果這能無限期維持下去，那是真的。但這的缺點(diǎn)是，然后 AI 去為這個人賺錢并在政治領(lǐng)域倡導(dǎo)他們的需求，也許然后寫一份小報(bào)告說，“好吧，這是我所做的，這是情況，”然后人說，“太棒了，繼續(xù)保持?！钡瞬辉偈菂⑴c者了。然后你可以說這是一個不穩(wěn)定的處境。

我要先說我不喜歡這個解決方案，但它是一個解決方案。解決方案是如果人們通過某種 Neuralink++ 變成半 AI。因?yàn)榻Y(jié)果將會是，現(xiàn)在 AI 理解了一些東西，我們也理解了它，因?yàn)楝F(xiàn)在理解是全盤傳遞的。所以現(xiàn)在如果 AI 處于某種情況，你自己也完全參與了那種情況。我認(rèn)為這是均衡的答案。

Dwarkesh Patel

我想知道，數(shù)百萬年——或者在很多情況下是數(shù)十億年——前在一個完全不同的環(huán)境中演化出來的情緒，至今仍如此強(qiáng)烈地指導(dǎo)著我們的行動，這是否是對齊成功的一個例子。

為了說明我的意思——我不知道稱之為價值函數(shù)還是獎勵函數(shù)更準(zhǔn)確——腦干有一個指令說，“與更成功的人交配?！逼邮抢斫猬F(xiàn)代背景下成功意味著什么的部分。但腦干能夠?qū)R皮層并說，“無論你認(rèn)為成功是什么——我不夠聰明去理解那是什么——你仍然要追求這個指令。”

Ilya Sutskever

我認(rèn)為有一個更普遍的觀點(diǎn)。實(shí)際上進(jìn)化如何編碼高層級的欲望真的很神秘。很容易理解進(jìn)化如何賦予我們對聞起來好的食物的欲望，因?yàn)闅馕妒且环N化學(xué)物質(zhì)，所以只要追求那種化學(xué)物質(zhì)就行了。很容易想象進(jìn)化做那件事。

但進(jìn)化也賦予了我們所有這些社會欲望。我們真的很在乎被社會積極看待。我們在乎擁有良好的地位。所有這些我們擁有的社會直覺，我強(qiáng)烈感覺它們是內(nèi)置的。我不知道進(jìn)化是怎么做到的，因?yàn)槟鞘窃诖竽X中表征的一個高層級概念。

比方說你在乎某種社會事物，這不像氣味那樣是低層級信號。這不是某種有傳感器對應(yīng)的東西。大腦需要做大量的處理，拼湊大量的信息碎片來理解社會上正在發(fā)生什么。不知何故進(jìn)化說，“這就是你應(yīng)該關(guān)心的?！彼窃趺醋龅降?？

而且它做得很快。所有這些我們在乎的復(fù)雜的社會事物，我認(rèn)為它們演化得相當(dāng)近。進(jìn)化很容易就硬編碼了這種高層級的欲望。我不知道有什么好的假設(shè)能解釋它是如何完成的。我有過一些反復(fù)思考的想法，但沒有一個是令人滿意的。

Dwarkesh Patel

特別令人印象深刻的是，如果是你在有生之年學(xué)會的欲望，那是有道理的，因?yàn)槟愕拇竽X是智能的。你有能力學(xué)會智能的欲望是有道理的。也許這不是你的觀點(diǎn)，但理解它的一種方式是，欲望內(nèi)置于基因組中，而基因組并不智能。但你卻能描述這個特征。甚至都不清楚你是如何定義這個特征的，而你卻能把它構(gòu)建進(jìn)基因里。

Ilya Sutskever

基本上是這樣，或者我也許換個說法。如果你思考基因組可用的工具，它說，“好吧，這是構(gòu)建大腦的配方?！蹦憧梢哉f，“這是把多巴胺神經(jīng)元連接到氣味傳感器的配方。”如果氣味是某種好的氣味，你就想吃它。

我可以想象基因組做那件事。我聲稱這（社會欲望）更難想象。更難想象基因組說你應(yīng)該關(guān)心你的整個大腦、或者大腦的一大塊所做的某種復(fù)雜計(jì)算。這只是我的主張。我可以告訴你一個猜測，它是如何做到的，我也會解釋為什么這個猜測可能是錯的。

大腦有腦區(qū)。我們有皮層。它有所有那些腦區(qū)。皮層是均勻的，但腦區(qū)和皮層中的神經(jīng)元大多只與其鄰居對話。這解釋了為什么會有腦區(qū)。因?yàn)槿绻阆胱瞿撤N語音處理，所有做語音的神經(jīng)元需要互相交流。因?yàn)樯窠?jīng)元大多只能與附近的鄰居交流，所以它必須是一個區(qū)域。

所有的區(qū)域在人與人之間大多位于同一個地方。所以也許進(jìn)化硬編碼了大腦上的一個物理位置。所以它說，“哦，當(dāng)大腦的 GPS 坐標(biāo)某某某，當(dāng)那里點(diǎn)火時，那就是你應(yīng)該關(guān)心的?！币苍S那是進(jìn)化所做的，因?yàn)槟窃谶M(jìn)化的工具箱之內(nèi)。

Dwarkesh Patel

是的，盡管有些例子，例如生來失明的人，他們皮層的那個區(qū)域被另一種感官接管了。我不知道，但如果那些需要視覺信號的欲望或獎勵函數(shù)對于那些皮層區(qū)域被征用的人不再起作用，我會感到驚訝。

例如，如果你不再有視覺，你是否仍然能感覺到我希望周圍的人喜歡我這種感覺，通常這也有視覺線索。

Ilya Sutskever

我完全同意這一點(diǎn)。我認(rèn)為對這個理論有一個更強(qiáng)的反駁。有些人童年時期被切除了一半大腦（大腦半球切除術(shù)），他們?nèi)匀粨碛兴械哪X區(qū)。但它們不知何故都移動到了一個半球，這表明腦區(qū)的位置不是固定的，所以那個理論是不正確的。

如果是真的那就太酷了，但它不是。所以我認(rèn)為這是一個謎。但這是一個有趣的謎。事實(shí)是，不知何故進(jìn)化能夠賦予我們非常非?？煽康仃P(guān)心社會事物的能力。即使是有各種奇怪的精神狀況、缺陷和情緒問題的人也傾向于關(guān)心這個。

Dwarkesh Patel

SSI 計(jì)劃做什么不同的事情？大概你們的計(jì)劃是當(dāng)那個時刻到來時成為前沿公司之一。大概你創(chuàng)立 SSI 是因?yàn)槟阆?，“我覺得我有一種方法可以安全地做這件事，而其他公司沒有?！蹦莻€區(qū)別是什么？

Ilya Sutskever

我會這樣描述，有一些我認(rèn)為有前途的想法，我想調(diào)查它們，看看它們是否真的有前途。真的就這么簡單。這是一種嘗試。如果這些想法被證明是正確的——我們討論的這些圍繞理解泛化的想法——那么我認(rèn)為我們將擁有有價值的東西。

它們會被證明是正確的嗎？我們在做研究。我們要實(shí)事求是地作為一家“研究時代”的公司。我們在取得進(jìn)展。實(shí)際上我們在過去一年取得了相當(dāng)不錯的進(jìn)展，但我們需要繼續(xù)取得更多進(jìn)展，更多研究。這就是我的看法。我看作是一種嘗試，試圖成為一個聲音和一個參與者。

Dwarkesh Patel

你的聯(lián)合創(chuàng)始人和前 CEO 最近離開去了 Meta，人們問，“好吧，如果有大量的突破正在發(fā)生，這看起來似乎是不太可能發(fā)生的事情?！蔽蚁胫滥闳绾位貞?yīng)。

Ilya Sutskever

對此，我只想提醒幾個可能被遺忘的事實(shí)。我認(rèn)為這些提供背景的事實(shí)解釋了情況。背景是我們當(dāng)時正以 320 億美元的估值融資，然后 Meta 進(jìn)來提議收購我們，我拒絕了。但在某種意義上，我的前聯(lián)合創(chuàng)始人同意了。結(jié)果，他也能夠享受到大量的近期流動性，他是 SSI 唯一加入 Meta 的人。

Dwarkesh Patel

聽起來 SSI 的計(jì)劃是當(dāng)你到達(dá)人類歷史這一非常重要的時期，即擁有超人智能時，成為一家前沿公司。你有關(guān)于如何讓超人智能順利發(fā)展的想法。但其他公司也會嘗試他們自己的想法。是什么讓 SSI 使超級智能順利發(fā)展的方法與眾不同？

Ilya Sutskever

主要讓 SSI 與眾不同的是其技術(shù)方法。我們有不同的技術(shù)方法，我認(rèn)為它是值得的，我們正在追求它。

我堅(jiān)持認(rèn)為最終會有戰(zhàn)略的趨同。我認(rèn)為會有戰(zhàn)略的趨同，在某個時刻，隨著 AI 變得更強(qiáng)大，對每個人來說或多或少都會變得清晰，戰(zhàn)略應(yīng)該是什么。它應(yīng)該是這樣的：你需要找到某種方式互相交談，你希望你的第一個真正的超級智能 AI 是對齊的，并以某種方式關(guān)心感知生命、關(guān)心人類、民主，諸如此類，某種組合。

我認(rèn)為這是每個人都應(yīng)該爭取的條件。這就是 SSI 正在爭取的。我認(rèn)為這一次，如果還沒發(fā)生的話，所有其他公司都會意識到他們正在朝著同一個目標(biāo)努力。我們拭目以待。我認(rèn)為隨著 AI 變得更強(qiáng)大，世界將真正改變。我認(rèn)為事情會真的很不同，人們的行為也會真的很不同。

Dwarkesh Patel

說到預(yù)測，你對你描述的這個系統(tǒng)——它可以像人類一樣學(xué)習(xí)并因此隨后變成超人——的預(yù)測是什么？

Ilya Sutskever

我認(rèn)為大概 5 到 20 年。

Dwarkesh Patel

5 到 20 年？

Ilya Sutskever

嗯。

Dwarkesh Patel

我想展開看看你可能如何看待未來的到來。就像，我們還有幾年時間，其他公司繼續(xù)當(dāng)前的方法并停滯不前?！巴磺啊痹谶@里是指他們的收入不超過幾千億？你如何思考停滯不前意味著什么？

Ilya Sutskever

我認(rèn)為停滯不前看起來會……在所有不同的公司看來都非常相似?？赡苁沁@樣的。我不確定，因?yàn)榧词雇磺埃艺J(rèn)為這些公司也能創(chuàng)造驚人的收入。也許不是利潤，因?yàn)樗麄冃枰κ棺约号c彼此區(qū)分開來，但收入肯定是有的。

Dwarkesh Patel

但在你的模型中有些東西暗示，當(dāng)正確的解決方案真的出現(xiàn)時，所有公司之間會有趨同。我很好奇你為什么認(rèn)為會這樣。

Ilya Sutskever

我更多是在談?wù)搶R策略的趨同。我認(rèn)為最終技術(shù)方法的趨同可能也會發(fā)生，但我指的是對齊策略的趨同。到底應(yīng)該做什么？

Dwarkesh Patel

我只是想更好地理解你如何看待未來的展開。目前，我們有這些不同的公司，你預(yù)計(jì)他們的方法會繼續(xù)產(chǎn)生收入但達(dá)不到這種類人學(xué)習(xí)者。所以現(xiàn)在我們有這些不同的公司分支。有你們，有 Thinking Machines，還有一堆其他實(shí)驗(yàn)室。也許其中一個找到了正確的方法。但是他們產(chǎn)品的發(fā)布會讓其他人清楚如何做這件事。

Ilya Sutskever

我認(rèn)為怎么做并不清楚，但有些不同的東西是可能的這一點(diǎn)會變得清楚，這就是信息。人們隨后會試圖弄清楚那是如何工作的。不過我確實(shí)認(rèn)為，這里沒有提到、沒有討論的一件事是，隨著 AI 能力的每一次提升，我認(rèn)為做事的方式會有某種變化，但我不知道具體是哪些變化。我認(rèn)為這會很重要，但我無法確切拼出那是什么。

Dwarkesh Patel

默認(rèn)情況下，你會預(yù)期擁有那個模型的公司會獲得所有這些收益，因?yàn)樗麄儞碛性谑澜缟戏e累技能和知識的模型。有什么理由認(rèn)為這種好處會被廣泛分配，而不僅僅是最終落在最先讓這個終身學(xué)習(xí)循環(huán)運(yùn)轉(zhuǎn)起來的模型公司手中？

Ilya Sutskever

我認(rèn)為會發(fā)生以下情況。第一，讓我們看看過去的 AI 是如何發(fā)展的。一家公司取得了一項(xiàng)進(jìn)展，另一家公司爭先恐后，在一段時間后也搞出了一些類似的東西，他們開始在市場上競爭并將價格壓低。所以我認(rèn)為從市場角度來看，類似的事情也會發(fā)生。

順便說一句，我們談?wù)摰氖敲篮玫氖澜纭Ｊ裁词敲篮玫氖澜纾烤褪俏覀儞碛羞@些強(qiáng)大的人類般的學(xué)習(xí)者，它們也是……順便說一下，也許還有一件事我們沒有討論，關(guān)于超級智能 AI 的規(guī)格，我認(rèn)為值得考慮。那就是你把它做成狹義的，它可以同時是有用的和狹義的。你可以有很多狹義的超級智能 AI。

但假設(shè)你有很多這樣的 AI，你有一家公司從中賺取大量利潤。然后你有另一家公司進(jìn)來開始競爭。競爭的方式將通過專業(yè)化進(jìn)行。競爭喜歡專業(yè)化。你在市場上看到這一點(diǎn)，你在進(jìn)化中也看到這一點(diǎn)。你會有很多不同的利基市場，你會有很多占據(jù)不同利基市場的不同公司。在這個世界上，我們可能會說一家 AI 公司在某些真正復(fù)雜的經(jīng)濟(jì)活動領(lǐng)域要好得多，而另一家公司在另一個領(lǐng)域更好。第三家公司非常擅長訴訟。

Dwarkesh Patel

這難道不與類人學(xué)習(xí)所暗示的相矛盾嗎？即它可以學(xué)習(xí)……

Ilya Sutskever

它可以，但你有積累的學(xué)習(xí)。你有巨大的投資。你花費(fèi)了大量的算力才變得非常非常優(yōu)秀，在這個事情上真正非凡。別人花費(fèi)了大量的算力和大量的經(jīng)驗(yàn)才在其他事情上變得非常優(yōu)秀。你應(yīng)用了大量的人類學(xué)習(xí)才到達(dá)那里，但現(xiàn)在你處于這個高點(diǎn)，別人會說，“看，我不想從頭開始學(xué)你已經(jīng)學(xué)過的東西?！?/p>

Dwarkesh Patel

我想這需要許多不同的公司同時開始擁有類人終身學(xué)習(xí)智能體，以便他們可以在不同的分支開始不同的樹搜索。但是，如果一家公司首先獲得了那個智能體，或者首先獲得了那個學(xué)習(xí)者，確實(shí)看起來……嗯，如果你只考慮經(jīng)濟(jì)中的每一份工作，讓一個實(shí)例學(xué)習(xí)每一份工作對于一家公司來說似乎是可行的。

Ilya Sutskever

這是一個有效的論點(diǎn)。我的強(qiáng)烈直覺是，事情不會這樣發(fā)展。論點(diǎn)說它會這樣發(fā)展，但我的強(qiáng)烈直覺是它不會這樣發(fā)展。理論上，理論和實(shí)踐沒有區(qū)別。在實(shí)踐中，是有區(qū)別的。我認(rèn)為這將是其中之一。

Dwarkesh Patel

許多人的遞歸自我改進(jìn)模型字面上、明確地指出，我們將在服務(wù)器中有 100 萬個 Ilya，他們會想出不同的想法，這將導(dǎo)致超級智能非?？斓赜楷F(xiàn)。

你對你正在做的事情的可并行化有某種直覺嗎？復(fù)制 Ilya 的收益是什么？

Ilya Sutskever

我不知道。我認(rèn)為肯定會有收益遞減，因?yàn)槟阆胍季S不同的人，而不是相同的人。如果有我的字面副本，我不確定你會得到多少增量價值。思維不同的人，那才是你想要的。

Dwarkesh Patel

為什么如果你看不同的模型，即使是由完全不同的公司發(fā)布的，可能在不重疊的數(shù)據(jù)集上訓(xùn)練的，LLM 彼此之間的相似程度實(shí)際上是瘋狂的？

Ilya Sutskever

也許數(shù)據(jù)集并不像看起來那樣不重疊。

Dwarkesh Patel

但在某種意義上，即使個人可能不如未來的 AI 那么多產(chǎn)，也許有些道理是人類團(tuán)隊(duì)比 AI 團(tuán)隊(duì)擁有更多的多樣性。我們?nèi)绾我l(fā) AI 之間有意義的多樣性？我認(rèn)為僅僅提高溫度（temperature）只會導(dǎo)致胡言亂語。你想要更像是不同的科學(xué)家有不同的偏見或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？

Ilya Sutskever

我相信，沒有多樣性的原因是預(yù)訓(xùn)練。所有預(yù)訓(xùn)練模型幾乎都是一樣的，因?yàn)樗鼈冊谙嗤臄?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。現(xiàn)在的 RL 和后訓(xùn)練（post-training）是一些差異化開始出現(xiàn)的地方，因?yàn)椴煌娜颂岢隽瞬煌?RL 訓(xùn)練。

Dwarkesh Patel

我過去聽你暗示過自我博弈（self-play）是一種獲取數(shù)據(jù)或?qū)⒅悄荏w與同等智能的其他智能體匹配以啟動學(xué)習(xí)的方式。我們應(yīng)該如何思考為什么沒有關(guān)于這種東西在 LLM 上起作用的公開提議？

Ilya Sutskever

我會說有兩點(diǎn)。我認(rèn)為自我博弈有趣的原因是因?yàn)樗峁┝艘环N僅使用算力而不使用數(shù)據(jù)來創(chuàng)建模型的方法。如果你認(rèn)為數(shù)據(jù)是最終瓶頸，那么僅使用算力就非常有趣。這就是讓它有趣的原因。

問題是自我博弈，至少在過去的做法中——當(dāng)你有以某種方式相互競爭的智能體時——它只對發(fā)展一套特定的技能有好處。它太狹窄了。它只對談判、沖突、某些社交技能、戰(zhàn)略制定那類東西有好處。如果你關(guān)心這些技能，那么自我博弈將是有用的。

實(shí)際上，我認(rèn)為自我博弈確實(shí)找到了歸宿，只是形式不同。所以像辯論、證明者-驗(yàn)證者（prover-verifier），你有某種 LLM-as-a-Judge（大模型作為裁判），它也被激勵去發(fā)現(xiàn)你工作中的錯誤。你可以說這不完全是自我博弈，但我相信這是人們正在做的一種相關(guān)的對抗性設(shè)置。

真正的自我博弈是智能體之間更普遍競爭的一個特例。對競爭的自然反應(yīng)是試圖與眾不同。所以如果你把多個智能體放在一起，你告訴他們，“你們都需要處理某個問題，你是一個智能體，你在檢查其他人正在做什么，”他們會說，“好吧，如果他們已經(jīng)采取了這種方法，我不清楚我也應(yīng)該追求它。我應(yīng)該追求一些差異化的東西。”所以我認(rèn)為像這樣的東西也可以為方法的多樣性創(chuàng)造激勵。

Dwarkesh Patel

最后一個問題：什么是研究品味（research taste）？你顯然被認(rèn)為是世界上 AI 研究品味最好的人。你是深度學(xué)習(xí)歷史上發(fā)生的那些最重大事件的合著者，從 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是如何想出這些主意的？

Ilya Sutskever

關(guān)于這一點(diǎn)我可以評論我自己。我認(rèn)為不同的人做法不同。有一件事指引著我個人，那就是通過思考人類是怎樣的，但要正確地思考，來形成 AI 應(yīng)該是怎樣的審美。很容易不正確地思考人類是怎樣的，但正確地思考人類意味著什么？

我給你舉幾個例子。人工神經(jīng)元的想法直接受到大腦的啟發(fā)，這是一個偉大的想法。為什么？因?yàn)槟銜f大腦有所有這些不同的器官，它有褶皺，但褶皺可能并不重要。為什么我們認(rèn)為神經(jīng)元重要？因?yàn)橛泻芏嗌窠?jīng)元。這感覺是對的，所以你想要神經(jīng)元。你想要某種局部的學(xué)習(xí)規(guī)則來改變神經(jīng)元之間的連接。大腦這樣做感覺是合理的。

分布式表征的想法。大腦對經(jīng)驗(yàn)做出反應(yīng)，因此我們的神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)的想法。大腦從經(jīng)驗(yàn)中學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)。你會問自己，有些東西是根本的還是非根本的？事物應(yīng)該是怎樣的。

我認(rèn)為這對我指引頗多，從多個角度思考，幾乎是在尋找美，美和簡單。丑陋，沒有丑陋的容身之地。它是美、簡單、優(yōu)雅、來自大腦的正確靈感。所有這些東西都需要同時存在。它們越是同時存在，你就越能對一種自頂向下的信念充滿信心。

自頂向下的信念是當(dāng)實(shí)驗(yàn)與你相悖時支撐你的東西。因?yàn)槿绻憧偸窍嘈艛?shù)據(jù)，嗯，有時候你可能在做正確的事情，但有個 bug。但你不知道有個 bug。你怎么分辨有沒有 bug？你怎么知道你是應(yīng)該繼續(xù)調(diào)試還是斷定這是錯誤的方向？靠的是自頂向下。你會說事情必須是這樣的。像這樣的東西必須行得通，因此我們要繼續(xù)前進(jìn)。那就是自頂向下，它是基于這種多層面的美和受大腦啟發(fā)而來的。

Dwarkesh Patel

好，我們就聊到這里

source：

https://www.youtube.com/watch?v=aR20FWCCjAs

--end--

最后記得??我，這對我非常重要，每天都在更新：

一鍵三連，歡迎點(diǎn)贊轉(zhuǎn)發(fā)推薦評論，別忘了關(guān)注我