來(lái)源：智東西

智東西11月26日消息，今日，前OpenAI聯(lián)創(chuàng)兼首席科學(xué)家、SSI聯(lián)創(chuàng)兼首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）在接受采訪時(shí)做出重磅論斷：AI的擴(kuò)展（Scaling）時(shí)代已經(jīng)終結(jié)！

整場(chǎng)播客長(zhǎng)達(dá)1小時(shí)36分鐘，在這場(chǎng)深度對(duì)話中，Ilya Sutskever提出，當(dāng)下算力規(guī)模已經(jīng)十分龐大，僅靠算力堆砌已經(jīng)無(wú)法讓模型實(shí)現(xiàn)更大的突破，他直言：“我們正從擴(kuò)展時(shí)代回歸到研究時(shí)代，如今只是擁有了更強(qiáng)大的計(jì)算機(jī)。”

當(dāng)前，AI存在嚴(yán)重的“評(píng)估表現(xiàn)與現(xiàn)實(shí)應(yīng)用脫節(jié)”割裂問(wèn)題，Ilya Sutskever認(rèn)為是因?yàn)槠浞夯芰Σ蛔?。他提到了一個(gè)關(guān)鍵點(diǎn)，AI的一大瓶頸是沒(méi)有類(lèi)似人類(lèi)的感官和情緒等“價(jià)值函數(shù)”，因此提出嘗試通過(guò)預(yù)訓(xùn)練讓模型獲得“情緒驅(qū)動(dòng)的決策能力”，構(gòu)建出關(guān)心所有“有情生命”的AI。

訪談核心信息如下：

1、泛化能力是AI發(fā)展的瓶頸：Ilya Sutskever認(rèn)為，當(dāng)前頂尖AI存在嚴(yán)重的“評(píng)估表現(xiàn)”與“現(xiàn)實(shí)應(yīng)用”脫節(jié)，其核心問(wèn)題在于模型的泛化能力遠(yuǎn)不如人類(lèi)。

2、人類(lèi)的情緒相當(dāng)于AI的“價(jià)值函數(shù)”：他提出顛覆性觀點(diǎn)：“情緒”是人類(lèi)進(jìn)化形成的、內(nèi)置的“價(jià)值函數(shù)”，能為決策提供即時(shí)反饋，這是AI目前缺失的關(guān)鍵能力。

3、堆砌算力已無(wú)法突破，“擴(kuò)展時(shí)代”已經(jīng)終結(jié)：Ilya Sutskever認(rèn)為，當(dāng)下，以堆砌數(shù)據(jù)、算力為核心的“擴(kuò)展時(shí)代”已經(jīng)結(jié)束，AI發(fā)展正回歸“研究時(shí)代”，需要新范式突破。

4、人類(lèi)擁有比AI更好的“學(xué)習(xí)算法”：人類(lèi)在樣本效率和持續(xù)學(xué)習(xí)上的優(yōu)勢(shì)，源于某種更根本、更優(yōu)越的底層學(xué)習(xí)機(jī)制，而非僅僅是進(jìn)化賦予的“先驗(yàn)知識(shí)”。

5、SSI是純粹的“研究公司”：Ilya Sutskever透露，其創(chuàng)業(yè)公司SSI不參與算力競(jìng)賽，其核心身份是一家專(zhuān)注于突破性研究的“研究時(shí)代”公司。

6、超級(jí)智能是“能學(xué)會(huì)做所有事”的智能：對(duì)于什么是超級(jí)智能這個(gè)問(wèn)題，Ilya Sutskever將超級(jí)智能定位為一個(gè)“能夠?qū)W會(huì)做所有事”的成長(zhǎng)型心智。

7、讓人們看到AI的強(qiáng)大，才能更好地治理：在AI治理方面，Ilya Sutskever主張通過(guò)“漸進(jìn)式部署和公開(kāi)展示”，讓人們親自感受AI的能力與風(fēng)險(xiǎn)。

8、應(yīng)該構(gòu)建“關(guān)心有情生命的AI”：Ilya Sutskever認(rèn)為，業(yè)界應(yīng)該構(gòu)建關(guān)心所有“有情生命”的AI，他認(rèn)為這比只關(guān)心人類(lèi)更根本，也更簡(jiǎn)單。

9、預(yù)訓(xùn)練導(dǎo)致模型趨同：Ilya Sutskever認(rèn)為，預(yù)訓(xùn)練是導(dǎo)致各公司模型同質(zhì)化的根源，而強(qiáng)化學(xué)習(xí)才是產(chǎn)生差異化的路徑。

Dwarkesh播客：

https://www.dwarkesh.com/p/ilya-sutskever-2

YouTube：

https://www.youtube.com/watch?v=aR20FWCCjAs&t=1s

以下為Ilya Sutskever播客實(shí)錄（智東西做了不改變?cè)獾木庉嫞?/strong>

01.

頂尖AI為何表現(xiàn)“分裂”？

泛化能力是關(guān)鍵瓶頸

Ilya Sutskever：你知道這有多瘋狂嗎？所有這一切都是真實(shí)的。

Dwarkesh Pate：什么意思？

Ilya Sutskever：你不這么認(rèn)為嗎？所有這些AI的東西，所有這灣區(qū)的一切……它正在發(fā)生。這難道不就是科幻小說(shuō)里的情節(jié)嗎？

Dwarkesh Patel：另一件瘋狂的事情是，這一切發(fā)生的都如此自然。我們將GDP的1%投資于AI這個(gè)想法，我本以為會(huì)感覺(jué)是件大事，而現(xiàn)在卻只覺(jué)得稀松平常。

Ilya Sutskever：事實(shí)證明，我們適應(yīng)事物的速度相當(dāng)快。但這也有點(diǎn)抽象。因?yàn)楫?dāng)你在新聞上看到，某某公司宣布了某某金額的投資。你看到的就只有事件本身，到目前為止，還跟你沒(méi)什么直接聯(lián)系。

Dwarkesh Patel：我們真的應(yīng)該從這里開(kāi)始嗎？我認(rèn)為這是個(gè)有趣的討論，我們就從這開(kāi)始聊吧。你是說(shuō)，這從普通人的角度看確實(shí)沒(méi)什么太大不同，即使到了技術(shù)奇點(diǎn)階段，這一點(diǎn)也依然成立。

Ilya Sutskever：不，我不這么認(rèn)為。我剛才說(shuō)的“感覺(jué)不到不同”的是，例如，某某公司宣布了一筆難以理解的投資金額，數(shù)據(jù)比較抽象，人們對(duì)此可能沒(méi)有明顯感知。

但AI的影響將會(huì)被感受到。AI將滲透到經(jīng)濟(jì)中，會(huì)有非常強(qiáng)大的經(jīng)濟(jì)力量推動(dòng)這一點(diǎn)，而且我認(rèn)為其影響將會(huì)被強(qiáng)烈地感知到。

Dwarkesh Patel：你預(yù)計(jì)這種影響何時(shí)出現(xiàn)？我覺(jué)得這些模型看起來(lái)比它們的在經(jīng)濟(jì)體系中體現(xiàn)得要更聰明。

Ilya Sutskever：是的，這是目前這些模型最令人困惑的一點(diǎn)。它們?cè)谠u(píng)估中表現(xiàn)極佳——那些評(píng)估難度不低，模型卻能交出亮眼答卷——但產(chǎn)生的經(jīng)濟(jì)影響卻遠(yuǎn)遠(yuǎn)落后。這種反差很難理解：模型既能完成一些驚人任務(wù)，為何有時(shí)又會(huì)出現(xiàn)“重復(fù)犯同一錯(cuò)誤”這類(lèi)基礎(chǔ)問(wèn)題？

舉個(gè)例子，假設(shè)你用vibe coding處理事務(wù)時(shí)遇到程序錯(cuò)誤，向模型求助：“能修復(fù)這個(gè)錯(cuò)誤嗎？”模型會(huì)回應(yīng)：“哦，天哪，你說(shuō)得對(duì)，我確實(shí)有個(gè)錯(cuò)誤，我來(lái)修復(fù)它?！笨山Y(jié)果它反而引入了第二個(gè)錯(cuò)誤。當(dāng)你指出這個(gè)新問(wèn)題，它又會(huì)說(shuō)：“哦，天哪，我怎么會(huì)犯這種錯(cuò)？你又說(shuō)對(duì)了”，隨后卻把第一個(gè)錯(cuò)誤恢復(fù)了。你就這樣在兩個(gè)問(wèn)題間來(lái)回拉扯，這實(shí)在讓人費(fèi)解。但這確實(shí)說(shuō)明，模型背后一定存在某種異常情況。

我有兩種可能的解釋。一種更異想天開(kāi)的想法是，強(qiáng)化學(xué)習(xí)訓(xùn)練或許讓模型變得過(guò)于專(zhuān)注和狹隘，缺乏足夠的全局意識(shí)，盡管這種訓(xùn)練在其他方面也讓模型展現(xiàn)出一定的“感知能力”。正因如此，它們有時(shí)連基礎(chǔ)任務(wù)都無(wú)法完成。

另一種解釋則與訓(xùn)練數(shù)據(jù)相關(guān)。在預(yù)訓(xùn)練階段，數(shù)據(jù)選擇的答案很明確：需要用到所有能獲取的數(shù)據(jù)，無(wú)需糾結(jié)取舍。

但到了強(qiáng)化學(xué)習(xí)訓(xùn)練階段，情況就不同了。人們必須主動(dòng)決策：“我們要針對(duì)這個(gè)目標(biāo)設(shè)計(jì)這類(lèi)強(qiáng)化學(xué)習(xí)訓(xùn)練，針對(duì)那個(gè)目標(biāo)設(shè)計(jì)那種訓(xùn)練。”據(jù)我所知，所有相關(guān)公司都有專(zhuān)門(mén)團(tuán)隊(duì)開(kāi)發(fā)新的強(qiáng)化學(xué)習(xí)環(huán)境，并將其納入訓(xùn)練體系。問(wèn)題在于，這些環(huán)境的設(shè)計(jì)存在極大自由度，能衍生出種類(lèi)繁多的形式。

有一種情況很可能在無(wú)意中發(fā)生：人們會(huì)從評(píng)估指標(biāo)中獲取訓(xùn)練靈感。比如有人會(huì)想：“我希望模型發(fā)布時(shí)評(píng)估表現(xiàn)出色，什么樣的強(qiáng)化學(xué)習(xí)訓(xùn)練能實(shí)現(xiàn)這個(gè)目標(biāo)？”我認(rèn)為這種情況確實(shí)存在，這也能解釋我們觀察到的諸多現(xiàn)象。

如果再結(jié)合模型本身泛化能力不足的問(wèn)題，或許就能說(shuō)明評(píng)估表現(xiàn)與現(xiàn)實(shí)應(yīng)用效果脫節(jié)的原因，而這種脫節(jié)的深層含義，我們至今仍未完全理解。

Dwarkesh Patel：我很喜歡這個(gè)說(shuō)法：真正的獎(jiǎng)勵(lì)黑客，其實(shí)是那些過(guò)于關(guān)注評(píng)估的人類(lèi)研究人員。

對(duì)于你提出的問(wèn)題，我認(rèn)為有兩種思考方向。一種是，既然模型在編程競(jìng)賽中表現(xiàn)超強(qiáng)，并不意味著它會(huì)自動(dòng)擁有更好的品味，也不會(huì)在改進(jìn)代碼庫(kù)上做出更優(yōu)判斷，那我們就應(yīng)該擴(kuò)展環(huán)境套件。不僅要測(cè)試它在編程競(jìng)賽中的最佳表現(xiàn)，還得讓它能為X、Y、Z等各類(lèi)場(chǎng)景開(kāi)發(fā)出優(yōu)質(zhì)應(yīng)用程序。

另一種方向，或許正是你所暗示的：“為什么編程競(jìng)賽中的超強(qiáng)表現(xiàn)，無(wú)法讓模型在更普遍的場(chǎng)景下成為更有能力的程序員？”

也許我們要做的，不是一味增加環(huán)境的數(shù)量和多樣性，而是找到一種方法，讓模型能從一個(gè)環(huán)境中習(xí)得能力，并將其遷移到其他事情上，實(shí)現(xiàn)跨場(chǎng)景提升。

Ilya Sutskever：正好你提到了競(jìng)技編程，咱們就以此為例。假設(shè)有兩個(gè)學(xué)生：一個(gè)一心想成為最頂尖的競(jìng)技程序員，為此投入了一萬(wàn)個(gè)小時(shí)深耕這個(gè)領(lǐng)域，他解決了所有能找到的問(wèn)題，記住了各類(lèi)證明技巧，還能熟練且快速地實(shí)現(xiàn)所有算法，最終成為了該領(lǐng)域的頂尖高手之一。

另一個(gè)學(xué)生覺(jué)得“競(jìng)技編程挺有意思”，或許只花了100個(gè)小時(shí)練習(xí)，投入遠(yuǎn)少于前者，但也取得了相當(dāng)不錯(cuò)的成績(jī)。你覺(jué)得這兩個(gè)人，誰(shuí)在之后的職業(yè)生涯中會(huì)發(fā)展得更好？

Dwarkesh Patel：第二個(gè)。

Ilya Sutskever：沒(méi)錯(cuò)，我認(rèn)為目前模型的情況基本就是這樣。它們更像第一個(gè)學(xué)生，甚至有過(guò)之而無(wú)不及。我們會(huì)先明確“模型要擅長(zhǎng)競(jìng)技編程”，然后收集所有出現(xiàn)過(guò)的競(jìng)技編程問(wèn)題，再通過(guò)數(shù)據(jù)增強(qiáng)生成更多同類(lèi)題目，專(zhuān)門(mén)基于這些內(nèi)容訓(xùn)練模型。最終，我們確實(shí)得到了一個(gè)頂尖的“競(jìng)技程序員”。

用這個(gè)類(lèi)比來(lái)理解就很直觀了：即便模型經(jīng)過(guò)這樣高強(qiáng)度訓(xùn)練，能熟練掌握各類(lèi)算法和證明技巧，隨時(shí)調(diào)用自如，但它未必能把這些能力泛化到其他場(chǎng)景，這一點(diǎn)也就不難想通了。

Dwarkesh Patel：那用這個(gè)類(lèi)比來(lái)看，第二個(gè)學(xué)生在那100小時(shí)微調(diào)之前所具備的特質(zhì)，對(duì)應(yīng)的是什么呢？

Ilya Sutskever：我覺(jué)得是他們身上有“那種特質(zhì)”。我讀本科時(shí)，身邊就有過(guò)這樣的同學(xué)，所以我知道這類(lèi)人是真實(shí)存在的。

Dwarkesh Patel：把“那種特質(zhì)”和預(yù)訓(xùn)練的作用區(qū)分開(kāi)，是個(gè)很有意思的角度。

理解你之前說(shuō)的“預(yù)訓(xùn)練無(wú)需選擇數(shù)據(jù)”，有一種思路是：預(yù)訓(xùn)練其實(shí)和那一萬(wàn)小時(shí)的專(zhuān)項(xiàng)練習(xí)本質(zhì)沒(méi)區(qū)別。只不過(guò)預(yù)訓(xùn)練數(shù)據(jù)里本就包含這類(lèi)內(nèi)容，相當(dāng)于“免費(fèi)”獲得了一萬(wàn)小時(shí)的練習(xí)量。

但或許你想表達(dá)的是，預(yù)訓(xùn)練帶來(lái)的泛化能力并沒(méi)有那么強(qiáng)。它只是覆蓋的數(shù)據(jù)量極大，未必比強(qiáng)化學(xué)習(xí)的泛化效果更好。

Ilya Sutskever：預(yù)訓(xùn)練的主要優(yōu)勢(shì)在于：第一，數(shù)據(jù)量非常大；第二，你不必費(fèi)心思考該把什么數(shù)據(jù)放進(jìn)預(yù)訓(xùn)練里。這是非常自然的數(shù)據(jù)，并且它確實(shí)包含了人們所做的很多事情：人們的想法和很多特征。這就像整個(gè)世界通過(guò)人類(lèi)投射到文本上，而預(yù)訓(xùn)練試圖用海量數(shù)據(jù)來(lái)捕捉這一點(diǎn)。

預(yù)訓(xùn)練很難進(jìn)行推理，因?yàn)楹茈y理解模型依賴預(yù)訓(xùn)練數(shù)據(jù)的方式。每當(dāng)模型犯錯(cuò)時(shí)，有沒(méi)有可能是因?yàn)槟承〇|西碰巧在預(yù)訓(xùn)練數(shù)據(jù)中得到的支持不夠？“得到預(yù)訓(xùn)練支持”可能是一個(gè)寬松的術(shù)語(yǔ)。我不知道我是否能就此補(bǔ)充任何更有用的東西。我認(rèn)為沒(méi)有與預(yù)訓(xùn)練相對(duì)應(yīng)的人類(lèi)類(lèi)比。

02.

AI決策的困境

源于缺少情緒的“價(jià)值函數(shù)”

Dwarkesh Patel：人們提出過(guò)一些關(guān)于人類(lèi)類(lèi)比預(yù)訓(xùn)練的說(shuō)法。我很想聽(tīng)聽(tīng)你的看法，為什么它們可能是錯(cuò)誤的。一種是把人生命最初的18年、15年或13年看作預(yù)訓(xùn)練，這個(gè)階段他們不一定有經(jīng)濟(jì)產(chǎn)出，但他們?cè)谧鲆恍┳屗麄兏玫乩斫馐澜缰?lèi)的事情。另一種是把進(jìn)化看作某種進(jìn)行了30億年的搜索，最終產(chǎn)生了人類(lèi)生命的實(shí)例。

我很好奇你是否認(rèn)為這兩種說(shuō)法中的任何一種與預(yù)訓(xùn)練類(lèi)似。如果不把人類(lèi)畢生學(xué)習(xí)比作預(yù)訓(xùn)練，你會(huì)如何看待它？

Ilya Sutskever：我認(rèn)為這兩者與預(yù)訓(xùn)練都有一些相似之處，而預(yù)訓(xùn)練試圖扮演這兩者的角色。但我認(rèn)為也存在一些很大的差異。預(yù)訓(xùn)練的數(shù)據(jù)量是非常、非常驚人的。

Dwarkesh Patel：是的。

Ilya Sutskever：不知何故，人類(lèi)即便只接觸了預(yù)訓(xùn)練數(shù)據(jù)中極小的一部分，掌握的知識(shí)量遠(yuǎn)不如模型，但對(duì)已知內(nèi)容的理解卻深刻得多。哪怕是15歲的少年，也不會(huì)犯AI現(xiàn)在常犯的那些錯(cuò)誤。

還有一點(diǎn)值得思考：這會(huì)不會(huì)和進(jìn)化之類(lèi)的機(jī)制有關(guān)？答案或許是肯定的，而且我認(rèn)為進(jìn)化在這方面可能更具優(yōu)勢(shì)。神經(jīng)科學(xué)家研究大腦的一種常用方法，是觀察大腦不同部位受損的人，他們常會(huì)表現(xiàn)出各種令人意想不到的奇特癥狀，這其實(shí)非常有趣。

我想到一個(gè)相關(guān)案例：有個(gè)人因中風(fēng)或事故導(dǎo)致腦損傷，情緒處理能力被破壞，再也感受不到任何情緒。他依然口齒清晰，能解決簡(jiǎn)單謎題，測(cè)試中表現(xiàn)得完全正常，但就是沒(méi)有了喜怒哀樂(lè)，也沒(méi)有了活力。這讓他的決策能力變得極差：選一雙襪子要花好幾個(gè)小時(shí)，還會(huì)做出糟糕的財(cái)務(wù)決策。

這一案例恰恰說(shuō)明了內(nèi)在情緒對(duì)我們成為“可行的行為主體”有多重要?；氐侥汴P(guān)于預(yù)訓(xùn)練的問(wèn)題：或許如果能從預(yù)訓(xùn)練數(shù)據(jù)中充分提取所有有用信息，也能獲得這種類(lèi)似“情緒驅(qū)動(dòng)的決策能力”，但這種能力能否從預(yù)訓(xùn)練中習(xí)得，目前還不確定。

Dwarkesh Patel：“那個(gè)”是指什么？顯然不直接是情感。它似乎像是某種幾乎像價(jià)值函數(shù)一樣的東西，告訴你任何決策的最終回報(bào)應(yīng)該是什么。你認(rèn)為那種東西不會(huì)從預(yù)訓(xùn)練中隱式地產(chǎn)生嗎？

Ilya Sutskever：我認(rèn)為有可能，我只是說(shuō)這不是100%顯而易見(jiàn)的。

Dwarkesh Patel：但那到底是什么？你如何看待情感？情感的機(jī)器學(xué)習(xí)類(lèi)比是什么？

Ilya Sutskever：它應(yīng)該是某種價(jià)值函數(shù)類(lèi)的東西。但我不認(rèn)為有一個(gè)很好的機(jī)器學(xué)習(xí)類(lèi)比，因?yàn)槟壳皟r(jià)值函數(shù)在人們所做的工作中并不扮演非常突出的角色。

Dwarkesh Patel：也許值得為聽(tīng)眾定義一下什么是價(jià)值函數(shù)，如果你愿意的話。

Ilya Sutskever：當(dāng)然，我很樂(lè)意展開(kāi)說(shuō)。目前強(qiáng)化學(xué)習(xí)訓(xùn)練智能體的常規(guī)做法是這樣的：給神經(jīng)網(wǎng)絡(luò)一個(gè)問(wèn)題，讓模型去解決。模型可能要執(zhí)行數(shù)千甚至數(shù)十萬(wàn)次行動(dòng)或思考，最終生成一個(gè)解決方案，這個(gè)方案會(huì)被評(píng)分。

而這個(gè)分?jǐn)?shù)會(huì)作為訓(xùn)練信號(hào)，應(yīng)用到模型解決問(wèn)題過(guò)程中的每一個(gè)行動(dòng)上。這就意味著，如果任務(wù)本身耗時(shí)很長(zhǎng)，比如訓(xùn)練一個(gè)需要長(zhǎng)時(shí)間才能完成的任務(wù)，模型在給出最終解決方案并獲得評(píng)分前，根本不會(huì)有任何學(xué)習(xí)進(jìn)展。這是強(qiáng)化學(xué)習(xí)的樸素做法，據(jù)稱o1、R1采用的就是這種方式。

價(jià)值函數(shù)的作用則不同，它相當(dāng)于“時(shí)不時(shí)（而非必須等到最后）告訴你當(dāng)前做得好還是壞”。這個(gè)概念在某些領(lǐng)域比其他領(lǐng)域更有用，比如下棋時(shí)，你丟了一個(gè)棋子，顯然是出錯(cuò)了，沒(méi)必要等到棋局結(jié)束，才知道剛才的行為是糟糕的，進(jìn)而推導(dǎo)出導(dǎo)致這個(gè)錯(cuò)誤的先前步驟也有問(wèn)題。

價(jià)值函數(shù)能幫你縮短等待最終結(jié)果的時(shí)間。比如你在做數(shù)學(xué)題或編程任務(wù)，嘗試探索某個(gè)特定解決方案或方向，經(jīng)過(guò)一千步思考后，發(fā)現(xiàn)這個(gè)方向完全沒(méi)希望。

一旦得出這個(gè)結(jié)論，你就能在一千步之前，也就是當(dāng)初決定沿著這條路徑探索的時(shí)候，就獲得一個(gè)獎(jiǎng)勵(lì)信號(hào)，相當(dāng)于告訴自己“下次遇到類(lèi)似情況，不該選這條路”，這比等到給出最終解決方案時(shí)再反饋要早得多。

Dwarkesh Patel：這在DeepSeek R1的論文中提到過(guò)——軌跡空間如此之廣，以至于可能很難學(xué)習(xí)從中間軌跡到價(jià)值的映射。而且考慮到，例如在編程中，你可能會(huì)有一個(gè)錯(cuò)誤的想法，然后你會(huì)回溯，然后改變一些東西。

Ilya Sutskever：這聽(tīng)起來(lái)像是對(duì)深度學(xué)習(xí)缺乏信心。當(dāng)然這可能有難度，但深度學(xué)習(xí)沒(méi)有做不到的事情。我認(rèn)為價(jià)值函數(shù)應(yīng)該是有用的，完全期待它們現(xiàn)在或?qū)?lái)會(huì)被充分利用。

我提到那個(gè)情緒中樞受損的人，更多是想說(shuō)明：人類(lèi)的價(jià)值函數(shù)，或許是通過(guò)進(jìn)化硬編碼的方式，由情緒進(jìn)行重要調(diào)節(jié)的。而這一點(diǎn)，可能對(duì)人類(lèi)在世界上有效行動(dòng)至關(guān)重要。

Dwarkesh Patel：這正是我想問(wèn)的。關(guān)于情感與價(jià)值函數(shù)的關(guān)聯(lián)，有件很有趣的事：情感既有極強(qiáng)的實(shí)用性，又相對(duì)易于理解，這一點(diǎn)非常令人印象深刻。

Ilya Sutskever：我有兩個(gè)回應(yīng)。首先，我確實(shí)同意，比起我們所學(xué)的知識(shí)以及正在討論的這類(lèi)AI，情感是相對(duì)簡(jiǎn)單的。它們甚至簡(jiǎn)單到能用人類(lèi)易懂的方式描述出來(lái)，我覺(jué)得這會(huì)是件很酷的事。

但就效用而言，復(fù)雜性與魯棒性之間存在權(quán)衡：復(fù)雜的事物可能用處很大，但簡(jiǎn)單的事物在極廣泛的場(chǎng)景下也同樣高效。我們的情感大多源自哺乳動(dòng)物祖先，在進(jìn)化為人科動(dòng)物后只經(jīng)歷了輕微微調(diào)。

當(dāng)然，我們還擁有不少哺乳動(dòng)物可能缺乏的社會(huì)性情感，但這些情感并不復(fù)雜。也正因?yàn)檫@份簡(jiǎn)單，它們?cè)谌缃襁@個(gè)與遠(yuǎn)古截然不同的世界里，依然能很好地為我們服務(wù)。

不過(guò)情感也會(huì)出錯(cuò)。比如我們的直覺(jué)饑餓感，我不確定饑餓算不算情緒，但在食物充裕的當(dāng)下，它顯然沒(méi)能很好地指導(dǎo)我們的飲食選擇。

03.

算力規(guī)模已觸頂

AI的未來(lái)重回“研究時(shí)代”

Dwarkesh Patel：人們總在談?wù)摂U(kuò)展數(shù)據(jù)、擴(kuò)展參數(shù)、擴(kuò)展算力。有沒(méi)有更通用的視角來(lái)理解“擴(kuò)展”？還有其他哪些可擴(kuò)展的維度？

Ilya Sutskever：我認(rèn)為有一個(gè)視角可能是正確的：機(jī)器學(xué)習(xí)過(guò)去的運(yùn)作方式，是人們不斷嘗試各種方法，只為得到有趣的結(jié)果。

后來(lái)，“擴(kuò)展”出現(xiàn)了。隨著擴(kuò)展定律的提出和GPT-3的問(wèn)世，所有人突然意識(shí)到“我們應(yīng)該擴(kuò)展”。這正是語(yǔ)言影響思維的典型例子：“擴(kuò)展”只是一個(gè)詞，卻極具力量，因?yàn)樗鞔_告訴了人們?cè)撟鍪裁?。于是大家紛紛行?dòng)：“讓我們嘗試擴(kuò)展事物”。而你問(wèn)“我們?cè)跀U(kuò)展什么？”，答案在當(dāng)時(shí)就是預(yù)訓(xùn)練，它是一套特定的擴(kuò)展配方。

預(yù)訓(xùn)練的重大突破，核心在于證實(shí)了這套配方的有效性：只要將適量算力、數(shù)據(jù)與特定規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)合，就能產(chǎn)生成果；而且按比例放大這些要素，效果還會(huì)更好。企業(yè)尤其青睞這種方式，因?yàn)樗峁┝艘环N低風(fēng)險(xiǎn)的資源投入路徑。

相比之下，把資源投入研究要難得多。做研究需要這樣號(hào)召：“研究人員們，去探索并拿出新成果”，而獲取更多數(shù)據(jù)、更多算力則簡(jiǎn)單直接得多。你能確定從預(yù)訓(xùn)練中一定能有所收獲。

根據(jù)推特上的一些討論，Gemini似乎找到了從預(yù)訓(xùn)練中挖掘更多價(jià)值的方法。但問(wèn)題在于，預(yù)訓(xùn)練終有耗盡數(shù)據(jù)的一天，數(shù)據(jù)的有限性是顯而易見(jiàn)的。到那時(shí)該怎么辦？要么進(jìn)行某種強(qiáng)化版預(yù)訓(xùn)練，一套與以往不同的配方；要么轉(zhuǎn)向強(qiáng)化學(xué)習(xí)，或者嘗試其他方向。

而現(xiàn)在，算力已經(jīng)達(dá)到了前所未有的規(guī)模，從某種意義上說(shuō)，我們又回到了需要依賴研究的時(shí)代。

換種說(shuō)法或許更清晰：2012年到2020年（允許一定誤差范圍），是研究的時(shí)代；2020年到2025年左右，則是擴(kuò)展的時(shí)代。因?yàn)樗腥硕荚谡f(shuō)“這太神奇了，必須繼續(xù)擴(kuò)展、不斷擴(kuò)展”，核心就圍繞 “擴(kuò)展” 這一個(gè)詞。

但如今規(guī)模已經(jīng)足夠龐大，還有人堅(jiān)信“即便現(xiàn)在規(guī)模很大，只要再投入100倍資源，一切就會(huì)徹底不同”。不可否認(rèn)，結(jié)果肯定會(huì)有變化，但要說(shuō)僅靠擴(kuò)大100倍規(guī)模就能帶來(lái)質(zhì)變，我并不認(rèn)同。

所以，我們其實(shí)是回到了研究的時(shí)代，只是如今擁有了更強(qiáng)大的計(jì)算機(jī)。

Dwarkesh Patel：這是個(gè)非常有趣的說(shuō)法。但我還是想問(wèn)剛才提出的問(wèn)題：我們?cè)跀U(kuò)展什么，擁有一個(gè)“配方”意味著什么？我想我并不清楚在數(shù)據(jù)、算力、參數(shù)、損失是否存在一個(gè)非常清晰、幾乎像物理定律一樣的關(guān)系，就像在預(yù)訓(xùn)練中存在的那樣。我們應(yīng)該尋求的是哪種關(guān)系？我們應(yīng)該如何思考這個(gè)新配方可能是什么樣子？

Ilya Sutskever：我們已經(jīng)看到擴(kuò)展方向的轉(zhuǎn)變：從預(yù)訓(xùn)練轉(zhuǎn)向了強(qiáng)化學(xué)習(xí)，現(xiàn)在人們正在著力擴(kuò)展強(qiáng)化學(xué)習(xí)。根據(jù)推特上的討論，目前強(qiáng)化學(xué)習(xí)消耗的算力甚至超過(guò)了預(yù)訓(xùn)練，因?yàn)閺?qiáng)化學(xué)習(xí)需要進(jìn)行極長(zhǎng)的推演，生成這些推演本身就需要大量算力，而每次推演能帶來(lái)的學(xué)習(xí)收益又相對(duì)有限，因此確實(shí)會(huì)耗費(fèi)巨額算力。

但我甚至不覺(jué)得這能稱之為“擴(kuò)展”。我更想問(wèn)：“你現(xiàn)在做的事情，是利用算力最高效的方式嗎？有沒(méi)有更具成效的算力使用方法？”我們之前聊過(guò)價(jià)值函數(shù)，或許當(dāng)人們熟練運(yùn)用價(jià)值函數(shù)后，就能更高效地利用資源。如果能找到全新的模型訓(xùn)練方法，你可能會(huì)疑惑：“這算擴(kuò)展，還是只是合理利用資源？”我認(rèn)為這個(gè)邊界已經(jīng)變得有些模糊。

從這個(gè)角度來(lái)說(shuō)，當(dāng)我們回歸研究時(shí)代，情況會(huì)是這樣：“讓我們?cè)囋囘@個(gè)、這個(gè)和這個(gè)，再試試那個(gè)、那個(gè)和那個(gè)——哦，看，有趣的現(xiàn)象出現(xiàn)了?！蔽艺J(rèn)為行業(yè)將會(huì)回到這種探索狀態(tài)。

Dwarkesh Patel：如果真的回歸研究時(shí)代，退一步說(shuō)，我們最需要深入思考現(xiàn)有配方的哪個(gè)部分？你提到了價(jià)值函數(shù)，現(xiàn)在人們已經(jīng)在現(xiàn)有配方中嘗試相關(guān)應(yīng)用，比如“LLM-as-a-Judge”等。你可以說(shuō)這也算一種價(jià)值函數(shù)，但聽(tīng)起來(lái)你心里想的是更根本的東西。我們是否應(yīng)該徹底重新思考預(yù)訓(xùn)練，而不只是在流程末尾添加更多步驟？

Ilya Sutskever：關(guān)于價(jià)值函數(shù)的討論很有意思。我想強(qiáng)調(diào)，價(jià)值函數(shù)會(huì)讓強(qiáng)化學(xué)習(xí)更高效，這一點(diǎn)很重要。但我認(rèn)為，任何用價(jià)值函數(shù)能做到的事，沒(méi)有它也能實(shí)現(xiàn)，只是速度會(huì)慢很多。最核心的問(wèn)題是，這些模型的泛化能力遠(yuǎn)遠(yuǎn)不如人類(lèi)。這一點(diǎn)非常明顯，也是個(gè)極其根本的問(wèn)題。

04.

人類(lèi)擁有更好的“學(xué)習(xí)算法”

這是AI尚未掌握的優(yōu)勢(shì)

Dwarkesh Patel：那核心就在于泛化能力。這可以拆成兩個(gè)子問(wèn)題：一是樣本效率，為什么模型學(xué)習(xí)所需的數(shù)據(jù)量比人類(lèi)多得多？

二是拋開(kāi)數(shù)據(jù)量不談，為什么教會(huì)模型我們想要的東西，比教會(huì)人類(lèi)難得多？對(duì)人類(lèi)來(lái)說(shuō)，我們不一定需要可驗(yàn)證的獎(jiǎng)勵(lì)，比如你現(xiàn)在可能正在指導(dǎo)一些研究人員，只需和他們交流、展示代碼和思考方式，他們就能領(lǐng)悟你的思路和做研究的方法。

你不需要為他們?cè)O(shè)定繁瑣的定制化流程，比如“這是課程的下一部分，現(xiàn)在開(kāi)始；哦，這次訓(xùn)練不穩(wěn)定，重新調(diào)整”。這兩個(gè)問(wèn)題可能存在關(guān)聯(lián)，但我更想探討第二個(gè)，因?yàn)樗咏掷m(xù)學(xué)習(xí)，而第一個(gè)問(wèn)題則聚焦樣本效率。

Ilya Sutskever：關(guān)于人類(lèi)的樣本效率，有一個(gè)可能的解釋是進(jìn)化。進(jìn)化賦予了我們一些最有用的基礎(chǔ)信息。對(duì)于視覺(jué)、聽(tīng)覺(jué)和運(yùn)動(dòng)等能力，有充分理由認(rèn)為進(jìn)化給了我們很多先天優(yōu)勢(shì)。

比如人類(lèi)的靈巧度遠(yuǎn)超現(xiàn)有技術(shù)。就算讓機(jī)器人在模擬環(huán)境中大量訓(xùn)練，它們能變得靈巧，但在現(xiàn)實(shí)世界中讓機(jī)器人像人類(lèi)一樣快速掌握新技能，似乎還遙不可及。

這里可以說(shuō)：“運(yùn)動(dòng)能力對(duì)我們所有祖先都至關(guān)重要，所以在運(yùn)動(dòng)方面，我們可能擁有難以置信的先天先驗(yàn)知識(shí)。”

視覺(jué)領(lǐng)域也可以用同樣的邏輯解釋。我記得楊立昆（Yann LeCun）說(shuō)過(guò)，孩子只需10小時(shí)練習(xí)就能學(xué)會(huì)開(kāi)車(chē)，我們的視覺(jué)系統(tǒng)非常強(qiáng)大。

至少我五歲時(shí)就對(duì)汽車(chē)極度著迷，我敢肯定當(dāng)時(shí)我的汽車(chē)識(shí)別能力已經(jīng)足以支撐駕駛。一個(gè)五歲孩子接觸的數(shù)據(jù)量并不多，大部分時(shí)間都待在父母家，數(shù)據(jù)多樣性很低，但視覺(jué)能力已經(jīng)很出色。

但這可能也是進(jìn)化的結(jié)果，而語(yǔ)言、數(shù)學(xué)和編程領(lǐng)域，情況或許就不同了。

Dwarkesh Patel：但人類(lèi)在這些領(lǐng)域的學(xué)習(xí)能力似乎仍然優(yōu)于模型。顯然，模型在語(yǔ)言、數(shù)學(xué)和編程上比普通人表現(xiàn)更好，但它們的學(xué)習(xí)能力也比普通人強(qiáng)嗎？

Ilya Sutskever：不，顯然不是。我的意思是，語(yǔ)言、數(shù)學(xué)和編程，尤其是后兩者，說(shuō)明，讓人擅長(zhǎng)學(xué)習(xí)的關(guān)鍵，可能不是復(fù)雜的先天先驗(yàn)知識(shí)，而是某種更根本的東西。

Dwarkesh Patel：為什么會(huì)是這樣？

Ilya Sutskever：想想人類(lèi)表現(xiàn)出高度可靠性的技能。如果這項(xiàng)技能在數(shù)百萬(wàn)年甚至數(shù)億年間，對(duì)我們的祖先都至關(guān)重要，你可以說(shuō)人類(lèi)擅長(zhǎng)它是因?yàn)檫M(jìn)化，我們擁有進(jìn)化而來(lái)的先天先驗(yàn)知識(shí)，以某種不顯而易見(jiàn)的方式編碼，讓我們天生擅長(zhǎng)這項(xiàng)技能。

但如果人類(lèi)在一個(gè)最近才出現(xiàn)的領(lǐng)域（比如數(shù)學(xué)、編程），依然表現(xiàn)出強(qiáng)大的能力、可靠性、魯棒性和學(xué)習(xí)能力，那就更能說(shuō)明，人類(lèi)可能只是擁有更好的機(jī)器學(xué)習(xí)機(jī)制，就這么簡(jiǎn)單。

Dwarkesh Patel：我們?cè)撊绾卫斫膺@種機(jī)制？它對(duì)應(yīng)的機(jī)器學(xué)習(xí)類(lèi)比是什么？

它有幾個(gè)有趣的特點(diǎn)：需要的樣本更少，更接近無(wú)監(jiān)督學(xué)習(xí)。比如青少年學(xué)開(kāi)車(chē)，他們不是在接受預(yù)設(shè)的、可驗(yàn)證的獎(jiǎng)勵(lì)，而是通過(guò)與機(jī)器和環(huán)境的互動(dòng)學(xué)習(xí)，所需樣本量少得多，看起來(lái)更接近無(wú)監(jiān)督學(xué)習(xí)，而且魯棒性更強(qiáng)？

Ilya Sutskever：魯棒性強(qiáng)得多，人類(lèi)的魯棒性確實(shí)令人震驚。

Dwarkesh Patel：你有統(tǒng)一的思路解釋為什么這些特點(diǎn)會(huì)同時(shí)存在嗎？什么樣的機(jī)器學(xué)習(xí)類(lèi)比能實(shí)現(xiàn)類(lèi)似效果？

Ilya Sutskever：你一直問(wèn)的問(wèn)題是，青少年司機(jī)如何在沒(méi)有外部教師的情況下自我糾正、從經(jīng)驗(yàn)中學(xué)習(xí)？答案是他們有自己的價(jià)值函數(shù)，一種通用的感知，而且這種感知在人類(lèi)中極其魯棒。除了成癮等少數(shù)例外，人類(lèi)的價(jià)值函數(shù)實(shí)際上非常、非?？煽?。

比如青少年開(kāi)始開(kāi)車(chē)時(shí)，立刻就能感知到自己開(kāi)得怎么樣、有多糟糕、有多不自信。然后他們會(huì)觀察、調(diào)整，學(xué)習(xí)速度非?？?，10個(gè)小時(shí)后就能上路行駛。

Dwarkesh Patel：人類(lèi)顯然已經(jīng)有了這樣的解決方案，但我好奇他們是如何做到的，以及為什么這對(duì)AI來(lái)說(shuō)如此困難？我們需要如何重新定義模型的訓(xùn)練方式，才能實(shí)現(xiàn)類(lèi)似的效果？

Ilya Sutskever：這是個(gè)很好的問(wèn)題，我對(duì)此有很多看法。但不幸的是，我們所處的環(huán)境并不允許自由討論所有機(jī)器學(xué)習(xí)想法，這就是其中之一。很可能存在實(shí)現(xiàn)的方法，我認(rèn)為這是可行的，人類(lèi)本身的存在就證明了這一點(diǎn)。

不過(guò)可能還有一個(gè)障礙：人類(lèi)的神經(jīng)元可能比我們想象的進(jìn)行了更多計(jì)算。如果這是真的，而且起到了重要作用，那么事情可能會(huì)更困難。但無(wú)論如何，我確實(shí)認(rèn)為這指向了某種機(jī)器學(xué)習(xí)原理的存在，我對(duì)此有一些見(jiàn)解，但可惜的是，環(huán)境不允許我詳細(xì)討論。

05.

SSI只專(zhuān)注于研究，在“直奔超智能”與“漸進(jìn)部署”間尋找平衡點(diǎn)

Dwarkesh Patel：我很好奇，你說(shuō)我們回到了研究時(shí)代，而你2012到2020年就身處那個(gè)階段。如果真的回歸，現(xiàn)在的氛圍會(huì)是怎樣的？

比如，即便AlexNet之后，實(shí)驗(yàn)所需的計(jì)算量仍在不斷增加，前沿系統(tǒng)的規(guī)模也在擴(kuò)大。你覺(jué)得現(xiàn)在這個(gè)研究時(shí)代，依然需要巨大的計(jì)算量嗎？是否需要回溯舊論文、挖掘過(guò)往研究？

你曾在谷歌、OpenAI、斯坦福這些地方待過(guò)，經(jīng)歷過(guò)研究氛圍更濃厚的時(shí)期。我們?cè)搶?duì)現(xiàn)在的科研社區(qū)抱有怎樣的期待？

Ilya Sutskever：擴(kuò)展時(shí)代的一個(gè)后果是，“擴(kuò)展”吸走了所有關(guān)注。因?yàn)樗腥硕季劢褂诖?，大家開(kāi)始做同樣的事情。到最后，市場(chǎng)上的公司數(shù)量甚至超過(guò)了真正有價(jià)值的想法數(shù)量。硅谷有句諺語(yǔ)說(shuō)“想法廉價(jià)，執(zhí)行力才是一切”，這話有道理，但我也看到有人在推特上反問(wèn)“如果想法真的廉價(jià)，為什么現(xiàn)在沒(méi)人有好想法？”，我覺(jué)得這也說(shuō)到了點(diǎn)子上。

從瓶頸角度看，研究進(jìn)展受兩個(gè)因素制約：一是想法，二是實(shí)現(xiàn)想法的能力，這包括算力和工程能力。比如回到90年代，當(dāng)時(shí)人們其實(shí)有不少好想法，但苦于沒(méi)有足夠強(qiáng)大的計(jì)算機(jī)驗(yàn)證，只能做小規(guī)模演示，無(wú)法說(shuō)服他人，所以那時(shí)的瓶頸是算力。

而到了擴(kuò)展時(shí)代，算力大幅增長(zhǎng)。雖然仍有“需要多少算力”的疑問(wèn)，但如今的算力已經(jīng)足夠支撐想法驗(yàn)證。舉個(gè)例子，AlexNet只用了兩塊GPU，Transformer的實(shí)驗(yàn)也只用到8到64塊2017年的GPU，換算到現(xiàn)在大概也就兩塊GPU的性能。甚至o1的推理過(guò)程，也算不上計(jì)算量最大的操作。

所以，研究確實(shí)需要一定算力，但絕非必須用到有史以來(lái)最頂級(jí)的算力。當(dāng)然，如果你想構(gòu)建當(dāng)前最優(yōu)的系統(tǒng)，更多算力會(huì)有幫助——尤其是在大家都處于同一范式下時(shí)，算力會(huì)成為核心競(jìng)爭(zhēng)優(yōu)勢(shì)之一。

Dwarkesh Patel：我想請(qǐng)教這段歷史，因?yàn)槟阌H身經(jīng)歷過(guò)。聽(tīng)起來(lái)當(dāng)時(shí)用較少的計(jì)算量就能發(fā)展核心想法，但Transformer并沒(méi)有立刻走紅。它之所以成為大家爭(zhēng)相實(shí)驗(yàn)、構(gòu)建的基礎(chǔ)，是因?yàn)樵谠絹?lái)越高的計(jì)算量水平上得到了驗(yàn)證，對(duì)嗎？

Ilya Sutskever：沒(méi)錯(cuò)。

Dwarkesh Patel：如果SSI有50個(gè)不同的想法，在沒(méi)有其他前沿實(shí)驗(yàn)室那樣的算力支持下，怎么判斷哪個(gè)是下一個(gè)Transformer，哪個(gè)只是脆弱的構(gòu)想？

Ilya Sutskever：我可以說(shuō)說(shuō)我的看法。簡(jiǎn)單來(lái)說(shuō)，SSI用于研究的計(jì)算量其實(shí)并不小，背后的邏輯很簡(jiǎn)單。

SSI已經(jīng)籌集了30億美元（約合人民幣213.1億元），這絕對(duì)是一筆巨款。你可能會(huì)說(shuō)“其他公司籌集的資金更多”，但要知道，那些公司的很多算力都用于推理任務(wù)，大額資金也常指定用于推理。

而且，若要推出需要推理支持的產(chǎn)品，還需要大量工程師、銷(xiāo)售人員，很多研究資源也得投入到產(chǎn)品相關(guān)功能的開(kāi)發(fā)中。所以，扣除這些之后，真正留給核心研究的資源差距，并沒(méi)有表面上那么大。

另外，如果你在做的是差異化的事情，真的需要用頂級(jí)規(guī)模來(lái)驗(yàn)證嗎？我完全不這么認(rèn)為。對(duì)我們來(lái)說(shuō)，現(xiàn)有的算力足夠讓我們自己，也讓其他人相信我們做的事情是正確的。

Dwarkesh Patel：有公開(kāi)估計(jì)稱，像OpenAI這樣的公司，每年僅實(shí)驗(yàn)方面的花費(fèi)就有50到60億美元（約合人民幣355.2億元到426.2億元），這還不包括推理等其他開(kāi)支。也就是說(shuō)，他們一年的研究實(shí)驗(yàn)花費(fèi)，比你們的總資金還多。

Ilya Sutskever：這取決于資金的用途。他們以及其他類(lèi)似公司，對(duì)訓(xùn)練算力的需求要大得多——涉及更多工作流、更多模態(tài)，要做的事情更繁雜，資源自然就分散了。

Dwarkesh Patel：SSI將如何盈利？

Ilya Sutskever：我的回答是，目前我們只專(zhuān)注于研究，盈利的答案會(huì)隨著研究推進(jìn)自然顯現(xiàn)。我相信會(huì)有很多可行的方向。

Dwarkesh Patel：SSI的計(jì)劃仍然是直奔超級(jí)智能嗎？

Ilya Sutskever：也許吧。我認(rèn)為這有其價(jià)值——不受日常市場(chǎng)競(jìng)爭(zhēng)的干擾，能專(zhuān)注研究，這是很大的優(yōu)勢(shì)。但有兩個(gè)原因可能讓我們改變計(jì)劃：一是務(wù)實(shí)考量，如果實(shí)現(xiàn)超級(jí)智能的時(shí)間線比預(yù)期長(zhǎng)得多；二是，讓強(qiáng)大的AI問(wèn)世并影響世界，本身就是一件極具價(jià)值的事。

Dwarkesh Patel：那為什么你們的默認(rèn)計(jì)劃是直奔超級(jí)智能？OpenAI、Anthropic等公司的思路很明確：“先推出較弱的AI，讓公眾逐漸適應(yīng)、做好準(zhǔn)備”。直接構(gòu)建超級(jí)智能，為什么可能是更好的選擇？

Ilya Sutskever：我來(lái)分析一下利弊。支持直奔超級(jí)智能的理由是，市場(chǎng)競(jìng)爭(zhēng)會(huì)帶來(lái)巨大壓力，迫使你做出艱難權(quán)衡。如果能隔離這些干擾，專(zhuān)注研究，直到準(zhǔn)備充分再推出產(chǎn)品，而不是倉(cāng)促上陣，這是很大的優(yōu)勢(shì)。

但反對(duì)的理由也同樣成立：“讓世界看到強(qiáng)大AI的實(shí)際用處，是推廣它的唯一方式”。

Dwarkesh Patel：我覺(jué)得不止是推廣……

Ilya Sutskever：是“傳播AI”，不是傳播想法，是讓AI真正落地。

Dwarkesh Patel：你說(shuō)的“傳播AI”是什么意思？

Ilya Sutskever：假設(shè)你寫(xiě)了一篇關(guān)于AI的文章，描述它會(huì)怎樣、能做什么，讀者可能只會(huì)覺(jué)得“這篇文章很有趣”。但如果人們親眼看到AI正在做這些事、實(shí)現(xiàn)這些功能，那種沖擊力是無(wú)可比擬的。所以我認(rèn)為，讓AI公開(kāi)落地有很大好處，這也是我們可能不會(huì)完全“直奔超級(jí)智能”的原因之一。

Dwarkesh Patel：我覺(jué)得還有更深層的原因。在人類(lèi)其他工程和研究領(lǐng)域，沒(méi)有哪個(gè)最終產(chǎn)物是僅憑“思考如何讓它更安全”就變得安全的。比如現(xiàn)在每英里的飛機(jī)失事率比幾十年前低得多，Linux系統(tǒng)的漏洞比以前難發(fā)現(xiàn)得多，核心原因都是這些系統(tǒng)被廣泛部署到現(xiàn)實(shí)世界中——人們發(fā)現(xiàn)故障、糾正問(wèn)題，系統(tǒng)才變得更健壯。

我不認(rèn)為AGI和超人類(lèi)智能會(huì)是例外，尤其是考慮到（我希望之后能討論這個(gè)話題），超級(jí)智能的危害可能不只是“惡意回形針優(yōu)化器”那么簡(jiǎn)單。它是一種極其強(qiáng)大的存在，我們甚至無(wú)法想象人們會(huì)如何與它互動(dòng)、用它做什么。逐步接觸它，似乎是分散風(fēng)險(xiǎn)、幫助人們做好準(zhǔn)備的更好方式。

06.

超級(jí)智能會(huì)“在實(shí)踐中學(xué)習(xí)”

Ilya Sutskever：關(guān)于這一點(diǎn)，我認(rèn)為即使是“直奔超級(jí)智能”的方案，也會(huì)包含逐步發(fā)布的過(guò)程，這是計(jì)劃中固有的一部分。關(guān)鍵在于，你首先發(fā)布的是什么。

其次，你一直倡導(dǎo)的“持續(xù)學(xué)習(xí)”，我認(rèn)為非常重要且正確。這里可以用“語(yǔ)言如何影響思維”來(lái)解釋——有兩個(gè)術(shù)語(yǔ)塑造了大家的認(rèn)知：AGI（人工通用智能）和“預(yù)訓(xùn)練”。

先說(shuō)說(shuō)AGI這個(gè)術(shù)語(yǔ)。它的出現(xiàn)其實(shí)是對(duì)“狹義AI”的回應(yīng)?；厮輾v史，早期的跳棋AI、國(guó)際象棋AI、游戲AI，雖然能在特定領(lǐng)域表現(xiàn)出色（比如擊敗卡斯帕羅夫），但功能極其單一，被稱為“狹義AI”。于是有人提出，我們需要的是“通用AI”——一個(gè)能勝任所有事情的AI，這個(gè)術(shù)語(yǔ)也因此受到廣泛關(guān)注。

再看“預(yù)訓(xùn)練”，尤其是預(yù)訓(xùn)練的核心配方?，F(xiàn)在人們做強(qiáng)化學(xué)習(xí)的方式，可能正在淡化預(yù)訓(xùn)練留下的認(rèn)知烙印，但預(yù)訓(xùn)練有個(gè)特點(diǎn)：投入越多，模型在各方面的表現(xiàn)都會(huì)或多或少均勻提升?！邦A(yù)訓(xùn)練催生AGI”的觀念也隨之深入人心。

但問(wèn)題在于，AGI和預(yù)訓(xùn)練的邏輯在某種意義上“超出了目標(biāo)”。如果你結(jié)合預(yù)訓(xùn)練的背景思考AGI，會(huì)發(fā)現(xiàn)人類(lèi)其實(shí)并不是AGI——我們確實(shí)有基礎(chǔ)技能，但缺乏大量專(zhuān)業(yè)知識(shí)，反而極度依賴持續(xù)學(xué)習(xí)。

所以，假設(shè)我們成功造出了安全的超級(jí)智能，該如何定義它？它在持續(xù)學(xué)習(xí)的曲線上會(huì)處于什么位置？

我想象中的超級(jí)智能，就像一個(gè)15歲的少年，求知欲強(qiáng)、渴望工作，但懂得并不多，卻是個(gè)優(yōu)秀的學(xué)習(xí)者。它會(huì)像人類(lèi)一樣，去當(dāng)程序員、當(dāng)醫(yī)生，在實(shí)踐中學(xué)習(xí)。因此，部署本身就會(huì)包含一個(gè)試錯(cuò)學(xué)習(xí)的過(guò)程，它不是一個(gè)“成品”，而是一個(gè)“成長(zhǎng)型”存在。

Dwarkesh Patel：我明白了。你說(shuō)的超級(jí)智能，不是一個(gè)已經(jīng)掌握經(jīng)濟(jì)中所有工作技能的成品心智——比如早期OpenAI章程中對(duì)AGI的定義是“能做人類(lèi)所有工作”，而你提出的是“能夠?qū)W會(huì)做所有工作”的心智，這才是超級(jí)智能。

Ilya Sutskever：是的。

Dwarkesh Patel：一旦有了這種學(xué)習(xí)算法，它就會(huì)像人類(lèi)勞動(dòng)者加入組織一樣，被部署到世界中。

Ilya Sutskever：完全正確。

Dwarkesh Patel：這可能會(huì)帶來(lái)兩種結(jié)果，也可能都不會(huì)發(fā)生。第一，這個(gè)高效的學(xué)習(xí)算法變得超人類(lèi)，在機(jī)器學(xué)習(xí)研究領(lǐng)域達(dá)到甚至超越你的水平，進(jìn)而推動(dòng)自身不斷進(jìn)化，變得越來(lái)越強(qiáng)。

第二，即便沒(méi)有發(fā)生這種情況，如果你有一個(gè)單一模型（這是你明確提出的愿景），它的多個(gè)實(shí)例被部署到經(jīng)濟(jì)的不同領(lǐng)域，從事不同工作，在實(shí)踐中持續(xù)學(xué)習(xí)、掌握所有人類(lèi)能掌握的技能，同時(shí)整合所有學(xué)習(xí)成果——那么即便沒(méi)有軟件層面的遞歸自我改進(jìn)，這個(gè)模型在功能上也會(huì)成為超級(jí)智能。畢竟人類(lèi)無(wú)法像這樣整合彼此的心智。

你認(rèn)為廣泛部署會(huì)引發(fā)某種“智能爆炸”嗎？

Ilya Sutskever：我認(rèn)為我們很可能會(huì)經(jīng)歷快速的經(jīng)濟(jì)增長(zhǎng)。對(duì)于廣泛部署，有兩個(gè)相互沖突的論點(diǎn)：一方面，一旦擁有能快速學(xué)習(xí)的AI，且沒(méi)有法規(guī)限制（當(dāng)然法規(guī)可能會(huì)存在），市場(chǎng)會(huì)有強(qiáng)大的動(dòng)力推動(dòng)它們的部署。

通過(guò)廣泛部署實(shí)現(xiàn)快速經(jīng)濟(jì)增長(zhǎng)，我認(rèn)為是非?？赡艿摹５鲩L(zhǎng)速度有多快，很難預(yù)測(cè)。一方面，我們有了高效的“勞動(dòng)者”；另一方面，世界規(guī)模龐大，各類(lèi)事務(wù)的發(fā)展速度不同。而且不同國(guó)家的規(guī)則可能不同，規(guī)則更友好的國(guó)家，經(jīng)濟(jì)增長(zhǎng)可能會(huì)更快。這些都難以預(yù)判，但快速增長(zhǎng)是大概率事件。

07.

應(yīng)該構(gòu)建“關(guān)心有情生命”的AI

Dwarkesh Patel：在我看來(lái)，這是一種非常不穩(wěn)定的局面。從極限角度看，我們知道這種情況是可能的：如果有一個(gè)學(xué)習(xí)能力和人類(lèi)相當(dāng)，但能以人類(lèi)無(wú)法做到的方式整合不同實(shí)例的“大腦”，它在物理層面是可行的——人類(lèi)和數(shù)字計(jì)算機(jī)都是現(xiàn)實(shí)存在的，只需將兩者的優(yōu)勢(shì)結(jié)合就能實(shí)現(xiàn)。

它的潛力也極其強(qiáng)大。“經(jīng)濟(jì)增長(zhǎng)”只是一種說(shuō)法，戴森球本質(zhì)上就是極致的經(jīng)濟(jì)增長(zhǎng)。但更直接的是，它可能在極短時(shí)間內(nèi)爆發(fā)式進(jìn)化：SSI雇傭的員工大概六個(gè)月后能產(chǎn)生凈生產(chǎn)力，人類(lèi)學(xué)習(xí)速度已經(jīng)很快了，而這個(gè)“東西”的進(jìn)化速度會(huì)快得多。你如何看待讓這個(gè)過(guò)程平穩(wěn)推進(jìn)？為什么SSI有能力做好這件事？這正是我想知道的SSI的相關(guān)計(jì)劃。

Ilya Sutskever：我思維上的一個(gè)轉(zhuǎn)變是，現(xiàn)在更重視AI的漸進(jìn)式部署和提前落地。關(guān)于AI，一個(gè)核心難題是我們討論的都是尚未存在的系統(tǒng)，很難真正想象它們的形態(tài)。

我認(rèn)為，人們很難真正“感知”AGI。我們可以談?wù)撍?，但就像年輕時(shí)談?wù)撃昀系母惺芤粯印軐?duì)話、能?chē)L試想象，卻始終無(wú)法真切體會(huì)，直到親身經(jīng)歷。

圍繞AGI及其未來(lái)力量的諸多疑問(wèn)，根源都在于它太難以想象了。未來(lái)的AI會(huì)截然不同，它將極具力量，而AI和AGI的核心問(wèn)題，本質(zhì)上就是“力量”的問(wèn)題。

當(dāng)力量達(dá)到極致時(shí)，會(huì)發(fā)生什么？過(guò)去一年我想法的一個(gè)轉(zhuǎn)變（這個(gè)轉(zhuǎn)變可能會(huì)反過(guò)來(lái)影響公司計(jì)劃）是：如果無(wú)法想象，就必須展示。我堅(jiān)信，大多數(shù)從事AI工作的人也無(wú)法真正想象它，因?yàn)樗臀覀內(nèi)粘Ｋ?jiàn)的一切都太不一樣了。

我還有一個(gè)預(yù)測(cè)：隨著AI變得更強(qiáng)大，人們的行為會(huì)發(fā)生改變，會(huì)出現(xiàn)各種前所未有的情況。比如，無(wú)論好壞，前沿公司和政府將在其中扮演關(guān)鍵角色；你已經(jīng)能看到一些苗頭——激烈競(jìng)爭(zhēng)的公司開(kāi)始在AI安全領(lǐng)域合作，OpenAI和Anthropic已經(jīng)邁出了第一步，這是我三年前在演講中就預(yù)測(cè)過(guò)的。

我還認(rèn)為，當(dāng)AI的強(qiáng)大變得更顯而易見(jiàn)時(shí)，政府和公眾會(huì)更有意愿采取行動(dòng)，而“展示AI”正是推動(dòng)這一切的重要力量。

第二點(diǎn)，AI正在被構(gòu)建，我們需要做什么？目前，人們覺(jué)得AI不夠強(qiáng)大，很大程度上是因?yàn)樗７稿e(cuò)誤。但我認(rèn)為，當(dāng)AI開(kāi)始讓人真正感受到“強(qiáng)大”時(shí)，所有AI公司處理安全的方式都會(huì)發(fā)生巨大轉(zhuǎn)變——他們會(huì)變得極度謹(jǐn)慎。這是我的預(yù)測(cè)，我們可以拭目以待。現(xiàn)在大家對(duì)AI安全的重視不足，本質(zhì)上是因?yàn)榭粗裉斓腁I，很難想象未來(lái)的AI會(huì)有多強(qiáng)大。

第三點(diǎn)，公司應(yīng)該致力于構(gòu)建什么？現(xiàn)在大家都執(zhí)著于“自我改進(jìn)的AI”，這只是因?yàn)橛袃r(jià)值的想法太少了。但我認(rèn)為存在更好的方向，而且最終所有人都會(huì)認(rèn)同——那就是構(gòu)建“穩(wěn)健對(duì)齊、明確關(guān)心有情生命”的AI。

值得一提的是，構(gòu)建關(guān)心所有有情生命的AI，可能比只關(guān)心人類(lèi)的AI更容易，因?yàn)锳I本身也可能是有情識(shí)的。就像人類(lèi)的鏡像神經(jīng)元和對(duì)動(dòng)物的同理心（雖然強(qiáng)度有限，但確實(shí)存在），這可能是一種涌現(xiàn)屬性——用模擬自身的回路去模擬他人，這是最高效的方式。

Dwarkesh Patel：但即使讓AI關(guān)心有情生命，我不確定解決對(duì)齊問(wèn)題后，這是否是該優(yōu)先做的事，未來(lái)大多數(shù)有情生命可能都是AI——萬(wàn)億、甚至千萬(wàn)億個(gè)AI，人類(lèi)只占極小一部分。如果目標(biāo)是讓人類(lèi)在未來(lái)文明中保持某種控制權(quán)，這似乎不是最好的標(biāo)準(zhǔn)。

Ilya Sutskever：確實(shí)，這可能不是最優(yōu)標(biāo)準(zhǔn)。我說(shuō)三點(diǎn)：第一，關(guān)心有情生命本身有其價(jià)值，值得被考慮；第二，如果能列出一份簡(jiǎn)短清單，給出這類(lèi)情況下公司可參考的方向，會(huì)很有幫助；第三，如果能以某種方式限制最強(qiáng)大超級(jí)智能的力量，將從根本上緩解許多擔(dān)憂。具體如何實(shí)現(xiàn)我不確定，但對(duì)于真正強(qiáng)大的系統(tǒng)來(lái)說(shuō)，這至關(guān)重要。

Dwarkesh Patel：在討論對(duì)齊問(wèn)題之前，我想深入聊聊：超級(jí)智能的上限在哪里？你如何定義它？基于“學(xué)習(xí)效率”的思路，它只是學(xué)習(xí)新技能、新知識(shí)的速度極快？還是擁有更龐大的策略庫(kù)？

它是否存在一個(gè)單一、凝聚的核心“自我”？如果存在，你覺(jué)得它相對(duì)于人類(lèi)文明，會(huì)是類(lèi)似“神”的存在，還是只是另一個(gè)智能體，或是智能體集群？

Ilya Sutskever：在這個(gè)領(lǐng)域，不同人有不同直覺(jué)。我認(rèn)為它肯定會(huì)極其強(qiáng)大。最可能的情況是，多個(gè)這樣的AI會(huì)在大致相同的時(shí)間被創(chuàng)造出來(lái)。如果集群規(guī)模足夠大——比如達(dá)到大陸級(jí)別——它的力量會(huì)難以想象。我能說(shuō)的是，對(duì)于這種級(jí)別的AI，如果能以某種方式約束它們，或者建立相關(guān)協(xié)議，會(huì)是一件好事。

超級(jí)智能的擔(dān)憂核心是什么？如果一個(gè)系統(tǒng)足夠強(qiáng)大，即使你讓它“專(zhuān)注關(guān)心有情生命”，最終結(jié)果也可能不是我們想要的——就是這么簡(jiǎn)單。

順便說(shuō)一句，答案可能是：不要以常規(guī)方式構(gòu)建強(qiáng)化學(xué)習(xí)智能體。人類(lèi)其實(shí)是“半強(qiáng)化學(xué)習(xí)智能體”——我們追求一個(gè)獎(jiǎng)勵(lì)，然后情緒或其他因素讓我們厭倦，轉(zhuǎn)而追求另一個(gè)獎(jiǎng)勵(lì)。

市場(chǎng)是短視的智能體，進(jìn)化也是如此——在某些方面極其聰明，在另一些方面又非常愚蠢。政府被設(shè)計(jì)成三權(quán)分立、相互制衡的結(jié)構(gòu)，這也產(chǎn)生了特定效果。超級(jí)智能可能也是類(lèi)似的邏輯。

這個(gè)討論的難點(diǎn)在于，我們談?wù)摰氖巧形创嬖?、也不知道如何?gòu)建的系統(tǒng)。我堅(jiān)信，現(xiàn)在人們正在做的事情會(huì)有進(jìn)展，但最終會(huì)走向瓶頸——它會(huì)持續(xù)改進(jìn)，但不會(huì)成為那個(gè)終極“它”。我們還不知道如何構(gòu)建“它”，而關(guān)鍵就在于理解“可靠的泛化能力”。

還有一點(diǎn)：對(duì)齊困難的根源，可能是學(xué)習(xí)人類(lèi)價(jià)值觀的能力很脆弱，優(yōu)化這些價(jià)值觀的能力也很脆弱——而這些都是“不可靠泛化”的體現(xiàn)。為什么人類(lèi)泛化能力更強(qiáng)？如果AI的泛化能力大幅提升，會(huì)發(fā)生什么？這些問(wèn)題目前都沒(méi)有答案。

Dwarkesh Patel：人們?nèi)绾卧O(shè)想AI的平穩(wěn)發(fā)展？你已經(jīng)勾勒了它的演變路徑：持續(xù)學(xué)習(xí)的智能體、極其強(qiáng)大、可能有多個(gè)不同的AI。你如何看待多個(gè)“大陸規(guī)?！钡挠?jì)算智能并存？這有多危險(xiǎn)？我們?nèi)绾谓档惋L(fēng)險(xiǎn)？如何在保護(hù)某種均衡的同時(shí)推進(jìn)——畢竟可能存在未對(duì)齊的AI和惡意行為者？

Ilya Sutskever：這就是我支持“關(guān)心有情生命的AI”的原因之一。我們可以爭(zhēng)論它的好壞，但如果前N 個(gè)具有決定性意義的系統(tǒng)真的關(guān)心、熱愛(ài)人類(lèi)（或類(lèi)似的價(jià)值導(dǎo)向），顯然能讓事情順利推進(jìn)——當(dāng)然，這需要實(shí)際實(shí)現(xiàn)。

但長(zhǎng)期來(lái)看，如何實(shí)現(xiàn)均衡？我有一個(gè)答案，雖然我并不喜歡，但必須考慮。

短期內(nèi)，強(qiáng)大AI普及的世界可能會(huì)實(shí)現(xiàn)“普遍高收入”，大家都過(guò)得很好。但佛教說(shuō)“變化是唯一的不變”。政府、政治結(jié)構(gòu)都有保質(zhì)期，新的形式出現(xiàn)、運(yùn)作，然后衰落，這是歷史規(guī)律。

長(zhǎng)期均衡的一種可能：每個(gè)人都擁有一個(gè)聽(tīng)從自己指令的AI，這很好——但如果這種狀態(tài)無(wú)限持續(xù)，人類(lèi)會(huì)逐漸脫離參與：AI為人賺錢(qián)、爭(zhēng)取政治訴求、提交報(bào)告，人類(lèi)只需說(shuō)“很好，繼續(xù)”，最終不再是文明的參與者。這是一種不穩(wěn)定的狀態(tài)。

我要提前說(shuō)明，我不喜歡這個(gè)解決方案，但它確實(shí)是一個(gè)選項(xiàng)：讓人類(lèi)通過(guò)某種“Neuralink++”技術(shù)，變成“半AI形態(tài)”。這樣一來(lái)，AI理解的事物，人類(lèi)也能同步理解——認(rèn)知是整體傳輸?shù)摹．?dāng)AI處于某種場(chǎng)景時(shí)，人類(lèi)也能完全參與其中，這可能就是均衡的答案。

Dwarkesh Patel：我在想，情感在人類(lèi)身上演化了數(shù)百萬(wàn)年（甚至數(shù)十億年），至今仍強(qiáng)烈指導(dǎo)著我們的行動(dòng)，這是否是“對(duì)齊成功”的一個(gè)例子？

具體來(lái)說(shuō)——我不知道稱它為價(jià)值函數(shù)還是獎(jiǎng)勵(lì)函數(shù)更準(zhǔn)確——腦干有一個(gè)指令：“與更成功的人交配”。大腦皮層負(fù)責(zé)理解現(xiàn)代社會(huì)中“成功”的定義，但腦干能對(duì)齊大腦皮層，說(shuō)：“無(wú)論你如何定義成功——我不夠聰明，無(wú)法理解——你都要追求這個(gè)指令?！?/strong>

Ilya Sutskever：我有一個(gè)更普遍的觀點(diǎn)：進(jìn)化如何編碼高級(jí)欲望，實(shí)際上非常神秘。我們很容易理解進(jìn)化如何讓我們追求聞起來(lái)香的食物——?dú)馕妒腔瘜W(xué)信號(hào)，只需編碼“追求這種化學(xué)物質(zhì)”即可。

但進(jìn)化還賦予了我們各種社會(huì)欲望：我們?cè)诤醣簧鐣?huì)正面看待、在乎擁有良好的地位，這些社會(huì)直覺(jué)我強(qiáng)烈認(rèn)為是內(nèi)置的。我不知道進(jìn)化是如何做到的——因?yàn)檫@是大腦中表征的高級(jí)概念，不是像氣味那樣的低級(jí)信號(hào)。

大腦需要處理大量信息，才能理解社會(huì)層面的情況，而進(jìn)化卻能明確“這就是你應(yīng)該在乎的東西”。更神奇的是，這些復(fù)雜的社會(huì)欲望似乎是最近才進(jìn)化出來(lái)的，進(jìn)化能如此輕松地硬編碼高級(jí)欲望，我至今沒(méi)有找到滿意的解釋?zhuān)羞^(guò)一些想法，但都站不住腳。

Dwarkesh Patel：更令人印象深刻的是，這些欲望是你在生命中逐漸學(xué)會(huì)的——這說(shuō)得通，因?yàn)榇竽X是智能的。但另一種理解是，欲望是內(nèi)置在基因組中的，而基因組并不智能。它甚至無(wú)法清晰定義這些高級(jí)特征，卻能將其構(gòu)建到基因里。

Ilya Sutskever：本質(zhì)上，基因組的工具是“構(gòu)建大腦的配方”。比如，“將多巴胺神經(jīng)元連接到氣味傳感器，聞到好聞的氣味就產(chǎn)生進(jìn)食欲望”——這種配方我能想象。

但我很難想象，基因組會(huì)編碼“在乎大腦某一區(qū)域的復(fù)雜計(jì)算結(jié)果”——這正是我覺(jué)得神秘的地方。我可以提出一個(gè)推測(cè)，但也要說(shuō)明它可能是錯(cuò)誤的：

大腦有不同腦區(qū)，皮層雖然結(jié)構(gòu)均勻，但腦區(qū)和神經(jīng)元主要與鄰居交流，這也是腦區(qū)存在的原因（比如語(yǔ)言處理需要相關(guān)神經(jīng)元集中協(xié)作）。而且這些腦區(qū)在不同人腦中的位置大致固定。所以也許進(jìn)化硬編碼了大腦的某個(gè)“GPS坐標(biāo)”，說(shuō)：“當(dāng)這個(gè)位置的神經(jīng)元放電時(shí)，就是你應(yīng)該在乎的東西?！边@在進(jìn)化的能力范圍內(nèi)。

Dwarkesh Patel：但有例子反駁這一點(diǎn)。比如天生失明的人，他們皮層中原本負(fù)責(zé)視覺(jué)的區(qū)域會(huì)被其他感覺(jué)占用。如果視覺(jué)相關(guān)的欲望或獎(jiǎng)勵(lì)功能依賴固定腦區(qū)，那失明者的這些功能應(yīng)該會(huì)失效，但事實(shí)似乎并非如此——比如失明者依然會(huì)在乎“身邊的人是否喜歡自己”，而這通常需要視覺(jué)線索。

Ilya Sutskever：我完全同意。還有一個(gè)更強(qiáng)的反駁：有些孩子在童年時(shí)被切除了半個(gè)大腦，但他們?nèi)匀粨碛兴泻诵哪X區(qū)——這些腦區(qū)只是轉(zhuǎn)移到了僅剩的一個(gè)半球。這說(shuō)明腦區(qū)位置并非固定，我的推測(cè)不成立。

所以這仍然是一個(gè)謎，但很有趣：進(jìn)化總能極其可靠地賦予人類(lèi)關(guān)心社會(huì)性事物的能力，即使是有精神障礙、情感缺陷的人，往往也在乎這一點(diǎn)。

08.

“我們完全是一家（處于）研究時(shí)代的公司”

Dwarkesh Patel：SSI計(jì)劃做哪些與眾不同的事？想必你希望公司在超人類(lèi)智能到來(lái)時(shí)，成為前沿玩家之一。你創(chuàng)立SSI，應(yīng)該是認(rèn)為“我有一套其他公司沒(méi)有的方法，能安全實(shí)現(xiàn)這個(gè)目標(biāo)”，這個(gè)核心差異是什么？

Ilya Sutskever：簡(jiǎn)單來(lái)說(shuō)，我有一些認(rèn)為很有前景的想法，想通過(guò)研究驗(yàn)證它們是否真的可行。就是一次嘗試而已。如果我們之前討論的、關(guān)于理解泛化能力的那些想法被證明是正確的，那我們就能擁有真正有價(jià)值的成果。

這些想法能成功嗎？我們正在做研究，SSI完全是一家“研究時(shí)代”的公司。過(guò)去一年我們已經(jīng)取得了不錯(cuò)的進(jìn)展，但還需要繼續(xù)推進(jìn)、做更多研究。我把這看作是努力成為這個(gè)領(lǐng)域有話語(yǔ)權(quán)的參與者。

Dwarkesh Patel：你的聯(lián)合創(chuàng)始人兼前CEO最近離職加入了Meta，大家都在質(zhì)疑“如果有很多突破正在發(fā)生，這種情況似乎不太可能出現(xiàn)”，你怎么回應(yīng)？

Ilya Sutskever：我只需提醒幾個(gè)可能被遺忘的背景事實(shí)。當(dāng)時(shí)我們正在以320億美元（約合人民幣2273億元）的估值融資，Meta介入提出收購(gòu)，我拒絕了，但我的前聯(lián)合創(chuàng)始人在某種程度上同意了。結(jié)果是，他獲得了大量短期流動(dòng)性，而且他是SSI中唯一加入Meta的人。

Dwarkesh Patel：聽(tīng)起來(lái)SSI的計(jì)劃是，在人類(lèi)歷史進(jìn)入超人類(lèi)智能這個(gè)關(guān)鍵時(shí)期時(shí)，成為前沿公司。你對(duì)如何讓超人類(lèi)智能平穩(wěn)發(fā)展有自己的想法，但其他公司也會(huì)嘗試各自的路徑。SSI在推動(dòng)超級(jí)智能平穩(wěn)發(fā)展方面，方法上有什么獨(dú)特之處？

Ilya Sutskever：SSI的主要差異在于技術(shù)路徑。我們有一套不同的技術(shù)方法，我認(rèn)為它很有價(jià)值，正在全力推進(jìn)。

但我認(rèn)為，最終大家的對(duì)齊策略會(huì)趨于一致。隨著AI變得更強(qiáng)大，“應(yīng)該采取什么策略”會(huì)逐漸清晰——比如需要找到相互溝通的方式，確保第一個(gè)真正的超級(jí)智能是對(duì)齊的，關(guān)心有情生命、人類(lèi)、民主等，或是這些價(jià)值的某種組合。

這是每個(gè)人都應(yīng)該努力實(shí)現(xiàn)的目標(biāo)，也是SSI正在做的。我認(rèn)為現(xiàn)在或不久之后，其他公司也會(huì)意識(shí)到這一點(diǎn)，朝著同一個(gè)方向努力。我們拭目以待。

隨著AI變強(qiáng)，世界會(huì)真正改變，一切都會(huì)變得截然不同，人們的行為方式也會(huì)隨之改變。

Dwarkesh Patel：說(shuō)到預(yù)測(cè)，你對(duì)那種“能像人類(lèi)一樣學(xué)習(xí)、進(jìn)而變得超人類(lèi)”的系統(tǒng)，有什么時(shí)間上的預(yù)測(cè)？

Ilya Sutskever：大概5到20年。

Dwarkesh Patel：我想理清你對(duì)未來(lái)發(fā)展的看法。是不是說(shuō)，未來(lái)幾年其他公司會(huì)繼續(xù)沿用現(xiàn)有方法，然后陷入停滯？這里的“停滯”是指它們的收入不會(huì)超過(guò)幾千億美元的較低水平嗎？你認(rèn)為“停滯”具體意味著什么？

Ilya Sutskever：我認(rèn)為不同公司的“停滯”狀態(tài)會(huì)非常相似。即便停滯，這些公司也能獲得驚人的收入——可能不是利潤(rùn)，因?yàn)樗鼈冃枰Σ町惢?jìng)爭(zhēng)，但收入肯定很可觀。

Dwarkesh Patel：但你的模型暗示，當(dāng)正確的解決方案出現(xiàn)時(shí)，所有公司會(huì)趨于一致。我很好奇你為什么這么認(rèn)為？

Ilya Sutskever：我更多指的是對(duì)齊策略上的一致。技術(shù)方法上最終也可能趨同，但我重點(diǎn)說(shuō)的是對(duì)齊策略——大家會(huì)逐漸明確“到底應(yīng)該做什么”。

Dwarkesh Patel：我想更清楚地理解你的未來(lái)圖景。目前有很多不同的公司，你預(yù)計(jì)它們的現(xiàn)有方法會(huì)繼續(xù)產(chǎn)生收入，但無(wú)法達(dá)到類(lèi)人類(lèi)學(xué)習(xí)者的水平。所以會(huì)出現(xiàn)不同的公司分支：你們、Thinking Machines以及其他實(shí)驗(yàn)室，也許其中一家找到了正確方法。但他們產(chǎn)品的發(fā)布，會(huì)讓其他人清楚知道該怎么做嗎？

Ilya Sutskever：具體怎么做可能不會(huì)很明確，但會(huì)傳遞一個(gè)關(guān)鍵信息——某種不同的東西是可行的。然后人們會(huì)嘗試破解其中的原理。

不過(guò)有一點(diǎn)沒(méi)被討論：隨著AI能力的每一次提升，做事的方式都會(huì)發(fā)生某種變化，但我不知道具體是哪些變化。我認(rèn)為這會(huì)很重要，但無(wú)法確切說(shuō)明。

Dwarkesh Patel：默認(rèn)情況下，擁有這種模型的公司應(yīng)該會(huì)獲得所有收益，因?yàn)樗鼈儞碛心Ｐ鸵约澳Ｐ驮谑澜缰蟹e累的技能和知識(shí)。有什么理由認(rèn)為這些好處會(huì)被廣泛分配，而不是只歸屬于第一個(gè)啟動(dòng)持續(xù)學(xué)習(xí)循環(huán)的公司？

Ilya Sutskever：我認(rèn)為會(huì)發(fā)生這樣的情況：首先看AI發(fā)展的歷史，一家公司取得進(jìn)展后，另一家會(huì)倉(cāng)促跟進(jìn)，一段時(shí)間后推出類(lèi)似產(chǎn)品，然后在市場(chǎng)上競(jìng)爭(zhēng)、壓低價(jià)格。從市場(chǎng)角度看，未來(lái)可能也會(huì)如此。

順便說(shuō)一句，我們討論的是理想情況。理想的世界里，我們有這些強(qiáng)大的類(lèi)人類(lèi)學(xué)習(xí)者，而且超級(jí)智能也可以是狹隘的——既有用又專(zhuān)注于特定領(lǐng)域，我們可以擁有很多這樣的狹隘超級(jí)智能。

假設(shè)一家公司靠這類(lèi)AI獲得巨額利潤(rùn)，很快會(huì)有其他公司進(jìn)入市場(chǎng)競(jìng)爭(zhēng)。競(jìng)爭(zhēng)會(huì)偏向?qū)I(yè)化——就像在市場(chǎng)和進(jìn)化中看到的那樣，會(huì)出現(xiàn)很多不同的細(xì)分領(lǐng)域，不同公司占據(jù)不同賽道。比如一家AI公司擅長(zhǎng)某個(gè)復(fù)雜的經(jīng)濟(jì)領(lǐng)域，另一家擅長(zhǎng)另一個(gè)領(lǐng)域，第三家則精通訴訟。

Dwarkesh Patel：這和類(lèi)人類(lèi)學(xué)習(xí)的隱含意義不矛盾嗎？類(lèi)人類(lèi)學(xué)習(xí)意味著它能學(xué)習(xí)……

Ilya Sutskever：它確實(shí)能學(xué)習(xí)，但學(xué)習(xí)需要積累。要在某個(gè)領(lǐng)域達(dá)到驚人的精通程度，需要投入大量算力；其他人要在另一個(gè)領(lǐng)域做到頂尖，也需要付出巨大的算力和經(jīng)驗(yàn)成本。你已經(jīng)通過(guò)大量學(xué)習(xí)達(dá)到了某個(gè)高點(diǎn)，其他人不會(huì)愿意再?gòu)念^學(xué)習(xí)你已經(jīng)掌握的東西。

Dwarkesh Patel：這似乎需要很多不同的公司同時(shí)擁有類(lèi)人類(lèi)持續(xù)學(xué)習(xí)智能體，這樣它們才能在不同分支上各自探索。但如果一家公司率先獲得了這種智能體或?qū)W習(xí)者，理論上它完全可以讓一個(gè)實(shí)例學(xué)習(xí)經(jīng)濟(jì)中的每一份工作，這對(duì)一家公司來(lái)說(shuō)似乎是可行的。

Ilya Sutskever：這是個(gè)合理的論點(diǎn)，但我的強(qiáng)烈直覺(jué)是事情不會(huì)這樣發(fā)展。理論上，理論和實(shí)踐沒(méi)有區(qū)別，但在實(shí)際中，兩者差異很大。這就是其中一種情況。

Dwarkesh Patel：很多人對(duì)遞歸自我改進(jìn)模型的明確預(yù)期是，服務(wù)器里會(huì)有一百萬(wàn)個(gè)“伊利亞”，提出不同想法，導(dǎo)致超級(jí)智能快速出現(xiàn)。

你對(duì)自己所做事情的可并行化程度有什么直覺(jué)？復(fù)制“Ilya”能帶來(lái)多少收益？

Ilya Sutskever：我不知道。但肯定會(huì)有收益遞減——你需要的是想法不同的人，而不是完全相同的復(fù)制品。如果有一百個(gè)和我一模一樣的副本，我不確定能獲得多少額外價(jià)值，真正需要的是思維各異的個(gè)體。

09.

預(yù)訓(xùn)練導(dǎo)致所有模型趨同

而強(qiáng)化學(xué)習(xí)才開(kāi)始帶來(lái)差異化

Dwarkesh Patel：不同公司發(fā)布的模型，即便可能基于非重疊數(shù)據(jù)集訓(xùn)練，彼此卻如此相似，這真的很不可思議，為什么會(huì)這樣？

Ilya Sutskever：也許這些數(shù)據(jù)集并不像看起來(lái)那樣毫無(wú)重疊。

Dwarkesh Patel：但從某種意義上說(shuō)，即便單個(gè)人類(lèi)的效率可能不如未來(lái)的AI，但人類(lèi)團(tuán)隊(duì)的多樣性或許更有價(jià)值。我們?cè)撊绾卧贏I中創(chuàng)造有意義的多樣性？?jī)H僅提高溫度只會(huì)導(dǎo)致胡言亂語(yǔ)，我們想要的是像不同科學(xué)家那樣，擁有不同偏見(jiàn)、不同想法的多樣性。怎樣才能讓AI智能體具備這種多樣性？

Ilya Sutskever：AI缺乏多樣性的核心原因是預(yù)訓(xùn)練——所有預(yù)訓(xùn)練模型幾乎一致，因?yàn)樗鼈兌蓟谙嗨频臄?shù)據(jù)訓(xùn)練。而強(qiáng)化學(xué)習(xí)和后期訓(xùn)練階段，才開(kāi)始出現(xiàn)一些差異化，因?yàn)椴煌瑘F(tuán)隊(duì)會(huì)采用不同的強(qiáng)化學(xué)習(xí)訓(xùn)練方法。

Dwarkesh Patel：我以前聽(tīng)你暗示過(guò)，自我博弈是一種獲取數(shù)據(jù)、讓智能體與同等水平的其他智能體配對(duì)以啟動(dòng)學(xué)習(xí)的方法。為什么目前沒(méi)有關(guān)于這類(lèi)方法在LLM上有效的公開(kāi)提議？

Ilya Sutskever：我想說(shuō)兩點(diǎn)。首先，自我博弈的有趣之處在于，它提供了一種僅靠計(jì)算、無(wú)需額外數(shù)據(jù)就能創(chuàng)建模型的方式。如果數(shù)據(jù)是最終瓶頸，那么這種僅依賴計(jì)算的方法就極具吸引力。

但問(wèn)題在于，過(guò)去的自我博弈方式——讓智能體相互競(jìng)爭(zhēng)——只適用于培養(yǎng)特定技能，過(guò)于狹隘，比如談判、沖突處理、某些社交技能或策略制定。如果目標(biāo)是這些技能，自我博弈會(huì)有用，但適用范圍有限。

實(shí)際上，自我博弈已經(jīng)以不同形式找到了應(yīng)用場(chǎng)景。比如辯論、證明者-驗(yàn)證者模式，或是“LLM作為評(píng)判者”的機(jī)制——評(píng)判者會(huì)被激勵(lì)去發(fā)現(xiàn)其他智能體工作中的錯(cuò)誤。你可以說(shuō)這不完全是傳統(tǒng)意義上的自我博弈，但確實(shí)是人們正在采用的相關(guān)對(duì)抗性設(shè)置。

真正的自我博弈，是智能體之間更普遍競(jìng)爭(zhēng)的一個(gè)特例。對(duì)競(jìng)爭(zhēng)的自然反應(yīng)就是嘗試差異化——如果把多個(gè)智能體放在一起，告訴它們“你們都要研究同一個(gè)問(wèn)題，且可以查看其他人的研究方向”，它們會(huì)思考：“既然他們已經(jīng)采用了這種方法，我或許不該再跟進(jìn)，而應(yīng)該選擇有差異化的路徑?！边@種設(shè)置能創(chuàng)造追求方法多樣性的激勵(lì)。

10.

為什么說(shuō)Ilya Sutskever

是世界上AI研究品味最好的人之一？

Dwarkesh Patel：最后一個(gè)問(wèn)題：什么是研究品味？你顯然被認(rèn)為是世界上AI研究品味最好的人之一，也是深度學(xué)習(xí)史上諸多重要成果（從AlexNet到GPT-3等）的合著者。研究品味到底是什么？你如何描述自己提出這些想法的方式？

Ilya Sutskever：我可以談?wù)勛约旱慕?jīng)驗(yàn)。不同的人有不同的做法，指導(dǎo)我的核心原則是：對(duì)AI應(yīng)有形態(tài)的審美，源于對(duì)人類(lèi)本質(zhì)的正確思考。很多人容易錯(cuò)誤理解人類(lèi)，但“正確思考”意味著抓住根本。

舉幾個(gè)例子：人工神經(jīng)元的概念直接受大腦啟發(fā)，這是個(gè)偉大的想法。為什么？因?yàn)榇竽X有很多器官和褶皺，但褶皺可能不是關(guān)鍵，神經(jīng)元的核心價(jià)值在于其龐大的數(shù)量——這一點(diǎn)讓人感覺(jué)是本質(zhì)性的，所以我們選擇聚焦神經(jīng)元，同時(shí)設(shè)想用局部學(xué)習(xí)規(guī)則來(lái)改變神經(jīng)元間的連接，這與大腦的工作邏輯是合理契合的。

再比如分布式表示的概念：大腦會(huì)對(duì)經(jīng)驗(yàn)做出反應(yīng)，因此我們的神經(jīng)網(wǎng)絡(luò)也應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)——這也是基于對(duì)大腦本質(zhì)的思考。

我會(huì)不斷追問(wèn)：某個(gè)東西是根本性的，還是非根本性的？事情本該是什么樣子？這種思考貫穿始終，同時(shí)我會(huì)從多個(gè)角度尋找一種“美”——這種美源于簡(jiǎn)潔、優(yōu)雅，以及對(duì)大腦的正確啟發(fā)。這些要素越契合，我對(duì)自己自上而下的信念就越有信心。

自上而下的信念，是在實(shí)驗(yàn)結(jié)果與預(yù)期相悖時(shí)支撐我的力量。如果一味相信數(shù)據(jù)，有時(shí)可能會(huì)因?yàn)槟硞€(gè)未發(fā)現(xiàn)的錯(cuò)誤而否定正確的方向。這時(shí)如何判斷是該繼續(xù)調(diào)試，還是放棄方向？這就需要自上而下的思考：堅(jiān)信事情必須是這樣，這類(lèi)方法必然有效，因此值得堅(jiān)持推進(jìn)。而這種信念，正是源于對(duì)“美”、簡(jiǎn)潔性和大腦啟發(fā)的多方面考量。

Dwarkesh Patel：好的，我們就到這里。

Ilya Sutskever：非常感謝。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問(wèn)歐米伽研究所的“未來(lái)知識(shí)庫(kù)”

https://wx.zsxq.com/group/454854145828

未來(lái)知識(shí)庫(kù)是“ 歐米伽 未來(lái)研究所”建立的在線知識(shí)庫(kù)平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類(lèi)風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來(lái)趨勢(shì)。目前擁有超過(guò)8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問(wèn)https://wx.zsxq.com/group/454854145828進(jìn)入。