編輯 | Tina

前 OpenAI 首席科學(xué)家 Ilya Sutskever 近日在采訪中表示， 即使現(xiàn)在擁有比以前多 100 倍的資源， 也未必能像過(guò)去那樣看到 AI 能力產(chǎn)生質(zhì)的飛躍， 單純依靠「大力出奇跡」的時(shí)代可能已經(jīng)過(guò)去。

這番話迅速在網(wǎng)絡(luò)上發(fā)酵， 許多人開(kāi)始解讀為「Scaling Laws 要終結(jié)了」。對(duì)此，Ilya 在社交媒體上做出澄清， 強(qiáng)調(diào)擴(kuò)展現(xiàn)有技術(shù)仍會(huì)帶來(lái)持續(xù)改進(jìn)且不會(huì)停滯， 但某些重要的東西仍然缺失。

OpenAI 研究員 Noam Brown 隨即轉(zhuǎn)發(fā)并分析了這一觀點(diǎn)。他指出， 社交媒體往往將 AI 辯論簡(jiǎn)化為兩種極端：懷疑論者認(rèn)為大語(yǔ)言模型注定失敗， 狂熱分子則認(rèn)為超級(jí)智能即將到來(lái)。但仔細(xì)研讀頂尖研究人員的實(shí)際表態(tài)會(huì)發(fā)現(xiàn)， 他們的觀點(diǎn)存在驚人的共識(shí)：

第一， 即使沒(méi)有進(jìn)一步研究突破， 當(dāng)前技術(shù)范式也足以產(chǎn)生巨大的經(jīng)濟(jì)和社會(huì)影響；

第二， 實(shí)現(xiàn)通用人工智能可能還需要更多突破， 持續(xù)學(xué)習(xí)和樣本效率是常被提及的兩個(gè)方向；第三， 這一目標(biāo)大概率會(huì)在 20 年內(nèi)實(shí)現(xiàn)。

Brown 強(qiáng)調(diào)， 沒(méi)有任何一位專(zhuān)家認(rèn)為 ASI 是幻想或需要 100 多年才能實(shí)現(xiàn)，真正的分歧在于具體突破點(diǎn)是什么以及到來(lái)的速度有多快?？傮w而言， 業(yè)內(nèi)專(zhuān)家的共識(shí)遠(yuǎn)多于分歧。圖靈獎(jiǎng)得主 Yann LeCun 后續(xù)則對(duì)這一觀點(diǎn)表示完全贊同。

下面，我們回顧下 Ilya 當(dāng)時(shí)具體的長(zhǎng)訪談內(nèi)容，以饗讀者。

要點(diǎn)總結(jié)

• 現(xiàn)有大模型出現(xiàn)了一個(gè)很怪的斷層：在各類(lèi)基準(zhǔn)測(cè)試?yán)锍煽?jī)驚人，但在簡(jiǎn)單的真實(shí)任務(wù)里卻經(jīng)常翻車(chē)，說(shuō)明這種“智能”非常脆弱。

• 過(guò)度聚焦 benchmark 可能本身就是問(wèn)題所在。研究者用強(qiáng)化學(xué)習(xí)去優(yōu)化那些專(zhuān)門(mén)為“考高分”設(shè)計(jì)的任務(wù)，反而可能在無(wú)意間削弱了模型向真實(shí)應(yīng)用場(chǎng)景泛化的能力。

• 在人類(lèi)身上，“情緒”也許扮演著類(lèi)似 AI 里“價(jià)值函數(shù)”的角色，是內(nèi)置在系統(tǒng)里的決策指導(dǎo)信號(hào)。

• 人類(lèi)情緒本身很簡(jiǎn)單，卻因此在大量情境下都很魯棒、很好用；但在現(xiàn)代環(huán)境中，這種簡(jiǎn)單性也會(huì)失靈，比如在食物極大豐富的世界里，饑餓感已經(jīng)不再是一個(gè)可靠的指引。

• “純靠擴(kuò)容”的 AI 時(shí)代正在結(jié)束——那種“再大一點(diǎn)就能解決一切”的信念已經(jīng)明顯減弱。

• AI 正重新回到一個(gè)“研究驅(qū)動(dòng)的時(shí)代”，只不過(guò)這一次，研究是建立在前幾年“擴(kuò)容時(shí)代”堆出來(lái)的超大算力之上的。

• 當(dāng)前大模型面臨的最核心問(wèn)題，是它們的泛化能力遠(yuǎn)遜于人類(lèi)：既體現(xiàn)在需要海量數(shù)據(jù)、樣本效率極低，也體現(xiàn)在想教它復(fù)雜任務(wù)非常困難。

• 進(jìn)化可能給了人類(lèi)在視覺(jué)、運(yùn)動(dòng)等“祖先技能”上一個(gè)極其強(qiáng)大的“先驗(yàn)”，這解釋了為什么在這些領(lǐng)域，人類(lèi)天然就比 AI 強(qiáng)很多。

• 在現(xiàn)代任務(wù)上（比如學(xué)開(kāi)車(chē)），人類(lèi)學(xué)習(xí)不僅依賴(lài)外部獎(jiǎng)勵(lì)，還依賴(lài)一個(gè)強(qiáng)健的內(nèi)部?jī)r(jià)值函數(shù)，它能即時(shí)地產(chǎn)生“自我評(píng)分”，不需要?jiǎng)e人顯式給反饋。

• 如今，AI 進(jìn)展的瓶頸已經(jīng)從“算力”轉(zhuǎn)向“想法本身”，于是出現(xiàn)了一個(gè)現(xiàn)實(shí)：公司的數(shù)量多于真正新穎的思路。

• 單純“讀”AI 能做什么，和親眼“看到”它在現(xiàn)實(shí)中做成什么，有天壤之別。把強(qiáng)大的 AI 公開(kāi)給大眾，是讓人真正理解它影響力的最有效方式。

• “AGI”和“預(yù)訓(xùn)練”這兩個(gè)概念在某種程度上是誤導(dǎo)性的。比起把超級(jí)智能想象成一個(gè)“完工的、無(wú)所不知的產(chǎn)品”，不如把它理解成一種：具備極強(qiáng)持續(xù)學(xué)習(xí)能力的存在。

• 真正強(qiáng)大的已部署 AI，很關(guān)鍵的一點(diǎn)能力，在于：它可以 把自己在整個(gè)經(jīng)濟(jì)體系中各個(gè)實(shí)例的學(xué)習(xí)結(jié)果合并起來(lái)。這種集體知識(shí)的“匯聚”，是人類(lèi)做不到的，也可能觸發(fā)“智能爆炸”。

模型“鋸齒感”（Jaggedness）的解釋

Ilya Sutskever：你知道最瘋狂的事情是什么嗎？——這一切都是真的。

Dwarkesh Patel：什么意思？

Ilya Sutskever：你不覺(jué)得嗎？所有這些 AI 的進(jìn)展、灣區(qū)發(fā)生的這些事，它們真的正在發(fā)生。這難道不像科幻小說(shuō)里的情節(jié)嗎？

Dwarkesh：還有一件瘋狂的事是——“緩慢起飛”過(guò)程竟然顯得如此正常。比如說(shuō)，全社會(huì)拿出 1% 的 GDP 投入 AI……過(guò)去聽(tīng)上去會(huì)像天大的事情，而現(xiàn)在卻讓人感覺(jué)很……

Ilya Sutskever：人類(lèi)的適應(yīng)速度其實(shí)非?？?。再加上這些變化很抽象。所謂“投入 1% GDP”，對(duì)大多數(shù)人來(lái)說(shuō)只是新聞里看到某家公司宣布投入了一個(gè)難以理解的金額。除此之外，人們并沒(méi)有真正“感受到”什么。

Dwarkesh：我們就從這里開(kāi)始吧，我覺(jué)得這很有意思。

Ilya Sutskever：可以。

Dwarkesh：我覺(jué)得從普通人的視角看，世界似乎沒(méi)什么不同——而這種感覺(jué)可能在奇點(diǎn)來(lái)臨后仍然繼續(xù)存在。

Ilya Sutskever：不，我不這么認(rèn)為。

Dwarkesh：哦？有意思。

Ilya Sutskever：我剛才說(shuō)的“不太感覺(jué)得到”是指：公司宣布了一筆巨大的投資，但普通人不知道該如何理解它。但 AI 的真實(shí)影響最終會(huì)被切切實(shí)實(shí)感受到。AI 會(huì)滲透到整個(gè)經(jīng)濟(jì)體系 —— 有非常強(qiáng)的經(jīng)濟(jì)動(dòng)力驅(qū)動(dòng)這件事，而這種影響會(huì)非常明顯。

Dwarkesh：你認(rèn)為這種影響什么時(shí)候真正到來(lái)？現(xiàn)在模型看上去似乎比它們的經(jīng)濟(jì)影響要“聰明得多”。

Ilya Sutskever：

是的，這是當(dāng)前模型最令人困惑的地方之一。如何解釋這個(gè)矛盾？一方面模型在各類(lèi)評(píng)測(cè)（evals）上表現(xiàn)驚人，那些評(píng)測(cè)明明很難，但模型能做得很好；另一方面，它們的經(jīng)濟(jì)影響卻落后得多。

很難理解——模型怎么能在某些方面表現(xiàn)得驚艷，同時(shí)又在另一些地方犯極其基礎(chǔ)的錯(cuò)誤？

舉個(gè)例子：你用 vibe coding 讓模型寫(xiě)代碼，遇到一個(gè) bug，你告訴模型：“修一下這個(gè) bug?！?/p>

模型回答：“天哪，你說(shuō)得太對(duì)了，我修一下?！比缓笏蕹隽说诙€(gè) bug。你再告訴它：“這里又有個(gè)新 bug?！彼终f(shuō)：“天哪，我怎么會(huì)這樣，你說(shuō)得又對(duì)了?！苯又训谝粋€(gè) bug 再次引回來(lái)。如此循環(huán)往復(fù)。這是怎么回事？我不太確定，但確實(shí)說(shuō)明某些地方很奇怪。

我現(xiàn)在有兩個(gè)可能的解釋?zhuān)?/p>

解釋一：RL 讓模型“單線思維”。 一種略帶玩笑但不無(wú)道理的解釋是：強(qiáng)化學(xué)習(xí)（RL）可能讓模型變得過(guò)于單一目標(biāo)驅(qū)動(dòng)，過(guò)于聚焦，某些方面的“覺(jué)察力”反而下降。 它在某些任務(wù)上更“覺(jué)醒”，但在某些基礎(chǔ)事情上卻變得更遲鈍。

解釋二：訓(xùn)練數(shù)據(jù)的選擇方式本身帶來(lái)偏差。 以前做預(yù)訓(xùn)練（pre-training）時(shí)，不需要選擇數(shù)據(jù) ——答案永遠(yuǎn)是：“全部數(shù)據(jù)。”預(yù)訓(xùn)練需要一切，所以根本不需要做選擇。但 RL 不一樣。人類(lèi)必須決定：“我們想讓模型在哪些環(huán)境里做 RL？哪些任務(wù)？哪些獎(jiǎng)勵(lì)？”行業(yè)里有很多團(tuán)隊(duì)專(zhuān)門(mén)在生產(chǎn)新的 RL 環(huán)境，然后不斷把它們加入訓(xùn)練混合中。問(wèn)題是：這些 RL 環(huán)境究竟是什么？為什么是這些？沒(méi)人在系統(tǒng)性思考。

其中一個(gè)行業(yè)內(nèi)普遍存在的傾向是：大家會(huì)從評(píng)測(cè)（evals）獲得靈感。比如：“我們希望模型發(fā)布時(shí)在某項(xiàng)測(cè)評(píng)里取得高分，那我們就設(shè)計(jì)一些 RL 訓(xùn)練來(lái)優(yōu)化它?！?/p>

這可能解釋了很多現(xiàn)象：模型會(huì)在 evals 上看起來(lái)很強(qiáng)，但這種能力無(wú)法泛化到現(xiàn)實(shí)世界任務(wù)。

如果再加上：模型的泛化能力其實(shí)遠(yuǎn)沒(méi)有我們想象的那么好，那就能更好解釋為什么評(píng)測(cè)能力和真實(shí)能力之間存在巨大脫節(jié)。

而這種脫節(jié)，目前我們甚至都沒(méi)完全理解能如何定義。

Dwarkesh：

我喜歡這個(gè)說(shuō)法：真正“獎(jiǎng)勵(lì)黑客”的其實(shí)是研究人員本身，因?yàn)樗麄冞^(guò)于專(zhuān)注于提升 eval 分?jǐn)?shù)。

兩個(gè)理解方向。 第一種理解是：如果模型在編程比賽里達(dá)到超人水平，卻仍然無(wú)法對(duì)現(xiàn)實(shí)代碼庫(kù)做出“有品味的判斷”，那么我們應(yīng)該擴(kuò)展訓(xùn)練環(huán)境，讓模型不僅會(huì)比賽，還會(huì)做更真實(shí)的開(kāi)發(fā)任務(wù)。

第二種理解是：為什么 超人級(jí)比賽能力 不能自然帶來(lái) 更全面的編程能力？也許重點(diǎn)不是不斷堆環(huán)境，而是找到一種能讓模型從一個(gè)環(huán)境中學(xué)習(xí)，并遷移到完全不同環(huán)境的方法。

人類(lèi)類(lèi)比：競(jìng)賽高手與真正優(yōu)秀的工程師

Ilya Sutskever：

我舉個(gè)類(lèi)比可能更容易理解。

想象兩個(gè)學(xué)習(xí)編程的人：

• 學(xué)生 A：決心成為最強(qiáng)的競(jìng)賽選手。他練了 1 萬(wàn)小時(shí)，刷完所有題、掌握所有技巧，成為世界級(jí)頂尖。

• 學(xué)生 B：覺(jué)得競(jìng)賽很酷，只練了 100 小時(shí)，題刷得遠(yuǎn)不如 A，但他也表現(xiàn)不錯(cuò)。

你覺(jué)得他們畢業(yè)后誰(shuí)在真實(shí)世界的工作中表現(xiàn)更好？

Dwarkesh：當(dāng)然是第二個(gè)。

Ilya Sutskever：

是的。模型更像第一個(gè)學(xué)生，甚至訓(xùn)練得更極端。大家為了讓模型在比賽里強(qiáng)，把所有比賽題目都訓(xùn)練了，還做數(shù)據(jù)擴(kuò)增，訓(xùn)練得過(guò)度、極致。

而真正優(yōu)秀的工程師類(lèi)似第二個(gè)學(xué)生——他們有一種“不可量化的東西”，一種“it factor”。

預(yù)訓(xùn)練與 RL 的區(qū)別

Dwarkesh：那第二個(gè)學(xué)生做的“那 100 小時(shí)”到底對(duì)應(yīng)模型的什么？不是預(yù)訓(xùn)練嗎？

Ilya Sutskever：我認(rèn)為他們擁有一種“天賦（it）”。預(yù)訓(xùn)練其實(shí)和那種“天賦”完全不同。

Dwarkesh：那預(yù)訓(xùn)練不是相當(dāng)于“1 萬(wàn)小時(shí)練習(xí)”嗎？只是這些練習(xí)來(lái)自人類(lèi)寫(xiě)下的海量?jī)?nèi)容，而不用自己親自練？

Ilya Sutskever：

預(yù)訓(xùn)練的優(yōu)勢(shì)有兩個(gè)：

• 數(shù)據(jù)量巨大得不可思議。

• 數(shù)據(jù)的選擇不需要人類(lèi)深度思考——自然語(yǔ)言就是人類(lèi)對(duì)世界的投影。

但預(yù)訓(xùn)練本身很難解釋?zhuān)驗(yàn)槲覀儧](méi)法輕易理解模型如何從這些數(shù)據(jù)中獲取什么。當(dāng)模型犯錯(cuò)時(shí)，我們也無(wú)法判斷是否因?yàn)轭A(yù)訓(xùn)練數(shù)據(jù)缺乏某些模式。

我認(rèn)為 預(yù)訓(xùn)練沒(méi)有完美的人類(lèi)類(lèi)比。

關(guān)于人類(lèi)學(xué)習(xí)是否類(lèi)似預(yù)訓(xùn)練，有人提出兩個(gè)類(lèi)比：

• 人類(lèi)前 15 年的成長(zhǎng)（大量非生產(chǎn)性的輸入）。

• 進(jìn)化本身（30 億年搜索過(guò)程）。

Ilya Sutskever：

兩者都與預(yù)訓(xùn)練有相似點(diǎn)，但也有巨大差異。比如：人類(lèi)接觸的數(shù)據(jù)量微乎其微，卻能獲得更深刻、更可靠的理解，不會(huì)像 AI 一樣犯低級(jí)錯(cuò)誤。

再舉例：一個(gè)失去“情緒處理能力”的人——沒(méi)有悲傷、憤怒等情緒，但智力完好——會(huì)變得：

• 無(wú)法做出任何決策

• 連挑選襪子都要想數(shù)小時(shí)

• 財(cái)務(wù)決策極差

這說(shuō)明：情緒在做人類(lèi)智能體中扮演了“價(jià)值函數(shù)（value function）”的角色。

Dwarkesh：所以“情緒”其實(shí)是一種給決策的最終獎(jiǎng)勵(lì)嗎？這樣的東西無(wú)法靠預(yù)訓(xùn)練學(xué)到嗎？

Ilya Sutskever：也許可以，但并不顯然。

Dwarkesh：那情緒在 ML 中的類(lèi)比是什么？

Ilya Sutskever：應(yīng)該類(lèi)似于一種“價(jià)值函數(shù)”。但目前 ML 里“價(jià)值函數(shù)”不是核心組件。

價(jià)值函數(shù)（value function）是什么？

Ilya Sutskever：

在現(xiàn)代 RL 中，模型通常是：

• 進(jìn)行大量步驟思考

• 最后產(chǎn)出一個(gè)結(jié)果

• 然后根據(jù)最終結(jié)果給整條軌跡每一步反饋

這意味著：如果任務(wù)很長(zhǎng)，你必須等到最后才得到任何學(xué)習(xí)信號(hào)。而 價(jià)值函數(shù) 的作用就是：

• 提前判斷“你現(xiàn)在是不是在做有前途的事情”。

• 例如下棋丟子，你無(wú)需等到被將死才知道“剛剛那步是壞的”。

同理，在數(shù)學(xué)推理或編程中，如果你走了 1000 步后發(fā)現(xiàn)方向錯(cuò)誤，那么：

• 價(jià)值函數(shù)能把“這條路徑不行”的信號(hào)反向傳播回 1000 步之前，

• 下次避免再走入同樣的思路。

Dwarkesh Patel：

DeepSeek R1 的論文里提到過(guò)，軌跡空間非常寬，可能很難從中間某個(gè)思考過(guò)程映射到一個(gè)價(jià)值評(píng)估。而且在寫(xiě)代碼時(shí)，你會(huì)先沿著一個(gè)錯(cuò)誤的思路走，然后再回退，改一改別的地方。

Ilya Sutskever：

這聽(tīng)起來(lái)有點(diǎn)像“對(duì)深度學(xué)習(xí)缺乏信心”。當(dāng)然，這件事可能很難，但很難不代表深度學(xué)習(xí)做不到。我的預(yù)期是：價(jià)值函數(shù)應(yīng)該是有用的，而且我完全預(yù)期未來(lái)一定會(huì)廣泛用起來(lái)——如果現(xiàn)在還沒(méi)的話。

我剛剛提到那個(gè)情緒中樞受損的病人，其實(shí)是想說(shuō)：也許人類(lèi)的價(jià)值函數(shù)，在很大程度上是被情緒調(diào)制的，而這些情緒是進(jìn)化硬編碼下來(lái)的。這種調(diào)制方式，可能對(duì)人類(lèi)在真實(shí)世界中的有效性非常關(guān)鍵。

Dwarkesh Patel：

這正是我原本想問(wèn)你的。有一個(gè)關(guān)于情緒和價(jià)值函數(shù)的點(diǎn)很有趣：它們的效用非常大，但從理解難度上看，卻又顯得相對(duì)簡(jiǎn)單。

Ilya Sutskever：

我有兩個(gè)看法。第一點(diǎn)我同意：相對(duì)于我們現(xiàn)在討論的這些東西、相對(duì)于我們想要構(gòu)建的那種 AI，情緒確實(shí)要簡(jiǎn)單得多。它們甚至可能簡(jiǎn)單到，你真的可以在某種人類(lèi)可理解的層面上把它們完整刻畫(huà)出來(lái)。我覺(jué)得如果有人能做到，會(huì)非?？?。

第二點(diǎn)是關(guān)于效用。我覺(jué)得這里存在一種“復(fù)雜度和魯棒性的權(quán)衡”：復(fù)雜的東西在特定場(chǎng)景下可以非常有用，但簡(jiǎn)單的機(jī)制在非常廣泛的情境下都能起作用。可以這樣理解當(dāng)下我們看到的情緒：它們主要是從哺乳動(dòng)物祖先那一套情緒系統(tǒng)演化而來(lái)，在我們成為古人類(lèi)之后又做了一點(diǎn)微調(diào)。我們確實(shí)有不少社會(huì)情緒，這是一般哺乳動(dòng)物不一定有的。但整體來(lái)說(shuō)，這些情緒并不算特別復(fù)雜。正因?yàn)樗鼈儾粡?fù)雜，反而在與祖先完全不同的現(xiàn)代世界里，還能繼續(xù)很好地服務(wù)我們。

當(dāng)然，情緒也會(huì)犯錯(cuò)。比如說(shuō)，我們的情緒……嗯，我也不確定饑餓算不算“情緒”，這是有爭(zhēng)議的。但我覺(jué)得至少可以說(shuō)：在一個(gè)食物極其豐富的現(xiàn)代社會(huì)里，我們對(duì)饑餓的直覺(jué)感受，顯然并沒(méi)有成功地把我們引導(dǎo)到一個(gè)“合理飲食”的狀態(tài)。

我們到底在“放大”什么？

Dwarkesh Patel：這幾年大家在談 scaling（放大）：放大數(shù)據(jù)、放大參數(shù)、放大算力。有沒(méi)有一種更一般的方式來(lái)理解“放大”？還存在哪些“放大的維度”？

Ilya Sutskever：

我有一個(gè)視角，可能是對(duì)的。過(guò)去的機(jī)器學(xué)習(xí)，大概是這樣運(yùn)作的：大家不停地?fù)v鼓各種點(diǎn)子，看看能不能做出一些有趣的結(jié)果，這是早期一直在發(fā)生的事情。

后來(lái)，“放大”的洞見(jiàn)出現(xiàn)了。有了 scaling laws，有了 GPT-3，大家突然意識(shí)到：“我們應(yīng)該往大了堆?！边@其實(shí)是一個(gè)“語(yǔ)言如何影響思維”的例子?！癝caling”只是一個(gè)詞，但它極其強(qiáng)大，因?yàn)樗嬖V大家應(yīng)該干什么——“去放大吧”。于是問(wèn)題變成：那我們到底在放大什么？答案是：在放大預(yù)訓(xùn)練。預(yù)訓(xùn)練變成了那個(gè)被放大的配方。

預(yù)訓(xùn)練真正的突破點(diǎn)在于發(fā)現(xiàn)了這樣一個(gè)“配方是好的”。你說(shuō)：“如果我把算力和數(shù)據(jù)，按一定比例混進(jìn)一個(gè)特定規(guī)模的神經(jīng)網(wǎng)絡(luò)里，就會(huì)有成果。而且只要按這個(gè)配方不斷加量，結(jié)果會(huì)變好?！边@對(duì)公司來(lái)說(shuō)非常棒，因?yàn)樗峁┝艘环N 低風(fēng)險(xiǎn)的資源投入方式。

相比之下，投資“研究”要難得多。如果你想投資研究，你要對(duì)團(tuán)隊(duì)說(shuō)：“去探索吧，去搞研究，搞出點(diǎn)東西來(lái)。”但如果你投資預(yù)訓(xùn)練，你可以說(shuō)：“多拉點(diǎn)數(shù)據(jù)，多買(mǎi)點(diǎn)算力?！比缓竽阒栏鶕?jù)預(yù)訓(xùn)練這套配方，一定能得到一些提升。

而且現(xiàn)在看起來(lái)，根據(jù)一些人在 Twitter 上的說(shuō)法，Gemini 似乎找到了從預(yù)訓(xùn)練中榨取更多價(jià)值的辦法。但總有一天，預(yù)訓(xùn)練會(huì)遇到數(shù)據(jù)天花板——數(shù)據(jù)是肉眼可見(jiàn)的有限。那接下來(lái)怎么辦？要么做某種“強(qiáng)化版預(yù)訓(xùn)練”，換一套和以往不同的配方，要么就做 RL，或者做其它什么東西。

但無(wú)論如何，當(dāng)算力已經(jīng)大到這個(gè)程度，我們?cè)谀撤N意義上又回到了“研究時(shí)代”。

可以換一種說(shuō)法：從 2012 到 2020，這段時(shí)間是“研究的時(shí)代”。從 2020 到 2025，則是“放大的時(shí)代”（前后年份可以加點(diǎn)誤差條），因?yàn)榇蠹叶荚谡f(shuō)：“太厲害了，繼續(xù)往大了堆，繼續(xù)放大。”一個(gè)詞：scaling。

但現(xiàn)在規(guī)模已經(jīng)大到如此離譜了。你真的還相信：“只要再多 100 倍算力，一切就完全不同”嗎？當(dāng)然，多 100 倍肯定會(huì)有變化。但是不是說(shuō)，只要 scale 乘以 100，一切就被徹底改寫(xiě)？我不覺(jué)得。所以我們又回到了“研究的時(shí)代”，只不過(guò)這次我們有了超級(jí)大的計(jì)算機(jī)。

Dwarkesh Patel：這個(gè)說(shuō)法很有意思。那我就來(lái)問(wèn)你剛才自己提的那個(gè)問(wèn)題：我們到底在放大什么？“配方”究竟是指什么？在預(yù)訓(xùn)練那里，我們有一種幾乎像物理定律一樣清晰的關(guān)系：數(shù)據(jù)、算力、參數(shù)規(guī)模和 loss 之間有冪律規(guī)律。接下來(lái)的時(shí)代，我們應(yīng)該去尋找什么樣的關(guān)系？新的配方會(huì)是什么樣子？

Ilya Sutskever：

我們其實(shí)已經(jīng)見(jiàn)證了一次“放大范式”的轉(zhuǎn)變：從“放大預(yù)訓(xùn)練”，轉(zhuǎn)向“放大 RL”?，F(xiàn)在大家在放大 RL。根據(jù)網(wǎng)上的說(shuō)法，有的公司在 RL 上用的算力已經(jīng)超過(guò)預(yù)訓(xùn)練了，因?yàn)?RL 能吃掉非常多算力。你會(huì)做非常長(zhǎng)的 rollout，要花大量算力來(lái)生成這些 rollout，但每條 rollout 能帶來(lái)的學(xué)習(xí)量又相對(duì)有限，所以你確實(shí)有很大的空間在 RL 上燒算力。

不過(guò)，我甚至都不太想把這繼續(xù)叫做 scaling。我更愿意問(wèn)的問(wèn)題是：“你現(xiàn)在在做的事情，是對(duì)這臺(tái)大計(jì)算機(jī)最有效的使用方式嗎？有沒(méi)有更高效的算力利用方式？”我們前面聊到價(jià)值函數(shù)，也許一旦大家真正把價(jià)值函數(shù)玩明白了，就能更高效地用同樣的算力。如果你找到另一整套完全不同的訓(xùn)練方式，你當(dāng)然也可以說(shuō)是在“放大”它，但那到底算不算 scaling 呢？在這個(gè)意義上，邊界會(huì)變得有點(diǎn)模糊。

回想當(dāng)年的“研究時(shí)代”，那時(shí)的風(fēng)格是：“我們?cè)囋囘@個(gè)、這個(gè)、這個(gè)；再試試那個(gè)、那個(gè)、那個(gè)——哎，有點(diǎn)有趣的東西出來(lái)了?！蔽矣X(jué)得我們會(huì)回到那種狀態(tài)，只是今天我們手里多了一臺(tái)巨大的計(jì)算機(jī)。

Dwarkesh Patel：

如果我們真的回到了研究時(shí)代，從更高一層來(lái)看，配方里最需要重新思考的部分究竟是什么？你剛才提到價(jià)值函數(shù)，現(xiàn)在很多人已經(jīng)在現(xiàn)有配方上繼續(xù)往后加步驟，比如用“大模型判官（LLM-as-a-Judge）”之類(lèi)的辦法，你也可以說(shuō)那是一種價(jià)值函數(shù)。但聽(tīng)上去你心里想的是比這更基礎(chǔ)的東西。我們是不是應(yīng)該連預(yù)訓(xùn)練本身也重新思考，而不僅僅是在預(yù)訓(xùn)練后面加更多步驟？

Ilya Sutskever：

關(guān)于價(jià)值函數(shù)這塊，我覺(jué)得剛才的討論是有意思的。我想強(qiáng)調(diào)的是：價(jià)值函數(shù)主要是讓 RL 更高效，我認(rèn)為這一點(diǎn)會(huì)很重要。但本質(zhì)上，任何你能通過(guò)價(jià)值函數(shù)實(shí)現(xiàn)的東西，不用價(jià)值函數(shù)也能做到，只是效率更低一點(diǎn)。

我覺(jué)得最根本的問(wèn)題是：這些模型的泛化能力，明顯遠(yuǎn)遠(yuǎn)差于人類(lèi)。這一點(diǎn)非常顯眼，而且我認(rèn)為是特別基礎(chǔ)的問(wèn)題。

為什么人類(lèi)泛化能力比模型強(qiáng)？

Dwarkesh Patel：

所以問(wèn)題的核心就是“泛化”。這里可以再拆成兩個(gè)子問(wèn)題。第一個(gè)是樣本效率：為什么模型需要遠(yuǎn)比人類(lèi)多得多的數(shù)據(jù)才能學(xué)會(huì)同樣的東西？第二個(gè)是，即便拋開(kāi)數(shù)據(jù)量不談，為什么“把我們真正想教的東西”教給模型會(huì)比教給人難得多？對(duì)人類(lèi)來(lái)說(shuō)，你并不一定需要一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)信號(hào)。你現(xiàn)在大概在帶很多研究員，你和他們討論、給他們看你的代碼、解釋你的思路，他們從這些互動(dòng)中就能學(xué)到你的思考方式，以及如何做研究。

你不需要給他們?cè)O(shè)置一條條“可驗(yàn)證的獎(jiǎng)勵(lì)”：現(xiàn)在是下一節(jié)課的內(nèi)容了，現(xiàn)在你的訓(xùn)練不穩(wěn)定了，之類(lèi)的。這中間不需要那種又繁瑣又定制化的流程。這兩個(gè)問(wèn)題也許是相關(guān)的，但我更想先探討第二個(gè)，也就是“持續(xù)學(xué)習(xí)”；同時(shí)第一部分更像是純粹的樣本效率問(wèn)題。

Ilya Sutskever：

要解釋人類(lèi)樣本效率，一個(gè)必須認(rèn)真看待的可能解釋是“進(jìn)化”。進(jìn)化給了我們一小部分極其有用的信息。在視覺(jué)、聽(tīng)覺(jué)、運(yùn)動(dòng)控制這些方面，我覺(jué)得進(jìn)化給我們的東西非常多。

比如，人類(lèi)的靈巧性遠(yuǎn)超機(jī)器人。機(jī)器人當(dāng)然也可以變得非常靈巧，但那通常需要在模擬環(huán)境中進(jìn)行海量訓(xùn)練。而要在真實(shí)世界中訓(xùn)練出一個(gè)機(jī)器人，讓它像人一樣快速掌握一項(xiàng)全新的操作技能，目前看起來(lái)相當(dāng)遙遠(yuǎn)。對(duì)于運(yùn)動(dòng)能力，人類(lèi)可以說(shuō)是擁有一套不可思議的“先驗(yàn)”，因?yàn)槲覀兊淖嫦葞缀醵急仨氂泻軓?qiáng)的運(yùn)動(dòng)能力，哪怕是像松鼠那樣的祖先。

視覺(jué)也是類(lèi)似。Yann LeCun 曾經(jīng)指出，小孩只需要 10 小時(shí)練習(xí)就能學(xué)會(huì)開(kāi)車(chē)，這一點(diǎn)是對(duì)的。但前提是：小孩的視覺(jué)系統(tǒng)已經(jīng)非常好了。以我自己為例，我記得自己 5 歲時(shí)就對(duì)汽車(chē)很著迷。我?guī)缀蹩梢钥隙ǎ? 歲時(shí)我對(duì)“汽車(chē)”的識(shí)別能力已經(jīng)足夠開(kāi)車(chē)用了?？?5 歲的小孩，在那之前實(shí)際接觸到的數(shù)據(jù)量并不大，大多數(shù)時(shí)間都在父母家里活動(dòng)，數(shù)據(jù)多樣性非常有限。

你當(dāng)然可以說(shuō)，這也是進(jìn)化的功勞。但在語(yǔ)言、數(shù)學(xué)、編程這些領(lǐng)域，情況可能就不是這樣了。

Dwarkesh Patel：

不過(guò)人類(lèi)在這些領(lǐng)域似乎依然做得比模型更好。誠(chéng)然，模型在語(yǔ)言、數(shù)學(xué)和編程平均水平上已經(jīng)超越大部分人了。但它們?cè)凇皩W(xué)習(xí)能力”這件事上，真的超過(guò)普通人了嗎？

Ilya Sutskever：

超過(guò)了，絕對(duì)超過(guò)。我剛才的意思是：語(yǔ)言、數(shù)學(xué)、編程——尤其是數(shù)學(xué)和編程——這些領(lǐng)域的表現(xiàn)說(shuō)明，讓人類(lèi)具備很強(qiáng)學(xué)習(xí)能力的東西，可能并不是一套很復(fù)雜的“先驗(yàn)”，而是更基礎(chǔ)、更底層的某種機(jī)制。

Dwarkesh Patel：

我不太明白，為什么會(huì)得出這個(gè)結(jié)論？

Ilya Sutskever：

想象一個(gè)領(lǐng)域，人類(lèi)在其中展現(xiàn)出非常高的可靠性。如果這個(gè)領(lǐng)域，在過(guò)去數(shù)百萬(wàn)、甚至數(shù)億年的進(jìn)化過(guò)程中一直對(duì)我們的祖先非常重要，那你就可以合理推斷：人類(lèi)在這方面強(qiáng)，很大程度是因?yàn)檫M(jìn)化給了我們一套強(qiáng)大的“先驗(yàn)”，以某種不那么顯眼的方式編碼在大腦里。

但如果人類(lèi)在一個(gè)直到最近才出現(xiàn)的領(lǐng)域里，也展現(xiàn)出極強(qiáng)的能力、可靠性、魯棒性以及快速學(xué)習(xí)能力，那這更說(shuō)明，人類(lèi)本身就擁有一套“更強(qiáng)的機(jī)器學(xué)習(xí)機(jī)制”。

Dwarkesh Patel：

我們應(yīng)該如何理解這種機(jī)制？在機(jī)器學(xué)習(xí)里它的類(lèi)比是什么？它似乎有幾個(gè)特征：需要的樣本更少，更接近無(wú)監(jiān)督；比如一個(gè)青少年學(xué)開(kāi)車(chē)，他們并不是在一個(gè)預(yù)先構(gòu)造好的“可驗(yàn)證獎(jiǎng)勵(lì)系統(tǒng)”里學(xué)習(xí)，而是通過(guò)和機(jī)器、環(huán)境互動(dòng)來(lái)獲得反饋；所需樣本極少，訓(xùn)練過(guò)程更像無(wú)監(jiān)督，而且結(jié)果更魯棒。

Ilya Sutskever：

是的，魯棒性高得多。人的魯棒性其實(shí)非常驚人。

Dwarkesh Patel：

你有沒(méi)有一種統(tǒng)一的方式來(lái)解釋這些現(xiàn)象？在機(jī)器學(xué)習(xí)中，有什么樣的類(lèi)比能實(shí)現(xiàn)類(lèi)似的特性？

Ilya Sutskever：

你之前在問(wèn)：青少年司機(jī)是怎么在沒(méi)有“外部老師”的情況下自我糾正、從經(jīng)驗(yàn)中學(xué)習(xí)的？答案是：他們有自己的價(jià)值函數(shù)。他們有一種極其魯棒的“整體感受”，這在大多數(shù)人身上都存在——除了一些跟成癮相關(guān)的例外，人類(lèi)的價(jià)值函數(shù)其實(shí)非常穩(wěn)定。

對(duì)一個(gè)正在學(xué)車(chē)的青少年來(lái)說(shuō)，他一開(kāi)始上路，就已經(jīng)對(duì)自己開(kāi)得怎么樣有一種整體感覺(jué)：自己有多不熟練、多不自信。隨著練習(xí)，他不斷校準(zhǔn)這種感覺(jué)。而任何一個(gè)青少年的學(xué)習(xí)速度都非?？?，大概十幾個(gè)小時(shí)的練習(xí)之后，基本就可以上路了。

Dwarkesh Patel：

看起來(lái)，人類(lèi)已經(jīng)有了一套解決方案，但我很好奇他們到底是怎么做到的，以及為什么對(duì)我們來(lái)說(shuō)這么難？要讓模型具備類(lèi)似能力，我們?cè)谟?xùn)練方式上需要做怎樣的“重新構(gòu)想”？

Ilya Sutskever：

這是一個(gè)非常好的問(wèn)題，我自己其實(shí)有很多想法。但很不幸，我們現(xiàn)在身處的這個(gè)世界，并不是所有機(jī)器學(xué)習(xí)思路都能公開(kāi)討論，而這正是其中之一。

我?guī)缀蹩梢钥隙?，這件事是有辦法做到的，我也相信它是可以做到的。人類(lèi)能做到，本身就是“這可以做到”的證據(jù)。

不過(guò)這里還有一個(gè)潛在的阻礙：有一種可能是，人類(lèi)神經(jīng)元實(shí)際執(zhí)行的計(jì)算量比我們以為的要大得多。如果這是真的，而且又恰好在這里起著關(guān)鍵作用，那事情就會(huì)變得更棘手一些。

但無(wú)論如何，我都認(rèn)為這至少指向某種我心里大概有數(shù)的“機(jī)器學(xué)習(xí)原理”。只是很遺憾，現(xiàn)實(shí)環(huán)境讓我們很難把細(xì)節(jié)講開(kāi)。

“直奔超級(jí)智能”的研究時(shí)代

Dwarkesh Patel：

我很好奇，你說(shuō)我們又回到了“研究時(shí)代”。你從 2012 年一路見(jiàn)證到 2020 年，那如果我們現(xiàn)在真的回到研究時(shí)代，整個(gè)圈子會(huì)是什么“氣質(zhì)”？

比如說(shuō)，即使在 AlexNet 之后，用來(lái)做實(shí)驗(yàn)的算力也在持續(xù)增加，前沿系統(tǒng)的規(guī)模也在持續(xù)變大。那你覺(jué)得，這一輪的“研究時(shí)代”是不是同樣需要巨量算力？

我們會(huì)不會(huì)需要重新回去翻老論文？

你之前在 Google、OpenAI、斯坦福這些“研究氛圍更重”的地方待過(guò)，你覺(jué)得我們應(yīng)該期待怎樣的研究社群？

Ilya Sutskever：

“放大”的時(shí)代有一個(gè)后果，就是它把屋子里的空氣都抽干了。因?yàn)?scaling 把所有空氣都吸走了，大家開(kāi)始做的事情漸漸都一樣。

我們現(xiàn)在身處的世界，是一個(gè) 公司數(shù)量遠(yuǎn)多于點(diǎn)子數(shù)量 的世界。

這讓我想起硅谷有句老話：點(diǎn)子不值錢(qián)，執(zhí)行才是一切。這句話當(dāng)然有道理。但我曾在 Twitter 上看到有人說(shuō)：“既然點(diǎn)子這么不值錢(qián)，那為什么現(xiàn)在沒(méi)人有點(diǎn)子？”——我覺(jué)得這句話也挺對(duì)。

如果把研究的進(jìn)展拆解成不同“瓶頸”，大致有幾個(gè)：一個(gè)是“有沒(méi)有點(diǎn)子”，另一個(gè)是“有沒(méi)有能力把點(diǎn)子做出來(lái)”，后者既包括算力，也包括工程能力。

回到上世紀(jì) 90 年代，很多人其實(shí)有不錯(cuò)的想法。如果他們當(dāng)時(shí)擁有今天這么大的計(jì)算機(jī)，也許可以證明那些想法是行得通的。但當(dāng)時(shí)做不到，只能做出非常小的 demo，無(wú)法說(shuō)服任何人。

那時(shí)候的 瓶頸是算力。

后來(lái)我們進(jìn)入了 scaling 時(shí)代，算力增長(zhǎng)了很多。當(dāng)然，“究竟需要多少算力”始終一個(gè)開(kāi)放問(wèn)題，但至少算力已經(jīng)大到——很難再說(shuō)一定非要更多算力才能驗(yàn)證一個(gè)新 idea 了。

我舉幾個(gè)例子：AlexNet 用了兩塊 GPU，這就是它全部的算力開(kāi)銷(xiāo)。Transformer 剛出來(lái)時(shí)的實(shí)驗(yàn)，用的是 8 到 64 塊 GPU，沒(méi)有一篇 2017 年的 Transformer 論文單次實(shí)驗(yàn)用了超過(guò) 64 塊 GPU——折算到今天，可能也就兩塊現(xiàn)代 GPU。ResNet 也是類(lèi)似的故事。再說(shuō) o1 這種推理系統(tǒng)，你也可以爭(zhēng)辯，它不是一個(gè)“算力消耗最夸張”的東西。

所以，對(duì)研究來(lái)說(shuō)，你當(dāng)然需要一定的算力，但遠(yuǎn)不到“必須擁有世界上最大的那批算力”才能做事的程度。你可以說(shuō)，如果你想造出 絕對(duì)最強(qiáng)的系統(tǒng)，那有更多算力肯定有幫助，特別是當(dāng)大家都在同一個(gè)范式里卷時(shí)，算力就變成一個(gè)重要的區(qū)分因素。

Dwarkesh Patel：

我之所以問(wèn)你歷史，是因?yàn)槟阌H歷過(guò)，我只是事后看的。聽(tīng)起來(lái)當(dāng)時(shí)在算力相對(duì)有限的情況下，確實(shí)可以發(fā)展出這些新想法。但 Transformer 并不是一出來(lái)就“封神”，而是隨著它在越來(lái)越大的算力規(guī)模上被驗(yàn)證，才慢慢變成所有人都在用、都在往上疊東西的基礎(chǔ)。

Ilya Sutskever：沒(méi)錯(cuò)。

Dwarkesh Patel：假設(shè)你們 SSI 手里有五十個(gè)不同的點(diǎn)子，你們?cè)趺粗滥囊粋€(gè)會(huì)是下一個(gè) Transformer，而哪一個(gè)只是脆弱的小玩具？如果你們沒(méi)有其他頭部實(shí)驗(yàn)室那樣的算力規(guī)模，又如何判斷？

Ilya Sutskever：

這點(diǎn)我可以說(shuō)幾句。簡(jiǎn)單回答是：既然你提到 SSI，那我就直接說(shuō)，對(duì)我們來(lái)說(shuō)，用于研究的算力其實(shí)一點(diǎn)也不算少。我也想解釋一下為什么——一些非常簡(jiǎn)單的算術(shù)就能解釋?zhuān)何覀儸F(xiàn)在用于研究的算力，其實(shí)比很多人想象中要“更接近頂級(jí)”。

SSI 一共融資了 30 億美元，這在任何絕對(duì)意義上都是一筆巨款。你當(dāng)然可以說(shuō)：“其他公司募資更多。”但問(wèn)題是，它們里頭有很大一塊是拿去做推理（inference）的。很多驚人的數(shù)字、巨額貸款，都是預(yù)先“劃給”推理用的。

其次，如果你要有一個(gè)真正跑推理的產(chǎn)品，你得有龐大的工程團(tuán)隊(duì)、銷(xiāo)售團(tuán)隊(duì)，大量研究其實(shí)要服務(wù)于各種產(chǎn)品功能。那么，當(dāng)你把這些都扣掉，再看真正留給“純研究”的算力，差距就小得多了。

還有一點(diǎn)是，如果你在做的是一件跟別人不一樣的事，你真的需要 絕對(duì)最大規(guī)模 來(lái)證明它嗎？我一點(diǎn)也不這么認(rèn)為。就我們自己而言，我覺(jué)得我們完全有足夠的算力，來(lái)證明、并說(shuō)服我們自己以及其他人：我們?cè)谧龅氖虑槭菍?duì)的。

Dwarkesh Patel：

現(xiàn)在有一些公開(kāi)估算，說(shuō)像 OpenAI 這樣的公司，每年光在“實(shí)驗(yàn)”上花掉 50 到 60 億美元——還不包括推理等其他開(kāi)銷(xiāo)。聽(tīng)起來(lái)，他們一年在研究實(shí)驗(yàn)上的花費(fèi)就比你們的總?cè)谫Y額還多。

Ilya Sutskever：

關(guān)鍵問(wèn)題還是：你拿這些算力在做什么。在他們那里，在其他大公司那里，訓(xùn)練算力的需求面向非常多不同方向：不同模態(tài)、不同產(chǎn)品線、很多并行工作流，算力被分割得很碎。

Dwarkesh Patel：那 SSI 未來(lái)要怎么賺錢(qián)？

Ilya Sutskever：

我對(duì)這個(gè)問(wèn)題的回答大概是：現(xiàn)在，我們只專(zhuān)注于研究；等研究有了結(jié)果，答案自然會(huì)顯現(xiàn)。我相信到時(shí)候會(huì)有很多種可能的路徑。

Dwarkesh Patel：

SSI 現(xiàn)在的計(jì)劃還是“直奔超級(jí)智能”（straight shot superintelligence）嗎？

Ilya Sutskever：

也許是。我認(rèn)為這種做法有它的價(jià)值，甚至價(jià)值很大。一個(gè)很重要的好處是，不會(huì)被日常的市場(chǎng)競(jìng)爭(zhēng)牽著走。但也有兩點(diǎn)原因，可能會(huì)讓我們調(diào)整計(jì)劃。

第一是務(wù)實(shí)層面：如果時(shí)間線被證明其實(shí)很長(zhǎng)——這完全有可能。

第二是，我認(rèn)為 最強(qiáng)大的 AI 真正投向世界，讓它產(chǎn)生實(shí)際影響 這件事，本身是非常有價(jià)值的。

Dwarkesh Patel：

那為什么你們的默認(rèn)方案還是“直奔超級(jí)智能”？聽(tīng)起來(lái) OpenAI、Anthropic 這些公司都更明確地在說(shuō)：“我們會(huì)先放出一代又一代相對(duì)較弱的智能體，讓公眾逐步適應(yīng)、做好準(zhǔn)備。”為什么你認(rèn)為“直接做出超級(jí)智能”在某種意義上可能更好？

Ilya Sutskever：

我可以分別講講支持和反對(duì)的理由。

支持的理由是：一旦你進(jìn)入市場(chǎng)，就要參加一場(chǎng)“老鼠賽跑（rat race）”。而這場(chǎng)賽跑會(huì)迫使你面對(duì)各種艱難的取舍。很多時(shí)候，能把自己從這種狀態(tài)里隔離出來(lái)，單純專(zhuān)注于研究，直到你真正準(zhǔn)備好了才出山，這種狀態(tài)是很好的——而不是在還沒(méi)準(zhǔn)備好時(shí)就不斷被市場(chǎng)拖出去表演。

但反對(duì)的理由也很有力，而且它們是對(duì)立的力量。反對(duì)的理由是：讓世界看到強(qiáng)大的 AI 是有價(jià)值的。你必須把真正的 AI 放到人們面前，而不只是寫(xiě)文章告訴他們“它會(huì)怎樣怎樣”。

Dwarkesh Patel：

我覺(jué)得不只是“讓大家看到”這么簡(jiǎn)單，盡管這本身也很重要。還有一點(diǎn)是：我想不出有什么工程或科研領(lǐng)域，最后的成果是在“只靠想象如何讓它更安全”這條路上變安全的。

無(wú)論是飛機(jī)安全性提高，還是 Linux 等系統(tǒng)的 bug 越來(lái)越難找，根本原因都是：這些系統(tǒng)被大規(guī)模部署出去，暴露了問(wèn)題，然后問(wèn)題被修復(fù)，系統(tǒng)就更加穩(wěn)健。

我不確定為什么 AGI 和超級(jí)智能會(huì)是唯一的例外。尤其是——希望我們一會(huì)兒能聊到——超級(jí)智能的風(fēng)險(xiǎn)并不只是“出現(xiàn)一個(gè)惡意的造紙機(jī)”。它是一種極其強(qiáng)大的東西，我們甚至還不知道怎么去理解人與它的交互模式，人們會(huì)拿它干什么。

在這種情況下，讓社會(huì)以一種漸進(jìn)的方式獲得對(duì)它的接觸，看起來(lái)會(huì)是一個(gè)更好的辦法：既能分散它的沖擊，也有助于讓人們逐步為它做好準(zhǔn)備。

Ilya Sutskever：

在你剛才說(shuō)的那點(diǎn)上，即便是在“直奔超級(jí)智能”（straight shot）的路線里，我也認(rèn)為實(shí)際操作中一定還是會(huì)有一個(gè) 漸進(jìn)式發(fā)布 的過(guò)程——至少在我腦海中的圖景是這樣的。漸進(jìn)性會(huì)是任何方案里天然的一部分，只是說(shuō)，你第一次對(duì)外放出的東西到底長(zhǎng)什么樣，這是一個(gè)關(guān)鍵問(wèn)題。這是其一。

其二，我覺(jué)得你比大多數(shù)人更強(qiáng)調(diào)“持續(xù)學(xué)習(xí)”（continual learning），而我其實(shí)認(rèn)為這是既重要又正確的方向。原因在于，我再舉一個(gè)“語(yǔ)言如何影響思維”的例子，這次是兩個(gè)詞，我認(rèn)為它們深刻塑造了所有人的思考方式。第一個(gè)詞是“AGI”，第二個(gè)詞是“預(yù)訓(xùn)練（pre-training）”。讓我解釋一下。

先說(shuō)“AGI”這個(gè)詞本身：它為什么會(huì)出現(xiàn)？這是一個(gè)非常特別的術(shù)語(yǔ)。它存在是有原因的。在我看來(lái)，“AGI”的存在并不是因?yàn)樗悄撤N“終極智能形態(tài)”的特別精確描述，而更多是對(duì)另一個(gè)舊術(shù)語(yǔ)的 反應(yīng)——那個(gè)舊術(shù)語(yǔ)是“窄 AI（narrow AI）”。

如果你回到早期的博弈和 AI 歷史：西洋跳棋 AI、國(guó)際象棋 AI、電子游戲里的 AI，當(dāng)時(shí)大家總說(shuō)：你看，這是“窄智能”。是的，國(guó)際象棋 AI 可以戰(zhàn)勝卡斯帕羅夫，但它做不了其他任何事情，所以這是“人工窄智能”（ANI）。于是，一些人對(duì)這種說(shuō)法很不滿(mǎn)意：太窄了，我們要的是“通用 AI”，一種可以“做所有事情的 AI”。于是，“通用人工智能”這一術(shù)語(yǔ)就逐漸站穩(wěn)了。

第二個(gè)獲得巨大影響力的東西，是預(yù)訓(xùn)練——更具體地說(shuō)，是“預(yù)訓(xùn)練這整套配方”。我認(rèn)為，現(xiàn)在大家做 RL 的方式，在某種意義上是在 反向抵消 預(yù)訓(xùn)練對(duì)思維方式的刻印。但預(yù)訓(xùn)練當(dāng)時(shí)有一個(gè)很突出的特性：你只要多做預(yù)訓(xùn)練，模型在幾乎所有任務(wù)上的能力就會(huì)“整體變好”。

于是，在人們心里就變成了：“預(yù)訓(xùn)練 → 通用能力 → AGI”。預(yù)訓(xùn)練帶來(lái) AGI。

但 AGI 和預(yù)訓(xùn)練后來(lái)在某種意義上是 overshoot（ overshoot 目標(biāo)）了。如果你認(rèn)真思考“AGI”這個(gè)詞，特別是在預(yù)訓(xùn)練的語(yǔ)境下，你會(huì)發(fā)現(xiàn)：人類(lèi)其實(shí)并不是 AGI。人類(lèi)的確有一套基礎(chǔ)技能，但在人類(lèi)身上缺失的知識(shí)量同樣巨大。我們之所以能活下去，是因?yàn)槲覀儾粩嗟爻掷m(xù)學(xué)習(xí)。

所以，當(dāng)你在想：“假設(shè)我們成功做出了某種安全的超級(jí)智能”，問(wèn)題就變成：你要怎樣定義它？在持續(xù)學(xué)習(xí)的曲線上，它到底處在什么位置？

你可以想象，我們做出的是一個(gè)“超級(jí)聰明的 15 歲少年”：極度好學(xué)，動(dòng)力十足，但他知道的具體知識(shí)其實(shí)并不多，只是一個(gè)非常優(yōu)秀、非常勤奮的學(xué)生。然后你對(duì)它說(shuō)：“你去當(dāng)程序員吧”“你去當(dāng)醫(yī)生吧”“你去學(xué)這個(gè)、學(xué)那個(gè)”。于是你完全可以想象，這種系統(tǒng)的 部署過(guò)程本身 就包含了一個(gè)帶有試錯(cuò)性質(zhì)的學(xué)習(xí)階段。整個(gè)部署是一個(gè)過(guò)程，而不是把一個(gè)“已經(jīng)完工的終極產(chǎn)物”一下子砸到世界上。

Dwarkesh Patel：

我明白了。你在說(shuō)的“超級(jí)智能”，并不是一個(gè)一上來(lái)就已經(jīng)會(huì)做所有經(jīng)濟(jì)崗位、所有人的工作、掌握所有技能的“完型心智”。因?yàn)楸热缱钤绲?OpenAI 憲章對(duì) AGI 的定義就是：它能完成每一個(gè)工作、能做任何人類(lèi)可以做的事。而你現(xiàn)在提出的，是一種“可以學(xué)會(huì)做所有工作”的心智，而這才是你說(shuō)的“超級(jí)智能”。

Ilya Sutskever：是的。

Dwarkesh Patel：但一旦你有了這樣的學(xué)習(xí)算法，它被部署到世界里的方式，就會(huì)有點(diǎn)像一個(gè)人類(lèi)勞動(dòng)力加入組織開(kāi)始上班。

Ilya Sutskever：沒(méi)錯(cuò)，正是這樣。

Dwarkesh Patel：

接下來(lái)好像有兩種可能（也可能兩種都沒(méi)發(fā)生）。第一種是：這種 學(xué)習(xí)效率極高的算法，會(huì)在機(jī)器學(xué)習(xí)研究這個(gè)任務(wù)上，變得和你一樣好、甚至更好，從而在自我改進(jìn)中變得越來(lái)越“超人”。

第二種是：即便不會(huì)發(fā)生你剛才說(shuō)的那種遞歸式自我提升，如果你有一個(gè)單一的模型——這其實(shí)是你明確的愿景——它的多個(gè)實(shí)例被部署到整個(gè)經(jīng)濟(jì)當(dāng)中，分別去做不同的工作，在各自崗位上持續(xù)學(xué)習(xí)，把任何人類(lèi)能學(xué)到的技能都學(xué)會(huì)，而且是 同時(shí) 學(xué)會(huì)，然后再把這些學(xué)習(xí)成果匯總在一起，那么你最終就擁有了一個(gè) 功能上“超級(jí)智能”的模型——即便軟件本身沒(méi)有發(fā)生“遞歸自我改進(jìn)”。因?yàn)榇藭r(shí)，你已經(jīng)有了一個(gè)“能做經(jīng)濟(jì)中所有工作”的單一模型，而人類(lèi)是無(wú)法把大腦互相“合并”的。那你是否預(yù)期，從這種大規(guī)模部署中會(huì)出現(xiàn)某種“智能爆炸”？

Ilya Sutskever：

我認(rèn)為，我們非常有可能會(huì)迎來(lái) 高速的經(jīng)濟(jì)增長(zhǎng)。在廣泛部署的前提下，你可以做兩種互相有點(diǎn)沖突的判斷。

一種判斷是：當(dāng)你真的擁有一種 AI，它能非常快速地學(xué)會(huì)做很多事情，而且你還有很多這樣的 AI 時(shí)，除非有某種監(jiān)管機(jī)制刻意阻止（順便說(shuō)一句，這種監(jiān)管完全可能出現(xiàn)），否則把它們大量部署進(jìn)經(jīng)濟(jì)系統(tǒng)，會(huì)有極強(qiáng)的經(jīng)濟(jì)動(dòng)力。這種部署，很可能在一段時(shí)間內(nèi)帶來(lái)極其迅猛的經(jīng)濟(jì)增速。

問(wèn)題在于：這個(gè)“快”到底能有多快？這很難判斷。一方面，你有了一個(gè)極其高效的“工人”；另一方面，現(xiàn)實(shí)世界非常龐大，還有大量物理世界的東西，它們的運(yùn)轉(zhuǎn)速度受制于完全不同的因素。但從另一方面說(shuō)，AI 也可以介入這些流程。所以我覺(jué)得：非?？焖俚慕?jīng)濟(jì)增長(zhǎng)是完全有可能的。我們也會(huì)看到各種各樣的局面，比如不同國(guó)家有不同的規(guī)則，那些規(guī)則更寬松的國(guó)家，經(jīng)濟(jì)增速可能會(huì)更快。這些都很難預(yù)測(cè)。

Dwarkesh Patel：

在我看來(lái)，這其實(shí)是一個(gè)非常“危險(xiǎn)的平衡狀態(tài)”。極限情況下，我們知道這種東西在物理上是可能存在的：你有一個(gè)在學(xué)習(xí)能力上和人類(lèi)一樣強(qiáng)的系統(tǒng)，但它還能做到人類(lèi)做不到的事情——比如把自己的不同實(shí)例“合并在一起”。我們知道人類(lèi)是可能存在的，數(shù)字計(jì)算機(jī)也是可能存在的，只要把這兩者組合起來(lái)，就可以得到你剛才描述的東西。

而這種東西顯然會(huì)極其強(qiáng)大。你可以用“經(jīng)濟(jì)增長(zhǎng)”來(lái)形容這種力量——戴森球也是一種“經(jīng)濟(jì)增長(zhǎng)”，只不過(guò)是極端版的。另外一方面，一旦你雇進(jìn) SSI 的人，六個(gè)月之內(nèi)他們就可以“凈產(chǎn)出”為正；人類(lèi)學(xué)習(xí)本來(lái)就很快，而你說(shuō)的這個(gè) AI，會(huì)以極快的速度變得越來(lái)越聰明。你怎么理解“讓這個(gè)過(guò)程朝好的方向發(fā)展”這件事？為什么你覺(jué)得 SSI 有能力把這件事做對(duì)？我想問(wèn)的是：SSI 在這方面的計(jì)劃到底是什么？

Ilya Sutskever：

過(guò)去這一段時(shí)間里，我自己的想法發(fā)生了一些變化——其中一個(gè)變化是：我現(xiàn)在更強(qiáng)調(diào) 讓 AI 以“增量的方式”“提前部署到現(xiàn)實(shí)中”的重要性。AI 的一個(gè)巨大難點(diǎn)在于：我們現(xiàn)在討論的是尚不存在的系統(tǒng)，而這種系統(tǒng)很難被真正想象出來(lái)。

我覺(jué)得正在發(fā)生的一件事是：在實(shí)踐中，人們其實(shí)很難“真正感受到 AGI”。我們當(dāng)然可以談?wù)?AGI，但你可以試著想象：你現(xiàn)在和一個(gè)人談?wù)摗暗饶憷先醵嗖〉臅r(shí)候，生活是什么樣的”。你可以聊，你可以努力想象，但你會(huì)不斷回到當(dāng)前的現(xiàn)實(shí)，而那不是你的日常體驗(yàn)。我覺(jué)得，圍繞 AGI 及其未來(lái)力量的很多問(wèn)題，某種程度上都源自同一個(gè)事實(shí)：它太難被想象了。未來(lái)的 AI 會(huì)非常不同，也會(huì)非常強(qiáng)大。歸根到底，所謂“AI/AGI 的問(wèn)題”，其實(shí)就是“權(quán)力的問(wèn)題”：當(dāng)權(quán)力大到某個(gè)程度時(shí)，會(huì)發(fā)生什么？

在過(guò)去一年左右的時(shí)間里，我有一個(gè)重要的觀點(diǎn)轉(zhuǎn)變——這個(gè)轉(zhuǎn)變，可能也會(huì)“反向傳播”進(jìn)我們公司的整體規(guī)劃。這個(gè)轉(zhuǎn)變是：如果一件東西很難想象，你該怎么辦？那你就 必須讓人們看到它。你必須把它展示出來(lái)。我堅(jiān)持認(rèn)為，絕大多數(shù)在做 AI 的人，其實(shí)同樣很難真正想象它，因?yàn)槟菚?huì)遠(yuǎn)遠(yuǎn)超出他們?nèi)粘＝佑|到的一切。

我有一個(gè)明確的預(yù)測(cè)：隨著 AI 能力變得越來(lái)越強(qiáng)，人們的行為一定會(huì)發(fā)生改變，我們會(huì)看到很多前所未見(jiàn)的事情。我舉幾個(gè)例子。我認(rèn)為，無(wú)論好壞，前沿公司會(huì)對(duì)未來(lái)的走向起到非常重要的作用，政府也一樣。你會(huì)看到的一種情形是：原本極其激烈競(jìng)爭(zhēng)的公司，開(kāi)始在 AI 安全上進(jìn)行合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出過(guò)一個(gè)小小的第一步——而這種事在過(guò)去是沒(méi)有先例的。我在大概三年前的一次演講里就預(yù)測(cè)過(guò)：這種事終將發(fā)生。

我也認(rèn)為，隨著 AI 變得越來(lái)越強(qiáng)，而且這種“強(qiáng)”越來(lái)越顯而易見(jiàn)，政府和公眾也會(huì)出現(xiàn)一種強(qiáng)烈的“必須做點(diǎn)什么”的愿望。這是一股非常重要的力量——來(lái)自“把 AI 放到公眾面前”這件事本身。

這是第一點(diǎn)。第二點(diǎn)是：既然 AI 正在被構(gòu)建，那么接下來(lái)需要做什么？我堅(jiān)持認(rèn)為，接下來(lái)一定會(huì)出現(xiàn)這樣一種轉(zhuǎn)變：今天在做 AI 的人，其實(shí)并沒(méi)有真正感受到它的“力量”，因?yàn)樗F(xiàn)在犯的錯(cuò)誤太多。

但我相信，總有一天，AI 會(huì)真正開(kāi)始讓人“感覺(jué)很強(qiáng)大”。一旦那一刻到來(lái)，我認(rèn)為我們會(huì)看到所有 AI 公司在安全態(tài)度上的巨大轉(zhuǎn)變——他們會(huì)變得更偏執(zhí)，更警惕。我把這當(dāng)作一個(gè)預(yù)測(cè)，看將來(lái)會(huì)不會(huì)應(yīng)驗(yàn)。我之所以這么說(shuō)，是因?yàn)椋旱侥菚r(shí)，他們會(huì)親眼看到 AI 的力量不斷顯形。而今天發(fā)生的很多事情，在我看來(lái)，仍然是因?yàn)榇蠹以诳础爱?dāng)下這代 AI”時(shí)，很難想象“未來(lái)那代 AI”。

第三點(diǎn)要做的事，我說(shuō)的是整個(gè)行業(yè)層面，不只是 SSI，因?yàn)槟銊倓倖?wèn)到了我們公司的角色。問(wèn)題是：公司們究竟應(yīng)該立志去造一個(gè)什么樣的東西？大家這幾年其實(shí)被一種大思路鎖死了，那就是“自我改進(jìn)的 AI”。為什么會(huì)這樣？還是那句話：點(diǎn)子比公司少。但我認(rèn)為有另一個(gè)更好的目標(biāo)，而且我相信所有人最終都會(huì)想要它。

那就是：一種在穩(wěn)健意義上“關(guān)心一切有感知生命（sentient life）”的 AI。我甚至認(rèn)為，可以提出這樣一個(gè)論點(diǎn)：比起去構(gòu)建“只關(guān)心人類(lèi)生命”的 AI，構(gòu)建一個(gè)“關(guān)心所有有感知生命”的 AI，可能更容易做到。因?yàn)?AI 自身也會(huì)是有感知的生命。如果你考慮“鏡像神經(jīng)元”這樣的概念，以及人類(lèi)對(duì)動(dòng)物的共情——你可以說(shuō)它不夠多，但它確實(shí)存在——你就會(huì)發(fā)現(xiàn)，這可能是某種“涌現(xiàn)性質(zhì)”：我們?cè)诮Ｋ邥r(shí)，使用的是建模自我的那套神經(jīng)回路，這樣做是最省力的。

Dwarkesh Patel：

即便我們真的做出了一個(gè)“關(guān)心一切有感知生命”的 AI——我甚至不確定這是不是“解決對(duì)齊問(wèn)題”之后最該追求的目標(biāo)——仍然會(huì)有一個(gè)問(wèn)題：絕大多數(shù)有感知存在，將會(huì)是 AI 本身。未來(lái)可能會(huì)有萬(wàn)億、千萬(wàn)億數(shù)量級(jí)的 AI，而人類(lèi)只會(huì)是其中一小撮。如果目標(biāo)是讓人類(lèi)對(duì)未來(lái)文明有某種“掌控力”，那我就不確定“關(guān)心一切有感知生命”是不是最合適的準(zhǔn)則。

Ilya Sutskever：

你說(shuō)得對(duì)，它有可能不是最好的標(biāo)準(zhǔn)。我先說(shuō)兩點(diǎn)。第一，“關(guān)心一切有感知生命”，我認(rèn)為本身是有內(nèi)在價(jià)值的，這是一個(gè)值得納入考量的方向。第二，我覺(jué)得如果能有一個(gè) 相對(duì)簡(jiǎn)短的“備選思想清單”，供各家公司在關(guān)鍵時(shí)刻拿來(lái)參考，會(huì)非常有幫助。

第三，我認(rèn)為，如果有辦法能在某種程度上“封頂”最強(qiáng)超級(jí)智能的能力上限，那會(huì)在實(shí)質(zhì)上消除很多擔(dān)憂(yōu)。至于怎么做到，我也不確定，但如果我們?cè)谡務(wù)摰氖菢O其強(qiáng)大的系統(tǒng)，能夠給其能力設(shè)限，將會(huì)非常有意義。

Dwarkesh Patel：

在繼續(xù)討論對(duì)齊問(wèn)題之前，我想在這點(diǎn)上再追問(wèn)一下。你覺(jué)得“頂端的空間”到底有多大？你是怎么理解“超級(jí)智能”的？在你剛才提到的“學(xué)習(xí)效率”框架下，它是不是就是一個(gè)在學(xué)習(xí)新技能、新知識(shí)上極其迅速的系統(tǒng)？它是不是只是在策略數(shù)量、知識(shí)覆蓋上有一個(gè)更大的“池子”？它會(huì)不會(huì)有一個(gè)單一、統(tǒng)一的“中心體”，比其他一切都更強(qiáng)大？如果是這樣，它在你心中更像是一種“神一般”的存在，凌駕于整個(gè)人類(lèi)文明之上，還是說(shuō)更像是“另一種智能體”或“一簇智能體”？

Ilya Sutskever：

這一點(diǎn)上，不同的人會(huì)有不同的直覺(jué)。我覺(jué)得它肯定會(huì)非常強(qiáng)大。但我認(rèn)為最有可能發(fā)生的情況是：會(huì)有多個(gè)人工智能幾乎在同一時(shí)期被創(chuàng)造出來(lái)。如果某個(gè)集群足夠大——比如說(shuō)真的做到“一個(gè)大陸規(guī)模的數(shù)據(jù)中心”——那樣的東西就會(huì)極其強(qiáng)大。如果你真的有一個(gè)“按大陸來(lái)算規(guī)?！钡乃懔?，那上面的 AI 會(huì)非常非常強(qiáng)。

我現(xiàn)在唯一能肯定說(shuō)的是：如果我們?cè)谟懻摰氖悄欠N極端強(qiáng)大的 AI，真正“戲劇性強(qiáng)大”的那種，那最好是能在某種程度上對(duì)它們進(jìn)行約束，或者至少有某種共同的協(xié)議、約定之類(lèi)的東西。

超級(jí)智能到底讓人擔(dān)心什么？可以有一種解釋方式：

假設(shè)你有一個(gè)足夠強(qiáng)大的系統(tǒng)，真的強(qiáng)大到一定程度——然后你又說(shuō)，“我們得給它一個(gè)很‘正經(jīng)’的目標(biāo)，比如讓它非常專(zhuān)一地關(guān)心一切有感知生命（sentient life）?！薄?結(jié)果很可能會(huì)讓我們并不喜歡。這其實(shí)就是恐懼的來(lái)源。

也許，順便說(shuō)一句，答案之一是：你干脆 不要按常規(guī)意義去造一個(gè) RL agent。我想指出幾件事：在人類(lèi)身上，我認(rèn)為我們是“半 RL 智能體”。我們會(huì)追逐某種獎(jiǎng)勵(lì)，但情緒之類(lèi)的東西，會(huì)讓我們追一段時(shí)間就覺(jué)得膩了、累了，然后轉(zhuǎn)去追逐別的獎(jiǎng)勵(lì)。市場(chǎng)則是一種非常短視的智能體。進(jìn)化也是一樣：在某些方面非常聰明，在另外一些方面又極其愚蠢。政府則被有意設(shè)計(jì)成三個(gè)部分之間沒(méi)完沒(méi)了的拉鋸，這種結(jié)構(gòu)本身也有作用。我會(huì)從這些角度去想這件事。

還有一個(gè)讓討論變困難的原因是：我們討論的是一些 還不存在、也不知道怎么造出來(lái)的系統(tǒng)。這也是我真正的看法：我覺(jué)得當(dāng)前大家在做的這條技術(shù)路線，會(huì)繼續(xù)往前推進(jìn)一段距離，然后慢慢“耗盡邊際效應(yīng)”。它會(huì)不斷變好，但同時(shí)又始終到不了那個(gè)“真正的 It”。那個(gè)真正的、質(zhì)變意義上的 It，我們現(xiàn)在還不知道怎么造出來(lái)，而其中很大一部分，取決于能否搞清“可靠的泛化”到底是什么。

再說(shuō)一點(diǎn)：你可以從對(duì)齊（alignment）的角度來(lái)想。對(duì)齊之所以困難，其中一條就是：你去學(xué)習(xí)“人類(lèi)價(jià)值觀”的過(guò)程本身是很脆弱的；你學(xué)會(huì)如何去優(yōu)化這些價(jià)值觀的能力也很脆弱；你甚至?xí)娴膶W(xué)會(huì)“如何去優(yōu)化它們”。

那你也可以問(wèn)：這些是不是通通都是“不可靠泛化”的實(shí)例？為什么人類(lèi)在泛化上看起來(lái)好得多？如果模型的泛化能力也好得多，會(huì)發(fā)生什么？這種問(wèn)題現(xiàn)在都還沒(méi)有答案。

Dwarkesh Patel：

那我們?cè)撛趺聪胂蟆癆I 順利發(fā)展”的樣子？你已經(jīng)描述了 AI 可能如何演化：我們會(huì)有這種持續(xù)學(xué)習(xí)的智能體，AI 會(huì)非常強(qiáng)大，可能還會(huì)有很多個(gè)這樣的 AI。在你想象中，如果有許多個(gè)“大陸級(jí)算力”的智能體在世界里游走，這會(huì)有多危險(xiǎn)？我們?cè)撊绾巫屗兊貌荒敲次ｋU(xiǎn)？又怎樣在這個(gè)過(guò)程中維持一種平衡：一方面可能會(huì)出現(xiàn)未對(duì)齊的 AI、以及惡意行為者，另一方面又要讓系統(tǒng)整體保持穩(wěn)定？

Ilya Sutskever：

我之所以喜歡“關(guān)心一切有感知生命的 AI”這個(gè)設(shè)想，有一個(gè)原因。我們當(dāng)然可以討論它好不好，但如果 最早出現(xiàn)的那 N 個(gè)“戲劇性強(qiáng)大的系統(tǒng)”，真的做到了關(guān)心和愛(ài)護(hù)人類(lèi)，或者更廣義地關(guān)心一切有感知生命——當(dāng)然，這一點(diǎn)本身是必須實(shí)現(xiàn)的——如果這前幾代系統(tǒng)實(shí)現(xiàn)了這一點(diǎn)，我可以想象接下來(lái)在相當(dāng)長(zhǎng)一段時(shí)間里，事情會(huì)“發(fā)展得還不錯(cuò)”。

然后問(wèn)題變成：從特別長(zhǎng)期的角度看，會(huì)發(fā)生什么？我們?cè)鯓舆_(dá)成一個(gè)長(zhǎng)期均衡？我認(rèn)為這里是有一個(gè)答案的，盡管我并不喜歡這個(gè)答案，但它必須被認(rèn)真考慮。

從長(zhǎng)期看，你可以想象這樣一個(gè)世界：強(qiáng)大的 AI 已經(jīng)存在。在短期內(nèi)，你可以說(shuō)：我們實(shí)現(xiàn)了“全民高收入”，所有人都過(guò)得不錯(cuò)。但佛教不是說(shuō)過(guò)一句話嗎？“唯一不變的是變化?！?/strong> 一切都會(huì)變?？倳?huì)有某種政府或政治結(jié)構(gòu)，它運(yùn)行一段時(shí)間后會(huì)失效，然后新的結(jié)構(gòu)又冒出來(lái)，運(yùn)行一段時(shí)間，再失效。這種事情我們?cè)诂F(xiàn)實(shí)里見(jiàn)得太多了。

所以，在尋找長(zhǎng)期均衡時(shí)，有一種思路是：也許每個(gè)人都會(huì)擁有一個(gè)“為自己效勞的 AI”，這看上去很好。如果這樣的狀態(tài)可以無(wú)限期維持下去，那確實(shí)很不錯(cuò)。但問(wèn)題在于：這個(gè) AI 會(huì)替你掙錢(qián)，替你在政治體系里發(fā)聲，然后偶爾給你寫(xiě)一份小報(bào)告：“我最近做了這些，這是現(xiàn)在的局勢(shì)。”你一看：“不錯(cuò)，繼續(xù)保持。”而你本人其實(shí)已經(jīng)不再是一個(gè)真正的參與者了。那你就可以說(shuō)，這是一個(gè) 非常危險(xiǎn)的境地。

接下來(lái)我要補(bǔ)一句：我并不喜歡這個(gè)解決方案，但它確實(shí)是一個(gè)解。這個(gè)解是：人類(lèi)自己變成“半 AI”——某種 Neuralink++ 式的形態(tài)。因?yàn)槿绻@樣，一旦 AI 理解了什么，你也會(huì)理解那個(gè)東西——那種理解會(huì)被“整塊傳輸”到你這里。于是當(dāng) AI 置身于某個(gè)復(fù)雜情境中時(shí)，你本人也完整地參與在那個(gè)情境里。我覺(jué)得，這可能就是長(zhǎng)期均衡的答案。

Dwarkesh Patel：

我有點(diǎn)好奇，情緒這種東西是在幾百萬(wàn)、甚至幾十億年前的完全不同環(huán)境里被進(jìn)化出來(lái)的，但直到今天仍然在強(qiáng)烈影響我們的行為，這會(huì)不會(huì)本身就是一次“對(duì)齊成功”的例子？

我具體的意思是——我不確定用“價(jià)值函數(shù)”還是“獎(jiǎng)勵(lì)函數(shù)”來(lái)形容更準(zhǔn)確——大腦的腦干似乎有一個(gè)指令：“去和更成功的人交配。”

而大腦皮層是那個(gè)能理解“成功在現(xiàn)代語(yǔ)境下意味著什么”的部分?？墒牵X干仍然能夠把皮層“對(duì)齊”成這樣一種狀態(tài)：不管你如何在現(xiàn)代社會(huì)中定義“成功”（而我作為腦干其實(shí)不懂那個(gè)定義），你終究還是會(huì)去追逐這個(gè)指令。

Ilya Sutskever：

我覺(jué)得這里有一個(gè)更普遍的觀點(diǎn)：進(jìn)化是如何把這些高層次的欲望編碼進(jìn)我們身上的，這件事非常神秘。

對(duì)于“喜歡好吃的東西”這種欲望，進(jìn)化怎么做，我們還挺好想象：聞起來(lái)好聞的氣味對(duì)應(yīng)的是某些化學(xué)物質(zhì)，那你就去追逐這種化學(xué)物質(zhì)。這種“嗅覺(jué)驅(qū)動(dòng)的獎(jiǎng)勵(lì)”，進(jìn)化非常容易做出來(lái)。

但進(jìn)化還給我們植入了大量社會(huì)性的欲望。我們非常在意別人怎么看我們，在意自己在群體中的地位。這些社會(huì)直覺(jué)，我認(rèn)為很大程度上是 硬編碼 的。但我完全不知道進(jìn)化是怎么做到這一點(diǎn)的，因?yàn)槟鞘且活?lèi)“高層抽象”，是在大腦里以非常復(fù)雜的形式被表示出來(lái)的。

舉個(gè)例子：你在意某個(gè)社會(huì)評(píng)價(jià)，這并不是一個(gè)“底層信號(hào)”，不是像氣味那樣有一個(gè)感受器直接測(cè)得出來(lái)。大腦需要處理大量的信息碎片，把它們拼合起來(lái)才能理解“我在社會(huì)中的狀況如何”。而進(jìn)化 somehow 對(duì)你說(shuō)：“這就是你應(yīng)該在意的東西。”它是怎么做到的？

而且，它做得還挺快。我們關(guān)心的那些復(fù)雜社會(huì)關(guān)系，在進(jìn)化時(shí)間尺度上很可能都是 相對(duì)近期 才出現(xiàn)的。進(jìn)化在“硬編碼這些高層欲望”這件事上似乎非常得心應(yīng)手。我目前不知道有什么令人滿(mǎn)意的假說(shuō)能解釋這個(gè)過(guò)程。我自己也有過(guò)一些猜想，但沒(méi)有一個(gè)讓我真的滿(mǎn)意。

Dwarkesh Patel：

更讓人驚訝的是，如果說(shuō)“你在一生中學(xué)會(huì)的欲望是合理的”，那樣很好理解——因?yàn)槟愕拇竽X本身是智能的，所以你能學(xué)會(huì)“智能的欲望”。但這里的問(wèn)題似乎是：欲望本身寫(xiě)在基因里，而基因本身并不智能。 你卻能從基因?qū)用婷枋龀鲞@么復(fù)雜的特征——一個(gè)我們甚至不知道怎么定義的特征，而且還能把它編進(jìn)基因里。

Ilya Sutskever：

是的，基本上可以這么說(shuō)?；蛘呶覔Q個(gè)說(shuō)法：如果你從“基因手里有哪些工具”這個(gè)角度來(lái)想，它可以說(shuō)：“好，我給你一套構(gòu)建大腦的配方?！?/p>

比如基因可以說(shuō)：“這里是一個(gè)把多巴胺神經(jīng)元接到嗅覺(jué)感受器上的配方。如果聞到某種‘好聞’的氣味，就觸發(fā)進(jìn)食?！?/p>

我可以想象基因做到這種事情——這是在它的能力圈里的。

但我剛才想表達(dá)的是：要想象基因做到“讓你在意一整套由大腦大型計(jì)算過(guò)程得到的高階結(jié)果”，就難得多了。這就是我想說(shuō)的全部。我可以給出一個(gè)我曾經(jīng)想過(guò)的猜測(cè)，并解釋為什么我覺(jué)得它大概率是錯(cuò)的。

大腦是有區(qū)域劃分的。我們有大腦皮層，它里面有很多區(qū)域。皮層在結(jié)構(gòu)上是“局部連接為主”，一個(gè)神經(jīng)元大多只跟附近的神經(jīng)元交流，這也是為什么會(huì)發(fā)展出不同功能區(qū)：如果你想做語(yǔ)音處理，負(fù)責(zé)語(yǔ)音的神經(jīng)元必須高度互聯(lián)，而由于每個(gè)神經(jīng)元只能主要連到附近的鄰居上，所以就必須形成一個(gè)“區(qū)域”。

這些區(qū)域在不同人之間的位置大致類(lèi)似。所以，也許進(jìn)化做過(guò)類(lèi)似這樣的事：它直接把“地理位置”硬編碼進(jìn)了獎(jiǎng)勵(lì)里。

比如說(shuō)：“當(dāng)大腦里坐標(biāo)是 X、Y、Z 的那一塊區(qū)域被激活時(shí)，這就是你應(yīng)該在意的東西?！?/p>

也許進(jìn)化就是這么做的，因?yàn)閺墓ぞ呦涞慕嵌瓤?，這的確是它能做到的。

Dwarkesh Patel：

不過(guò)，也有一些反例。比如，有些人生來(lái)失明，他們視覺(jué)皮層對(duì)應(yīng)的區(qū)域會(huì)被其它感官“征用”掉。我不知道具體怎么回事，但我會(huì)很驚訝，如果那些本來(lái)依賴(lài)視覺(jué)信號(hào)的欲望或獎(jiǎng)勵(lì)機(jī)制，在這些人身上就此失效了。

比如說(shuō)，即便一個(gè)人沒(méi)有視覺(jué)，他還能不能感受到“我希望周?chē)娜讼矚g我”這種東西？這一類(lèi)需求通常也會(huì)帶有視覺(jué)線索。

Ilya Sutskever：

我完全同意你說(shuō)的。而且還有一個(gè)更強(qiáng)的反例。有人在童年時(shí)期做過(guò)“切除半個(gè)大腦”的手術(shù)，但他們后來(lái)仍然擁有所有功能區(qū)，只是這些功能區(qū)全部遷移到了剩下的半個(gè)腦里。這說(shuō)明功能區(qū)的位置并不是固定的，那我剛才那個(gè)“按 GPS 坐標(biāo)硬編碼”的理論就不成立了。

如果那個(gè)理論是真的會(huì)很酷，但很顯然它不是。所以我覺(jué)得這就是一個(gè)謎——但這是個(gè)很有趣的謎。事實(shí)是：進(jìn)化確實(shí)找到了辦法，讓我們對(duì)社會(huì)性的東西極其在意，而且非常穩(wěn)定。就算是那些有各種精神問(wèn)題、情緒障礙的人，通常也仍然在意這些社會(huì)性評(píng)價(jià)。

“我們是一家徹頭徹尾的研究時(shí)代公司”

Dwarkesh Patel：

SSI 打算具體做些什么不一樣的事情？你們顯然是希望在那個(gè)關(guān)鍵時(shí)刻成為前沿公司之一。你創(chuàng)建 SSI，很大程度上應(yīng)該就是在想：“我有一套和其他公司不一樣的安全路徑。”那你們的差異究竟是什么？

Ilya Sutskever：

我的描述其實(shí)很簡(jiǎn)單：我認(rèn)為有一些想法是有前景的，我想把它們研究清楚，看它們是不是真的有前景。就這么簡(jiǎn)單。這是一種嘗試。

如果這些想法——尤其是那些圍繞“理解泛化”展開(kāi)的想法——最后被證明是對(duì)的，那我們就會(huì)有一些真正有價(jià)值的東西。

它們會(huì)不會(huì)真的被證明是對(duì)的？我們現(xiàn)在在做的是研究。我們是一家 徹頭徹尾的“研究時(shí)代公司”。過(guò)去一年我們其實(shí)已經(jīng)取得了不錯(cuò)的進(jìn)展，但我們還需要持續(xù)推進(jìn)，做更多研究。這就是我對(duì) SSI 的定位：我們作為一個(gè)“聲音”和“參與者”存在于這個(gè)時(shí)代。

Dwarkesh Patel：

你的聯(lián)合創(chuàng)始人、前 CEO 最近去了 Meta，很多人會(huì)問(wèn)：“如果你們真在不斷取得重大突破，那他離開(kāi)似乎有點(diǎn)說(shuō)不通?！蹦阍趺纯催@個(gè)問(wèn)題？

Ilya Sutskever：

對(duì)此我只想提醒一下幾個(gè)可能被人忘掉的事實(shí)，這些事實(shí)構(gòu)成了整個(gè)事件的背景，也解釋了發(fā)生了什么。

背景是：我們當(dāng)時(shí)正在按 320 億美金的估值融資，后來(lái) Meta 進(jìn)來(lái)，提出要收購(gòu)我們，而我說(shuō)了“不”。但是，我那位前聯(lián)合創(chuàng)始人在某種意義上說(shuō)的是“好”。結(jié)果就是，他得以獲得相當(dāng)可觀的 短期流動(dòng)性收益，而且他也是 SSI 唯一一個(gè)加入 Meta 的人。

Dwarkesh Patel：

聽(tīng)上去，SSI 的計(jì)劃是：在這段極其重要的歷史時(shí)期——當(dāng)人類(lèi)擁有超人智能的時(shí)候——成為站在前沿的一家公司。你們對(duì)“如何讓超級(jí)智能朝好的方向發(fā)展”有一套自己的看法，而其他公司也會(huì)嘗試自己的路徑。那從方法論上看，SSI 的做法到底與眾不同在哪里？

Ilya Sutskever：

最主要的差異在于：SSI 有一套不同的技術(shù)路線。這套路線在我看來(lái)是值得一試的，我們正在沿著它往前走。

我相信，最后大家會(huì)在策略上 逐漸收斂。我覺(jué)得，當(dāng) AI 的能力變得足夠強(qiáng)時(shí)，“正確策略是什么”這件事會(huì)變得越來(lái)越清晰：大概會(huì)是以下這種思路——你必須想辦法讓各方能坐下來(lái)對(duì)話，而且你希望第一個(gè)真正意義上的超級(jí)智能 AI 是對(duì)齊的，是以某種方式關(guān)心一切有感知生命、關(guān)心人類(lèi)、尊重民主等等，是這些目標(biāo)的某種組合。

我認(rèn)為這是所有人都應(yīng)該去爭(zhēng)取的狀態(tài)。這也是 SSI 在努力的方向。我也相信，在這個(gè)時(shí)間點(diǎn)上，或者說(shuō)很快，其他公司也會(huì)意識(shí)到：他們?cè)谂Φ?，其?shí)也是同一件事。我們拭目以待。我認(rèn)為，隨著 AI 變得越來(lái)越強(qiáng)，世界會(huì)被真正改變，人們的行為方式也會(huì)和今天大不相同。

Dwarkesh Patel：

既然說(shuō)到預(yù)測(cè)，那你對(duì)你剛才描述的那種系統(tǒng)——一個(gè)在學(xué)習(xí)能力上和人類(lèi)一樣好、之后還能變得“超人”的系統(tǒng)——時(shí)間表是怎樣的？

Ilya Sutskever：我覺(jué)得大概在 5 到 20 這個(gè)區(qū)間。

Dwarkesh Patel：5 到 20 年？

Ilya Sutskever：嗯。

Dwarkesh Patel：

我想把你心里的時(shí)間線“攤開(kāi)”講一講。是不是類(lèi)似這樣：接下來(lái)還有幾年，其他公司會(huì)沿著當(dāng)前這條路繼續(xù)做下去，然后這條路會(huì)“停滯”？這里的“停滯”是指什么？是說(shuō)他們的收入規(guī)模再怎么也只做到“幾千億美金級(jí)別”嗎？你對(duì)“停滯”的定義是什么？

Ilya Sutskever：

我覺(jué)得所謂“停滯”，可能表現(xiàn)為：不同公司的產(chǎn)品在外觀和能力上看起來(lái)越來(lái)越像。大概會(huì)是這種感覺(jué)。當(dāng)然，我也不確定，因?yàn)榧幢阍凇巴顟B(tài)”下，這些公司仍然可以獲得驚人的收入。只不過(guò)利潤(rùn)未必高，因?yàn)樗麄儠?huì)被迫拼命做差異化。但就收入而言，我覺(jué)得會(huì)非?？捎^。

Dwarkesh Patel：

不過(guò)，在你的模型里似乎有這樣一個(gè)含義：一旦“正確的解法”出現(xiàn)，各家公司最終會(huì)收斂到同一策略。我好奇你為什么這么認(rèn)為。

Ilya Sutskever：

我剛才講的更多是指在對(duì)齊策略上的收斂。技術(shù)路徑上，大家最終也很可能會(huì)收斂，但我剛才暗示的是：大家會(huì)在“到底應(yīng)該做什么樣的對(duì)齊方案”上逐漸看法趨同。

Dwarkesh Patel：

我想更好地理解你心里未來(lái)的展開(kāi)方式。現(xiàn)在我們有不同的公司，你覺(jué)得它們當(dāng)前的路子會(huì)持續(xù)帶來(lái)收入，但無(wú)法達(dá)到那種“類(lèi)人學(xué)習(xí)者”的層級(jí)。于是就出現(xiàn)了不同的“分支公司”：你們、Thinking Machines、以及其他實(shí)驗(yàn)室。也許其中某一家找到了真正的解法，然后它的產(chǎn)品一發(fā)布，所有人都意識(shí)到：“哦，原來(lái)還可以這樣?！?/p>

Ilya Sutskever：

我覺(jué)得，大家未必會(huì)立刻明白“具體該怎么做”，但會(huì)清楚地意識(shí)到：“有一種完全不同的東西是可能存在的?！边@本身就是一種信息。隨后，人們就會(huì)開(kāi)始想辦法去拆解它的工作原理。

不過(guò)我也認(rèn)為，還有一個(gè)我們剛剛沒(méi)展開(kāi)的話題：每當(dāng) AI 能力提升一個(gè)檔次，現(xiàn)實(shí)世界的運(yùn)作方式都會(huì)發(fā)生某種變化，盡管我現(xiàn)在說(shuō)不清楚具體會(huì)變成什么樣。我覺(jué)得這些變化會(huì)非常重要，但我暫時(shí)說(shuō)不出一個(gè)精確的圖景。

Dwarkesh Patel：默認(rèn)情況下，人們會(huì)預(yù)期：那家先做出這種模型的公司，會(huì)拿走幾乎所有收益，因?yàn)樗鼡碛心莻€(gè)在現(xiàn)實(shí)中不斷學(xué)習(xí)、不斷積累技能與知識(shí)的模型。那為什么你認(rèn)為，這種好處不會(huì)只集中在最早擁有“持續(xù)學(xué)習(xí)循環(huán)”的那家公司，而是會(huì)較為廣泛地分布？

Ilya Sutskever：

我覺(jué)得會(huì)發(fā)生的事情是這樣的。首先，看一看過(guò)去 AI 發(fā)展中已經(jīng)發(fā)生了什么：一家公司先取得突破，隨后另一家公司加速跟進(jìn)，過(guò)一段時(shí)間做出類(lèi)似的東西，兩者開(kāi)始在市場(chǎng)上競(jìng)爭(zhēng)，把價(jià)格壓下去。

我認(rèn)為，從市場(chǎng)運(yùn)行機(jī)制的角度看，以后大概率也會(huì)類(lèi)似。

這里我們討論的是“好結(jié)局”的世界。什么是好結(jié)局？就是我們擁有這些強(qiáng)大的、類(lèi)人學(xué)習(xí)者，而且它們……順便說(shuō)一下，我們還沒(méi)有談另一個(gè)值得考慮的設(shè)計(jì)維度：你可以讓它“很窄”，但同時(shí)又“很有用”。你可以擁有大量“窄領(lǐng)域的超級(jí)智能 AI”。

假設(shè)你有很多這樣的 AI，有一家公司憑此賺了很多錢(qián)，然后第二家公司進(jìn)入這個(gè)領(lǐng)域開(kāi)始競(jìng)爭(zhēng)。競(jìng)爭(zhēng)的方式往往是 專(zhuān)業(yè)化。競(jìng)爭(zhēng)喜歡專(zhuān)業(yè)化——你在市場(chǎng)里可以看到，在進(jìn)化里也可以看到。會(huì)涌現(xiàn)出大量不同的“生態(tài)位”，不同公司會(huì)占據(jù)不同的生態(tài)位。

在這個(gè)世界里，可能會(huì)是這樣的局面：

某一家 AI 公司在某個(gè)極其復(fù)雜的經(jīng)濟(jì)活動(dòng)領(lǐng)域遠(yuǎn)遠(yuǎn)領(lǐng)先；

另一家公司在另一個(gè)領(lǐng)域更強(qiáng)；

第三家公司可能在訴訟業(yè)務(wù)上最厲害。

Dwarkesh Patel：

但這是不是和“類(lèi)人學(xué)習(xí)者”的含義有點(diǎn)沖突？如果它真的是類(lèi)人學(xué)習(xí)者，那它按照道理可以學(xué)會(huì)……

Ilya Sutskever：

它確實(shí)可以學(xué)，但這里有一個(gè)“累積學(xué)習(xí)”的問(wèn)題。你已經(jīng)在一個(gè)領(lǐng)域投入了大量算力，積累了極深的經(jīng)驗(yàn)，成為那個(gè)領(lǐng)域的“怪物”。別人則在另一個(gè)領(lǐng)域做了同樣多的投入，成為另一個(gè)方向的怪物。你為了達(dá)到那個(gè)高度，已經(jīng)投入了大量人類(lèi)式的學(xué)習(xí)與訓(xùn)練。到了這個(gè)高點(diǎn)之后，后來(lái)者會(huì)說(shuō)：“我可不想從頭走一遍你走過(guò)的路。”

Dwarkesh Patel：

那這似乎要求很多公司 幾乎同時(shí) 拿到類(lèi)人的“持續(xù)學(xué)習(xí)智能體”，然后各自從不同的“分支”展開(kāi)搜索。如果是某一家最先拿到這套 learner，看上去就會(huì)變成：它完全有能力在經(jīng)濟(jì)里的每一個(gè)崗位上，部署自己的模型實(shí)例去學(xué)習(xí)這些工作。

Ilya Sutskever：

你的這個(gè)論證是成立的，我承認(rèn)這點(diǎn)。但我的強(qiáng)烈直覺(jué)是：現(xiàn)實(shí)不會(huì)按這個(gè)軌跡走。 理論上，也許你說(shuō)的路徑是通的；但在現(xiàn)實(shí)中，我覺(jué)得不會(huì)那樣發(fā)展。那句老話怎么說(shuō)來(lái)著：“理論上，理論和實(shí)踐沒(méi)有區(qū)別；實(shí)踐中，它們有區(qū)別。”我覺(jué)得這就是其中一個(gè)...