（來源：MIT TR）

本文為《麻省理工科技評(píng)論》“糾偏熱潮”（Hype Correction）專題系列的一部分，該系列旨在重置人們對(duì) AI 的預(yù)期：AI 是什么、它能帶來什么、以及我們接下來該走向何處。

在當(dāng)下唱衰 AI，似乎有些不合時(shí)宜。

AI 末日論者（盡管他們中的許多人更愿意把自己稱作“AI 安全倡導(dǎo)者”）——這個(gè)規(guī)模不大，卻頗具影響力的群體由研究人員、科學(xué)家和政策專家組成。用最簡(jiǎn)單的話說，他們相信：AI 可能會(huì)強(qiáng)大到對(duì)反而對(duì)人類不利，而且會(huì)非常、非常不利。

他們認(rèn)為，如果缺乏更嚴(yán)格的監(jiān)管，行業(yè)可能會(huì)一路狂奔，沖向人類自身也無法控制的系統(tǒng)——這類系統(tǒng)會(huì)在通用人工智能（AGI）出現(xiàn)之后接踵而至。AGI 是個(gè)邊界模糊的概念，一般被理解為一種能做到人類能做的一切，而且做得更好的技術(shù)。

這種看法在 AI 領(lǐng)域遠(yuǎn)談不上普遍共識(shí)，但過去幾年里，“末日派”陣營(yíng)確實(shí)取得了一些顯著成果：他們參與塑造了拜登政府推出的 AI 政策，推動(dòng)并組織了有關(guān)設(shè)置國際“紅線”以防范 AI 風(fēng)險(xiǎn)的高調(diào)呼吁；隨著其中一些擁護(hù)者獲得科學(xué)界最負(fù)盛名的獎(jiǎng)項(xiàng)，他們也擁有了更大的“擴(kuò)音器”，而且影響力更強(qiáng)。

但過去六個(gè)月里發(fā)生的一系列變化，讓他們陷入被動(dòng)。隨著科技公司繼續(xù)以相當(dāng)于多個(gè)“曼哈頓計(jì)劃”的規(guī)模投資數(shù)據(jù)中心，卻無法確定未來需求是否能匹配這種建設(shè)體量，關(guān)于“AI 泡沫”的討論幾乎淹沒了其他聲音。

還有 8 月 OpenAI 發(fā)布最新基礎(chǔ)模型 GPT-5 一事——它多少讓人感到失望。但也許這幾乎是不可避免的，因?yàn)樗鞘飞媳怀醋鞯米顓柡Φ囊淮?AI 發(fā)布。OpenAI CEO 山姆·奧特曼曾夸口說，GPT-5 在每個(gè)主題上都“像一個(gè)博士水平的專家”，還對(duì)播客主持人西奧·馮（Theo Von）表示，這個(gè)模型好到讓他覺得自己“相對(duì)于 AI 簡(jiǎn)直毫無用處”。

許多人原本期待 GPT-5 會(huì)是邁向 AGI 的一大步，但不管它實(shí)際取得了什么進(jìn)展，都被一連串技術(shù)故障掩蓋了。與此同時(shí)，OpenAI 還做出一個(gè)令人費(fèi)解、隨后又迅速撤回的決定：在沒有預(yù)警的情況下關(guān)閉所有舊版模型的訪問權(quán)限。新模型在基準(zhǔn)測(cè)試上拿下了最先進(jìn)水平的分?jǐn)?shù)，但許多人在日常使用中仍覺得 GPT-5 反而退步了，哪怕這種感受可能并不完全公平。

這一切看起來似乎動(dòng)搖了“末日派”論證的某些根基。與此同時(shí)，另一個(gè)對(duì)立陣營(yíng)“AI 加速主義”則看到了新機(jī)會(huì)。他們擔(dān)心 AI 其實(shí)發(fā)展得不夠快，行業(yè)隨時(shí)可能被過度監(jiān)管扼殺，因此希望改變我們對(duì) AI 安全的處理方式，或者更準(zhǔn)確地說，改變我們不怎么處理 AI 安全的方式。

對(duì)那些“轉(zhuǎn)戰(zhàn)”華盛頓的產(chǎn)業(yè)人士而言，這一點(diǎn)尤為明顯。長(zhǎng)期風(fēng)投人士、后來出任特朗普政府 AI 事務(wù)主管的大衛(wèi)·薩克斯（David Sacks）宣稱：“末日派敘事是錯(cuò)的。”

白宮 AI 高級(jí)政策顧問、科技投資人斯里拉姆·克里希南（Sriram Krishnan）也附和道：“‘AGI 迫在眉睫’這種觀念一直是干擾項(xiàng)，而且有害，如今也基本被證明是錯(cuò)的?！保ㄋ_克斯和克里希南均未回應(yīng)置評(píng)請(qǐng)求。）

（當(dāng)然，在 AI 安全的爭(zhēng)論中還有第三個(gè)陣營(yíng)：通常與“AI 倫理”標(biāo)簽關(guān)聯(lián)的一批研究者與倡導(dǎo)者。他們也支持監(jiān)管，但往往認(rèn)為 AI 進(jìn)展速度被夸大，并常把 AGI 視為科幻故事或騙局，認(rèn)為它會(huì)分散我們對(duì)技術(shù)當(dāng)下威脅的注意力。不過，即便“末日派”真的式微，也未必會(huì)像加速主義者那樣，為他們帶來同樣的政策窗口。）

那么，“末日派”如今處在什么位置？作為“糾偏熱潮”（Hype Correction）專題的一部分，我們決定去問問這一運(yùn)動(dòng)中最知名的一些人物，看看最近的挫折與整體氛圍變化是否改變了他們的看法。政策制定者似乎不再認(rèn)真對(duì)待他們提出的威脅，他們會(huì)因此憤怒嗎？他們是否在悄悄調(diào)整“末日時(shí)間表”？

我們最近采訪了 20 位研究或倡導(dǎo) AI 安全與治理的人士，其中包括諾貝爾獎(jiǎng)得主杰弗里·辛頓（Geoffrey Hinton）、圖靈獎(jiǎng)得主約書亞·本吉奧（Yoshua Bengio），以及前 OpenAI 董事會(huì)成員海倫·托納（Helen Toner）等知名專家。采訪顯示，他們并未感到灰頭土臉或迷失方向，而是依舊堅(jiān)定投入，認(rèn)為 AGI 不僅可能出現(xiàn)，而且極其危險(xiǎn)。

與此同時(shí)，他們似乎也在面對(duì)一種近乎矛盾的處境。一方面，近期發(fā)展暗示 AGI 可能比他們此前認(rèn)為的更遙遠(yuǎn)一些，他們?yōu)榇硕嗌俑械剿闪艘豢跉狻！案兄x上帝，我們有更多時(shí)間了。”AI 研究者杰弗里·拉迪什（Jeffrey Ladish）說。另一方面，他們也對(duì)一些掌權(quán)者推動(dòng)與自己主張相反的政策感到沮喪。《AI 2027》這份警示性預(yù)測(cè)的主筆丹尼爾·科科塔伊洛（Daniel Kokotajlo）說，“AI 政策似乎在變得更糟”，并稱薩克斯與克里希南的推文“精神失常”且“不誠實(shí)”。

總體而言，這些專家把“AI 泡沫”的討論視為不過是一個(gè)小小的減速帶，把對(duì) GPT-5 的失望視為更具干擾性而非啟發(fā)性。他們整體上仍支持更強(qiáng)有力的監(jiān)管，并擔(dān)心政策層面的進(jìn)展正在變得脆弱。這里的進(jìn)展包括《歐盟人工智能法案》（EU AI Act）的落實(shí)、美國首部重要 AI 安全法案加州 SB 53 的通過，以及部分國會(huì)議員對(duì) AGI 風(fēng)險(xiǎn)的新關(guān)注。在他們看來，華盛頓可能會(huì)對(duì)那些“短期內(nèi)未能兌現(xiàn)炒作”的表現(xiàn)反應(yīng)過度，從而讓這些進(jìn)展受到?jīng)_擊。

有些人也急于糾正外界對(duì)“末日派”最根深蒂固的誤解。盡管批評(píng)者常嘲笑他們“總說 AGI 就在眼前”，他們卻表示這從來不是論證的關(guān)鍵部分。加州大學(xué)伯克利分校教授斯圖爾特·拉塞爾（Stuart Russell）說，這件事“并不在于是否迫在眉睫”。拉塞爾著有《Human Compatible: Artificial Intelligence and the Problem of Control》。我采訪的大多數(shù)人都說，在過去一年里，他們對(duì)“出現(xiàn)危險(xiǎn)系統(tǒng)”的時(shí)間預(yù)估其實(shí)略微延后了。這是一個(gè)重要變化，因?yàn)檎吲c技術(shù)格局可能在很短時(shí)間內(nèi)發(fā)生劇烈轉(zhuǎn)向。

事實(shí)上，他們中的許多人強(qiáng)調(diào)，更新時(shí)間表本身非常重要。托納告訴我，即便現(xiàn)在的時(shí)間表只是稍微拉長(zhǎng)，ChatGPT 時(shí)代的一條宏觀主線仍然是，全行業(yè)對(duì) AGI 的到來預(yù)期出現(xiàn)了顯著“壓縮”。她說，很長(zhǎng)一段時(shí)間里，人們預(yù)計(jì) AGI 還要幾十年才會(huì)出現(xiàn)。如今，大多數(shù)預(yù)測(cè)把它的到來放在未來幾年到 20 年之間。因此，即便我們多了一點(diǎn)時(shí)間，她和許多同行仍然認(rèn)為 AI 安全極其緊迫，而且事關(guān)重大。她對(duì)我說，如果 AGI 在未來 30 年內(nèi)的任何時(shí)候都有可能出現(xiàn)，“這就是一件天大的事。我們應(yīng)該讓很多人投入到這件事上?！?/p>

所以，盡管“末日派”正處在一個(gè)頗為尷尬的節(jié)點(diǎn)，他們的底線判斷依舊是：無論 AGI 何時(shí)到來（他們?cè)俅螐?qiáng)調(diào)，它很可能會(huì)到來），世界都遠(yuǎn)沒有準(zhǔn)備好

無論你怎么看待“末日派”的心態(tài)，都無法回避一個(gè)事實(shí)：在這個(gè)世界上，有些人確實(shí)擁有很大的影響力。下面就是這一領(lǐng)域中一些最具代表性的人物，用他們自己的話回望此刻。為了篇幅與表達(dá)清晰，采訪內(nèi)容經(jīng)過編輯與刪節(jié)。

杰弗里·辛頓：不確定未來會(huì)發(fā)生什么的諾獎(jiǎng)得主

杰弗里·辛頓（Geoffrey Hinton）：圖靈獎(jiǎng)得主，因開創(chuàng)深度學(xué)習(xí)獲諾貝爾物理學(xué)獎(jiǎng)。

過去幾年里最大的變化是，有一些很難被輕易忽視的人也在說，這些東西很危險(xiǎn)。比如前谷歌 CEO 埃里克·施密特（Eric Schmidt）就真正意識(shí)到這可能非常危險(xiǎn)。我和他最近去過中國，和一位政治局相關(guān)人士交流，也和上海市委書記談過，想確認(rèn)他是否真正理解這件事，他確實(shí)理解。我認(rèn)為中國的領(lǐng)導(dǎo)層對(duì) AI 及其危險(xiǎn)理解得更到位，因?yàn)樗麄兒芏嗳耸枪こ處煶錾怼?/p>

我一直關(guān)注的是更長(zhǎng)期的威脅：當(dāng) AI 變得比我們更聰明時(shí)，我們還能指望人類繼續(xù)保持控制權(quán)，甚至繼續(xù)與它相關(guān)嗎？但我不認(rèn)為任何事情是注定的。幾乎每一件事都存在巨大的不確定性，我們從未走到過這里。那些很自信地說自己知道會(huì)發(fā)生什么的人，在我看來反而顯得可笑。我覺得這種情況很不可能，但也許最終會(huì)證明，那些說 AI 被嚴(yán)重高估的人是對(duì)的。也許我們無法在當(dāng)前的聊天機(jī)器人之上再走多遠(yuǎn)，因?yàn)閿?shù)據(jù)有限而撞上墻。我不相信會(huì)這樣，我認(rèn)為不太可能，但并非不可能。

我也不相信像埃利澤·尤德科夫斯基（Eliezer Yudkowsky）那樣的人所說的，只要有人把它造出來，我們就都會(huì)完蛋。我們并不知道會(huì)這樣。

但綜合現(xiàn)有證據(jù)來看，我認(rèn)為可以合理地說，大多數(shù)非常了解 AI 的專家都相信，在未來 20 年內(nèi)出現(xiàn)超級(jí)智能的概率很高。谷歌 DeepMind CEO 戴密斯·哈薩比斯（Demis Hassabis）說可能只要 10 年。甚至連知名 AI 懷疑論者加里·馬庫斯（Gary Marcus）大概也會(huì)說：“如果你們做出一個(gè)混合系統(tǒng)，把傳統(tǒng)的符號(hào)邏輯加進(jìn)去，也許就能達(dá)到超級(jí)智能。”（編者注：馬庫斯在 9 月預(yù)測(cè) AGI 將在 2033 年到 2040 年之間到來。）

而且我不認(rèn)為有人相信進(jìn)展會(huì)停在 AGI。幾乎所有人都相信，AGI 出現(xiàn)幾年后就會(huì)有超級(jí)智能，因?yàn)?AGI 會(huì)比我們更擅長(zhǎng)制造 AI。

所以，雖然我覺得很明顯，形勢(shì)正在變得更艱難，但與此同時(shí)，人們也在投入更多資源去開發(fā)更先進(jìn)的 AI。我認(rèn)為進(jìn)展會(huì)繼續(xù)下去，僅僅因?yàn)橥度氲馁Y源正在變多。

約書亞·本吉奧：希望自己更早看見風(fēng)險(xiǎn)的深度學(xué)習(xí)先驅(qū)

約書亞·本吉奧（Yoshua Bengio）：圖靈獎(jiǎng)得主，《國際 AI 安全報(bào)告》主席，LawZero 創(chuàng)始人。

有些人認(rèn)為 GPT-5 的發(fā)布意味著我們撞上了墻，但從科學(xué)數(shù)據(jù)與趨勢(shì)來看，情況并不完全是這樣。

有人過度兜售“AGI 明天早上就會(huì)降臨”的說法——從商業(yè)角度也許說得通。但如果你看各類基準(zhǔn)測(cè)試，GPT-5 的表現(xiàn)基本符合你對(duì)那個(gè)時(shí)間點(diǎn)模型水平的預(yù)期。順帶說一句，不只是 GPT-5，Claude 和谷歌的模型也是如此。在一些 AI 系統(tǒng)此前并不擅長(zhǎng)的領(lǐng)域，比如 Humanity’s Last Exam 或 FrontierMath，它們現(xiàn)在的得分比年初高了很多。

與此同時(shí)，AI 治理與安全的整體局面并不樂觀。有一股強(qiáng)大的力量在反對(duì)監(jiān)管。這就像氣候變化一樣。我們可以把頭埋進(jìn)沙子里，祈禱一切會(huì)沒事，但這并不能解決問題。

與政策制定者之間最大的錯(cuò)位，是他們誤解了一個(gè)事實(shí)：如果 AI 進(jìn)步的趨勢(shì)持續(xù)下去，變化的尺度可能會(huì)非常巨大。商界和政府里的很多人只是把 AI 當(dāng)作又一種經(jīng)濟(jì)上很強(qiáng)大的技術(shù)。他們并不理解，如果趨勢(shì)繼續(xù)、我們逼近人類水平的 AI，它會(huì)在多大程度上改變世界。

和許多人一樣，我也在某種程度上對(duì)潛在風(fēng)險(xiǎn)視而不見。我本該更早意識(shí)到它會(huì)到來。但這很人性。你對(duì)自己的工作感到興奮，更愿意看到它好的一面，這會(huì)讓我們產(chǎn)生一點(diǎn)偏差，不太愿意真正關(guān)注可能發(fā)生的壞事。

即便只有很小的概率，比如 1% 或 0.1%，會(huì)造成一場(chǎng)讓數(shù)十億人喪命的事故，這也是不可接受的。

斯圖爾特·拉塞爾：認(rèn)為 AI 在進(jìn)步，但進(jìn)步得不夠快、無法阻止泡沫破裂的資深學(xué)者

斯圖爾特·拉塞爾（Stuart Russell）：加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)杰出教授，《Human Compatible》作者。

我希望把“討論生存風(fēng)險(xiǎn)”當(dāng)作“末日派”或“科幻”的觀點(diǎn)，最終會(huì)被視為邊緣看法。畢竟，大多數(shù)頂尖 AI 研究者和頂尖 AI 公司 CEO 都很認(rèn)真對(duì)待這個(gè)問題。

過去有人斷言 AI 永遠(yuǎn)不可能通過圖靈測(cè)試，或者永遠(yuǎn)不可能有系統(tǒng)能流利使用自然語言，或者永遠(yuǎn)不可能有系統(tǒng)能把車倒進(jìn)平行車位。所有這些斷言最終都被進(jìn)步推翻了。

人們正在花費(fèi)數(shù)萬億美元來推動(dòng)超人類 AI 的出現(xiàn)。我認(rèn)為他們需要一些新想法，但他們很有可能會(huì)想出來，因?yàn)檫^去幾年已經(jīng)出現(xiàn)了許多重要的新想法。

在過去 12 個(gè)月里，我比較一致的判斷是：有 75% 的概率，這些突破不會(huì)及時(shí)出現(xiàn)，從而無法把行業(yè)從泡沫破裂中救出來。因?yàn)槟壳暗耐顿Y規(guī)模隱含著一種預(yù)測(cè)：我們將擁有更好的 AI，并為真實(shí)客戶創(chuàng)造更大的價(jià)值。但如果這些預(yù)測(cè)沒有實(shí)現(xiàn)，股市里就會(huì)出現(xiàn)一地雞毛。

不過，安全論證并不在于是否迫近，而在于我們?nèi)匀粵]有解決“控制問題”。如果有人說，一顆直徑 4 英里的小行星會(huì)在 2067 年撞上地球，我們不會(huì)說“2066 年再提醒我一下，到時(shí)候再想”。我們并不知道開發(fā)出控制超級(jí)智能 AI 所需的技術(shù)要花多久。

從先例來看，核電站發(fā)生堆芯熔毀的可接受風(fēng)險(xiǎn)水平大約是每年百萬分之一。人類滅絕的后果遠(yuǎn)比這嚴(yán)重，所以也許可接受風(fēng)險(xiǎn)應(yīng)當(dāng)設(shè)為十億分之一。但企業(yè)給出的風(fēng)險(xiǎn)水平卻像是五分之一。他們不知道如何把它降到可接受的程度，而這就是問題所在。

大衛(wèi)·克魯格：試圖把 AI 安全敘事講清楚的教授

大衛(wèi)·克魯格（David Krueger）：蒙特利爾大學(xué)與本吉奧的 Mila 研究所機(jī)器學(xué)習(xí)助理教授，Evitable 創(chuàng)始人。

我認(rèn)為人們對(duì) GPT-5 的反應(yīng)確實(shí)有點(diǎn)過度反向糾偏。但之前確實(shí)存在熱炒。我的印象是，有好幾位 CEO 以不同程度的明確表述，基本都在說到 2025 年底，我們就會(huì)擁有可以隨時(shí)替換的人類遠(yuǎn)程員工的自動(dòng)化系統(tǒng)。但現(xiàn)在看起來有點(diǎn)平淡，智能體還并沒有真正到位。

我很驚訝，“預(yù)測(cè) 2027 年出現(xiàn) AGI”的敘事竟然能吸引如此多的公眾注意力。等到 2027 年如果世界看起來依舊很正常，我認(rèn)為很多人會(huì)覺得整套世界觀被證偽了。更讓我惱火的是，我在和人談 AI 安全時(shí)，對(duì)方常會(huì)默認(rèn)我相信危險(xiǎn)系統(tǒng)的時(shí)間表很短，或者默認(rèn)我認(rèn)為 LLM 或深度學(xué)習(xí)會(huì)帶來 AGI。他們給我加了很多并非論證所必需的額外前提。

我預(yù)計(jì)國際協(xié)調(diào)這個(gè)問題需要幾十年才能解決。所以即便危險(xiǎn)的 AI 還要幾十年才出現(xiàn)，它也已經(jīng)是緊迫問題了。很多人似乎沒抓住這一點(diǎn)。還有一種想法是：“等我們真的有一個(gè)非常危險(xiǎn)的系統(tǒng)再開始治理?！蹦蔷吞砹恕?/p>

我仍然認(rèn)為安全圈的人更傾向于在幕后與掌權(quán)者合作，而不是面向公民社會(huì)。這給了那些說“這不過是騙局或圈內(nèi)游說”的人彈藥。這并不是說這些敘事完全沒有事實(shí)依據(jù)，但底層風(fēng)險(xiǎn)仍然真實(shí)存在。我們需要更高的公眾認(rèn)知，以及更廣泛的社會(huì)支持，才能形成有效應(yīng)對(duì)。

如果你真的相信未來 10 年內(nèi)有 10% 的概率走向毀滅，我認(rèn)為任何理性的人只要認(rèn)真看一看都應(yīng)該得出這個(gè)判斷，那么你第一個(gè)念頭就會(huì)是：“我們?yōu)槭裁催€要這么做？這太瘋狂了?！币坏┠憬邮苓@個(gè)前提，這就是很合理的反應(yīng)。

海倫·托納：擔(dān)心 AI 安全失去公信力的治理專家

海倫·托納（Helen Toner）：?jiǎn)讨纬谴髮W(xué)安全與新興技術(shù)中心代理執(zhí)行主任，前 OpenAI 董事會(huì)成員。

我剛進(jìn)入這個(gè)領(lǐng)域時(shí)，AI 安全更多是一套哲學(xué)性的想法。如今，它已經(jīng)發(fā)展成機(jī)器學(xué)習(xí)中一組活躍的子領(lǐng)域，正在填補(bǔ)某些更“天馬行空”的擔(dān)憂與現(xiàn)實(shí)可測(cè)試系統(tǒng)之間的鴻溝。這些擔(dān)憂包括 AI 的算計(jì)、欺騙或逐利傾向，而我們現(xiàn)在已經(jīng)有更具體的系統(tǒng)可以去測(cè)試和驗(yàn)證。

AI 治理在緩慢改進(jìn)。如果我們有足夠時(shí)間去適應(yīng)，治理也能繼續(xù)緩慢推進(jìn)，我并不悲觀。但如果我們沒有太多時(shí)間，那我們很可能推進(jìn)得太慢了。

我認(rèn)為在華盛頓，GPT-5 普遍被視為一次令人失望的發(fā)布。圍繞 AI 的討論相當(dāng)兩極化：我們會(huì)在未來幾年里迎來 AGI 和超級(jí)智能嗎？還是說 AI 完全就是炒作、沒用、只是泡沫？擺鐘此前可能過度擺向“我們很快就會(huì)有極其強(qiáng)大的系統(tǒng)”，現(xiàn)在又開始擺回“這都是炒作”。

我擔(dān)心，一些 AI 安全人士給出的激進(jìn) AGI 時(shí)間表估計(jì)，正在把自己推向一種“狼來了”的處境。當(dāng)“2027 年出現(xiàn) AGI”的預(yù)測(cè)沒有成真時(shí)，人們會(huì)說：“看看這些人，把自己搞成了笑話，你們以后再也不該聽他們的?！比绻麄兒髞砀淖兞讼敕ǎ蛘咚麄兊牧?chǎng)其實(shí)是“我只認(rèn)為有 20% 的可能性，但這仍值得關(guān)注”，這種反應(yīng)并不誠實(shí)。我認(rèn)為這不該成為人們未來不再傾聽的理由，但我確實(shí)擔(dān)心這會(huì)造成嚴(yán)重的信譽(yù)打擊，而且會(huì)波及那些非常擔(dān)憂 AI 安全、卻從未宣稱過極短時(shí)間表的人。

杰弗里·拉迪什：現(xiàn)在認(rèn)為 AGI 更遙遠(yuǎn)，并為此感到慶幸的 AI 安全研究者

杰弗里·拉迪什（Jeffrey Ladish）：Palisade Research 執(zhí)行主任。

過去一年里，有兩件大事更新了我對(duì) AGI 時(shí)間表的判斷。

第一，高質(zhì)量數(shù)據(jù)的短缺，比我預(yù)想的更嚴(yán)重。第二，2024 年 9 月出現(xiàn)的第一個(gè)“推理”模型，也就是 OpenAI 的 o1，顯示強(qiáng)化學(xué)習(xí)的規(guī)?；任以纫詾榈母行?。幾個(gè)月后，你又看到從 o1 到 o3 的擴(kuò)展，在數(shù)學(xué)、編程和科學(xué)等更容易驗(yàn)證結(jié)果的領(lǐng)域里，表現(xiàn)強(qiáng)得離譜。但即便我們?nèi)栽诳吹匠掷m(xù)進(jìn)步，進(jìn)展本可以更快。

這些因素把我對(duì)“完全自動(dòng)化的 AI 研發(fā)開始出現(xiàn)”的中位數(shù)時(shí)間預(yù)估，從三年推遲到了大概五到六年。但這些數(shù)字某種程度上也是我自己估出來的，很難。我得強(qiáng)調(diào)一句：在這里做預(yù)測(cè)真的非常難。

感謝上帝，我們有更多時(shí)間了。在這些系統(tǒng)強(qiáng)大到足夠有能力、有策略，從而對(duì)我們的控制能力構(gòu)成真實(shí)威脅之前，我們可能擁有一個(gè)很短的機(jī)會(huì)窗口，去盡可能真正理解它們。

但看到人們以為我們已經(jīng)不再進(jìn)步，這件事也很嚇人，因?yàn)檫@顯然不是真的。我知道它不是真的，因?yàn)槲以谟眠@些模型。AI 這種進(jìn)步方式的一個(gè)副作用是，它到底進(jìn)步得有多快，對(duì)普通人來說變得越來越不直觀。

當(dāng)然，在一些領(lǐng)域不是這樣。比如看看 Sora 2，任何看過的人都能很明顯地感受到它比以前強(qiáng)太多。但如果你問 GPT-4 和 GPT-5 為什么天空是藍(lán)色的，它們給出的答案基本一樣，而且是正確答案。對(duì)于解釋天空為什么是藍(lán)色，這項(xiàng)能力已經(jīng)“飽和”了。所以我認(rèn)為，最能理解 AI 進(jìn)展的人，是那些真正用 AI 做開發(fā)，或者在非常困難的科學(xué)問題上使用 AI 的人。

丹尼爾·科科塔伊洛：早就預(yù)見批評(píng)將至的 AGI 預(yù)測(cè)者

丹尼爾·科科塔伊洛（Daniel Kokotajlo）：AI Futures Project 執(zhí)行主任，OpenAI 吹哨人，《AI 2027》主要作者。《AI 2027》描繪了一個(gè)生動(dòng)情景：從 2027 年開始，AI 在短短數(shù)月內(nèi)從“超人程序員”發(fā)展為“極度超級(jí)智能”的系統(tǒng)。

AI 政策似乎在變得更糟，比如“Pro-AI”超級(jí)政治行動(dòng)委員會(huì)（super PAC），它由 OpenAI 和安德森·霍洛維茨（Andreessen Horowitz）的高管在今年早些時(shí)候發(fā)起，旨在游說推動(dòng)去監(jiān)管議程；還有斯里拉姆·克里希南和大衛(wèi)·薩克斯那些精神失常和/或不誠實(shí)的推文。AI 安全研究仍以常規(guī)速度推進(jìn)，相比大多數(shù)領(lǐng)域這已經(jīng)快得令人興奮，但相比它所需要的速度仍然太慢。

我們?cè)凇禔I 2027》第一頁就寫明，我們的時(shí)間表其實(shí)略長(zhǎng)于 2027 年。所以即便在發(fā)布《AI 2027》時(shí)，我們也預(yù)期 2028 年會(huì)出現(xiàn)一批批評(píng)者，得意洋洋地說我們已經(jīng)被證偽，就像薩克斯和克里希南那些推文一樣。但我們當(dāng)時(shí)認(rèn)為，現(xiàn)在也仍然認(rèn)為，智能爆炸很可能會(huì)在未來五到十年內(nèi)的某個(gè)時(shí)點(diǎn)發(fā)生。等它發(fā)生時(shí)，人們會(huì)想起我們的情景，并意識(shí)到它比 2025 年能看到的任何其他敘事都更接近真實(shí)。

預(yù)測(cè)未來很難，但嘗試預(yù)測(cè)很有價(jià)值。人們應(yīng)該努力用一種具體、可證偽的方式表達(dá)自己對(duì)未來的不確定性。我們就是這么做的，而這么做的人并不多。我們的批評(píng)者大多并沒有提出自己的預(yù)測(cè)，反而經(jīng)?？浯蟛⑼崆覀兊挠^點(diǎn)。他們說我們的時(shí)間表比實(shí)際更短，或者說我們比實(shí)際更自信。

我對(duì) AGI 時(shí)間表變得更長(zhǎng)這件事感覺挺好，就像剛從醫(yī)生那里拿到更好的預(yù)后。但整體局面其實(shí)還是差不多。

https://www.technologyreview.com/2025/12/15/1129171/the-ai-doomers-feel-undeterred/