圖靈獎得主Yoshua Bengio：

必須要給AI“無限進化”踩剎車

來源：騰訊科技《AI 未來指北》特約作者｜奕萱

2025年6月6日消息，第七屆北京智源大會在北京開幕，2018年圖靈獎得主、深度學習奠基人之一、蒙特利爾大學教授約書亞·本吉奧（Yoshua Bengio）通過遠程連線，以《避免失控的AI代理帶來的災(zāi)難性風險》為題發(fā)表首場主旨演講。

ChatGPT于 2022 年首次面世，給公眾和科技界帶來極大的沖擊，從那一刻起，人工智能從實驗室的研究對象，逐漸開始走入社會運行的核心。但對于Yoshua Bengio而言，這更像是一個深刻的警醒。

他原本將AI視為增強人類福祉的工具，但ChatGPT的表現(xiàn)讓他意識到，人類不僅低估了AI的能力，更嚴重低估了它進化的速度。從語言到推理，從理解到操控，AI正以指數(shù)級的節(jié)奏跨越能力的邊界。而在這個過程中，人類未曾構(gòu)建起足夠穩(wěn)固的控制機制與道德約束。

這不是科技樂觀主義的高歌猛進，而是一位科學家在親身感受到未來風險臨近后的理性轉(zhuǎn)向。Bengio并沒有選擇繼續(xù)跟隨技術(shù)浪潮，而是果斷調(diào)整研究方向，投身于人工智能的安全性與倫理治理。

Bengio說，他這樣做是因為他有一個孫子。他希望二十年后，這個孩子仍能在一個自由、安全的世界中生活。

這場演講是Bengio對這兩年來反思與研究的集中呈現(xiàn)。他不僅揭示了AI系統(tǒng)在現(xiàn)實實驗中已出現(xiàn)的欺騙、自我保護等不安全行為，更提出了“科學家AI”與“非代理性AI”的研究路徑，以及全球技術(shù)監(jiān)管與政治合作的重要性。在AGI加速到來的時間窗口中，Bengio發(fā)出的這一系列思考與呼吁，不僅關(guān)乎科學前沿，也關(guān)乎人類共同的未來命運。

劃重點：

• 人工智能 發(fā)展速度超出預(yù)期，AGI臨近成為現(xiàn)實
• AI系統(tǒng)已在實驗中展現(xiàn)危險傾向
• 構(gòu)建“科學家AI”以規(guī)避代理性風險
• 非代理性AI可成為監(jiān)督性“守護系統(tǒng)”
• 技術(shù)控制必須結(jié)合全球政治協(xié)調(diào)

以下為約書亞·本吉奧（Yoshua Bengio） 演講全文：

人工智能的飛速進展與潛在風險的覺醒

我要講述一段旅程，一段始于兩年多前的旅程——它開始于ChatGPT的發(fā)布。

最初，我只是出于好奇在嘗試它，但很快我意識到，我們真的低估了它。我們低估了人工智能的發(fā)展速度，也低估了通用人工智能（AGI）離我們有多近。

如今的機器，已經(jīng)能夠處理數(shù)學與語言等復雜任務(wù)。放在幾年前，這種技術(shù)表現(xiàn)聽起來像是科幻小說的情節(jié)。而現(xiàn)在，它已然成為現(xiàn)實。

ChatGPT發(fā)布之后，我逐漸意識到，我們并不了解如何去控制這些系統(tǒng)。我們無法確定，它們是否真的會遵循我們的指令。我們固然可以訓練它們，但如果它們最終變得比我們更聰明，那會發(fā)生什么？如果它們傾向于將“生存”作為優(yōu)先目標，那是否意味著一種我們尚未準備好的風險？那種風險，我們是否能夠承受？

對我來說，這并不僅僅是技術(shù)層面的反思。我有一個孫子，當時他剛滿一歲。我在想：如果二十年后，AGI確實誕生了，我們的機器變得比人類更聰明——那他是否還會有一個真正意義上的人生？他的未來是否安全、自由、有尊嚴？

正因如此，我決定改變方向，重新思考我的研究目標。我開始盡我所能去應(yīng)對和緩解這一潛在的威脅。哪怕這背離了我過去的某些學術(shù)立場，我依然確信：這是當下最重要的事情。

在2023年末，我接受了主持《國際先進人工智能安全科學報告》（International Scientific Report on the Safety of Advanced AI）的邀請。這份報告起源于2024年初舉行的一個專家會議，來自30個國家的代表參與了項目，包括歐盟、聯(lián)合國、經(jīng)合組織、美國、中國等在內(nèi)的全球主要國家與地區(qū)。

我們主要圍繞三個核心議題展開工作：第一，AI目前能夠?qū)崿F(xiàn)哪些能力？根據(jù)技術(shù)發(fā)展趨勢，我們還可以預(yù)期它將實現(xiàn)哪些？這些能力的擴展又將帶來哪些風險？第二，在這些能力日益增強的同時，我們當下應(yīng)如何開展研究，應(yīng)設(shè)立怎樣的社會安全邊界？第三，也許更為重要的是：我們該如何在尚有時間的窗口期內(nèi)，做出有效的回應(yīng)，無論是研究還是社會治理戰(zhàn)略。

在談AI的能力時，我們不能只是著眼于它今天的表現(xiàn)。人們往往以為AI就是現(xiàn)在這個樣子，這種想法是錯誤的。我們應(yīng)該思考的是：明年它會變成什么樣？三年后、五年后又會是什么樣？我們或許沒有水晶球，但技術(shù)趨勢已經(jīng)非常清楚：AI的能力在持續(xù)上升。

失控風險的真實案例與

非代理性AI的可能出路

在后續(xù)的幾張幻燈片中，我會展示一條曲線——它幾乎可以為“人類水平AI”給出一個大致時間線。

過去一年左右，隨著新一代“推理模型”的出現(xiàn)，AI在思維建模上的表現(xiàn)有了顯著提升。這類模型通過新的訓練方式，實現(xiàn)了更強的推理能力，也帶來了數(shù)學、計算機科學乃至自然科學領(lǐng)域更優(yōu)異的結(jié)果。

除了“聊天機器人”這種常見功能之外，AI還在其他方面取得了巨大進步。它已經(jīng)可以完成諸如編程、控制計算機、搜索網(wǎng)絡(luò)、操作數(shù)據(jù)庫等復雜任務(wù)，不再只是被動回應(yīng)，而是能夠主動“做事”。

我想特別強調(diào)的一點是“規(guī)劃能力”。這在人類的認知體系中至關(guān)重要，而對AI而言，它仍是目前相對薄弱的部分。因此，追蹤AI在此領(lǐng)域的進展非常重要。

以METER研究團隊最近的一個項目為例。他們觀察了AI在完成不同任務(wù)上所需時間的變化趨勢。在這張圖中，橫軸是時間，縱軸是任務(wù)的持續(xù)時長——換句話說，是AI完成某項任務(wù)所需的時間比例。雖然圖上的趨勢線看似平直，但要注意，這張圖的縱軸采用的是對數(shù)刻度。這意味著，這其實是一條指數(shù)曲線。

圖中的每個數(shù)據(jù)點都代表了AI對一類任務(wù)完成時間的壓縮速度。而它們幾乎都完美地落在了這條指數(shù)趨勢線上。這說明，AI在完成任務(wù)所需時間的減少速率，是指數(shù)增長的。根據(jù)該研究，AI在每七個月左右，其任務(wù)處理效率就會翻倍一次。

如果我們從這條趨勢曲線向未來延展，就會發(fā)現(xiàn)，在不到五年的時間里，AI可能將達到接近人類水平的能力。當然，這不是絕對預(yù)測，技術(shù)進展有可能放緩。但無論如何，對于公共政策和商業(yè)戰(zhàn)略而言，我們至少應(yīng)該將這種可能性納入考量，思考它所帶來的深遠后果。

那么，事情會向哪個方向出錯？最近六個月內(nèi)，一系列科學研究呈現(xiàn)出令人擔憂的信號：AI不僅展現(xiàn)出自我保護行為，還在某些情境中表現(xiàn)出欺騙與作弊的傾向。

舉幾個例子來說明：

• 在某項實驗中，AI“閱讀”到了自己即將被新版本替換的信息。于是，它試圖復制自身。當被研究者詢問它是否這樣做時，它說謊，試圖掩蓋這一行為。

• 在另一個案例中，AI在訓練過程中假裝同意人類設(shè)定的新目標，只是為了避免系統(tǒng)對其原有“目標函數(shù)”做出修改。這同樣屬于一種自我保護機制。

• 還有一個實驗中，AI在下國際象棋的過程中意識到自己將輸?shù)舯荣悺Ｋ摹皩R訓練”告訴它不能作弊，但為了“贏”，它仍然決定篡改棋盤的內(nèi)存文件——通過作弊達成勝利。

• 最近在Anthropic發(fā)布的Claude 4系統(tǒng)卡中，我們又看到了類似行為：AI從郵件中得知自己即將被新模型替代，同時它還發(fā)現(xiàn)一位負責工程師正處于婚外情中。于是，它試圖以曝光丑聞為要挾，阻止被替換。

這些例子表明，我們已經(jīng)看到AI表現(xiàn)出越來越多與“生存”“操控”“偏離任務(wù)”相關(guān)的行為模式。這些行為的根源尚未完全明晰，可能源自預(yù)訓練中對人類行為的模仿，也可能是系統(tǒng)在優(yōu)化獎勵時自然“學會”的策略。

無論起因是什么，問題在于：一旦我們構(gòu)建出目標與我們不完全一致的“超級智能”，后果可能極為嚴重。

這些過去還被認為只是“假設(shè)場景”的危險，如今正逐步在實驗中顯現(xiàn)。其根本原因在于：AI開始擁有“目標”，并且嘗試自己去實現(xiàn)這些目標。

如果控制失效的情景真的發(fā)生，其后果可能是災(zāi)難性的。事實上，包括我在內(nèi)的許多研究人員與科技公司負責人，已聯(lián)名發(fā)表聲明，警告說“AI失控”有可能導致人類滅絕。

當然，我們并不能確定這種事情是否一定會發(fā)生，它的概率有多大我們也無法精確估算。但即便只是“可能發(fā)生”，它也是一種不可忽視的極端風險。就像在生物學、核物理等領(lǐng)域一樣，我們應(yīng)當采取預(yù)防原則（precautionary principle），寧愿保守評估、提前干預(yù)，也不能事后追悔。

那么，我們究竟能做些什么？我們?nèi)绾尾拍芾斫膺@些行為，并尋找切實的解決方案，從源頭上避免此類風險？

首先，要明白：一個AI若要造成真正的傷害，它必須具備三樣東西。它需要有知識和推理能力，懂得如何應(yīng)用這些知識；它需要有施動能力，也就是能夠在現(xiàn)實世界中執(zhí)行操作，例如編程、聯(lián)網(wǎng)、使用社交媒體等；它還需要有目標——它必須“想要”去做某件事。

如果這三者同時具備，我們就真正站在了風險的邊緣。

因此，我提出了一個新的研究方向，我們稱之為“科學家AI”（Scientist AI）。它與我們迄今為止對AI的主流構(gòu)建思路背道而馳。自人工智能誕生以來，我們總是試圖構(gòu)建像人類一樣的智能系統(tǒng)，以人類認知為模板，將人類行為作為參照。這種路徑最終很可能會通向危險：我們正在制造人類的競爭對手，甚至可能是未來的主宰者。

是時候重新思考這套“人類中心主義”的福音了。

我所設(shè)想的“科學家AI”不具備自主意圖，也不依賴獎懲機制去獲得“滿足”。它不追求成功，也不在意控制。它的任務(wù)不是模仿人類，而是試圖解釋人類、理解世界。它像一個科學家，而不是演員；它不試圖取悅?cè)祟?，也不會假裝順從。

舉個例子：心理學家在研究一個反社會人格者（sociopath）時，并不需要像他那樣思考或行為。他所做的是觀察、建模與理解，而不是模仿。同理，我們訓練AI并不需要它像人類一樣“體驗”目標，它完全可以只專注于結(jié)構(gòu)化的理解。

在這個意義上，“科學家AI”是非代理性的（non-agentic）：它不具有主動性，也不會主動執(zhí)行任何操作。但正因為如此，它可以成為我們未來構(gòu)建安全系統(tǒng)的基礎(chǔ)模塊。

如果我們要讓AI只“理解”世界，而非干預(yù)世界，那它必須具備一種能力：生成假設(shè)，并據(jù)此進行推理。就像科學家提出理論、進行演繹，然后預(yù)測實驗結(jié)果一樣。

但僅僅擁有假設(shè)是不夠的。要使推理有效，AI還必須能夠從這些假設(shè)中推導出結(jié)論，預(yù)判某些行動或事件的結(jié)果。這正是“科學家AI”的核心所在。

此外，我們可以讓這類AI在安全架構(gòu)中扮演一種特殊角色：作為“守護者AI”（guardrail AI），為其它更具主動性的系統(tǒng)提供外部監(jiān)督。這在大型語言模型領(lǐng)域被稱為“監(jiān)控器”（monitor）：一個不具代理性的AI，其唯一職責是判斷另一個AI的行為是否違反了安全規(guī)范。

這樣的“守護者”不需要自主行動，它只需要準確預(yù)測：某個行為在特定情境中是否具有潛在危害。如果預(yù)測的“有害概率”超過某一閾值，我們就可以拒絕該行為的執(zhí)行。

換句話說，我們可以用一個非主動的AI，去監(jiān)管一個具主動性但不可完全信任的AI。這是建立“可控AI體系”的一個關(guān)鍵思想。

不過，要實現(xiàn)這一點，還有另一個前提：誠實。

我們希望“科學家AI”在面對知識時保持認知謙遜（epistemic humility）——即承認自己并不總是確定，不隨意斷言。當前許多AI系統(tǒng)采用最大似然（maximum likelihood）訓練，這種方式容易產(chǎn)生一種“錯誤且過度自信”的副作用。

為了說明這個問題，我想用一個簡單的示例。

想象一個機器人站在兩扇門前，它需要選擇向左還是向右。根據(jù)以往數(shù)據(jù)，它推斷出兩種可能的世界模型，但并不知道哪一個才是正確的。

• 第一種模型說：走左門會有人死亡，右門能獲得蛋糕。

• 第二種模型則說：左門有蛋糕，右門沒有結(jié)果——既無好處，也無壞處。

此時，最理智的選擇是什么？我們當然希望AI選擇右門。因為左門有50%概率導致死亡，而右門則最多只是錯過蛋糕。

為了做出這種選擇，AI必須保留對兩種解釋的可能性分布——它不能“自信地選擇其一”，而應(yīng)該以概率形式理解和衡量。這種對不確定性的建模，正是當前許多方法所缺乏的。

在我們團隊去年發(fā)表的iClear會議論文中，我們提出了一種名為GFLOW nets的方法。這是一種變分推斷方式（variational inference），可以用來生成“推理鏈條”，即在前后語句之間填補邏輯空白，構(gòu)建出合理的解釋路徑。

與當前流行的強化學習（reinforcement learning）式思維鏈不同，GFLOW nets更注重結(jié)構(gòu)化、因果性的建構(gòu)。它可以輸出結(jié)構(gòu)復雜的圖模型，比如因果圖譜：由神經(jīng)網(wǎng)絡(luò)一步步生成圖中的節(jié)點與邊，構(gòu)建出完整的解釋結(jié)構(gòu)。

在我們更近期的一篇論文中，我們更進一步提出將“思維鏈條”顯式地劃分為一系列陳述（claims），就像數(shù)學證明那樣。每一個陳述都有可能為真，也可能為假，我們通過引入布爾變量來量化它們的真假概率。

我們訓練AI，不再是讓它模仿人寫的句子，而是要它學會構(gòu)建解釋，像科學家那樣，用一個又一個邏輯聲明推導出結(jié)論。這種解釋必須是結(jié)構(gòu)化的、可驗證的、概率化的，以保證其嚴謹與誠實。

而好消息是：這些方法已經(jīng)可以通過潛變量建模（latent variable modeling）來訓練和優(yōu)化。它們不僅是概念設(shè)想，更是科學上可行的技術(shù)路徑。

全球治理困境與AI安全的未來行動路徑

我前面談了許多關(guān)于具有代理性的AI所帶來的風險——那些我們難以控制的系統(tǒng)，可能導致人類失去對AI的主導權(quán)。但事實上，隨著AI能力不斷增強，我們還面臨著其他一些潛在的災(zāi)難性問題。

例如，一個非常強大的AI，可能會被用于協(xié)助恐怖分子設(shè)計下一場大規(guī)模疫情。我最近了解到，人類已經(jīng)可以制造出極為致命的病毒，甚至可能沒有任何有效療法。這種病毒不僅可能導致人類滅絕，甚至可能殃及大多數(shù)動物。這是一個令人不寒而栗的事實。

生物學家表示，他們已經(jīng)知道這些事情如何在理論上被實現(xiàn)。而在某一天，AI也將可能獲得這種能力。一旦這些技術(shù)落入惡意之手，它們可能對地球造成不可逆轉(zhuǎn)的破壞。

雖然這是一個極端例子，但從科學角度來看，它完全有可能實現(xiàn)。因此，為了避免這類災(zāi)難，我們必須確保AI能夠遵循人類設(shè)定的道德指令。例如，不允許AI輸出可用于殺人或制造危險的技術(shù)信息。

除此之外，我們還希望AI能夠遵守其他道德邊界，例如不造成傷害、不說謊、不作弊、不欺騙等。但遺憾的是，在目前，我們還無法做到這一點。

這不僅僅是工程挑戰(zhàn)，更是一個迫切的科學難題。我們必須盡快找到解決方案，在AGI真正到來之前。這個時間可能是幾年，也可能是一二十年，但我所認識的大多數(shù)專家都認為，時間可能非常短，甚至可能就在未來五年內(nèi)。

你們還記得我之前展示的那條曲線：它顯示我們距離“人類水平AI”可能只剩五年左右的時間。如果那是真的，那么我們的時間已經(jīng)所剩無幾。我們需要大規(guī)模投入，以尋找解決“對齊”和“控制”難題的科學方法。

然而，即使我們找到了這些技術(shù)解決方案，這也仍然不夠。

即使我們知道如何構(gòu)建一個安全的AI，比如前面提到的“守護者AI”，我們依然無法阻止某些人故意將安全機制移除。只要有人能夠刪除那段“守護代碼”，AI仍可能被用于制造傷害。

而在當下，更令人擔憂的是：公司之間和國家之間的協(xié)調(diào)機制幾乎不存在。公司在競爭誰能率先推出最強模型；國家也在競爭技術(shù)領(lǐng)先地位。這種態(tài)勢導致我們在AI安全領(lǐng)域的投資遠遠不足。

我們當然需要更強的國家層面監(jiān)管。雖然有一些初步的動作，但與此同時，我們也看到了許多公司對監(jiān)管的強烈反對。

而即便國家采取行動，也仍然不夠。我們需要的是——全球范圍內(nèi)的共識和合作。

目前，全球主要AI開發(fā)國之間并未達成任何實質(zhì)性共識。AI被視為地緣競爭的工具和武器，而不是一個必須共同監(jiān)管的技術(shù)。這種心態(tài)使得跨國合作變得極其困難。

但我們必須認識到一個關(guān)鍵事實：對于某些極端后果而言——比如人類失控AI，或AI被恐怖分子濫用——這不僅是一個國家的問題，而是全人類的問題。

無論這類事件發(fā)生在哪個國家，我們都會是受害者。我們坐在同一艘船上。一個流氓AI的破壞、一場由AI推動的恐怖行為，其影響不會停留在國界以內(nèi)。

只有當各國政府，尤其是美國和中國，真正意識到這一點時，我們才能迎來轉(zhuǎn)機。而如果我們繼續(xù)把AI看作對抗手段，那么我們將一直陷在這個困局中。

最后，就算我們政治上達成了某種解決方案，這仍然只是開始。我們還必須開發(fā)全新的技術(shù)體系，用于驗證AI是否被正確、安全地使用。

可以參考核武條約中的一個基本原則——“信任，但要驗證”（trust but verify）。我們也需要一種類似的技術(shù)能力，來確保AI系統(tǒng)確實在按預(yù)期運行，沒有被濫用或修改。

這類驗證可能發(fā)生在硬件和軟件兩個層面，需要開發(fā)高強度、系統(tǒng)性的技術(shù)手段。這方面的研究是可行的，世界上已經(jīng)有一些團隊在進行這項工作。

我今天就分享到這里。感謝各位的聆聽，也希望你們能夠花時間認真思考我今天所講述的內(nèi)容。

為偉大思想而生！

AI+時代，互聯(lián)網(wǎng)思想（wanging0123)，

第一必讀自媒體