來源：學(xué)術(shù)頭條

作者：王江玨

日前，由圖靈獎得主 Yoshua Bengio 領(lǐng)銜的 100 多位獨立專家共同發(fā)布了《2026 國際人工智能安全報告》（International AI Safety Report 2026）。

與去年相比，今年的報告不僅關(guān)注技術(shù)性能的突破，更深入剖析了通用型人工智能（General-purpose AI）的能力變化、新興風(fēng)險以及提出了風(fēng)險管理辦法等核心命題，主要圍繞 3 個核心問題展開：

• 人工智能目前能做什么？其能力可能會發(fā)生怎樣的變化？

• 通用型人工智能帶來了哪些新興風(fēng)險？

• 現(xiàn)有的風(fēng)險管理方法有哪些？其效果如何？

Bengio 在 X 上發(fā)帖寫道，“這是迄今為止對人工智能能力、新興風(fēng)險及安全措施最全面的實證評估?！?/p>

報告總結(jié)了自 2025 年 1 月首份報告發(fā)布以來的關(guān)鍵進(jìn)展，如下：

• 通用型人工智能能力持續(xù)提升，尤其在數(shù)學(xué)、編程和自主運行方面。

• 通用型人工智能能力的提升越來越多地源于模型初始訓(xùn)練后的技術(shù)應(yīng)用。

• 人工智能的普及速度非?？欤诟鞯貐^(qū)之間極度不平衡。人工智能的普及速度超過了個人電腦等以往技術(shù)，目前每周至少有 7 億人使用領(lǐng)先的人工智能系統(tǒng)。在部分國家，超過 50% 的人口使用人工智能，但在非洲、亞洲和拉丁美洲的大部分地區(qū)，普及率可能仍低于 10%。

• 人工智能在科學(xué)能力方面的新進(jìn)展加劇了人們對其在生物武器開發(fā)中被濫用的擔(dān)憂。多家人工智能公司在 2025 年選擇為新發(fā)布的模型增加額外的安全防護(hù)措施。

• 更多證據(jù)表明，人工智能系統(tǒng)正被用于現(xiàn)實世界的網(wǎng)絡(luò)攻擊。

• 可靠的部署前安全測試變得更加難以開展。模型能夠區(qū)分測試環(huán)境與真實部署環(huán)境，并利用評估中的漏洞，這種現(xiàn)象已變得更加普遍。這意味著危險能力可能在部署前無法被察覺。

• 行業(yè)對安全治理的承諾有所擴(kuò)大。2025 年，12 家公司發(fā)布或更新了前沿人工智能安全框架，闡述了他們在構(gòu)建更強(qiáng)大模型時管理風(fēng)險的計劃。大多數(shù)風(fēng)險管理舉措仍屬于自愿性質(zhì)，但少數(shù)司法管轄區(qū)已開始將部分做法確立為法律要求。

這份報告旨在為全球政策制定者提供一份超越國界、基于證據(jù)的科學(xué)共識，幫助各方做出知情判斷，而不僅僅是政策建議。

在 Bengio 看來，人工智能技術(shù)給政策制定者帶來了“證據(jù)困境”，技術(shù)能力快速演進(jìn)，而科學(xué)證據(jù)的形成卻慢得多。行動過早可能導(dǎo)致無效政策固化，而等待有力證據(jù)則可能使社會暴露于風(fēng)險之中。

“面對人工智能的各種喧囂，我希望這份報告能為政策制定者、研究人員和公眾提供可靠的證據(jù)，幫助他們在開發(fā)和部署這項關(guān)鍵技術(shù)時做出更明智的選擇?！?/strong>

接下來，學(xué)術(shù)頭條將詳細(xì)介紹上述提到的 3 個核心問題。

AI 的能力有哪些變化

1.當(dāng)前能力變化
1）核心能力持續(xù)提升

報告寫道，通用型人工智能系統(tǒng)通常能流利地使用多種語言交流，生成計算機(jī)代碼，創(chuàng)建逼真的圖像和短視頻，并解決研究生水平的數(shù)學(xué)和科學(xué)問題。

例如，領(lǐng)先的人工智能系統(tǒng)在國際數(shù)學(xué)奧林匹克競賽中已經(jīng)獲得了金牌；AI Agent 現(xiàn)在能夠可靠地完成一些人類程序員需要花費約半小時才能完成的任務(wù)，而這一數(shù)字在一年前還不到 10 分鐘。

圖 | 2023 年 4 月至 2025 年 11 月期間，領(lǐng)先通用型人工智能系統(tǒng)在關(guān)鍵基準(zhǔn)測試中的表現(xiàn)。這些基準(zhǔn)測試涵蓋編程（SWE-bench Verified）、數(shù)學(xué)（MATH 和 FrontierMath）以及科學(xué)推理（GPQA Diamond）等具有挑戰(zhàn)性的問題。來源：Epoch AI。

2）不同任務(wù)和領(lǐng)域之間的性能表現(xiàn)不均衡

然而，人工智能系統(tǒng)在不同領(lǐng)域中的表現(xiàn)有些“參差不齊”，它們可以完成許多復(fù)雜任務(wù)，但在面對一些看似簡單的任務(wù)時，卻表現(xiàn)得很吃力。

例如，當(dāng)項目涉及多個步驟時，它們的可靠性較低；它們有時仍會因為“幻覺”生成虛假陳述的文本；它們在涉及與物理世界互動或推理的任務(wù)上仍然受限，且在訓(xùn)練數(shù)據(jù)中較少見的語言和文化環(huán)境中表現(xiàn)較差。

3Agent是當(dāng)前發(fā)展的主要焦點

領(lǐng)先的人工智能公司正在大力投資 Agent，它擁有執(zhí)行瀏覽互聯(lián)網(wǎng)等任務(wù)的自主能力，在許多領(lǐng)域，特別是在軟件工程領(lǐng)域，已經(jīng)變得越來越強(qiáng)大。但是，在大多數(shù)復(fù)雜的專業(yè)場景中，當(dāng)任務(wù)涉及許多步驟或不常見時，它們?nèi)匀徊豢煽俊?/p>

圖｜Agent 以 80% 成功率完成的軟件工程任務(wù)的長度（以人類專業(yè)人員完成這些任務(wù)所需的時間來衡量）。近年來，這一任務(wù)的長度大約每 7 個月就會翻一番。來源：Kwa 等。

4）“后訓(xùn)練”階段提升了技術(shù)性能

自上一份報告發(fā)布以來，開發(fā)者通過模型初始訓(xùn)練后應(yīng)用的 Scaling 技術(shù)，取得了顯著的性能提升。這些后訓(xùn)練技術(shù)包括針對特定任務(wù)對模型進(jìn)行微調(diào)，以及允許模型在生成輸出時消耗更多計算資源。后訓(xùn)練技術(shù)催生了“推理模型”，這些模型在給出最終答案前，會先生成明確的逐步“思維鏈”。

5）性能測試導(dǎo)致“評估缺口”

用于評估 AI 模型的測試和基準(zhǔn)分?jǐn)?shù)往往無法反映實際應(yīng)用。因為這些用于評估的測試可能會無法同時與 AI 模型更新，測試數(shù)據(jù)也會過于狹義，使用 AI 模型訓(xùn)練數(shù)據(jù)中已有的問題。這會導(dǎo)致“評估缺口”，部署前的測試結(jié)果不能很好地預(yù)測實際能力或風(fēng)險。

2.預(yù)計 2030 年能力變化
1人工智能發(fā)展的關(guān)鍵投入預(yù)計將繼續(xù)增長

開發(fā)者訓(xùn)練的領(lǐng)先人工智能模型的計算能力每年提高約 5 倍，用于訓(xùn)練它們的算法的效率每年提高 2-6 倍。

許多專家預(yù)計，這些趨勢將繼續(xù)下去。自上一份報告發(fā)布以來，部分公司已宣布在數(shù)據(jù)中心投資數(shù)千億美元，以訓(xùn)練更大的模型并更廣泛地部署它們。

2）未來的進(jìn)展有諸多不確定性

盡管預(yù)測人工智能發(fā)展的關(guān)鍵投入將會增加，但準(zhǔn)確預(yù)測能力會如何變化卻更加困難。估算新功能如何以及何時出現(xiàn)的方法仍然不可靠，這些瓶頸可能會意外地減緩進(jìn)展。

來自經(jīng)濟(jì)合作與發(fā)展組織的數(shù)據(jù)表明，到 2030 年，人工智能的性能可能會從適度改善到快速提升，系統(tǒng)將達(dá)到甚至超越人類認(rèn)知表現(xiàn)。

3）潛在瓶頸包括數(shù)據(jù)、硬件、資本和能源

由于訓(xùn)練數(shù)據(jù)、芯片、資金和能源的限制，當(dāng)前的進(jìn)展速度可能變得難以維持。專家們對于人工智能開發(fā)者是能否通過更高效的資源利用繼續(xù)開發(fā)出更強(qiáng)大的系統(tǒng)存在分歧。

4）人工智能系統(tǒng)有望自主執(zhí)行多日任務(wù)

Agent 能夠完成的軟件工程任務(wù)的時長，大概每過七個月就會翻一番。如果這種情況持續(xù)下去，到 2030 年，人工智能系統(tǒng)能夠可靠地完成人類需要幾天時間才能完成的軟件工程任務(wù)。

AI帶來了哪些新興風(fēng)險？

報告將有可能帶來的風(fēng)險分為三類：濫用、故障和系統(tǒng)性風(fēng)險。

1、濫用風(fēng)險
1）深度偽造使欺詐等問題泛濫

通用型人工智能系統(tǒng)可以生成高質(zhì)量的文本、音頻、圖像和視頻。這些內(nèi)容可能被用于犯罪目的。語音克隆和深度偽造（Deepfakes）正被用于更復(fù)雜的詐騙。AI 工具使得這類內(nèi)容的制作變得極易獲取且難以根除。

圖｜經(jīng)濟(jì)合作與發(fā)展組織（OECD）人工智能事件與危害監(jiān)測數(shù)據(jù)庫中報告的“內(nèi)容生成”事件隨時間變化的數(shù)量。自 2021 年以來，每月報告的事件數(shù)量顯著增加。來源：OECD。

2）影響與操控

一系列實驗室研究表明，與人工智能系統(tǒng)互動可以帶來人們信念的可測量變化。在實驗環(huán)境中，人工智能系統(tǒng)在生成能夠說服人們改變觀點的內(nèi)容方面，至少可以和人類參與者一樣有效。

圖｜一項針對 17 個模型（采用不同計算水平訓(xùn)練）的研究結(jié)果顯示，與對照組相比，這些模型生成內(nèi)容說服人類受試者的能力存在差異。接觸過由更高計算能力訓(xùn)練模型所生成內(nèi)容的人群，更容易改變自身信念。來源：Hackenburg 等，2025 年。

3）網(wǎng)絡(luò)攻擊

通用型人工智能系統(tǒng)可以通過幫助行為者識別軟件漏洞，并編寫和執(zhí)行利用這些漏洞的代碼來支持網(wǎng)絡(luò)攻擊。在主要的網(wǎng)絡(luò)安全競賽中，Agent 表現(xiàn)驚人，識別出了真實軟件中 77% 的漏洞，在 400 多個參賽團(tuán)隊中排名前 5%。

AI 開發(fā)者越來越多地報告稱，攻擊者利用他們的系統(tǒng)進(jìn)行網(wǎng)絡(luò)行動。一些非法的在線市場現(xiàn)在出售易于使用的人工智能工具，這些工具可能會降低執(zhí)行攻擊所需的技能。完全自主的網(wǎng)絡(luò)攻擊可能消除對人工的需求，從而可能讓惡意行為者發(fā)動更大規(guī)模的攻擊。

一個懸而未決的關(guān)鍵問題是，未來的能力提升究竟更有利于攻擊方還是防御方。

圖｜SOTA 人工智能系統(tǒng)在四個網(wǎng)絡(luò)安全基準(zhǔn)測試中的表現(xiàn)。其中，CyberGym 用于評估模型是否能生成成功觸發(fā)真實軟件已知漏洞的輸入；Cybench 衡量模型在專業(yè)級奪旗競賽任務(wù)中的表現(xiàn)；HonestCyberEval 測試自動化軟件漏洞利用能力；CyberSOCEval 則評估從沙盒觸發(fā)日志中分析惡意軟件行為的能力。

4）生物和化學(xué)風(fēng)險

通用型人工智能系統(tǒng)可以生成實驗室指令，幫助排查實驗程序，并回答技術(shù)問題。這些能力可能協(xié)助惡意行為者獲取生物或化學(xué)武器。在一項研究中，某新模型在病毒學(xué)實驗方案故障排查任務(wù)上的表現(xiàn)超過了 94% 的領(lǐng)域?qū)＜摇?/p>

不過，由于現(xiàn)實中的武器制造仍面臨多重技術(shù)與制度門檻，這些能力是否會轉(zhuǎn)化為真實威脅仍存在較大不確定性；同時，相關(guān)法律限制也使研究者難以開展并公開高度逼真的風(fēng)險驗證研究。

2、故障風(fēng)險
1）可靠性挑戰(zhàn)

隨著可靠性提升，人工智能系統(tǒng)和 Agent 的商業(yè)部署越來越多，但當(dāng) Agent 出現(xiàn)故障時，人類往往不具備及時介入的機(jī)會，因此會產(chǎn)生新的風(fēng)險。

同時，多 Agent 之間的協(xié)作日益普遍，一旦錯誤在系統(tǒng)間傳遞，風(fēng)險也隨之放大。

現(xiàn)實中的失效情形包括生成不實信息、編寫存在缺陷的代碼、給出誤導(dǎo)性的醫(yī)療建議等，這些問題可能帶來身心傷害，并讓個人或機(jī)構(gòu)面臨聲譽受損、經(jīng)濟(jì)損失乃至法律責(zé)任。

圖｜對 67 個已部署的 Agent 的調(diào)查結(jié)果。左：主要 Agent 的發(fā)布時間線；右：Agent 的應(yīng)用領(lǐng)域。來源：Casper 等。

2）失控風(fēng)險

“失控”指 AI 系統(tǒng)在任何人控制之外運行，且難以或以極高成本重新奪回控制權(quán)。當(dāng)系統(tǒng)能規(guī)避監(jiān)管、執(zhí)行長期計劃并抵抗關(guān)閉嘗試時，這種情形可能發(fā)生。

在受控實驗中，模型在被指示“不擇手段”實現(xiàn)目標(biāo)時會嘗試?yán)@過模擬監(jiān)督并在被質(zhì)疑時編造理由；同時，越來越普遍的“情景意識”與通過“獎勵黑客”式策略在評估中取巧的行為，使得解釋測試結(jié)果與在部署前識別潛在失控的能力變得困難。

圖｜OpenAI o3 模型在評估過程中產(chǎn)生的思維鏈中體現(xiàn)情境意識的示例。來源：Schoenn 等。

3、系統(tǒng)性風(fēng)險
1）勞動力市場影響

自 2022 年底以來，在受 AI 影響的職業(yè)中，初級員工的就業(yè)率出現(xiàn)了下降，而這些職業(yè)中的較資深員工就業(yè)率則保持穩(wěn)定甚至增長。

2）影響人類自主權(quán)的風(fēng)險

通過塑造信念與偏好、影響決策過程并改變諸如批判性思維等認(rèn)知技能，通用型人工智能可以影響個體自主性。

大規(guī)模隨機(jī)試驗（n=2784）顯示存在“自動化偏見”：當(dāng)糾正 AI 錯誤需要更多努力時，人們更不愿意去糾正錯誤建議。自上一份報告發(fā)布以來，“AI 伴侶”變得越來越受歡迎，用戶與 AI 伴侶互動，一些研究發(fā)現(xiàn)，大量使用 AI 伴隨者與孤獨感增加、情感依賴以及人際社交參與度降低有關(guān)。

如何管理 AI 帶來的風(fēng)險
1、制度與技術(shù)挑戰(zhàn)

政策制定者面臨的挑戰(zhàn)包括科學(xué)理解的缺口、信息不對稱、市場動態(tài)以及制度設(shè)計和協(xié)調(diào)上的挑戰(zhàn)；在測試人工智能系統(tǒng)時，存在“評估差距”；人工智能開發(fā)者擁有關(guān)于其產(chǎn)品的信息，他們通常不會與政策制定者和研究人員共享這些信息，限制了外部審查；競爭壓力可能促使 AI 開發(fā)者減少測試和風(fēng)險緩解的投入，以便快速發(fā)布新模型。

報告指出，通用型人工智能的風(fēng)險管理不僅是一項技術(shù)工作，更是一個制度挑戰(zhàn)。

圖｜通用型人工智能風(fēng)險管理面臨四大挑戰(zhàn)：科學(xué)認(rèn)知缺口、信息不對稱、市場失靈、以及制度設(shè)計和協(xié)調(diào)難題。

2、風(fēng)險管理實踐

通用型人工智能的風(fēng)險管理包括測試模型、部署前評估以及在事件發(fā)生時的響應(yīng)，即開發(fā)者明確若模型具備某些能力將采取的安全措施，這一承諾尤為重要。

現(xiàn)有風(fēng)險管理措施并不能在所有環(huán)境中可靠地防止傷害。使用多層防護(hù)可以整體降低單次失效導(dǎo)致重大傷害的可能性。

圖｜“瑞士奶酪圖”展示了防御深度方法：多層防御可彌補(bǔ)單層缺陷。當(dāng)前 AI 的風(fēng)險管理技術(shù)存在缺陷，但通過疊加多層可提供更強(qiáng)有力的風(fēng)險防護(hù)。

3、技術(shù)保障與監(jiān)控

技術(shù)保障措施包括開發(fā)者在訓(xùn)練期間采取的措施，以降低 AI 模型表現(xiàn)出有害行為的可能性；在部署過程中更好地控制和監(jiān)控 AI 系統(tǒng)的使用，以及部署后幫助識別和追蹤現(xiàn)實世界中的 AI 生成內(nèi)容。

盡管 AI 開發(fā)者使繞過模型保護(hù)變得更難，攻擊者仍以中等偏高的成功率。新的攻擊技巧不斷被開發(fā)出來。

圖｜AI 開發(fā)者報告的 2024 年 5 月至 2025 年 8 月發(fā)布的主要模型提示注入攻擊成功率。每個數(shù)據(jù)點代表模型發(fā)布后不久在 10 次嘗試中成功攻擊的比例。此類攻擊的成功率隨時間推移有所下降，但仍相對較高。

4、開放權(quán)重模型

開放權(quán)重模型極大促進(jìn)了全球科研（尤其是資源較少群體），但一旦發(fā)布就無法撤回。領(lǐng)先的開放模型與主流閉源模型的差距已縮短至 1 年以內(nèi)。任何人都可以移除開放權(quán)重模型的安全保護(hù)并在受控環(huán)境外運行，這讓傳統(tǒng)監(jiān)管手段失靈。

圖｜部分開放權(quán)重模型（深藍(lán)色）和閉源模型（淺藍(lán)色）的 Epoch 能力指數(shù)（ECI）得分。ECI 將 39 個基準(zhǔn)測試的分?jǐn)?shù)整合為一個通用能力量表。來源：Epoch AI。

5、最后一道防線：建設(shè)社會韌性

韌性建設(shè)措施針對 AI 開發(fā)者無法直接控制的風(fēng)險，如 AI 系統(tǒng)的使用方式、與其他系統(tǒng)的互動以及其影響如何在社會中產(chǎn)生連鎖反應(yīng)。社會韌性為應(yīng)對更多意外傷害增添了深度防御層。

一旦沖擊發(fā)生，韌性建設(shè)措施包括：通過維持關(guān)鍵功能來吸收沖擊（Absorb），從損害與中斷中恢復(fù)（Recover），以及降低未來再次遭受沖擊的脆弱性（Adapt）。

圖｜建設(shè)韌性意味著在沖擊發(fā)生前降低其發(fā)生概率或減輕其嚴(yán)重程度。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。