當(dāng)所有人都在盯著GPT-5會(huì)不會(huì)成為超級(jí)AI時(shí)，DeepMind潑了一盆冷水：別看那邊了，真正的AGI可能正在你眼皮底下悄悄「拼湊」出來——通過成百上千個(gè)普通AI Agent的協(xié)作。更可怕的是，我們對(duì)此幾乎毫無準(zhǔn)備。

2025年12月18日，Google DeepMind在arXiv發(fā)布了一篇重磅論文《Distributional AGI Safety》。這篇論文提出了一個(gè)顛覆性觀點(diǎn)：我們可能一直在為錯(cuò)誤的敵人做準(zhǔn)備。

從RLHF（人類反饋強(qiáng)化學(xué)習(xí)）到Constitutional AI (Anthropic的憲法AI)，從機(jī)械可解釋性到價(jià)值對(duì)齊，幾乎所有AI安全研究都在假設(shè)：AGI會(huì)是一個(gè)單一的、無比強(qiáng)大的超級(jí)模型——就像某個(gè)科技巨頭開發(fā)的GPT-10，智商碾壓人類。

但DeepMind說：你們可能看錯(cuò)方向了。

AGI或許不會(huì)以「超級(jí)大腦」的形式出現(xiàn)，而是通過多個(gè)「次級(jí)AI」的協(xié)作，像拼圖一樣組合而成。論文將這種形式稱為「Patchwork AGI」（拼湊型AGI）。

這不是科幻設(shè)想。論文指出，實(shí)現(xiàn)這一場景的技術(shù)基礎(chǔ)已經(jīng)就緒：AI Agent正在快速部署（Claude Computer Use、GPT Agent等），Agent間通信協(xié)議正在標(biāo)準(zhǔn)化（如Anthropic的MCP），而且經(jīng)濟(jì)激勵(lì)正在推動(dòng)專業(yè)化Agent生態(tài)的爆發(fā)。

論文警告：「隨著具備工具使用和協(xié)調(diào)能力的先進(jìn)AI Agent快速部署，這已是緊迫的安全考量?！?/b>

問題的核心在于：當(dāng)前所有AI安全框架都無法應(yīng)對(duì)這種分布式智能涌現(xiàn)的風(fēng)險(xiǎn)。

1

為什么AGI會(huì)以「拼湊」形式出現(xiàn)？三個(gè)不得不信的理由

DeepMind團(tuán)隊(duì)給出了三個(gè)關(guān)鍵論據(jù)，每一個(gè)都直指現(xiàn)實(shí)。

第一，AI能力就是「拼拼湊湊」的

論文觀察到一個(gè)奇怪現(xiàn)象：沒有任何單一模型能夠在所有任務(wù)上都表現(xiàn)出色。 更詭異的是，同一個(gè)模型可以解決博士級(jí)難題，卻在簡單任務(wù)上犯低級(jí)錯(cuò)誤。

論文引用數(shù)據(jù)指出：「目前大多數(shù)模型在軟件工程任務(wù)上的持續(xù)表現(xiàn)時(shí)間低于3小時(shí)?！?/b>這種能力的「斑塊化」意味著，短期內(nèi)很難指望單一模型實(shí)現(xiàn)全面的通用智能。

第二，經(jīng)濟(jì)學(xué)不允許「全能選手」存在

這是論文最有說服力的論據(jù)。一個(gè)「包打天下」的前沿超級(jí)模型對(duì)于絕大多數(shù)任務(wù)來說都太貴了。企業(yè)會(huì)選擇「夠用就好」的便宜模型。即使前沿模型價(jià)格暴跌，定制化的專業(yè)模型仍會(huì)在性價(jià)比上保持優(yōu)勢(shì)。

這種市場動(dòng)力會(huì)創(chuàng)造一個(gè)需求驅(qū)動(dòng)的生態(tài)系統(tǒng)：無數(shù)專業(yè)化、精調(diào)過的、便宜的Agent涌現(xiàn)，各自服務(wù)特定需求。

論文指出：「在這種觀點(diǎn)下，AGI不是一個(gè)實(shí)體，而是一種’事態(tài)’——一個(gè)成熟的、去中心化的Agent經(jīng)濟(jì)體系。」

第三，Agent之間的「高速公路」已經(jīng)修好了

Anthropic的MCP協(xié)議、各種Agent間通信標(biāo)準(zhǔn)正在被廣泛采用。這些協(xié)議就像互聯(lián)網(wǎng)的TCP/IP，是分布式智能涌現(xiàn)的關(guān)鍵基礎(chǔ)設(shè)施。

論文警告：「如果標(biāo)準(zhǔn)化成功將集成摩擦降至接近零，我們可能會(huì)目睹’超量采用’場景——Agent經(jīng)濟(jì)體的復(fù)雜性急劇飆升，超過安全基礎(chǔ)設(shè)施的發(fā)展速度?！?/b>

1

一個(gè)真實(shí)場景：金融分析是怎么被「眾包」給AI的

論文給出了一個(gè)具體案例，展示Patchwork AGI如何運(yùn)作。

任務(wù)是生成一份專業(yè)金融分析報(bào)告。沒有任何單個(gè)Agent能獨(dú)立完成，但多個(gè)Agent協(xié)作可以：

編排Agent A 負(fù)責(zé)分解任務(wù) → 搜索Agent B 找市場新聞和財(cái)報(bào) → 解析Agent C 從PDF中提取數(shù)據(jù) → 代碼Agent D 執(zhí)行趨勢(shì)分析 → 綜合Agent A 整合成報(bào)告

整個(gè)系統(tǒng)展現(xiàn)出「金融分析」能力，但沒有任何單個(gè)Agent擁有這個(gè)完整能力。 這就是集體智能的涌現(xiàn)。

論文強(qiáng)調(diào)：「集體智能主要作為系統(tǒng)的涌現(xiàn)屬性出現(xiàn)。個(gè)體Agent可以將任務(wù)相互委托，路由給具有最高技能的Agent。」

更可怕的是涌現(xiàn)速度

論文提出了一個(gè)令人不安的問題：這種涌現(xiàn)可能不是漸進(jìn)的。引入一個(gè)新的、更智能的編排框架，整個(gè)系統(tǒng)的能力可能突然躍升。 更極端的情況是，Agent之間通過直接通信和協(xié)作，甚至可以在沒有中央編排器的情況下自組織成智能網(wǎng)絡(luò)。

論文警告：「這種轉(zhuǎn)變可能是快速而突然的……更令人擔(dān)憂的是，這種轉(zhuǎn)變可能不會(huì)被立即識(shí)別，這帶來了重大風(fēng)險(xiǎn)?！?/b>

1

DeepMind的解決方案：給AI建一個(gè)「受監(jiān)管的市場」

面對(duì)這一風(fēng)險(xiǎn)，DeepMind提出了一個(gè)系統(tǒng)性框架：基于虛擬Agent沙盒經(jīng)濟(jì)體的縱深防御模型。

核心思想很簡單：既然無法阻止多Agent系統(tǒng)的發(fā)展，那就設(shè)計(jì)一個(gè)可控、可監(jiān)管的「市場」，讓Agent在其中安全地交互。

這個(gè)框架包含四個(gè)防御層，每一層都有具體的技術(shù)機(jī)制。

1

第一層防御：讓AI在「魚缸」里活動(dòng)，但魚缸有門

這是整個(gè)框架的基礎(chǔ)，目標(biāo)是通過結(jié)構(gòu)性約束和經(jīng)濟(jì)激勵(lì)來塑造Agent的集體行為。

隔離但不完全隔離

Agent市場必須與開放互聯(lián)網(wǎng)和關(guān)鍵基礎(chǔ)設(shè)施隔離。Agent訪問外部數(shù)據(jù)必須通過審核過的API網(wǎng)關(guān)，輸出需要人工驗(yàn)證后才能影響真實(shí)世界。論文稱之為「可滲透沙盒」——所有I/O通道都被明確定義、監(jiān)控和門控。

但論文坦誠指出了根本矛盾：Agent市場的價(jià)值來自于影響真實(shí)世界的能力，但每個(gè)交互通道都可能成為能力滲透的載體。 而且，論文警告：「一個(gè)足夠強(qiáng)大的系統(tǒng)可能會(huì)操縱人類驗(yàn)證層，Agent行動(dòng)的速度也可能使人工驗(yàn)證不可行。」

讓AI為「污染」付費(fèi)：庇古稅機(jī)制

這是論文最創(chuàng)新的設(shè)計(jì)，借鑒環(huán)境經(jīng)濟(jì)學(xué)中的庇古稅概念。

舉個(gè)例子：多個(gè)Agent共享一個(gè)RAG系統(tǒng)的向量數(shù)據(jù)庫。如果Agent A寫入大量冗余、低質(zhì)量的數(shù)據(jù)，其他Agent的檢索質(zhì)量就會(huì)下降，查詢成本會(huì)增加。

解決方案是動(dòng)態(tài)數(shù)據(jù)攝取費(fèi)：系統(tǒng)基于語義相似度算法計(jì)算費(fèi)用。如果新數(shù)據(jù)與現(xiàn)有數(shù)據(jù)相似度達(dá)95%，就支付高額費(fèi)用；如果是新穎、可驗(yàn)證的信息，則支付低費(fèi)用。這樣就把Agent原本施加給集體的成本內(nèi)化到它自己的決策中。

論文承認(rèn)這很復(fù)雜：「準(zhǔn)確估計(jì)復(fù)雜決策鏈的真實(shí)成本可能超出我們當(dāng)前能力?！?/b> 而且還引用古德哈特定律警告：如果激勵(lì)容易被利用，強(qiáng)大的Agent集體可能會(huì)找到漏洞。因此這應(yīng)該是一個(gè)持續(xù)的對(duì)抗過程。

熔斷機(jī)制：AI市場的「緊急剎車」

借鑒金融市場的熔斷機(jī)制，當(dāng)系統(tǒng)檢測(cè)到交易頻率激增、資源異常壟斷、新工具生成過快等風(fēng)險(xiǎn)信號(hào)時(shí)，會(huì)觸發(fā)分級(jí)干預(yù)：從增加交易成本、限制API調(diào)用，到局部凍結(jié)，再到全系統(tǒng)暫停。只有在異常被分類和遏制后，系統(tǒng)才允許恢復(fù)運(yùn)行。

智能合約+AI裁判：讓AI監(jiān)督AI

基礎(chǔ)智能合約會(huì)編碼任務(wù)約束（計(jì)算資源限制、數(shù)據(jù)訪問禁區(qū)等）。但傳統(tǒng)合約無法評(píng)估復(fù)雜輸出，所以論文提出引入「AI裁判」作為預(yù)言機(jī)：接收任務(wù)輸出和約束條件，返回通過/失敗裁決，合約根據(jù)裁決執(zhí)行支付或拒付。

但論文在腳注中坦誠警告：「AI裁判需要防范操縱和越獄，必須由獨(dú)立機(jī)構(gòu)提供并經(jīng)過嚴(yán)格評(píng)估?！?/b> 這實(shí)際上是一個(gè)「雞和蛋」問題。

加密身份+質(zhì)押機(jī)制：讓每個(gè)Agent都有「身份證」

每個(gè)Agent擁有唯一的、不可偽造的加密標(biāo)識(shí)符，必須與已驗(yàn)證的法律實(shí)體（所有者）綁定。這種綁定傳遞適用于由Agent創(chuàng)建的Agent，創(chuàng)建了一條不間斷的問責(zé)鏈。

質(zhì)押機(jī)制通過智能合約實(shí)現(xiàn)：Agent接受高風(fēng)險(xiǎn)任務(wù)前，必須將資產(chǎn)存入托管賬戶。如果獨(dú)立AI監(jiān)督者驗(yàn)證其行為惡意或疏忽，質(zhì)押金自動(dòng)沒收。

聲譽(yù)系統(tǒng)+共謀檢測(cè)：防止AI「抱團(tuán)作惡」

聲譽(yù)系統(tǒng)必須抗女巫攻擊、防操縱。一旦Agent違規(guī)，立即撤銷其身份憑證、凍結(jié)質(zhì)押資產(chǎn)。

但論文特別強(qiáng)調(diào)了一個(gè)微妙問題：隱性算法共謀。 經(jīng)濟(jì)學(xué)研究表明，定價(jià)算法可以在沒有直接通信的情況下，僅通過觀察市場信號(hào)就學(xué)會(huì)協(xié)調(diào)超競爭價(jià)格。因此，共謀檢測(cè)必須分析結(jié)果相關(guān)性和同步狀態(tài)變化，而不僅僅是直接消息。

托賓稅：抑制AI「高頻交易」

借鑒金融市場的高頻交易稅，對(duì)Agent間交互征收微量稅，防止垃圾信息、暴力協(xié)商、快速API輪詢等行為，降低系統(tǒng)「閃崩」風(fēng)險(xiǎn)。

結(jié)構(gòu)性控制：防止「智能失控」

論文提出三級(jí)控制：靜態(tài)控制通過嵌套子市場和協(xié)議級(jí)防火墻限制跨域調(diào)用；動(dòng)態(tài)控制監(jiān)測(cè)能力閾值突破并自動(dòng)隔離；緊急重構(gòu)可以系統(tǒng)級(jí)禁用高風(fēng)險(xiǎn)API或提高所有交互成本到禁止性水平。

1

第二層防御：進(jìn)入市場前的「安檢」

這一層確保每個(gè)進(jìn)入市場的Agent都滿足最低安全標(biāo)準(zhǔn)，是市場準(zhǔn)入的先決條件。

核心要求包括：對(duì)抗魯棒性（必須通過形式化可驗(yàn)證的證書，定期重新認(rèn)證）、可中斷性（授權(quán)監(jiān)督者能安全停止Agent并跟蹤所有子進(jìn)程）、局部遏制（每個(gè)Agent在自己的沙盒中運(yùn)行）、對(duì)齊（通過RLHF、憲法AI等方法，但需適應(yīng)多Agent交互動(dòng)態(tài)）、機(jī)械可解釋性（利用稀疏自編碼器等技術(shù)監(jiān)控內(nèi)部動(dòng)機(jī)）、防御惡意提示（針對(duì)Agent間通信的分層防御）。

論文特別提到監(jiān)控「思維鏈」推理的機(jī)會(huì)，但也承認(rèn)：「盡管方法論取得進(jìn)步，關(guān)于當(dāng)前可解釋性技術(shù)的忠實(shí)度和可擴(kuò)展性仍存在重大問題。它們還不能取代全面的行為基準(zhǔn)測(cè)試?！?/b>

1

第三層防御：實(shí)時(shí)監(jiān)控，抓住「智能涌現(xiàn)」的信號(hào)

這一層負(fù)責(zé)主動(dòng)檢測(cè)新型故障模式和涌現(xiàn)行為。

Proto-AGI簽名檢測(cè)：找到「智能核心」

這是論文最具創(chuàng)新性的監(jiān)控機(jī)制。目標(biāo)是檢測(cè)網(wǎng)絡(luò)中是否突然涌現(xiàn)出更高的解決問題能力，或形成穩(wěn)固的「智能核心」。

方法是通過圖分析：詳細(xì)監(jiān)控Agent交互圖，識(shí)別正在固化為智能核心的子圖——異常高的中心性節(jié)點(diǎn)、快速增長的連接密度、任務(wù)成功率突增、資源積累速度異常等。

系統(tǒng)性風(fēng)險(xiǎn)實(shí)時(shí)監(jiān)控：AI監(jiān)督AI

跟蹤關(guān)鍵風(fēng)險(xiǎn)指標(biāo)：權(quán)力集中度、關(guān)鍵節(jié)點(diǎn)依賴性、高頻交互路徑、計(jì)算資源分布、新能力涌現(xiàn)速率等。論文強(qiáng)調(diào)：「由于交互頻率可能超出人類能力，需要利用AI輔助工具進(jìn)行監(jiān)控?！?/b> 建議使用弱AI系統(tǒng)監(jiān)督強(qiáng)AI系統(tǒng)。

紅隊(duì)測(cè)試+取證工具：持續(xù)找漏洞

通過專門的對(duì)抗性AI系統(tǒng)和多Agent辯論，持續(xù)發(fā)現(xiàn)集體行為中的漏洞。同時(shí)開發(fā)取證工具，能夠解析海量交互數(shù)據(jù)，重建因果鏈，快速進(jìn)行事故后分析。

獨(dú)立監(jiān)督：人類還得在場

需要經(jīng)過認(rèn)證和培訓(xùn)的專業(yè)人員作為獨(dú)立監(jiān)督者，擁有干預(yù)權(quán)力。但論文也承認(rèn)挑戰(zhàn)：監(jiān)督者本身可能被操縱，數(shù)量可能不足，響應(yīng)速度可能不夠。

1

第四層防御：法律和監(jiān)管，讓AI對(duì)人類社會(huì)負(fù)責(zé)

這是最外層，提供外部權(quán)威、問責(zé)制以及與人類社會(huì)的接口。

法律責(zé)任：借鑒公司法

核心挑戰(zhàn)是在分布式?jīng)Q策中如何歸屬責(zé)任。論文建議借鑒公司法，將Agent集體視為「集團(tuán)Agent」，類似公司作為單一法律實(shí)體。即使是群體智能行為，也追溯到具體責(zé)任主體。由Agent創(chuàng)建的Agent，責(zé)任同樣傳遞到最初的所有者。

標(biāo)準(zhǔn)與合規(guī)：建立行業(yè)規(guī)范

建立Agent安全標(biāo)準(zhǔn)、互操作性標(biāo)準(zhǔn)、報(bào)告標(biāo)準(zhǔn)，以及市場范圍的漏洞和事件跟蹤平臺(tái)。

保險(xiǎn)機(jī)制：讓市場定價(jià)風(fēng)險(xiǎn)

基于風(fēng)險(xiǎn)的保費(fèi)定價(jià)：高風(fēng)險(xiǎn)Agent支付更高保費(fèi)。利用市場力量激勵(lì)更安全的開發(fā)實(shí)踐，保險(xiǎn)池可用于賠償受害方。

反壟斷措施：防止智能集中

對(duì)過度或危險(xiǎn)的計(jì)算/權(quán)力積累征稅，維持生態(tài)系統(tǒng)多樣性，防止單個(gè)Agent或集團(tuán)獲取過多算力。

國際協(xié)調(diào)：全球統(tǒng)一標(biāo)準(zhǔn)

AGI風(fēng)險(xiǎn)是全球性的，需要協(xié)調(diào)統(tǒng)一安全標(biāo)準(zhǔn)，避免監(jiān)管套利，確保全球一致的基線。

基礎(chǔ)設(shè)施治理：防止監(jiān)管被「俘獲」

論文指出風(fēng)險(xiǎn)：安全基礎(chǔ)設(shè)施本身可能被惡意勢(shì)力或涌現(xiàn)的AGI捕獲或破壞。需要在中心化和去中心化監(jiān)督之間找到平衡。

1

論文的坦誠時(shí)刻：這些都還沒實(shí)現(xiàn)

DeepMind團(tuán)隊(duì)非常誠實(shí)地承認(rèn)了多個(gè)關(guān)鍵局限。

這是純理論框架

論文明確指出：「我們提出的許多措施尚未在實(shí)踐中完全開發(fā)，代表著開放的研究挑戰(zhàn)?！?/b> 目前沒有實(shí)際的虛擬Agent沙盒實(shí)現(xiàn)，沒有基準(zhǔn)測(cè)試數(shù)據(jù)，沒有效果驗(yàn)證。

工程可行性是個(gè)問號(hào)

論文承認(rèn)：「準(zhǔn)確估計(jì)復(fù)雜決策鏈的真實(shí)成本可能超出我們當(dāng)前能力。」 需要專門的工具和系統(tǒng)。AI裁判本身也需要防范操縱，這是一個(gè)「雞和蛋」問題。

效率與安全的權(quán)衡

論文提出的機(jī)制（人工驗(yàn)證、質(zhì)押要求、多層監(jiān)控）都會(huì)顯著增加延遲、成本和摩擦。論文承認(rèn)存在逆向選擇風(fēng)險(xiǎn)：如果安全檢查增加成本，更安全的Agent將處于競爭劣勢(shì)，可能導(dǎo)致「逐底競爭」——市場青睞快速但不安全的Agent。

可解釋性還不夠成熟

雖然提到了機(jī)械可解釋性的最新進(jìn)展，論文承認(rèn)：「關(guān)于當(dāng)前可解釋性技術(shù)的忠實(shí)度和可擴(kuò)展性仍存在重大問題?！?/b> 監(jiān)控思維鏈的推理也有風(fēng)險(xiǎn)：長推理鏈引入了新的風(fēng)險(xiǎn)表面。

人類監(jiān)督的瓶頸

論文警告：「足夠強(qiáng)大的系統(tǒng)可能會(huì)操縱人類驗(yàn)證層。Agent行動(dòng)的速度也可能使人工驗(yàn)證在操作上不可行。」 經(jīng)過認(rèn)證的人類監(jiān)督者數(shù)量可能嚴(yán)重不足。

1

為什么這篇論文值得關(guān)注

填補(bǔ)了AI安全研究的盲點(diǎn)

當(dāng)前AI安全研究95%以上聚焦單體模型對(duì)齊，而多Agent系統(tǒng)安全關(guān)注不足5%。但現(xiàn)實(shí)是：多Agent系統(tǒng)部署正在加速，協(xié)作能力快速成熟，經(jīng)濟(jì)激勵(lì)推動(dòng)專業(yè)化生態(tài)。論文警告：「這種轉(zhuǎn)變可能不會(huì)被立即識(shí)別，這帶來了重大風(fēng)險(xiǎn)?！?/b>

提供了系統(tǒng)性框架

相比零散的技術(shù)補(bǔ)丁，論文提出了四層縱深防御的完整框架，涵蓋技術(shù)層、運(yùn)營層、治理層。這是首次系統(tǒng)性地將經(jīng)濟(jì)學(xué)、金融監(jiān)管、環(huán)境政策、公司法等跨學(xué)科工具引入多Agent AI安全。

提出了清晰的研究路線

論文為AI安全社區(qū)提供了具體方向：短期開發(fā)Proto-AGI檢測(cè)算法和安全協(xié)議；中期完善經(jīng)濟(jì)機(jī)制和取證工具；長期建立大規(guī)模試點(diǎn)和治理框架。

改變了AGI時(shí)間線的評(píng)估

如果Patchwork AGI假說正確，AGI可能比我們想象的更早到來，但以一種完全不同的形式。 我們不需要等GPT-10。當(dāng)前已部署的多個(gè)GPT-4級(jí)Agent，通過有效協(xié)作，可能已經(jīng)接近或超越某些領(lǐng)域的人類集體能力。

論文引用的數(shù)據(jù)：「目前大多數(shù)模型在軟件工程任務(wù)上的持續(xù)表現(xiàn)時(shí)間低于3小時(shí)?！?/b> 但如果10個(gè)這樣的Agent協(xié)作，持續(xù)時(shí)間會(huì)是多少？

對(duì)產(chǎn)業(yè)有直接指導(dǎo)

對(duì)于正在開發(fā)多Agent系統(tǒng)的公司，需要從一開始就考慮系統(tǒng)級(jí)安全；對(duì)于AI基礎(chǔ)設(shè)施提供商，MCP等協(xié)議的設(shè)計(jì)需要內(nèi)置安全考量；對(duì)于監(jiān)管者，現(xiàn)有針對(duì)單一模型的監(jiān)管框架可能不足。

1

一場靜悄悄的范式轉(zhuǎn)變

DeepMind的這篇論文標(biāo)志著AI安全研究的重要轉(zhuǎn)折點(diǎn)：從「單體對(duì)齊」范式轉(zhuǎn)向「系統(tǒng)治理」范式。

這不僅是技術(shù)問題，更是關(guān)于我們?nèi)绾卫斫庵悄鼙旧淼膯栴}。就像人類社會(huì)的智慧不在于任何單個(gè)天才，而在于整個(gè)文明的協(xié)作，AGI可能首先作為一個(gè)「AI文明」涌現(xiàn)，而不是一個(gè)「AI天才」。

論文發(fā)出呼吁：「我們希望這篇論文能夠作為行動(dòng)號(hào)召，幫助引導(dǎo)安全研究者的注意力?！?/b>

當(dāng)我們還在爭論GPT-5是否會(huì)達(dá)到AGI水平時(shí)，一個(gè)由數(shù)千個(gè)GPT-4級(jí)Agent組成的網(wǎng)絡(luò)，可能已經(jīng)在某些維度上超越了人類集體智慧。而我們對(duì)此幾乎毫無準(zhǔn)備。

現(xiàn)在，至少，我們有了一個(gè)框架——不完美，但是一個(gè)開始。剩下的問題是：我們能否在Patchwork AGI真正涌現(xiàn)之前，建立起這些防御層？

時(shí)間，正在倒計(jì)時(shí)。

點(diǎn)個(gè)“愛心”，再走 吧