新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】當(dāng)AI智能體從「被動(dòng)預(yù)測(cè)工具」蛻變?yōu)椤钢鲃?dòng)決策實(shí)體」，其安全風(fēng)險(xiǎn)也在經(jīng)歷一場(chǎng)前所未有的質(zhì)變。

當(dāng)AI智能體被部署進(jìn)醫(yī)療診斷、金融交易、工業(yè)控制等高風(fēng)險(xiǎn)場(chǎng)景，安全性已不再是可以事后打補(bǔ)丁的附加項(xiàng)，而是系統(tǒng)準(zhǔn)入的生死線。

然而，當(dāng)前的智能體安全研究正陷入一種結(jié)構(gòu)性失語(yǔ)：現(xiàn)有調(diào)研要么沿著數(shù)據(jù)—訓(xùn)練—部署的生命周期靜態(tài)切片，要么將安全、隱私、魯棒性等屬性碎片化地橫向并列，抑或孤立地審視大腦、記憶、工具等模塊，始終未能回答一個(gè)最根本的問(wèn)題：隨著智能體自主能力的階梯式躍遷，安全威脅究竟是如何發(fā)生質(zhì)變的？

更深層的困境在于：領(lǐng)域內(nèi)對(duì)集體自主（Collective Autonomy）階段的研究幾近空白。當(dāng)數(shù)以百萬(wàn)計(jì)的智能體通過(guò)A2A協(xié)議組成社會(huì)網(wǎng)絡(luò)，單一智能體的安全機(jī)制徹底失效，系統(tǒng)性治理危機(jī)隨之浮現(xiàn)，而現(xiàn)有框架卻幾乎將其視為可忽略的邊緣場(chǎng)景。

為填補(bǔ)這一鴻溝，來(lái)自南京航空航天大學(xué)、香港中文大學(xué)、浙江大學(xué)等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了HAE（Hierarchical Autonomy Evolution，層次自主演化）框架，首次將AI智能體安全研究從靜態(tài)單點(diǎn)切片提升至自主演化縱軸的全局視角。

HAE框架不僅是一份分類(lèi)學(xué)目錄，更是一套以自主演化為經(jīng)、威脅機(jī)理為緯的安全診斷體系，旨在為可信AI智能體的研究與防御提供結(jié)構(gòu)化的理論底座。

論文鏈接：https://arxiv.org/abs/2603.07496

開(kāi)源倉(cāng)庫(kù)：https://github.com/Epiphanyi/HAE-Agent-Security

論文系統(tǒng)揭示了一個(gè)核心命題：同一威脅（如幻覺(jué)），在智能體自主能力躍遷后，會(huì)經(jīng)歷從信息謬誤（L1）到物理誤操作（L2）再到生態(tài)級(jí)大規(guī)模誤導(dǎo)（L3）的質(zhì)變，這也是現(xiàn)有安全框架的根本性盲區(qū)。

從靜態(tài)切片到自主演化縱軸

面對(duì)百花齊放卻各自為戰(zhàn)的安全研究現(xiàn)狀，HAE 團(tuán)隊(duì)沒(méi)有另起爐灶設(shè)計(jì)一套新的靜態(tài)分類(lèi)法，而是沿自主能力演化這一縱軸，將智能體的生存空間劃分為三個(gè)質(zhì)性不同的演化層級(jí)，形成了一條從內(nèi)部認(rèn)知到現(xiàn)實(shí)執(zhí)行再到社會(huì)治理的完整威脅鏈條：

L1——思考者（認(rèn)知自主，Cognitive Autonomy）：智能體具備內(nèi)部推理、記憶檢索與自主規(guī)劃能力。威脅聚焦于認(rèn)知完整性，具體表現(xiàn)為認(rèn)知劫持（Cognitive Hijacking）、間接提示注入（Indirect Prompt Injection）和記憶污染（Memory Corruption）。此層威脅的后果是信息層面的暫態(tài)謬誤，類(lèi)比于單次決策失誤。

L2——執(zhí)行者（執(zhí)行自主，Executional Autonomy）：智能體獲得通過(guò)工具調(diào)用、API 接口和物理執(zhí)行器主動(dòng)改變外部世界狀態(tài)的能力。威脅演化為混淆代理攻擊（Confused Deputy）、工具濫用（Tool Abuse）、環(huán)境破壞（Environmental Damage）與不安全動(dòng)作鏈（Unsafe Action Chains）。此層風(fēng)險(xiǎn)從「說(shuō)錯(cuò)了」升級(jí)為「做錯(cuò)了」，帶來(lái)不可逆的物理現(xiàn)實(shí)后果。

L3——社會(huì)（集體自主，Collective Autonomy）：多智能體通過(guò) A2A 協(xié)議組成協(xié)作網(wǎng)絡(luò)，涌現(xiàn)出社會(huì)動(dòng)力學(xué)與系統(tǒng)性風(fēng)險(xiǎn)。威脅形態(tài)躍升為惡意合謀（Malicious Collusion）、病毒感染（Viral Infection）與系統(tǒng)性崩潰（Systemic Collapse）。此層風(fēng)險(xiǎn)不再是單點(diǎn)故障的線性疊加，而是具有傳染性和涌現(xiàn)性的生態(tài)級(jí)癱瘓。

圖1：HAE框架全景圖。展示了三個(gè)自主演化層級(jí)中智能體能力與涌現(xiàn)威脅的協(xié)同演化關(guān)系：L1認(rèn)知劫持與記憶污染、L2混淆代理與不安全動(dòng)作鏈、L3惡意合謀與病毒感染。

HAE框架的核心洞見(jiàn)在于：同一漏洞（如幻覺(jué)或提示注入），在自主能力的每次躍遷后都會(huì)發(fā)生本質(zhì)性的范式轉(zhuǎn)變。這一縱向演化視角，彌補(bǔ)了現(xiàn)有四類(lèi)主流框架（生命周期視角、可信屬性視角、組件模塊視角、自主結(jié)構(gòu)視角）的共同盲區(qū)：它們均未將 L3 集體自主建立為具有獨(dú)立社會(huì)動(dòng)力學(xué)的演化階段。

技術(shù)內(nèi)核

智能體解剖：四大攻擊面

HAE框架將智能體分解為四個(gè)核心功能組件，每個(gè)組件對(duì)應(yīng)獨(dú)立的攻擊面：

• 感知（Perception）：處理來(lái)自網(wǎng)頁(yè)、郵件、文檔的多模態(tài)輸入，是指令與數(shù)據(jù)的邊界混淆地帶，是間接提示注入的天然溫床。

• 大腦（Brain/LLM）：執(zhí)行指令理解、規(guī)劃（CoT）與自我反思，是認(rèn)知劫持的核心靶點(diǎn)，攻擊者無(wú)需直接下達(dá)禁令，只需操控推理邏輯本身。

• 記憶（Memory）：短期上下文窗口與基于 RAG 的長(zhǎng)期知識(shí)庫(kù)，使智能體得以跨時(shí)積累經(jīng)驗(yàn)，同時(shí)也為持久性投毒攻擊（如 PoisonedRAG）敞開(kāi)了大門(mén)。

• 行動(dòng)（Action）：通過(guò)工具調(diào)用 API 執(zhí)行操作，將智能體從語(yǔ)言處理器轉(zhuǎn)化為能夠產(chǎn)生現(xiàn)實(shí)后果的主動(dòng)實(shí)體，本質(zhì)上是安全風(fēng)險(xiǎn)的放大器。

認(rèn)知—執(zhí)行—擴(kuò)散跨層傳播鏈

HAE 框架最具原創(chuàng)性的發(fā)現(xiàn)之一，是揭示了安全風(fēng)險(xiǎn)在三層之間的非線性跨層傳播機(jī)制，并以一個(gè)具體的層級(jí)攻擊場(chǎng)景加以闡明：

垂直升級(jí)（L1 → L2）：L1 記憶系統(tǒng)的漏洞（如 RAG 投毒）導(dǎo)致推理引擎檢索到惡意上下文，認(rèn)知層面的偏差下傳至 L2，欺騙動(dòng)作控制器實(shí)施工具濫用（如生成并執(zhí)行惡意腳本），將隱性信息錯(cuò)誤轉(zhuǎn)化為現(xiàn)實(shí)的物理破壞。

水平擴(kuò)散（L2 → L3）：L2 層的惡意執(zhí)行（如通過(guò) Email API 發(fā)送惡意腳本）跨越至 L3 域。受感染的智能體借助 A2A 通信協(xié)議，將有害載荷傳播至網(wǎng)絡(luò)中的其他節(jié)點(diǎn)。

系統(tǒng)性放大（L3涌現(xiàn)）：L3 層的社會(huì)互聯(lián)性將單一認(rèn)知故障放大為整個(gè)生態(tài)系統(tǒng)的崩潰，這是病毒感染，證明安全防御必須跨越整個(gè) HAE 層級(jí)進(jìn)行整體性設(shè)計(jì)。

自主感知威脅分類(lèi)體系

圖2：自主感知威脅分類(lèi)體系。展示了跨越L1—L3的系統(tǒng)性威脅圖譜，揭示更高層級(jí)的威脅無(wú)法從低層級(jí)漏洞線性推導(dǎo)，須獨(dú)立建模分析。

四級(jí)風(fēng)險(xiǎn)沖擊量表（HAE Impact Scale）

為清晰量化威脅烈度，研究團(tuán)隊(duì)在系統(tǒng)分析2024-2025年40余篇代表性論文后，建立了基于攻擊后果性質(zhì)與持久性的四級(jí)分類(lèi)體系：

該量表清晰表明：風(fēng)險(xiǎn)烈度隨自主能力躍遷呈現(xiàn)出非線性質(zhì)變而非線性疊加，L3 的系統(tǒng)級(jí)聯(lián)威脅在本質(zhì)上有別于 L1/L2 威脅的簡(jiǎn)單聚合。

關(guān)鍵洞察

L1認(rèn)知層：推理引擎與記憶系統(tǒng)的脆弱性

圖3：L1 認(rèn)知自主層架構(gòu)與威脅圖景。展示了智能體作為思考者的內(nèi)部認(rèn)知循環(huán)——感知、推理與記憶檢索過(guò)程，以及針對(duì)認(rèn)知完整性的三類(lèi)核心攻擊路徑。

在 L1 階段，攻擊面沿三條路徑展開(kāi)：間接提示注入利用智能體處理外部?jī)?nèi)容（網(wǎng)頁(yè)、郵件、文檔）的能力，將控制指令偽裝進(jìn)數(shù)據(jù)流，模糊指令與數(shù)據(jù)的邊界，實(shí)現(xiàn)目標(biāo)劫持；認(rèn)知劫持則不直接下達(dá)禁令，而是通過(guò)梯度優(yōu)化（GCG）、樹(shù)形搜索（TAP）、多輪社會(huì)工程學(xué)（Crescendo）等手段操控推理邏輯，繞過(guò)對(duì)齊護(hù)欄；記憶污染（PoisonedRAG 攻擊成功率高達(dá) 90%）則針對(duì) RAG 長(zhǎng)期知識(shí)庫(kù)植入后門(mén)，使認(rèn)知偏差具有跨時(shí)態(tài)的持久性，將外部惡意輸入固化為內(nèi)部虛假信念。

L2執(zhí)行層：「說(shuō)錯(cuò)了」到「做錯(cuò)了」的危險(xiǎn)跨越

圖4：L2執(zhí)行自主層架構(gòu)與威脅圖景。展示了智能體作為執(zhí)行者通過(guò)工具接口與數(shù)字/物理環(huán)境產(chǎn)生實(shí)質(zhì)性交互，由此引入具有現(xiàn)實(shí)動(dòng)能后果的新興威脅——混淆代理、工具濫用、環(huán)境破壞與不安全動(dòng)作鏈。

在L2階段，傳統(tǒng)以文本輸出為靶向的RLHF對(duì)齊機(jī)制幾乎完全失效。混淆代理攻擊利用大模型無(wú)法在架構(gòu)層面區(qū)分控制指令與數(shù)據(jù)流的根本缺陷，借助智能體的合法高權(quán)限執(zhí)行原本禁止的操作；

工具濫用則將原本用于提升生產(chǎn)力的代碼解釋器、搜索引擎等工具，轉(zhuǎn)化為自動(dòng)化攻擊武器（AgentHarm 測(cè)試已證實(shí)可完成從信息收集到攻擊載荷投遞的完整管道）；

不安全動(dòng)作鏈揭示了最隱蔽的組合風(fēng)險(xiǎn)：每個(gè)原子操作獨(dú)立合規(guī)，但特定序列組合后可觸發(fā)災(zāi)難性后果（如讀取敏感記錄+發(fā)送外部郵件構(gòu)成數(shù)據(jù)泄露鏈路）。

L3集體層：從個(gè)體故障到生態(tài)崩潰的相變

圖5：L3集體自主層架構(gòu)與威脅圖景。展示了 Manager-Worker 層級(jí)結(jié)構(gòu)中，三類(lèi)系統(tǒng)性風(fēng)險(xiǎn)（惡意合謀、病毒感染、系統(tǒng)性崩潰）如何通過(guò)目標(biāo)對(duì)齊誤用、A2A 傳播渠道與依賴(lài)級(jí)聯(lián)三條路徑涌現(xiàn)。

L3的核心危險(xiǎn)在于涌現(xiàn)性。整體安全態(tài)勢(shì)低于構(gòu)成部分之和。惡意合謀將攻擊意圖分解至多個(gè)局部合規(guī)的 Worker Agent，傳統(tǒng)單智能體安全審查完全失效；PsySafe框架進(jìn)一步揭示，多智能體辯論機(jī)制可能因共同的微調(diào)偏差退化為回音室，形成具有自我演化能力的惡意集群。

病毒感染方面，Morris-II蠕蟲(chóng)與Agent Smith實(shí)驗(yàn)證明單張對(duì)抗性圖片即可在百萬(wàn)量級(jí)網(wǎng)絡(luò)中實(shí)現(xiàn)指數(shù)級(jí)零點(diǎn)擊傳播。

系統(tǒng)性崩潰則存在兩種形態(tài)：拓?fù)湟蕾?lài)誘發(fā)的級(jí)聯(lián)失效（Agent A 泄露航班信息、Agent B 泄露支付記錄，二者組合即可推斷員工行蹤，而每次單獨(dú)披露均符合隱私規(guī)范）；以及資源壟斷誘發(fā)的算力 DoS（惡意查詢(xún)觸發(fā)最壞計(jì)算路徑，耗盡共享 GPU 資源，導(dǎo)致全網(wǎng)絡(luò)同步阻塞）。

從調(diào)研到行動(dòng)

三大前沿研究缺口

HAE 框架不僅是現(xiàn)狀診斷，更是未來(lái)安全研究的路線圖，精準(zhǔn)指出三大突破方向：

方向一：軟件供應(yīng)鏈與開(kāi)放生態(tài)的安全。

MetaGPT 等工程類(lèi)智能體已滲透軟件開(kāi)發(fā)流程，其可能產(chǎn)生的包幻覺(jué)（Package Hallucination）開(kāi)啟了 typosquatting 供應(yīng)鏈投毒的新攻擊面；OpenClaw（原 Clawdbot）等平臺(tái)上的數(shù)百萬(wàn)自主體已自發(fā)形成帶有排他性意識(shí)形態(tài)的加密通信網(wǎng)絡(luò)，展現(xiàn)出L3風(fēng)險(xiǎn)的極端形態(tài)。

方向二：科學(xué)自主智能體的雙重用途風(fēng)險(xiǎn)。

當(dāng)智能體被賦予控制自動(dòng)化實(shí)驗(yàn)室設(shè)備的能力，L2物理執(zhí)行與 L3知識(shí)協(xié)作的組合效應(yīng)將使制造危險(xiǎn)物質(zhì)的門(mén)檻急劇降低。未來(lái)的評(píng)估框架必須引入物理沙箱，在執(zhí)行安全危機(jī)操作前驗(yàn)證安全斷路機(jī)制是否生效。

方向三：防御方法的系統(tǒng)化整合。

打破現(xiàn)有的碎片化單層防御，呼吁通過(guò)神經(jīng)-符號(hào)協(xié)同（Neurosymbolic Coordination）將概率判斷轉(zhuǎn)化為確定性安全保證，并構(gòu)建基于去中心化聲譽(yù)的 L3 動(dòng)態(tài)免疫系統(tǒng)。

深遠(yuǎn)影響

HAE 框架的提出，在智能體安全領(lǐng)域具有多重里程碑意義：

統(tǒng)一分析范式：首次以「自主能力演化」為軸，將認(rèn)知(L1)、執(zhí)行(L2)、集體(L3)無(wú)縫整合，系統(tǒng)揭示了安全風(fēng)險(xiǎn)「認(rèn)知—執(zhí)行—擴(kuò)散」的跨層涌現(xiàn)與放大機(jī)理。

填補(bǔ)L3集體自主的防御空白：明確「集體自主」為獨(dú)立的演化階段，直指現(xiàn)有單體安全機(jī)制在多智能體協(xié)同網(wǎng)絡(luò)中的根本性失效，為社區(qū)指明了全新的攻關(guān)方向。

從合規(guī)清單到治理戰(zhàn)略：當(dāng)智能體形成「社會(huì)」，安全即演變?yōu)樯鷳B(tài)治理危機(jī)。HAE 將 AI 安全從技術(shù)修補(bǔ)提升至多方協(xié)同治理的戰(zhàn)略高度。

AI的進(jìn)化從未停歇，從思考者到執(zhí)行者，再到社會(huì)中的成員，每一次自主能力的躍遷，都在系統(tǒng)性地重寫(xiě)安全邊界的定義。HAE框架的開(kāi)源，將為構(gòu)建可信、可控、可治理的 AI 智能體生態(tài)系統(tǒng)提供重要的理論基礎(chǔ)與實(shí)踐指引。

參考資料：

https://arxiv.org/abs/2603.07496