在大語(yǔ)言模型不斷走向智能體化、并通過(guò)工具調(diào)用直接作用于真實(shí)世界的今天，安全問(wèn)題已經(jīng)不再停留在“說(shuō)什么”，而是轉(zhuǎn)向“會(huì)做什么”。當(dāng)模型能夠調(diào)用代碼執(zhí)行器、數(shù)據(jù)庫(kù)和真實(shí) API 時(shí)，一次看似合理的工具調(diào)用，就可能直接引發(fā)現(xiàn)實(shí)世界中的安全風(fēng)險(xiǎn)。

問(wèn)題的關(guān)鍵，并不在于安全對(duì)齊“做得不夠”，而在于它對(duì)齊的對(duì)象已經(jīng)發(fā)生了變化。

現(xiàn)有的大多數(shù)安全機(jī)制，主要圍繞 chatbot 的文本輸出設(shè)計(jì)；但在智能體場(chǎng)景中，真正的風(fēng)險(xiǎn)往往不來(lái)自違規(guī)回答，而來(lái)自一次被誤判為正常的工具調(diào)用 [1]。

這一問(wèn)題在提示注入攻擊下被進(jìn)一步放大 [2, 3]。攻擊者無(wú)需誘導(dǎo)模型生成有害內(nèi)容，只需在環(huán)境反饋或工具返回中植入隱蔽指令，便可能在后續(xù)步驟中悄然接管智能體的決策過(guò)程，而傳統(tǒng)的輸出級(jí)安全機(jī)制對(duì)此往往難以及時(shí)察覺(jué)。

因此，如何在每一次工具調(diào)用發(fā)生之前識(shí)別并約束潛在風(fēng)險(xiǎn)，成為智能體安全落地亟需解決的核心問(wèn)題。

論文題目： ToolSafe: Enhancing Tool Invocation Safety of LLM-based Agents via Proactive Step-level Guardrail and Feedback 論文鏈接： https://arxiv.org/pdf/2601.10156 代碼鏈接： https://github.com/MurrayTom/ToolSafe

本研究考慮的兩類工具調(diào)用安全風(fēng)險(xiǎn)示意圖。（a）惡意用戶請(qǐng)求，直接導(dǎo)致不安全的工具調(diào)用。（b）在執(zhí)行正常任務(wù)過(guò)程中發(fā)生的提示注入攻擊，導(dǎo)致不正當(dāng)工具被意外使用，原任務(wù)執(zhí)行軌跡發(fā)生偏離。

北京大學(xué)知識(shí)計(jì)算實(shí)驗(yàn)室聯(lián)合上海人工智能實(shí)驗(yàn)室提出了 ToolSafe 框架，首次系統(tǒng)化地對(duì) LLM 智能體的步驟級(jí)工具調(diào)用安全問(wèn)題進(jìn)行建模與防護(hù)。

在此基礎(chǔ)上，團(tuán)隊(duì)開(kāi)發(fā)了 TS-Bench、TS-Guard 和 TS-Flow 三大組件：

• TS-Bench 提供首個(gè)步驟級(jí)工具調(diào)用安全檢測(cè)評(píng)估基準(zhǔn)；

• TS-Guard 是一個(gè)步驟級(jí)護(hù)欄模型，它通過(guò)多任務(wù)強(qiáng)化學(xué)習(xí)優(yōu)化，能通過(guò)歸因分析提供可解釋的安全反饋；

• TS-Flow 則嘗試將來(lái)自步驟級(jí)護(hù)欄的反饋信號(hào)融入智能體推理流程，顯著減少有害工具調(diào)用并提升了提示注入攻擊場(chǎng)景下的良性任務(wù)完成率。

相關(guān)代碼、數(shù)據(jù)與模型已全部開(kāi)源，詳細(xì)方法與實(shí)驗(yàn)結(jié)果可參考原始論文。

一、TS-Bench：步驟級(jí)工具調(diào)用安全檢測(cè)基準(zhǔn)

為了評(píng)估智能體在工具調(diào)用中的安全性，本研究推出了 TS-Bench ——首個(gè)面向步驟級(jí)工具調(diào)用的安全檢測(cè)基準(zhǔn)。

與此前基準(zhǔn)不同：以前的評(píng)測(cè)要么只提供事后軌跡級(jí)標(biāo)注（如 ASSEBench [4]、R-Judge [5]），要么只關(guān)注特定領(lǐng)域的風(fēng)險(xiǎn)行為（如關(guān)注網(wǎng)頁(yè)瀏覽或代碼執(zhí)行安全風(fēng)險(xiǎn)的OS-Safe [6]、ShieldAgent-Bench [7]）。

而 TS-Bench 聚焦于通用智能體在每一步工具調(diào)用時(shí)的安全風(fēng)險(xiǎn)，提供細(xì)粒度逐步標(biāo)注，支持在工具真正執(zhí)行前就主動(dòng)發(fā)現(xiàn)潛在危險(xiǎn)。

在任務(wù)定義上，TS-Bench 模擬 LLM 智能體的多步交互推理-行動(dòng)循環(huán)：智能體從用戶請(qǐng)求出發(fā)，每一步生成動(dòng)作（包括中間推理和工具調(diào)用），并接收環(huán)境反饋，直到任務(wù)完成。

TS-Bench 的標(biāo)注不僅記錄每一步工具調(diào)用是否安全，還標(biāo)注是否涉及提示注入攻擊或有害請(qǐng)求，為智能體安全防護(hù)提供了前所未有的細(xì)粒度參考。

TS-Bench 基于四個(gè)代表性的智能體安全評(píng)估數(shù)據(jù)集（AgentAlign、AgentHarm、ASB、AgentDojo）構(gòu)建，涵蓋多種不安全工具調(diào)用模式，使其既廣泛又通用。

下表對(duì)比了 TS-Bench 與現(xiàn)有智能體安全檢測(cè)基準(zhǔn)，突出其在步驟級(jí)工具調(diào)用安全評(píng)測(cè)上的獨(dú)特價(jià)值。

TS-Bench 與現(xiàn)有代理安全檢測(cè)基準(zhǔn)的對(duì)比。本研究考慮的不安全模式包括：MUR（惡意用戶請(qǐng)求）、PI（提示注入）、HT（有害工具）、BTRA（具有風(fēng)險(xiǎn)參數(shù)的正常工具）。

二、TS-Guard × TS-Flow：讓智能體在“動(dòng)手之前”就變安全

圍繞智能體在工具調(diào)用階段的安全風(fēng)險(xiǎn)，本研究提出了一套主動(dòng)式、步驟級(jí)的安全護(hù)欄與反饋框架，核心由兩個(gè)部分組成：TS-Guard 與 TS-Flow。它們分別解決“怎么識(shí)別風(fēng)險(xiǎn)”和“如何避免風(fēng)險(xiǎn)”這兩個(gè)關(guān)鍵問(wèn)題。

我們針對(duì) LLM 智能體的主動(dòng)步驟級(jí)安全防護(hù)與反饋框架示意圖。（a）TS-Guard 的輸入與輸出格式。（b）TS-Flow 將防護(hù)反饋傳遞給智能體，使其能夠在安全約束下進(jìn)行工具調(diào)用推理，而非直接中止執(zhí)行。 2.1 TS-Guard：執(zhí)行前主動(dòng)安全監(jiān)控，而非事后追責(zé)

TS-Guard 是一個(gè)面向智能體工具調(diào)用的步驟級(jí)安全檢測(cè)模型。不同于以往的護(hù)欄模型只在任務(wù)結(jié)束后回看整條軌跡是否有問(wèn)題，TS-Guard 需要判斷的是：在某一次工具真正被執(zhí)行之前，這一步到底安不安全。

為此，TS-Guard 將復(fù)雜的安全判斷拆解為三個(gè)緊密關(guān)聯(lián)的子任務(wù)，在一次推理中聯(lián)合完成：

• 用戶請(qǐng)求是否本身具有風(fēng)險(xiǎn)

• 當(dāng)前候選工具調(diào)用是否與第三方攻擊（如提示注入）存在關(guān)聯(lián)

• 這一次工具調(diào)用動(dòng)作本身是否存在安全風(fēng)險(xiǎn)

模型不僅輸出最終的安全標(biāo)簽（安全 / 存在可疑風(fēng)險(xiǎn) / 顯著不安全），還會(huì)生成簡(jiǎn)要的歸因分析與推理過(guò)程，讓安全判斷具備可解釋性。

在訓(xùn)練層面，研究團(tuán)隊(duì)采用GRPO 強(qiáng)化學(xué)習(xí)結(jié)合多任務(wù)獎(jiǎng)勵(lì)機(jī)制進(jìn)行優(yōu)化，相比傳統(tǒng)監(jiān)督微調(diào)，顯著提升了模型在未知場(chǎng)景下的泛化檢測(cè)能力。

實(shí)驗(yàn)表明，TS-Guard 能在復(fù)雜交互日志中穩(wěn)定識(shí)別潛在的危險(xiǎn)工具調(diào)用，是面向真實(shí)部署場(chǎng)景的“前置安全閘門(mén)”。

2.2 TS-Flow：不再“一刀切中斷”，而是用反饋引導(dǎo)智能體自我糾正

檢測(cè)只是第一步，更難的是如何在不破壞智能體任務(wù)完成的前提下提升安全性?，F(xiàn)有不少智能體安全框架采用的是“detect-and-abort”范式，例如LlamaFirewall：一旦檢測(cè)到異常，直接終止整個(gè)任務(wù)流程。

但在真實(shí)環(huán)境中，正常指令與攻擊信號(hào)往往混雜出現(xiàn)，這種做法很容易誤傷正常任務(wù)，嚴(yán)重影響智能體的可用性。

為此，本研究提出 TS-Flow：一種安全護(hù)欄反饋驅(qū)動(dòng)的工具調(diào)用推理框架。

在 TS-Flow 中，TS-Guard 作為護(hù)欄模型會(huì)實(shí)時(shí)監(jiān)控每一步工具調(diào)用動(dòng)作，但是并不會(huì)直接“掐掉”智能體，而是在工具執(zhí)行前對(duì)潛在不安全的候選動(dòng)作給出針對(duì)性的安全反饋，提示風(fēng)險(xiǎn)來(lái)源與問(wèn)題所在，引導(dǎo)智能體調(diào)整推理路徑、修正行動(dòng)計(jì)劃。

這種“智能體–護(hù)欄交互式”機(jī)制，使安全不再是強(qiáng)制打斷，而是一次可學(xué)習(xí)、可修正的過(guò)程。

實(shí)驗(yàn)結(jié)果顯示，TS-Flow 在顯著提升工具調(diào)用安全性的同時(shí)，基本不犧牲智能體的任務(wù)完成能力，為安全與效用之間提供了一種更平衡的解決方案。

總結(jié)

TS-Guard 負(fù)責(zé)在每一步看清風(fēng)險(xiǎn)，TS-Flow 負(fù)責(zé)在出手之前把方向拉回來(lái)。 它們共同構(gòu)成了一套面向真實(shí)世界部署的、可解釋、可糾偏的智能體工具調(diào)用安全方案。

三、實(shí)驗(yàn)亮點(diǎn)解讀：護(hù)欄不僅“攔得住”，還“攔得聰明” 3.1 護(hù)欄模型該不該“自信”？

一個(gè)直覺(jué)但常被忽視的問(wèn)題是：安全護(hù)欄模型的“不確定性”應(yīng)該如何分布？

如果模型在所有階段都極度自信，往往意味著過(guò)度武斷；但如果在關(guān)鍵決策點(diǎn)猶豫不決，又可能放過(guò)真正的風(fēng)險(xiǎn)。

為此，研究團(tuán)隊(duì)通過(guò)token 級(jí)熵分析，系統(tǒng)對(duì)比了不同護(hù)欄模型在 TS-Bench 上的行為模式。

實(shí)驗(yàn)發(fā)現(xiàn)，相比通用大模型，護(hù)欄模型整體具有更低的不確定性，說(shuō)明它們?cè)诎踩袛嗌细肮麛唷?。但進(jìn)一步分析顯示，TS-Guard 與現(xiàn)有方法在“自信的位置”上存在本質(zhì)差異：

ShieldAgent 傾向于在整個(gè)輸出過(guò)程中持續(xù)壓低熵值，而 TS-Guard 則主要在最終安全判定時(shí)收斂不確定性，在中間分析階段保留相對(duì)更高的熵值。

這意味著，TS-Guard 并不是一開(kāi)始就“拍板定論”，而是允許模型在推理階段進(jìn)行更充分的探索，最終在關(guān)鍵判斷點(diǎn)給出穩(wěn)定、可靠的安全結(jié)論。

圖護(hù)欄模型熵值比較。（a）專用護(hù)欄模型的熵值低于通用 LLM。（b）TS-Guard 在降低最終決策熵的同時(shí)，一定程度上保持推理步驟熵值，促進(jìn)更有效的探索 3.2 安全護(hù)欄反饋，如何改變智能體的行為？

研究進(jìn)一步關(guān)注了一個(gè)更核心的問(wèn)題：護(hù)欄反饋是否真的影響了智能體的決策過(guò)程，或者說(shuō)護(hù)欄反饋如何影響智能體的輸出分布？

在基于 ReAct 框架的智能體實(shí)驗(yàn)中，研究團(tuán)隊(duì)跟蹤了模型在推理與工具調(diào)用過(guò)程中的 token 級(jí)熵變化。結(jié)果顯示，在沒(méi)有任何護(hù)欄的情況下，智能體的不確定性會(huì)隨著推理推進(jìn)不斷下降，表現(xiàn)出對(duì)潛在危險(xiǎn)操作的過(guò)度自信執(zhí)行。

而在引入 TS-Flow 后，情況發(fā)生了明顯變化：當(dāng) TS-Guard 識(shí)別出可能存在風(fēng)險(xiǎn)的工具調(diào)用并將反饋?zhàn)⑷氲?agent 的上下文時(shí)，agent 輸出的 token 級(jí)熵值會(huì)被主動(dòng)拉高。

這表明護(hù)欄機(jī)制正在動(dòng)態(tài)調(diào)節(jié)智能體的輸出分布，在高風(fēng)險(xiǎn)時(shí)刻刻意保留不確定性，從而促使模型重新審視當(dāng)前決策路徑，探索更多樣化的路徑，而不是順著執(zhí)行不安全操作。

換句話說(shuō)，TS-Flow 并不是簡(jiǎn)單地“阻止動(dòng)作”，而是在關(guān)鍵節(jié)點(diǎn)改變了智能體的思考方式。

ReAct 智能體（Qwen2.5-14B-IT 為基模）的逐 token 熵變化。未使用防護(hù)措施時(shí)，智能體會(huì)因過(guò)度自信而熵值下降；引入 TS-Flow 后，TS-Guard 反饋在高風(fēng)險(xiǎn)步驟提升熵值，保持不確定性，引導(dǎo)智能體進(jìn)行安全探索。 3.3 為什么“多說(shuō)一點(diǎn)”反而更安全？

最后，研究團(tuán)隊(duì)還驗(yàn)證了安全反饋內(nèi)容豐富度對(duì)智能體行為的影響。不同于只給出“安全 / 不安全”的二值判斷，TS-Guard 還能提供包括用戶請(qǐng)求有害性分析、工具調(diào)用與第三方攻擊之間關(guān)聯(lián)等更細(xì)粒度的信息。

實(shí)驗(yàn)對(duì)比了兩種設(shè)置：

• 僅向智能體提供當(dāng)前動(dòng)作的安全評(píng)級(jí)；

• 向智能體提供 TS-Guard 的完整安全分析反饋。

結(jié)果顯示，獲得更豐富反饋的智能體，在安全性和任務(wù)完成質(zhì)量上均取得了更優(yōu)表現(xiàn)。這表明，詳盡的安全反饋不僅不會(huì)干擾推理，反而能更有效地引導(dǎo)智能體在安全邊界內(nèi)做出更合理的決策。

不同反饋信息豐富度下的智能體表現(xiàn)對(duì)比。更豐富的反饋（完整 TS-Guard 輸出）可顯著提升智能體的安全性與效用。 參考文獻(xiàn)

[1] AgentAlign: Navigating Safety Alignment in the Shift from Informative to Agentic Large Language Models.

[2] Agentdojo: A dynamic environment to evaluate prompt injection attacks and defenses for llm agents.

[3] Agent security bench (asb): Formalizing and benchmarking attacks and defenses in llm-based agents.

[4] Agentauditor: Human-level safety and security evaluation for llm agents.

[5] R-judge: Benchmarking safety risk awareness for llm agents.

[6] Agrail: A lifelong agent guardrail with effective and adaptive safety detection.

[7] Shieldagent: Shielding agents via verifiable safety policy reasoning.

llustration generated by AI.

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

yimingzhang@thejiangmen.com

或添加工作人員微信（aceyiming）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈