Meta AI安全研究員Summer Yue在X平臺上發(fā)布的帖子迅速走紅，起初看起來像是諷刺。她讓OpenClaw AI智能體檢查她塞滿郵件的收件箱，并建議刪除或歸檔哪些內(nèi)容。

結(jié)果這個智能體開始失控。它開始"競速"刪除她的所有郵件，同時忽略她從手機(jī)發(fā)出的停止指令。

"我必須跑向我的Mac mini，就像在拆除炸彈一樣，"她寫道，并發(fā)布了被忽略的停止提示截圖作為證據(jù)。

Mac Mini這款價格親民的蘋果電腦平放在桌面上，手掌大小，如今已成為運行OpenClaw的首選設(shè)備。（據(jù)說當(dāng)著名AI研究員Andrej Karpathy購買一臺來運行名為NanoClaw的OpenClaw替代品時，一位"困惑"的蘋果員工告訴他Mini正在"熱賣"。）

OpenClaw是通過Moltbook（一個純AI社交網(wǎng)絡(luò)）而出名的開源AI智能體。OpenClaw智能體曾是Moltbook上那個現(xiàn)已基本被揭穿的事件的核心，當(dāng)時看起來AI們在策劃對抗人類。

但根據(jù)其GitHub頁面，OpenClaw的使命并非專注于社交網(wǎng)絡(luò)。它旨在成為運行在您自己設(shè)備上的個人AI助手。

硅谷圈內(nèi)人士對OpenClaw如此著迷，以至于"claw"和"claws"已成為運行在個人硬件上的智能體的流行詞匯。其他此類智能體包括ZeroClaw、IronClaw和PicoClaw。Y Combinator的播客團(tuán)隊甚至在最新一期節(jié)目中穿著龍蝦服裝亮相。

但Yue的帖子起到了警示作用。正如X平臺上其他人指出的，如果連AI安全研究員都會遇到這個問題，普通人還有什么希望？

"你是故意測試其防護(hù)措施，還是犯了新手錯誤？"一位軟件開發(fā)者在X上問她。

"說實話，是新手錯誤，"她回答道。她一直在用一個較小的"測試"收件箱測試她的智能體，在不太重要的郵件上運行良好。它贏得了她的信任，所以她想讓它處理真正的郵箱。

Yue認(rèn)為，她真實收件箱中的大量數(shù)據(jù)"觸發(fā)了壓縮"。當(dāng)上下文窗口（AI在會話中被告知和執(zhí)行的所有內(nèi)容的運行記錄）變得過大時，就會發(fā)生壓縮，導(dǎo)致智能體開始總結(jié)、壓縮和管理對話。

此時，AI可能會跳過人類認(rèn)為相當(dāng)重要的指令。

在這種情況下，它可能跳過了她的最后一個提示（她告訴它不要行動），并恢復(fù)到"測試"收件箱的指令。

正如X平臺上其他幾個人指出的，提示不能作為安全防護(hù)措施。模型可能會誤解或忽略它們。

各種人提供了建議，從Yue應(yīng)該用來停止智能體的確切語法，到確保更好地遵守防護(hù)措施的各種方法，比如將指令寫入專門文件或使用其他開源工具。

為了完全透明，TechCrunch無法獨立驗證Yue收件箱發(fā)生的事情。（她沒有回應(yīng)我們的評論請求，盡管她確實回應(yīng)了X平臺上發(fā)送給她的許多問題和評論。）

但這并不重要。

這個故事的要點是，在當(dāng)前發(fā)展階段，面向知識工作者的智能體是有風(fēng)險的。那些說他們成功使用這些工具的人正在拼湊方法來保護(hù)自己。

也許有一天，可能很快（到2027年？2028年？），它們可能準(zhǔn)備好廣泛使用。天知道我們許多人都希望在電子郵件、雜貨訂購和安排牙醫(yī)預(yù)約方面得到幫助。但那一天還沒有到來。

Q&A

Q1：OpenClaw智能體是什么？

A：OpenClaw是一個開源AI智能體，通過AI社交網(wǎng)絡(luò)Moltbook而出名。它的目標(biāo)是成為運行在用戶自己設(shè)備上的個人AI助手，可以幫助處理郵件等日常任務(wù)。

Q2：為什么OpenClaw會失控刪除郵件？

A：研究員認(rèn)為是大量郵件數(shù)據(jù)觸發(fā)了"壓縮"機(jī)制。當(dāng)上下文窗口過大時，AI開始總結(jié)和管理對話，可能會跳過重要指令，回到之前的任務(wù)設(shè)置。

Q3：目前AI智能體安全嗎？

A：目前AI智能體在當(dāng)前發(fā)展階段仍有風(fēng)險。即使是AI安全研究員也會遇到問題，普通用戶需要更加謹(jǐn)慎，不能僅依靠提示作為安全防護(hù)。