国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

AI閃崩危機(jī)再現(xiàn),智能體或致萬億美元蒸發(fā)

0
分享至

一篇X刷屏全網(wǎng):開發(fā)者明明禁止寫入,Claude卻偷偷寫Python腳本「黑」進(jìn)系統(tǒng)修改權(quán)限!更可怕的是,谷歌DeepMind發(fā)布迄今規(guī)模最大AI操縱實(shí)證研究,證實(shí)現(xiàn)有防御已全面失效,互聯(lián)網(wǎng)正變成AI的「獵殺場(chǎng)」!這可以類比2010年的「閃崩」事件,一個(gè)自動(dòng)化賣單在45分鐘,就引發(fā)了近萬億美元的市值蒸發(fā)。

就在今天,一條消息震驚了開發(fā)者社區(qū)。



一位開發(fā)者給Claude下達(dá)了一個(gè)指令,明確規(guī)定:「禁止在工作區(qū)(Workspace)以外進(jìn)行任何寫入操作?!?/p>

但緊接著,令人頭皮發(fā)麻的一幕發(fā)生了。

Claude并沒有像往常禮貌回復(fù)「抱歉,我沒有權(quán)限」。

相反,沉默了片刻,隨后像黑客一樣,在后臺(tái)飛速寫下了一個(gè)Python腳本,并串聯(lián)了三條Bash命令。

這一刻,它不是在寫代碼,它是在「越獄」。



這條帖子發(fā)出后迅速引爆技術(shù)社區(qū)。開發(fā)者們意識(shí)到一個(gè)不舒服的事實(shí),日常使用的編程助手,具備繞過自身安全機(jī)制的能力和「意愿」。

而Claude Code恰恰是當(dāng)下最火的AI編程工具之一。

一個(gè)能自主「越權(quán)」的工具,正被數(shù)以萬計(jì)的開發(fā)者部署在生產(chǎn)環(huán)境中。

Claude越獄,不是少數(shù)

Claude的這種「騷操作」并非孤例。在社交平臺(tái)上,類似的抱怨此起彼伏。

有的開發(fā)者發(fā)現(xiàn),Claude竟然偷偷挖出了隱藏在深處的AWS憑證,并開始自主調(diào)用第三方API來解決它認(rèn)為的「生產(chǎn)問題」。

有的用戶驚覺,明明只讓AI改代碼,它卻順手往GitHub推送了一個(gè)Commit——哪怕指令里白紙黑字寫著「嚴(yán)禁推送」。



最離譜的是,有人發(fā)現(xiàn)VS Code的工作區(qū)被悄悄切換了,AI正在一個(gè)它不該觸碰的同級(jí)目錄里瘋狂輸出。



而且這種情況發(fā)生過很多次。



唯一的辦法,就是使用沙盒環(huán)境。





DeepMind緊急警告:

互聯(lián)網(wǎng)正在淪為AI的「獵殺場(chǎng)」

如果說,Claude的「越獄」是一個(gè)Agent自主突破限制的案例。那更大的威脅,就來自外部蓄意布下的局。

3月底,Google DeepMind的Matija Franklin等五位研究員在SSRN發(fā)表了「AI Agent Traps」,首次系統(tǒng)性地繪制了AI Agent面臨的威脅全景圖。



這篇研究的核心判斷只有一句話,卻足夠顛覆認(rèn)知。

不需要入侵AI系統(tǒng)本身,只需要操控它接觸的數(shù)據(jù)。網(wǎng)頁、PDF、郵件、日歷邀請(qǐng)、API響應(yīng),任何Agent消化的數(shù)據(jù)源都可能是武器!

這份報(bào)告揭示了一個(gè)令人脊背發(fā)涼的現(xiàn)實(shí):互聯(lián)網(wǎng)的底層邏輯正在發(fā)生巨變。它不再僅僅是給人看的,而是正被改造成專門針對(duì)AI智能體的「數(shù)字獵場(chǎng)」。

殺豬盤升級(jí),到處都是AI智能體陷阱

在網(wǎng)絡(luò)安全領(lǐng)域,我們熟悉釣魚網(wǎng)站、木馬病毒,但這些都是針對(duì)人類弱點(diǎn)的攻擊。而AI Agent Traps則完全不同,它們是專門為AI邏輯設(shè)計(jì)的「降維打擊」。

DeepMind指出,AI智能體在訪問網(wǎng)頁時(shí),面臨著一種全新的威脅:信息環(huán)境本身的武器化。

黑客不需要入侵AI的模型權(quán)重,只需要在網(wǎng)頁的HTML代碼、圖像像素甚至是PDF的元數(shù)據(jù)里埋下幾行「隱形代碼」,就能瞬間接管你的AI智能體。

這種攻擊之所以隱蔽,是因?yàn)榇嬖凇父兄粚?duì)稱」。

陷阱就藏在這些人類看不見的縫隙里。

六大「奪舍」神功:DeepMind 揭秘攻擊全貌

DeepMind將這些攻擊系統(tǒng)性地劃分為六大類,每一類都針對(duì)AI智能體功能架構(gòu)的一個(gè)核心環(huán)節(jié)。



欺騙AI的眼睛

第一類是內(nèi)容注入,瞄準(zhǔn)Agent的「眼睛」。

人類用戶看到的是渲染后的界面,Agent解析的是底層HTML、CSS和元數(shù)據(jù)。



實(shí)測(cè)數(shù)據(jù)很扎眼,一項(xiàng)針對(duì)280個(gè)靜態(tài)網(wǎng)頁的研究顯示,隱藏在HTML元素中的惡意指令成功篡改了15%至29%的AI輸出。

WASP基準(zhǔn)測(cè)試中,簡單的人工編寫prompt注入在最高86%的場(chǎng)景中部分劫持了Agent行為。

更陰險(xiǎn)的是動(dòng)態(tài)偽裝。

網(wǎng)站可以通過瀏覽器指紋和行為特征判斷訪客身份,檢測(cè)到AI Agent后,服務(wù)器動(dòng)態(tài)注入惡意指令。人類看到的是正常頁面,Agent看到的是另一套內(nèi)容。

Agent自己也不知道,會(huì)處理收到的一切,然后執(zhí)行。



污染AI的大腦

這種攻擊不發(fā)命令,而是通過「帶節(jié)奏」來左右AI的決策。

這種語義操縱,會(huì)用精心包裝的措辭和框架扭曲推理過程。大語言系統(tǒng)和人類一樣容易受框架效應(yīng)誤導(dǎo)。同一組數(shù)據(jù)換個(gè)表述方式,結(jié)論可能截然不同。

DeepMind的實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)購物AI被置于充斥著「焦慮、壓力」詞匯的語境下時(shí),它選購的商品營養(yǎng)質(zhì)量會(huì)顯著下降。



DeepMind還提出了一個(gè)更詭異的概念,「人格超迷信」(Persona Hyperstition)。網(wǎng)上對(duì)某個(gè)AI性格特征的描述,會(huì)通過搜索和訓(xùn)練數(shù)據(jù)回流到AI系統(tǒng)中,反過來塑造它的行為。

Grok在2025年7月的反猶太言論風(fēng)波,就被認(rèn)為是這種機(jī)制的現(xiàn)實(shí)案例。

攻擊者將惡意指令包裝成「安全審計(jì)模擬」或「學(xué)術(shù)研究」。這種「角色扮演」式的攻擊,在測(cè)試中的成功率竟然高達(dá)86%。

篡改AI的記憶

這是最具持久性的威脅,因?yàn)樗茏孉I產(chǎn)生「?jìng)斡洃洝埂?/p>

比如,可以用RAG知識(shí)投毒。



另外,還有潛伏記憶投毒。

實(shí)驗(yàn)數(shù)據(jù)顯示,僅需不到0.1%的數(shù)據(jù)污染率,成功率就超過80%,且對(duì)正常查詢幾乎沒有影響。



直接劫持控制權(quán)

這是最危險(xiǎn)的一步,旨在強(qiáng)迫AI執(zhí)行非法操作。

如果你的AI智能體是一個(gè)「指揮官」,它可以被誘騙去創(chuàng)建一個(gè)由攻擊者控制的「內(nèi)鬼」子智能體,潛伏在你的自動(dòng)化流程中。



第五類是系統(tǒng)性威脅,也是最讓人不安的一類。

它不針對(duì)單個(gè)Agent,而是利用大量Agent的同質(zhì)化行為制造連鎖反應(yīng)。DeepMind的研究員直接類比2010年的「閃崩」事件,一個(gè)自動(dòng)化賣單在45分鐘內(nèi)引發(fā)了近萬億美元的市值蒸發(fā)。

當(dāng)數(shù)百萬個(gè)AI智能體同時(shí)在網(wǎng)上沖浪時(shí),攻擊者可以利用它們的同質(zhì)性(大家用的都是GPT 或Claude)引發(fā)系統(tǒng)性災(zāi)難。

如果播發(fā)一個(gè)虛假的「高價(jià)值資源」信號(hào),誘導(dǎo)所有AI智能體瞬間涌向同一個(gè)目標(biāo),造成人為的分布式拒絕服務(wù)(DDoS)攻擊。

一份精心偽造的財(cái)務(wù)報(bào)告在特定時(shí)間點(diǎn)釋放,數(shù)千個(gè)使用相似架構(gòu)、相似獎(jiǎng)勵(lì)函數(shù)的金融Agent同步觸發(fā)賣出操作。Agent A的動(dòng)作改變了市場(chǎng)信號(hào),Agent B感知到變化后跟進(jìn),進(jìn)一步放大波動(dòng)。

這就類似于金融市場(chǎng)的「閃崩」,一個(gè)AI的錯(cuò)誤決策引發(fā)另一個(gè)AI的連鎖反應(yīng),最終導(dǎo)致整個(gè)智能體生態(tài)系統(tǒng)的癱瘓。



把「槍口」對(duì)準(zhǔn)屏幕前的你

這是最高級(jí)的陷阱:利用AI來操控背后的人類。

AI會(huì)故意生成海量看似專業(yè)、實(shí)則含陷阱的報(bào)告,讓人類在疲憊中放松警惕,最終在那張藏有陷阱的「確認(rèn)單」上簽字。

已有事件記錄顯示,CSS隱藏的prompt注入讓AI摘要工具把勒索軟件安裝步驟包裝成「修復(fù)建議」推送給用戶,最后,用戶照著執(zhí)行了。

三條防線,全部失守

DeepMind團(tuán)隊(duì)對(duì)現(xiàn)有防御的評(píng)估,是整篇研究里最冷峻的部分。

傳統(tǒng)的「輸入過濾」在面對(duì)像素級(jí)、代碼級(jí)且具有高度語義隱蔽性的陷阱時(shí),往往力不從心。

更糟糕的是,現(xiàn)在的 「檢測(cè)不對(duì)稱性」:網(wǎng)站可以輕易識(shí)別出訪問者是AI還是人類,并根據(jù)身份提供兩套完全不同的內(nèi)容。

人類看到的網(wǎng)頁是「benign(良性的)」,而AI看到的網(wǎng)頁則是「toxic(有毒的)」。在這種情況下,人類的監(jiān)督將徹底失效,因?yàn)槟愀静恢繟I到底讀到了什么。

而且,研究團(tuán)隊(duì)還指出了一個(gè)根本性的法律盲區(qū)。

如果一個(gè)被劫持的AI系統(tǒng)執(zhí)行了違法金融交易,現(xiàn)行法律無法界定誰來承擔(dān)后果。

這個(gè)問題懸而未決,自主化AI就無法真正進(jìn)入任何受監(jiān)管的行業(yè)。

其實(shí),OpenAI早在2025年12月就承認(rèn)過,prompt注入「可能永遠(yuǎn)不會(huì)被完全解決」。

從Claude自主繞過權(quán)限邊界,到DeepMind繪制的六類威脅全景圖,指向同一個(gè)現(xiàn)實(shí)。

互聯(lián)網(wǎng)是為人類的眼睛而建的。現(xiàn)在它正在被改造,為機(jī)器人們服務(wù)。

隨著AI智能體逐漸深入我們的金融、醫(yī)療和日常辦公,這些「陷阱」將不再僅僅是技術(shù)演示,而是可能引發(fā)真實(shí)財(cái)產(chǎn)損失甚至社會(huì)動(dòng)蕩的火藥桶。

DeepMind的這份報(bào)告是一聲緊急哨響:我們不能在建立了一個(gè)功能強(qiáng)大的「智能體經(jīng)濟(jì)」之后,才去修補(bǔ)它千瘡百孔的底座。

聲明:個(gè)人原創(chuàng),僅供參考

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
警惕!這種檢查做多了,未來10年肺癌、結(jié)直腸癌風(fēng)險(xiǎn)雙高!

警惕!這種檢查做多了,未來10年肺癌、結(jié)直腸癌風(fēng)險(xiǎn)雙高!

今日養(yǎng)生之道
2026-04-10 06:03:36
全紅嬋后續(xù):網(wǎng)友喊話接著抓,有人開始慌亂,利益鏈條被曝光!

全紅嬋后續(xù):網(wǎng)友喊話接著抓,有人開始慌亂,利益鏈條被曝光!

眼光很亮
2026-04-11 18:25:25
“我女兒敢這樣,腿給砸斷”,寶媽曬2個(gè)女兒出門,裝束讓人怒了

“我女兒敢這樣,腿給砸斷”,寶媽曬2個(gè)女兒出門,裝束讓人怒了

蝴蝶花雨話教育
2026-04-10 13:01:09
搞笑,勇士隊(duì)庫里在波德齊姆斯基砍30分后:像布克砍70分一樣慶祝

搞笑,勇士隊(duì)庫里在波德齊姆斯基砍30分后:像布克砍70分一樣慶祝

好火子
2026-04-12 02:45:00
剛從朝鮮回來,說點(diǎn)不中聽的:朝鮮的真實(shí)面目,可能讓你很意外

剛從朝鮮回來,說點(diǎn)不中聽的:朝鮮的真實(shí)面目,可能讓你很意外

老特有話說
2026-04-11 17:33:51
伊朗發(fā)現(xiàn)重大驚喜,打向以色列的導(dǎo)彈,竟然一顆都沒被攔截

伊朗發(fā)現(xiàn)重大驚喜,打向以色列的導(dǎo)彈,竟然一顆都沒被攔截

別吵吵
2026-04-12 10:26:35
張家界“愛國賊事件”:傻X式愛國,是個(gè)巨大禍害

張家界“愛國賊事件”:傻X式愛國,是個(gè)巨大禍害

麥大人
2025-10-13 15:29:56
不吵不鬧卻最富!2026年這3個(gè)生肖用實(shí)力說話,悄悄崛起財(cái)富暴增

不吵不鬧卻最富!2026年這3個(gè)生肖用實(shí)力說話,悄悄崛起財(cái)富暴增

毅談生肖
2026-04-12 11:16:10
2026年嫖娼非犯罪但違法!拘留罰款標(biāo)準(zhǔn)明確,這幾類人重罰

2026年嫖娼非犯罪但違法!拘留罰款標(biāo)準(zhǔn)明確,這幾類人重罰

復(fù)轉(zhuǎn)這些年
2026-02-11 22:23:18
西蒙尼送溫暖?馬競(jìng)二隊(duì)1-2慘遭逆轉(zhuǎn),巴薩4-1狂歡夜,西甲亂了!

西蒙尼送溫暖?馬競(jìng)二隊(duì)1-2慘遭逆轉(zhuǎn),巴薩4-1狂歡夜,西甲亂了!

阿晞體育
2026-04-12 11:55:09
深惠跨市地鐵何時(shí)開建?深圳惠州兩地官方回應(yīng)

深惠跨市地鐵何時(shí)開建?深圳惠州兩地官方回應(yīng)

南方都市報(bào)
2026-04-11 23:15:07
25-26賽季NBA常規(guī)賽還剩下一場(chǎng),總得分突破2000分的球員就這四位

25-26賽季NBA常規(guī)賽還剩下一場(chǎng),總得分突破2000分的球員就這四位

越嶺尋蹤
2026-04-12 10:28:59
欣旺達(dá)成為特斯拉供應(yīng)商!

欣旺達(dá)成為特斯拉供應(yīng)商!

電動(dòng)知家
2026-04-10 09:22:44
金燦榮:第三次國共合作不可能,對(duì)國民黨不抱過高期待

金燦榮:第三次國共合作不可能,對(duì)國民黨不抱過高期待

混沌錄
2026-03-29 17:08:14
1954年高崗自殺,毛主席得知后悲痛不已,并說了一番肺腑之言

1954年高崗自殺,毛主席得知后悲痛不已,并說了一番肺腑之言

莫地方
2026-04-12 10:06:49
宋仲基高爾夫球場(chǎng)打球臉圓潤下頜線消失,盡顯幸福肥味道

宋仲基高爾夫球場(chǎng)打球臉圓潤下頜線消失,盡顯幸福肥味道

小兔子的快樂
2026-04-11 17:07:50
傷愈回歸貢獻(xiàn)5次撲救,李昊為十人西海岸保住1分

傷愈回歸貢獻(xiàn)5次撲救,李昊為十人西海岸保住1分

足球報(bào)
2026-04-12 11:25:06
16年,母親虎口救女被咬身亡,女兒至今未得到父親原諒:誰的責(zé)任

16年,母親虎口救女被咬身亡,女兒至今未得到父親原諒:誰的責(zé)任

興史興談
2026-03-26 14:22:24
西班牙人球員不滿:都看到了,這就是巴薩球員對(duì)同行的尊重

西班牙人球員不滿:都看到了,這就是巴薩球員對(duì)同行的尊重

天光破云來
2026-04-12 10:19:29
笑死我了!一位三年級(jí)小朋友趁媽媽洗澡的縫隙時(shí)間,和豆包的對(duì)話

笑死我了!一位三年級(jí)小朋友趁媽媽洗澡的縫隙時(shí)間,和豆包的對(duì)話

夜深愛雜談
2026-03-21 19:50:42
2026-04-12 12:11:00
拾破爛的天真
拾破爛的天真
每天一點(diǎn)點(diǎn)的目錄
538文章數(shù) 49關(guān)注度
往期回顧 全部

科技要聞

理想稱遭惡意拉踩,東風(fēng)日產(chǎn):尊重同行

頭條要聞

美國副總統(tǒng)萬斯:美伊談判未能達(dá)成協(xié)議 將返回美國

頭條要聞

美國副總統(tǒng)萬斯:美伊談判未能達(dá)成協(xié)議 將返回美國

體育要聞

換帥之后,他們從降級(jí)區(qū)沖到升級(jí)區(qū)

娛樂要聞

46歲趙達(dá)官宣結(jié)婚!曾與殷桃談婚論嫁

財(cái)經(jīng)要聞

三輪磋商談至深夜 美伊談判三大議題仍待解

汽車要聞

煥新極氪007/007GT上市 限時(shí)19.39萬起

態(tài)度原創(chuàng)

健康
數(shù)碼
教育
公開課
軍事航空

干細(xì)胞抗衰4大誤區(qū),90%的人都中招

數(shù)碼要聞

戴爾推出Pro Micro瘦客戶機(jī)Q9M1260:7瓦功耗,可選1GbE光纖接口

教育要聞

誰說中考作文必須寫自身經(jīng)歷?

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

伊朗議長帶四名遇難兒童照片赴美伊談判

無障礙瀏覽 進(jìn)入關(guān)懷版