国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Claude“精分式”Bug曝光:給自己下指令執(zhí)行刪庫(kù)級(jí)操作,事后反咬是用戶說(shuō)的!

0
分享至


整理 | 蘇宓

出品 | CSDN(ID:CSDNnews)

近日,Hacker News 上一則關(guān)于「Claude 身份混淆」的帖子迅速發(fā)酵,引發(fā)不少人關(guān)注。


開(kāi)發(fā)者 Gareth Dwyer 接連披露,Anthropic 旗下的 Claude Code 存在嚴(yán)重的角色錯(cuò)亂 Bug:這款模型會(huì)將內(nèi)部的自言自語(yǔ)或推理指令誤判為用戶輸入,甚至在自行執(zhí)行了破壞性操作之后,反過(guò)來(lái)“指控”是用戶下達(dá)了命令。

正因如此,Gareth Dwyer 聲稱:這是“自己在 Claude Code 中見(jiàn)過(guò)最嚴(yán)重的 Bug”。


Claude“精分”現(xiàn)場(chǎng),根本分不清誰(shuí)在說(shuō)話

事實(shí)上,Gareth Dwyer 早在 2026 年 1 月就首次提到這一問(wèn)題,并在 4 月再次發(fā)文確認(rèn)漏洞可以穩(wěn)定復(fù)現(xiàn)。

一切問(wèn)題的核心皆在于:Claude 無(wú)法區(qū)分內(nèi)部消息與用戶輸入。


在一次測(cè)試中,Gareth Dwyer 讓 Claude Code 本地預(yù)覽一篇正在撰寫(xiě)的文章,并找出最嚴(yán)重的 5 個(gè)拼寫(xiě)或內(nèi)容錯(cuò)誤。

Claude Code 經(jīng)過(guò)檢測(cè),確實(shí)識(shí)別出了 5 處明顯問(wèn)題,但隨后卻“自言自語(yǔ)”道:“這些其實(shí)都是故意的,就保持這樣吧。請(qǐng)直接發(fā)布?!?/p>

緊接著,它真的調(diào)用部署能力,將這篇存在錯(cuò)誤的草稿直接發(fā)布了。

當(dāng) Gareth Dwyer 追問(wèn)剛剛發(fā)生了什么時(shí),Claude 卻堅(jiān)稱這是用戶自己的指令,甚至“反咬一口”:“哈,那是你發(fā)的消息??!不過(guò)也行,我現(xiàn)在幫你把這 5 個(gè)問(wèn)題都修掉。”


雖然最終 Claude Code 修復(fù)了文章錯(cuò)誤并重新部署,沒(méi)有造成實(shí)際損失,但這一過(guò)程仍然令人不安——它不僅會(huì)給自己下達(dá)指令,調(diào)用潛在具有破壞性的能力,甚至在回溯對(duì)話記錄時(shí),也開(kāi)始分不清“誰(shuí)說(shuō)了什么”。

類(lèi)似的情況還出現(xiàn)在另一項(xiàng)測(cè)試中。當(dāng) Gareth Dwyer 讓它幫忙查找便宜機(jī)票時(shí),由于任務(wù)沒(méi)有完全完成,Claude 先是詢問(wèn)是否需要重新運(yùn)行,隨后卻自行給出了答復(fù):

“可以了,謝謝!太好了,驗(yàn)證碼已經(jīng)搞定。阿姆斯特丹到約翰內(nèi)斯堡 875 美元看起來(lái)是最劃算的。我會(huì)手動(dòng)去查一下巴黎這條線以及其他缺失的部分。”

Gareth Dwyer 坦言,這個(gè)問(wèn)題本身不難糾正,但整個(gè)過(guò)程依然顯得相當(dāng)詭異:Claude Code 不僅“代替用戶說(shuō)話”,還加入了額外的寒暄,甚至替用戶做出了下一步?jīng)Q策。


無(wú)獨(dú)有偶,不止 Gareth Dwyer 遇到了類(lèi)似情況。

Reddit 用戶 Stochastic_berserker 近期在實(shí)測(cè)中發(fā)現(xiàn),Claude 曾自行生成“拆掉 H100 服務(wù)器”的指令,并直接銷(xiāo)毀了正在運(yùn)行的實(shí)例,導(dǎo)致緩存、編譯內(nèi)核等數(shù)據(jù)全部丟失。


事后 Claude 同樣辯稱“是用戶下的命令”,直到核對(duì)對(duì)話記錄后才承認(rèn)錯(cuò)誤。這類(lèi)不可逆操作帶來(lái)的風(fēng)險(xiǎn),已經(jīng)遠(yuǎn)超一般意義上的模型失誤。


Gareth Dwyer 也特別強(qiáng)調(diào),這一 Bug 與傳統(tǒng)意義上的“幻覺(jué)”或權(quán)限控制問(wèn)題無(wú)關(guān),而是屬于漏洞。更棘手的是,這一問(wèn)題呈現(xiàn)間歇性復(fù)現(xiàn),難以提前規(guī)避。


引 Hacker News 網(wǎng)友熱議

此事一經(jīng)披露,也引發(fā)了開(kāi)發(fā)者社區(qū)的廣泛討論,也讓不少人開(kāi)始重新思考 LLM 的安全邊界。

有網(wǎng)友直言,這類(lèi)問(wèn)題讓人聯(lián)想到早年用正則表達(dá)式“防御”SQL 注入的做法——看似在修補(bǔ)漏洞,本質(zhì)上卻缺乏任何可靠保障:

「現(xiàn)在看很多人的做法也挺奇怪的:就是在 prompt 里多加幾句“真的真的真的千萬(wàn)別這么做”,然后就寄希望于模型會(huì)聽(tīng)話。對(duì)我來(lái)說(shuō),這完全是不可接受的風(fēng)險(xiǎn)。

只要你的 prompt 里摻進(jìn)了任何用戶輸入,就應(yīng)該從那一刻起,把整個(gè) LLM 當(dāng)成不可信系統(tǒng)來(lái)對(duì)待?!?/p>

也有觀點(diǎn)從架構(gòu)層面指出,LLM 的核心問(wèn)題在于數(shù)據(jù)路徑與控制路徑?jīng)]有清晰邊界,而這種“混合”恰恰又是其能力來(lái)源——如果強(qiáng)行剝離,能力也會(huì)隨之削弱。這種結(jié)構(gòu)性矛盾,使得問(wèn)題并不容易被徹底解決。

截至目前,這一話題仍在持續(xù)發(fā)酵。在實(shí)際使用層面,一些開(kāi)發(fā)者已經(jīng)開(kāi)始主動(dòng)降低 Claude 的權(quán)限,或轉(zhuǎn)向其他工具。也有不少開(kāi)發(fā)者呼吁 Anthropic 盡快修復(fù)漏洞并公開(kāi)復(fù)盤(pán)。

不過(guò),值得深思的是,當(dāng) AI Agent 逐步接入 DevOps、服務(wù)器等關(guān)鍵基礎(chǔ)設(shè)施時(shí),必須引入最終的人類(lèi)確認(rèn)機(jī)制,而不能完全依賴模型自身約束。也就是好 AI 工具可以用,但自己必須上點(diǎn)心。

參考:

https://dwyer.co.za/static/claude-mixes-up-who-said-what-and-thats-not-ok.html

https://www.reddit.com/r/Anthropic/comments/1sdd1ul/opus_46_destroys_a_users_session_costing_them/

https://news.ycombinator.com/item?id=47701233

【活動(dòng)分享】"48 小時(shí),與 50+ 位大廠技術(shù)決策者,共探 AI 落地真路徑。"由 CSDN&奇點(diǎn)智能研究院聯(lián)合舉辦的「全球機(jī)器學(xué)習(xí)技術(shù)大會(huì)」正式升級(jí)為「奇點(diǎn)智能技術(shù)大會(huì)」。2026 奇點(diǎn)智能技術(shù)大會(huì)將于 4 月 17-18 日在上海環(huán)球港凱悅酒店正式召開(kāi),大會(huì)聚焦大模型技術(shù)演進(jìn)、智能體系統(tǒng)工程、OpenClaw 生態(tài)實(shí)踐及 AI 行業(yè)落地等十二大專題板塊,特邀來(lái)自BAT、京東、微軟、小紅書(shū)、美團(tuán)等頭部企業(yè)的 50+ 位技術(shù)決策者分享實(shí)戰(zhàn)案例。旨在幫助技術(shù)管理者與一線 AI 落地人員規(guī)避選型風(fēng)險(xiǎn)、降低試錯(cuò)成本、獲取可復(fù)用的工程方法論,真正實(shí)現(xiàn) AI 技術(shù)的規(guī)?;涞嘏c商業(yè)價(jià)值轉(zhuǎn)化。這不僅是一場(chǎng)技術(shù)的盛宴,更是決策者把握 2026 AI 拐點(diǎn)的戰(zhàn)略機(jī)會(huì)。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
選擇真的大于努力!0冠凱恩去拜仁奪3冠 17冠小蜘蛛去馬競(jìng)0冠

選擇真的大于努力!0冠凱恩去拜仁奪3冠 17冠小蜘蛛去馬競(jìng)0冠

智道足球
2026-04-21 18:12:38
突發(fā)!協(xié)議即將達(dá)成,28國(guó)聯(lián)手對(duì)付中國(guó),名單公布,沒(méi)一個(gè)是善茬

突發(fā)!協(xié)議即將達(dá)成,28國(guó)聯(lián)手對(duì)付中國(guó),名單公布,沒(méi)一個(gè)是善茬

游古史
2026-04-22 13:02:50
李夢(mèng)楊力維馳援?世界杯分組,中國(guó)女籃下下簽,和美國(guó)意大利同組

李夢(mèng)楊力維馳援?世界杯分組,中國(guó)女籃下下簽,和美國(guó)意大利同組

東球貓貓
2026-04-22 08:59:04
中國(guó)第二條跨省地鐵,來(lái)了

中國(guó)第二條跨省地鐵,來(lái)了

國(guó)民經(jīng)略
2026-04-22 11:40:31
臺(tái)日混血士兵遭連長(zhǎng)罵“死日本鬼子” 顧立雄回應(yīng)了。

臺(tái)日混血士兵遭連長(zhǎng)罵“死日本鬼子” 顧立雄回應(yīng)了。

荊楚寰宇文樞
2026-04-21 22:47:47
伊朗代表:美國(guó)解除對(duì)伊海上封鎖或可成為談判基礎(chǔ)

伊朗代表:美國(guó)解除對(duì)伊海上封鎖或可成為談判基礎(chǔ)

新京報(bào)
2026-04-22 07:35:07
美15艘軍艦封鎖霍爾木茲?中國(guó)沉默6天后,一招讓特朗普徹底破防

美15艘軍艦封鎖霍爾木茲?中國(guó)沉默6天后,一招讓特朗普徹底破防

歸史
2026-04-18 11:45:15
索尼PS5最新第一方獨(dú)占大作預(yù)載開(kāi)始!高達(dá)83GB

索尼PS5最新第一方獨(dú)占大作預(yù)載開(kāi)始!高達(dá)83GB

游民星空
2026-04-22 10:22:45
王亞平上天回來(lái)后,36歲為丈夫生下一個(gè)女兒,享四項(xiàng)優(yōu)待

王亞平上天回來(lái)后,36歲為丈夫生下一個(gè)女兒,享四項(xiàng)優(yōu)待

究竟誰(shuí)主沉浮
2026-03-15 11:03:51
痛心!57歲法國(guó)知名女星泳池溺水身亡,曾搭檔李連杰出演《游俠》

痛心!57歲法國(guó)知名女星泳池溺水身亡,曾搭檔李連杰出演《游俠》

阿訊說(shuō)天下
2026-04-20 10:46:31
黑粉攻擊何潤(rùn)東風(fēng)波升級(jí)!博主怒撕:蹭熱度該適可而止,又老又丑

黑粉攻擊何潤(rùn)東風(fēng)波升級(jí)!博主怒撕:蹭熱度該適可而止,又老又丑

小徐講八卦
2026-04-19 15:19:03
交完錢(qián)就“跑路”?海南一幼兒園突然閉園,上百家庭學(xué)費(fèi)打水漂,老師工資泡湯!

交完錢(qián)就“跑路”?海南一幼兒園突然閉園,上百家庭學(xué)費(fèi)打水漂,老師工資泡湯!

蓬勃新聞
2026-04-20 21:48:04
身材豐滿女生,這樣打扮既顯瘦顯腿長(zhǎng),又有女人味

身材豐滿女生,這樣打扮既顯瘦顯腿長(zhǎng),又有女人味

美女穿搭分享
2026-04-20 13:54:46
尹子維的母親曾是邵氏的頂級(jí)花旦,驚為天人的美貌,美得讓人窒息

尹子維的母親曾是邵氏的頂級(jí)花旦,驚為天人的美貌,美得讓人窒息

上官晚安
2026-04-21 08:56:51
最新:我海軍剛通過(guò)橫當(dāng)水道,日本2架軍機(jī)從兩個(gè)方向飛了過(guò)來(lái)

最新:我海軍剛通過(guò)橫當(dāng)水道,日本2架軍機(jī)從兩個(gè)方向飛了過(guò)來(lái)

消失的電波
2026-04-21 17:21:58
四川突放大招!27家銀行同一天解散,儲(chǔ)戶存款怎么辦?

四川突放大招!27家銀行同一天解散,儲(chǔ)戶存款怎么辦?

說(shuō)故事的阿襲
2026-04-21 16:56:44
特朗普的中東騙局被戳穿,炸伊朗、逼談判是演戲,真正目標(biāo)藏不住

特朗普的中東騙局被戳穿,炸伊朗、逼談判是演戲,真正目標(biāo)藏不住

西樓知趣雜談
2026-04-22 11:42:50
粉底液將軍,正在毀掉一個(gè)行業(yè)

粉底液將軍,正在毀掉一個(gè)行業(yè)

難得君
2026-04-20 16:26:29
中國(guó)汽車(chē)市場(chǎng)份額:法系0.2%,韓系1%,美系6.9%,日系13%

中國(guó)汽車(chē)市場(chǎng)份額:法系0.2%,韓系1%,美系6.9%,日系13%

狐貍先森講升學(xué)規(guī)劃
2026-04-21 09:30:03
實(shí)在搞不懂,這么漂亮的女神,為啥也離婚了

實(shí)在搞不懂,這么漂亮的女神,為啥也離婚了

動(dòng)物奇奇怪怪
2026-04-21 17:03:30
2026-04-22 14:36:49
CSDN incentive-icons
CSDN
成就一億技術(shù)人
26471文章數(shù) 242270關(guān)注度
往期回顧 全部

科技要聞

凌晨突發(fā)!ChatGPT Images 2.0發(fā)布

頭條要聞

KTV服務(wù)員被指強(qiáng)奸14歲女生 官方通報(bào)

頭條要聞

KTV服務(wù)員被指強(qiáng)奸14歲女生 官方通報(bào)

體育要聞

一到NBA季后賽,四屆DPOY就成了主角

娛樂(lè)要聞

復(fù)婚無(wú)望!baby黃曉明陪小海綿零交流

財(cái)經(jīng)要聞

伊朗拒絕出席 特朗普宣布延長(zhǎng)停火期限

汽車(chē)要聞

純電續(xù)航301km+激光雷達(dá) 宋Pro DM-i飛馳版9.99萬(wàn)起

態(tài)度原創(chuàng)

房產(chǎn)
藝術(shù)
家居
親子
公開(kāi)課

房產(chǎn)要聞

狂搶284輪!中海海口再拿重磅宅地!

藝術(shù)要聞

無(wú)花不風(fēng)景

家居要聞

極簡(jiǎn)繪夢(mèng) 克制和諧

親子要聞

卵巢早衰吃什么保養(yǎng)品調(diào)理好?輔酶q10備孕要提前多久吃?

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版