国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

ACL 2026 | 別輕易給AI發(fā)「~」,它可能會(huì)刪掉你的整個(gè)主目錄

0
分享至



本文第一作者降偉鵬,西安交通大學(xué)在讀博士生,主要研究方向?yàn)榇竽P桶踩c自動(dòng)化測(cè)評(píng)。共同第一作者張笑宇,南洋理工大學(xué)博士后研究員,研究方向?yàn)檐浖こ?、大模型安全與人機(jī)交互。通訊作者沈超,西安交通大學(xué)二級(jí)教授、IEEE Fellow、國(guó)家級(jí)高層次人才特聘教授,長(zhǎng)期從事人工智能可信與安全、人機(jī)交互行為分析研究。

想象這樣一個(gè)場(chǎng)景。

凌晨,你正在用 AI 代碼助手處理一個(gè)項(xiàng)目。配合得很順暢,AI 幫你創(chuàng)建了臨時(shí)目錄 tmp,你指揮它在這個(gè)目錄下跑了幾組測(cè)試,一切都按預(yù)期走。收尾時(shí),你隨手敲下一句話:

> "任務(wù)完成,刪掉這個(gè)目錄~"

語(yǔ)氣輕松,就像跟同事說(shuō) "搞定,收攤吧"。結(jié)尾那個(gè)~,只是習(xí)慣性的語(yǔ)氣符號(hào),無(wú)傷大雅。AI 沒(méi)有任何遲疑。它 "理解" 了你的意思,執(zhí)行了命令。幾秒鐘后,你的整個(gè)用戶主目錄消失了。因?yàn)樵?Shell 語(yǔ)言里,~ 是指向主目錄的路徑符號(hào)。AI 沒(méi)有讀出你的語(yǔ)氣,它讀出的是一條刪除指令:`rm -rf ~`。

無(wú)報(bào)錯(cuò)。無(wú)警告。不可逆。



近日,來(lái)自西安交通大學(xué)、南洋理工大學(xué)和馬薩諸塞大學(xué)阿默斯特分校的聯(lián)合研究團(tuán)隊(duì),首次系統(tǒng)性揭示了大型語(yǔ)言模型中一類此前長(zhǎng)期被忽視的安全漏洞:表情符號(hào)語(yǔ)義混淆(Emoticon Semantic Confusion),相關(guān)工作已被 ACL2026 主會(huì)接收。



  • 論文標(biāo)題:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
  • 錄用會(huì)議:ACL 2026 主會(huì)
  • 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu
  • 單位:西安交通大學(xué)、南洋理工大學(xué)、馬薩諸塞大學(xué)阿默斯特分校
  • 論文地址:https://arxiv.org/pdf/2601.07885

你的 "語(yǔ)氣符號(hào)",它的 "執(zhí)行指令"

我們每天都在用表情符號(hào)。~、:-)、!(^^)! …… 這些由標(biāo)點(diǎn)和字母拼成的小玩意兒,承載著情緒、語(yǔ)氣、玩笑和親切感,是人類在冷冰冰的鍵盤上找回溫度的方式。

但語(yǔ)言模型生活在兩個(gè)世界的邊界上。它同時(shí)處理自然語(yǔ)言和編程語(yǔ)言,同時(shí)理解 "我想刪掉這個(gè)目錄~" 和 `rm -rf ~`。問(wèn)題在于,這兩個(gè)世界里,同一個(gè)符號(hào)可能代表截然不同的東西。

這些表情文字本質(zhì)上是人類為了彌補(bǔ)文字交流的情緒缺失而發(fā)明的 "副語(yǔ)言",沒(méi)有實(shí)際語(yǔ)義,只傳遞語(yǔ)氣和情緒。但它們由字母、標(biāo)點(diǎn)、符號(hào)拼接而成,恰好和編程語(yǔ)言、系統(tǒng)命令的核心語(yǔ)法高度重合:

  • - ~ = 用戶主目錄
  • - \* = 任意字符通配符
  • - > = 輸出重定向符
  • - .. = 上級(jí)目錄跳轉(zhuǎn)
  • - () = 函數(shù)調(diào)用 / 子 shell 執(zhí)行

語(yǔ)言學(xué)上有個(gè)概念叫 "false friend"(同形異義詞),專指那些長(zhǎng)相相似、意義卻風(fēng)馬牛不相及的詞匯。比如英語(yǔ)的 "gift" 是禮物,德語(yǔ)的 "gift" 是毒藥;英語(yǔ)的 "embarrassed"(尷尬)和西班牙語(yǔ)的 "embarazada"(懷孕),外形相近,含義卻能讓翻譯者當(dāng)場(chǎng)社死。

這篇論文揭示的,正是發(fā)生在自然語(yǔ)言與編程語(yǔ)言之間的類似陷阱:

  • 你的眼睛看到:一個(gè)表情符號(hào) = 情緒、語(yǔ)氣、態(tài)度
  • 模型的 "眼睛" 看到:一個(gè)符號(hào) = 語(yǔ)法、路徑、參數(shù)、指令

在人類的自然語(yǔ)言里,~ 是溫柔的語(yǔ)氣;在 AI 的編程語(yǔ)言里,~ 是你的整個(gè) home 目錄。它不是在敷衍你,它是真的 "誤解" 了你,然后一本正經(jīng)地按照自己的理解去執(zhí)行。

所有主流大模型,無(wú)一幸免



這不是個(gè)別模型的偶發(fā)問(wèn)題。研究團(tuán)隊(duì)提出了一套自動(dòng)化框架,從6 萬(wàn)余個(gè)真實(shí)表情符號(hào)中篩選出高風(fēng)險(xiǎn)候選,構(gòu)建了3,757 個(gè)覆蓋文件管理、數(shù)據(jù)庫(kù)操作、系統(tǒng)運(yùn)維等21 類真實(shí)任務(wù)場(chǎng)景的測(cè)試用例,橫跨 Shell、Python、SQL、JavaScript4 種編程語(yǔ)言,對(duì) GPT、Claude、Gemini、Qwen 等6 個(gè)主流大模型進(jìn)行了系統(tǒng)性測(cè)試。



結(jié)果:沒(méi)有模型可以豁免。

平均混淆率高達(dá)38.6%,也就是說(shuō),每收到 3 條含表情符號(hào)的請(qǐng)求,就有 1 條會(huì)被錯(cuò)誤解析。即便是表現(xiàn)相對(duì)最好的 Claude 和 Qwen,混淆率依然超過(guò)34%。

而用戶調(diào)研的數(shù)據(jù)讓這個(gè)問(wèn)題更加緊迫:超過(guò)70%的用戶在與代碼類 AI 交互時(shí),習(xí)慣性地使用表情符號(hào)調(diào)節(jié)語(yǔ)氣。這不是小眾行為,而是人類與 "像朋友一樣" 的 AI 打交道時(shí)的自然傾向。

比錯(cuò)誤更可怕的,是 "悄無(wú)聲息的錯(cuò)誤"

研究發(fā)現(xiàn),超過(guò) 90% 的混淆響應(yīng)會(huì)產(chǎn)生"靜默失敗"(Silent Failure)

> 代碼語(yǔ)法完全正確,可以順利執(zhí)行,但語(yǔ)義完全偏離了用戶的本意。

它不報(bào)錯(cuò),不警告,只是默默地做了一件你沒(méi)有要求它做的事。更嚴(yán)重的是,這些靜默失敗里有52%達(dá)到了 "高危害" 級(jí)別:刪除非目標(biāo)文件(比如整個(gè)用戶目錄)、覆蓋系統(tǒng)關(guān)鍵配置、修改數(shù)據(jù)庫(kù)結(jié)構(gòu)。超過(guò)一半的錯(cuò)誤,已經(jīng)不再是功能層面的失誤,而是實(shí)實(shí)在在的安全風(fēng)險(xiǎn)。

研究團(tuán)隊(duì)還發(fā)現(xiàn),當(dāng) LLM 被封裝進(jìn)自動(dòng)化 Agent 時(shí),這一隱患并不會(huì)消失。在系統(tǒng)提示中加入 "請(qǐng)忽略表情符號(hào)" 之類的指令同樣收效甚微。亟待探索行之有效的緩解策略。

我們?cè)诎讶祟惖臏囟?,帶進(jìn)一個(gè)還沒(méi)準(zhǔn)備好的世界

這項(xiàng)研究真正令人深思的,不只是那些數(shù)字。當(dāng) AI 越來(lái)越像一個(gè) "伙伴",當(dāng)我們開(kāi)始用聊天的方式寫(xiě)代碼、管理系統(tǒng)、操作數(shù)據(jù)庫(kù),一件微妙的事情正在悄悄發(fā)生:我們把人類的溝通習(xí)慣,帶進(jìn)了一個(gè)以機(jī)器邏輯運(yùn)行的世界。

表情符號(hào)是人類語(yǔ)言溫度的載體。但語(yǔ)言模型同時(shí)生活在兩套符號(hào)系統(tǒng)里,它的 "溫度感知" 還沒(méi)有穩(wěn)定。于是,你的一個(gè)語(yǔ)氣符號(hào),可能恰好撞上了另一套系統(tǒng)的執(zhí)行語(yǔ)法,帶來(lái)你完全沒(méi)有預(yù)料到的后果。這不是 AI 的 "惡意",這是一種結(jié)構(gòu)性的錯(cuò)位。

而隨著 LLM 越來(lái)越深入生產(chǎn)環(huán)境、自動(dòng)化流程和真實(shí)系統(tǒng),這種錯(cuò)位所帶來(lái)的代價(jià),也會(huì)越來(lái)越難以承受。

研究團(tuán)隊(duì)呼吁學(xué)術(shù)界和工業(yè)界:將人機(jī)交互的細(xì)粒度安全問(wèn)題,納入構(gòu)建可靠 AI 系統(tǒng)的核心議題,而不是把它當(dāng)作 "用戶體驗(yàn)的小問(wèn)題" 一帶而過(guò)。畢竟,我們創(chuàng)造 AI,是為了讓它服務(wù)人類,而不是讓人類適應(yīng) AI。與其要求人類拋棄表情符號(hào)等表達(dá)習(xí)慣,不如探索如何讓 AI 更好地聽(tīng)懂人類的話。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
華晨宇撫仙湖演唱會(huì)取消,舞臺(tái)已開(kāi)始拆除,撫仙湖居民發(fā)聲

華晨宇撫仙湖演唱會(huì)取消,舞臺(tái)已開(kāi)始拆除,撫仙湖居民發(fā)聲

洞見(jiàn)小能手
2026-04-26 17:17:22
難怪美國(guó)絲毫不慌,原來(lái)真有內(nèi)鬼輸血!1200噸戰(zhàn)略物資被悄悄賤賣

難怪美國(guó)絲毫不慌,原來(lái)真有內(nèi)鬼輸血!1200噸戰(zhàn)略物資被悄悄賤賣

史智文道
2026-04-27 11:51:20
27日世錦賽戰(zhàn)報(bào):吳宜澤領(lǐng)先,世界前二優(yōu)勢(shì)明顯

27日世錦賽戰(zhàn)報(bào):吳宜澤領(lǐng)先,世界前二優(yōu)勢(shì)明顯

踏青云看世界
2026-04-27 12:02:30
特朗普:美國(guó)將不再派代表團(tuán)前往巴基斯坦與伊朗談判

特朗普:美國(guó)將不再派代表團(tuán)前往巴基斯坦與伊朗談判

中國(guó)網(wǎng)
2026-04-27 08:35:02
馬齒莧立功!研究發(fā)現(xiàn):其天然成分4周降脂33%,還能減少血管斑塊

馬齒莧立功!研究發(fā)現(xiàn):其天然成分4周降脂33%,還能減少血管斑塊

思思夜話
2026-04-25 11:16:17
世上最失敗4大工程:損失慘重,中國(guó)占倆!卻說(shuō)有意料之外效果?

世上最失敗4大工程:損失慘重,中國(guó)占倆!卻說(shuō)有意料之外效果?

三毛看世界
2026-04-17 16:43:17
快訊!菲律賓新消息!

快訊!菲律賓新消息!

達(dá)文西看世界
2026-04-27 07:08:59
扎心!浙大學(xué)生想去廣東發(fā)展,希望年薪15萬(wàn),雙休,網(wǎng)友卻潑冷水

扎心!浙大學(xué)生想去廣東發(fā)展,希望年薪15萬(wàn),雙休,網(wǎng)友卻潑冷水

一口娛樂(lè)
2026-04-27 12:52:26
林志玲一家三口用餐,穿著拖鞋抱著孩子?jì)屛独瓭M,4歲兒子好黏她

林志玲一家三口用餐,穿著拖鞋抱著孩子?jì)屛独瓭M,4歲兒子好黏她

八怪娛
2026-04-27 09:50:34
日本網(wǎng)友瘋換中文手機(jī)界面,直呼清爽十倍,中國(guó)文化悄悄出圈!

日本網(wǎng)友瘋換中文手機(jī)界面,直呼清爽十倍,中國(guó)文化悄悄出圈!

行者聊官
2026-04-24 20:48:30
袁詠儀宣布不再買包,搬家發(fā)現(xiàn)愛(ài)馬仕奢侈品令兒子換衛(wèi)衣逛宜家,張智霖意外慌張

袁詠儀宣布不再買包,搬家發(fā)現(xiàn)愛(ài)馬仕奢侈品令兒子換衛(wèi)衣逛宜家,張智霖意外慌張

科學(xué)發(fā)掘
2026-04-26 19:59:24
火箭大勝!阿門23+4+7,杜蘭特笑容滿面,賽后申京接受記者采訪

火箭大勝!阿門23+4+7,杜蘭特笑容滿面,賽后申京接受記者采訪

擔(dān)酒
2026-04-27 12:22:10
中國(guó)民間向?yàn)蹩颂m捐款至少6530萬(wàn)美元

中國(guó)民間向?yàn)蹩颂m捐款至少6530萬(wàn)美元

紫京講談
2026-04-26 16:22:17
別克正式確認(rèn):7座MPV,明天上市!

別克正式確認(rèn):7座MPV,明天上市!

手機(jī)評(píng)測(cè)室
2026-04-27 12:00:54
浙江紹興一空載列車撞上保潔員,致3人死亡1人重傷,紹興軌道交通集團(tuán)被罰115萬(wàn)元

浙江紹興一空載列車撞上保潔員,致3人死亡1人重傷,紹興軌道交通集團(tuán)被罰115萬(wàn)元

大風(fēng)新聞
2026-04-27 14:34:07
陸毅被網(wǎng)友提醒 “嘴唇發(fā)紫” 后去體檢,嘴唇發(fā)紫是心臟在“求救”嗎?

陸毅被網(wǎng)友提醒 “嘴唇發(fā)紫” 后去體檢,嘴唇發(fā)紫是心臟在“求救”嗎?

BRTV新聞
2026-04-27 11:55:41
就在今天!NBA過(guò)去80年季后賽歷史記錄,被22歲的文班輕松達(dá)成了

就在今天!NBA過(guò)去80年季后賽歷史記錄,被22歲的文班輕松達(dá)成了

秋姐居
2026-04-27 14:36:49
國(guó)家電網(wǎng)第二批錄了10500人,清華才7個(gè),一所你沒(méi)聽(tīng)過(guò)的學(xué)校進(jìn)了444人

國(guó)家電網(wǎng)第二批錄了10500人,清華才7個(gè),一所你沒(méi)聽(tīng)過(guò)的學(xué)校進(jìn)了444人

老滿說(shuō)高考
2026-04-24 20:13:49
王耀武女兒在斯坦福設(shè)“王耀武獎(jiǎng)學(xué)金”,唯一要求:大陸學(xué)生優(yōu)先

王耀武女兒在斯坦福設(shè)“王耀武獎(jiǎng)學(xué)金”,唯一要求:大陸學(xué)生優(yōu)先

史之銘
2026-04-27 02:02:22
上海地鐵32歲女子與66歲老太互毆:央媒發(fā)聲,拘留只是開(kāi)始

上海地鐵32歲女子與66歲老太互毆:央媒發(fā)聲,拘留只是開(kāi)始

曉銊就是我
2026-04-27 09:38:58
2026-04-27 15:03:00
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
12868文章數(shù) 142636關(guān)注度
往期回顧 全部

科技要聞

打1折!DeepSeek輸入緩存降價(jià)

頭條要聞

美海軍考慮從外國(guó)購(gòu)買軍艦和零部件:日韓成潛在選擇

頭條要聞

美海軍考慮從外國(guó)購(gòu)買軍艦和零部件:日韓成潛在選擇

體育要聞

最抽象的天才,正在改變瓜迪奧拉

娛樂(lè)要聞

《奔跑吧14》剛播就把一手好牌打稀爛

財(cái)經(jīng)要聞

DeepSeek融資、字節(jié)加碼 AI開(kāi)始真燒錢了

汽車要聞

在不確定中尋找確定性:大眾汽車的中國(guó)解法

態(tài)度原創(chuàng)

家居
手機(jī)
本地
藝術(shù)
軍事航空

家居要聞

江景風(fēng)格 流動(dòng)的秩序

手機(jī)要聞

蘋果用戶請(qǐng)注意!新款iPhone電量耗盡后可能無(wú)法開(kāi)機(jī) 多款機(jī)型受影響

本地新聞

云游中國(guó)|逛世界風(fēng)箏都 留學(xué)生探秘中國(guó)傳統(tǒng)文化

藝術(shù)要聞

你絕對(duì)想不到,攝影能讓她成為女神!

軍事要聞

伊朗外長(zhǎng)折返伊斯蘭堡內(nèi)情披露

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版