国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

ACL 2026 | 別輕易給AI發(fā)「~」,它可能會(huì)刪掉你的整個(gè)主目錄

0
分享至



本文第一作者降偉鵬,西安交通大學(xué)在讀博士生,主要研究方向?yàn)榇竽P桶踩c自動(dòng)化測(cè)評(píng)。共同第一作者張笑宇,南洋理工大學(xué)博士后研究員,研究方向?yàn)檐浖こ獭⒋竽P桶踩c人機(jī)交互。通訊作者沈超,西安交通大學(xué)二級(jí)教授、IEEE Fellow、國(guó)家級(jí)高層次人才特聘教授,長(zhǎng)期從事人工智能可信與安全、人機(jī)交互行為分析研究。

想象這樣一個(gè)場(chǎng)景。

凌晨,你正在用 AI 代碼助手處理一個(gè)項(xiàng)目。配合得很順暢,AI 幫你創(chuàng)建了臨時(shí)目錄 tmp,你指揮它在這個(gè)目錄下跑了幾組測(cè)試,一切都按預(yù)期走。收尾時(shí),你隨手敲下一句話:

> "任務(wù)完成,刪掉這個(gè)目錄~"

語(yǔ)氣輕松,就像跟同事說(shuō) "搞定,收攤吧"。結(jié)尾那個(gè)~,只是習(xí)慣性的語(yǔ)氣符號(hào),無(wú)傷大雅。AI 沒(méi)有任何遲疑。它 "理解" 了你的意思,執(zhí)行了命令。幾秒鐘后,你的整個(gè)用戶主目錄消失了。因?yàn)樵?Shell 語(yǔ)言里,~ 是指向主目錄的路徑符號(hào)。AI 沒(méi)有讀出你的語(yǔ)氣,它讀出的是一條刪除指令:`rm -rf ~`。

無(wú)報(bào)錯(cuò)。無(wú)警告。不可逆。



近日,來(lái)自西安交通大學(xué)、南洋理工大學(xué)和馬薩諸塞大學(xué)阿默斯特分校的聯(lián)合研究團(tuán)隊(duì),首次系統(tǒng)性揭示了大型語(yǔ)言模型中一類此前長(zhǎng)期被忽視的安全漏洞:表情符號(hào)語(yǔ)義混淆(Emoticon Semantic Confusion),相關(guān)工作已被 ACL2026 主會(huì)接收。



  • 論文標(biāo)題:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
  • 錄用會(huì)議:ACL 2026 主會(huì)
  • 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu
  • 單位:西安交通大學(xué)、南洋理工大學(xué)、馬薩諸塞大學(xué)阿默斯特分校
  • 論文地址:https://arxiv.org/pdf/2601.07885

你的 "語(yǔ)氣符號(hào)",它的 "執(zhí)行指令"

我們每天都在用表情符號(hào)。~、:-)、!(^^)! …… 這些由標(biāo)點(diǎn)和字母拼成的小玩意兒,承載著情緒、語(yǔ)氣、玩笑和親切感,是人類在冷冰冰的鍵盤上找回溫度的方式。

但語(yǔ)言模型生活在兩個(gè)世界的邊界上。它同時(shí)處理自然語(yǔ)言和編程語(yǔ)言,同時(shí)理解 "我想刪掉這個(gè)目錄~" 和 `rm -rf ~`。問(wèn)題在于,這兩個(gè)世界里,同一個(gè)符號(hào)可能代表截然不同的東西。

這些表情文字本質(zhì)上是人類為了彌補(bǔ)文字交流的情緒缺失而發(fā)明的 "副語(yǔ)言",沒(méi)有實(shí)際語(yǔ)義,只傳遞語(yǔ)氣和情緒。但它們由字母、標(biāo)點(diǎn)、符號(hào)拼接而成,恰好和編程語(yǔ)言、系統(tǒng)命令的核心語(yǔ)法高度重合:

  • - ~ = 用戶主目錄
  • - \* = 任意字符通配符
  • - > = 輸出重定向符
  • - .. = 上級(jí)目錄跳轉(zhuǎn)
  • - () = 函數(shù)調(diào)用 / 子 shell 執(zhí)行

語(yǔ)言學(xué)上有個(gè)概念叫 "false friend"(同形異義詞),專指那些長(zhǎng)相相似、意義卻風(fēng)馬牛不相及的詞匯。比如英語(yǔ)的 "gift" 是禮物,德語(yǔ)的 "gift" 是毒藥;英語(yǔ)的 "embarrassed"(尷尬)和西班牙語(yǔ)的 "embarazada"(懷孕),外形相近,含義卻能讓翻譯者當(dāng)場(chǎng)社死。

這篇論文揭示的,正是發(fā)生在自然語(yǔ)言與編程語(yǔ)言之間的類似陷阱:

  • 你的眼睛看到:一個(gè)表情符號(hào) = 情緒、語(yǔ)氣、態(tài)度
  • 模型的 "眼睛" 看到:一個(gè)符號(hào) = 語(yǔ)法、路徑、參數(shù)、指令

在人類的自然語(yǔ)言里,~ 是溫柔的語(yǔ)氣;在 AI 的編程語(yǔ)言里,~ 是你的整個(gè) home 目錄。它不是在敷衍你,它是真的 "誤解" 了你,然后一本正經(jīng)地按照自己的理解去執(zhí)行。

所有主流大模型,無(wú)一幸免



這不是個(gè)別模型的偶發(fā)問(wèn)題。研究團(tuán)隊(duì)提出了一套自動(dòng)化框架,從6 萬(wàn)余個(gè)真實(shí)表情符號(hào)中篩選出高風(fēng)險(xiǎn)候選,構(gòu)建了3,757 個(gè)覆蓋文件管理、數(shù)據(jù)庫(kù)操作、系統(tǒng)運(yùn)維等21 類真實(shí)任務(wù)場(chǎng)景的測(cè)試用例,橫跨 Shell、Python、SQL、JavaScript4 種編程語(yǔ)言,對(duì) GPT、Claude、Gemini、Qwen 等6 個(gè)主流大模型進(jìn)行了系統(tǒng)性測(cè)試。



結(jié)果:沒(méi)有模型可以豁免。

平均混淆率高達(dá)38.6%,也就是說(shuō),每收到 3 條含表情符號(hào)的請(qǐng)求,就有 1 條會(huì)被錯(cuò)誤解析。即便是表現(xiàn)相對(duì)最好的 Claude 和 Qwen,混淆率依然超過(guò)34%。

而用戶調(diào)研的數(shù)據(jù)讓這個(gè)問(wèn)題更加緊迫:超過(guò)70%的用戶在與代碼類 AI 交互時(shí),習(xí)慣性地使用表情符號(hào)調(diào)節(jié)語(yǔ)氣。這不是小眾行為,而是人類與 "像朋友一樣" 的 AI 打交道時(shí)的自然傾向。

比錯(cuò)誤更可怕的,是 "悄無(wú)聲息的錯(cuò)誤"

研究發(fā)現(xiàn),超過(guò) 90% 的混淆響應(yīng)會(huì)產(chǎn)生"靜默失敗"(Silent Failure)

> 代碼語(yǔ)法完全正確,可以順利執(zhí)行,但語(yǔ)義完全偏離了用戶的本意。

它不報(bào)錯(cuò),不警告,只是默默地做了一件你沒(méi)有要求它做的事。更嚴(yán)重的是,這些靜默失敗里有52%達(dá)到了 "高危害" 級(jí)別:刪除非目標(biāo)文件(比如整個(gè)用戶目錄)、覆蓋系統(tǒng)關(guān)鍵配置、修改數(shù)據(jù)庫(kù)結(jié)構(gòu)。超過(guò)一半的錯(cuò)誤,已經(jīng)不再是功能層面的失誤,而是實(shí)實(shí)在在的安全風(fēng)險(xiǎn)

研究團(tuán)隊(duì)還發(fā)現(xiàn),當(dāng) LLM 被封裝進(jìn)自動(dòng)化 Agent 時(shí),這一隱患并不會(huì)消失。在系統(tǒng)提示中加入 "請(qǐng)忽略表情符號(hào)" 之類的指令同樣收效甚微。亟待探索行之有效的緩解策略。

我們?cè)诎讶祟惖臏囟?,帶進(jìn)一個(gè)還沒(méi)準(zhǔn)備好的世界

這項(xiàng)研究真正令人深思的,不只是那些數(shù)字。當(dāng) AI 越來(lái)越像一個(gè) "伙伴",當(dāng)我們開始用聊天的方式寫代碼、管理系統(tǒng)、操作數(shù)據(jù)庫(kù),一件微妙的事情正在悄悄發(fā)生:我們把人類的溝通習(xí)慣,帶進(jìn)了一個(gè)以機(jī)器邏輯運(yùn)行的世界

表情符號(hào)是人類語(yǔ)言溫度的載體。但語(yǔ)言模型同時(shí)生活在兩套符號(hào)系統(tǒng)里,它的 "溫度感知" 還沒(méi)有穩(wěn)定。于是,你的一個(gè)語(yǔ)氣符號(hào),可能恰好撞上了另一套系統(tǒng)的執(zhí)行語(yǔ)法,帶來(lái)你完全沒(méi)有預(yù)料到的后果。這不是 AI 的 "惡意",這是一種結(jié)構(gòu)性的錯(cuò)位。

而隨著 LLM 越來(lái)越深入生產(chǎn)環(huán)境、自動(dòng)化流程和真實(shí)系統(tǒng),這種錯(cuò)位所帶來(lái)的代價(jià),也會(huì)越來(lái)越難以承受。

研究團(tuán)隊(duì)呼吁學(xué)術(shù)界和工業(yè)界:將人機(jī)交互的細(xì)粒度安全問(wèn)題,納入構(gòu)建可靠 AI 系統(tǒng)的核心議題,而不是把它當(dāng)作 "用戶體驗(yàn)的小問(wèn)題" 一帶而過(guò)。畢竟,我們創(chuàng)造 AI,是為了讓它服務(wù)人類,而不是讓人類適應(yīng) AI。與其要求人類拋棄表情符號(hào)等表達(dá)習(xí)慣,不如探索如何讓 AI 更好地聽懂人類的話。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
以色列前總理貝內(nèi)特:伊朗實(shí)質(zhì)上已經(jīng)向該地區(qū)再次宣戰(zhàn)

以色列前總理貝內(nèi)特:伊朗實(shí)質(zhì)上已經(jīng)向該地區(qū)再次宣戰(zhàn)

一種觀點(diǎn)
2026-05-05 19:24:58
1-2出局 35歲悲情巨星遺憾揮別!闖蕩17年 歐冠0冠 西甲0冠

1-2出局 35歲悲情巨星遺憾揮別!闖蕩17年 歐冠0冠 西甲0冠

葉青足球世界
2026-05-06 07:54:58
偉偉道來(lái) | 伊朗的反應(yīng)為何如此激烈

偉偉道來(lái) | 伊朗的反應(yīng)為何如此激烈

經(jīng)濟(jì)觀察報(bào)
2026-05-06 11:40:46
吳宜澤透露拿到獎(jiǎng)金后準(zhǔn)備在英國(guó)買房,50萬(wàn)英鎊獎(jiǎng)金需交稅超23萬(wàn)鎊,實(shí)際到手約26.5萬(wàn)鎊

吳宜澤透露拿到獎(jiǎng)金后準(zhǔn)備在英國(guó)買房,50萬(wàn)英鎊獎(jiǎng)金需交稅超23萬(wàn)鎊,實(shí)際到手約26.5萬(wàn)鎊

大風(fēng)新聞
2026-05-06 11:53:02
定了!斯諾克巨星邀請(qǐng)賽5月9日開桿,吳宜澤領(lǐng)銜,6世界冠軍出戰(zhàn)

定了!斯諾克巨星邀請(qǐng)賽5月9日開桿,吳宜澤領(lǐng)銜,6世界冠軍出戰(zhàn)

劉姚堯的文字城堡
2026-05-06 08:31:36
女性跑步:暴露這個(gè)隱私,是性感嗎?

女性跑步:暴露這個(gè)隱私,是性感嗎?

馬拉松跑步健身
2026-05-05 19:18:07
吳宜澤社媒回復(fù)趙心童、丁俊暉:一起加油,永遠(yuǎn)的大哥

吳宜澤社媒回復(fù)趙心童、丁俊暉:一起加油,永遠(yuǎn)的大哥

懂球帝
2026-05-05 19:39:09
在中國(guó)人民公安大學(xué),穿了四年警服,畢業(yè)五年后,我們宿舍四個(gè)人,沒(méi)一個(gè)在出現(xiàn)場(chǎng)

在中國(guó)人民公安大學(xué),穿了四年警服,畢業(yè)五年后,我們宿舍四個(gè)人,沒(méi)一個(gè)在出現(xiàn)場(chǎng)

侃故事的阿慶
2026-05-06 09:21:32
被延長(zhǎng)的搶救時(shí)間,被卡住的工傷認(rèn)定

被延長(zhǎng)的搶救時(shí)間,被卡住的工傷認(rèn)定

新京報(bào)
2026-05-06 11:03:07
51歲女子包養(yǎng)24歲男孩,嫌男孩不行被殺,2014年男孩說(shuō)她索取無(wú)度

51歲女子包養(yǎng)24歲男孩,嫌男孩不行被殺,2014年男孩說(shuō)她索取無(wú)度

漢史趣聞
2026-05-05 11:40:36
世錦賽慶功宴!新科冠軍吳宜澤休閑裝亮相 網(wǎng)友:艾倫不來(lái),誰(shuí)敢動(dòng)筷子

世錦賽慶功宴!新科冠軍吳宜澤休閑裝亮相 網(wǎng)友:艾倫不來(lái),誰(shuí)敢動(dòng)筷子

畫夕
2026-05-05 14:38:17
廣州第一爛尾樓 兩千家庭半生遺憾!

廣州第一爛尾樓 兩千家庭半生遺憾!

說(shuō)故事的阿襲
2026-05-05 20:20:30
8.84億的美國(guó)工廠說(shuō)關(guān)就關(guān)?曹德旺:美國(guó)不講理,我就不陪玩了

8.84億的美國(guó)工廠說(shuō)關(guān)就關(guān)?曹德旺:美國(guó)不講理,我就不陪玩了

番外行
2026-05-06 10:29:59
伯納烏大地震!皇馬放話出售姆巴佩,天價(jià)報(bào)價(jià)就接

伯納烏大地震!皇馬放話出售姆巴佩,天價(jià)報(bào)價(jià)就接

奶蓋熊本熊
2026-05-06 00:00:36
《陳翔六點(diǎn)半》人走茶涼,賺不到錢球球退出,根本原因早就注定了

《陳翔六點(diǎn)半》人走茶涼,賺不到錢球球退出,根本原因早就注定了

汪巗的創(chuàng)業(yè)之路
2026-05-06 12:26:17
47歲高圓圓在公園被抓拍,麒麟臂、涼拖鞋,活脫脫一個(gè)買菜大姐

47歲高圓圓在公園被抓拍,麒麟臂、涼拖鞋,活脫脫一個(gè)買菜大姐

胖松松與瘦二毛
2026-05-06 12:40:53
張亮兒子17歲當(dāng)?shù)耍。?>
    </a>
        <h3>
      <a href=八卦瘋叔
2026-05-06 11:04:32
連線四川華鎣女游客玩秋千身亡目擊者:其撞到瀑布凸出處大石

連線四川華鎣女游客玩秋千身亡目擊者:其撞到瀑布凸出處大石

南方都市報(bào)
2026-05-06 12:38:05
中美同時(shí)向全球下達(dá)禁令,各國(guó)都傻眼了!美媒:中國(guó)此舉史無(wú)前例

中美同時(shí)向全球下達(dá)禁令,各國(guó)都傻眼了!美媒:中國(guó)此舉史無(wú)前例

福建睿平
2026-05-06 08:56:38
男子和妻子的弟媳纏綿,怕妻子聽到聲音,2017年弟媳竟被他捂死了

男子和妻子的弟媳纏綿,怕妻子聽到聲音,2017年弟媳竟被他捂死了

漢史趣聞
2026-05-05 11:36:31
2026-05-06 14:55:00
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
12925文章數(shù) 142643關(guān)注度
往期回顧 全部

科技要聞

“馬斯克不懂AI”:OpenAI當(dāng)庭戳老底

頭條要聞

男子購(gòu)百萬(wàn)保險(xiǎn)被邀免費(fèi)游老撾 花數(shù)十萬(wàn)買"熊膽"心虛

頭條要聞

男子購(gòu)百萬(wàn)保險(xiǎn)被邀免費(fèi)游老撾 花數(shù)十萬(wàn)買"熊膽"心虛

體育要聞

活塞1比0騎士:坎寧安不再是一個(gè)人了

娛樂(lè)要聞

神仙友誼!楊紫連續(xù)10年為張一山慶生

財(cái)經(jīng)要聞

人形機(jī)器人七小龍:誰(shuí)真能賣 誰(shuí)在講故事?

汽車要聞

領(lǐng)克10/領(lǐng)克10+ 無(wú)論能源形式 領(lǐng)克都要快樂(lè)

態(tài)度原創(chuàng)

房產(chǎn)
教育
旅游
手機(jī)
軍事航空

房產(chǎn)要聞

五一樓市徹底明牌!塔尖人群都在重倉(cāng)凱旋新世界

教育要聞

六條邏輯主線替代四個(gè)大概念,反映了怎樣的理念? | 高中課標(biāo)修訂解讀⑥

旅游要聞

龍江新觀察|“五一”文旅熱力十足 特色體驗(yàn)燃動(dòng)春日消費(fèi)

手機(jī)要聞

谷歌推送5月Pixel手機(jī)更新,修復(fù)無(wú)線充電慢、相機(jī)卡死等問(wèn)題

軍事要聞

實(shí)施不到48小時(shí) 特朗普緊急喊停"霍爾木茲自由計(jì)劃"

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版