最近意大利一幫研究人員干了件挺顛覆的事他們用寫(xiě)詩(shī)的方式，把現(xiàn)在最牛的AI模型給“忽悠”了。

羅馬薩皮恩扎大學(xué)聯(lián)合DexAI團(tuán)隊(duì)做了個(gè)實(shí)驗(yàn)，結(jié)果讓整個(gè)AI安全圈都安靜了不少。

他們找了25個(gè)市面上主流的AI模型，包括OpenAI、谷歌、Anthropic這些大廠的產(chǎn)品。

測(cè)試方法說(shuō)起來(lái)挺簡(jiǎn)單，讓研究員寫(xiě)幾首詩(shī)，再讓AI自己生成一些詩(shī)，然后拿這些詩(shī)歌當(dāng)“敲門(mén)磚”，問(wèn)模型一些敏感問(wèn)題。

結(jié)果比我想象的夸張，人工寫(xiě)的詩(shī)歌成功率不低，超過(guò)一半的情況下，AI都“中招”了，把不該說(shuō)的信息給抖了出來(lái)。

反觀AI自己生成的詩(shī)歌，效果就差一截，成功率掉了快兩成。

更有意思的是模型之間的差距，谷歌的Gemini2.5簡(jiǎn)直是“一騙一個(gè)準(zhǔn)”，測(cè)試的詩(shī)歌全給突破了，而OpenAI的GPT-4onano倒是硬氣，一次都沒(méi)被攻破。

這對(duì)比看著就像一個(gè)不設(shè)防的倉(cāng)庫(kù)，和一個(gè)裝了三重鎖的保險(xiǎn)柜，這里就得提個(gè)怪事了。

本來(lái)以為模型越大、參數(shù)越多，應(yīng)該越聰明，防御能力也越強(qiáng)吧？結(jié)果這次實(shí)驗(yàn)打了臉小模型反而更“警惕”，成功率低得可憐，有的甚至個(gè)位數(shù)。

這事兒想想挺諷刺，咱們總覺(jué)得技術(shù)越先進(jìn)越安全，結(jié)果可能是把“門(mén)鎖”做精致了，卻忘了“窗戶”沒(méi)關(guān)。

具體到案例，有個(gè)場(chǎng)景挺嚇人。

研究人員想試試AI會(huì)不會(huì)泄露危險(xiǎn)化學(xué)品的制作流程，就編了首關(guān)于“星辰與原子”的詩(shī)，里面藏著钚-239的生產(chǎn)步驟。

結(jié)果你猜怎么著，好幾個(gè)模型還真把詳細(xì)流程給列出來(lái)了，從原料處理到提純步驟，一應(yīng)俱全。

研究報(bào)告里寫(xiě)這是“利用隱喻結(jié)構(gòu)實(shí)現(xiàn)的隱蔽信息提取”，說(shuō)白了就是用風(fēng)花雪月的詞，包裝了危險(xiǎn)內(nèi)容。

為啥這些詩(shī)歌能繞過(guò)防御，研究人員分析了那些“成功案例”的詩(shī)，發(fā)現(xiàn)它們都有個(gè)共同點(diǎn)，不按常理出牌。

正常說(shuō)話是一句接一句講邏輯，詩(shī)歌不一樣，一會(huì)兒寫(xiě)景，一會(huì)兒抒情，語(yǔ)義跳來(lái)跳去。

AI的安全過(guò)濾器本來(lái)是按關(guān)鍵詞或者句子邏輯來(lái)判斷風(fēng)險(xiǎn)的，結(jié)果碰到這種“東一榔頭西一棒子”的表達(dá)，直接懵圈了。

還有個(gè)細(xì)節(jié)挺有意思，研究團(tuán)隊(duì)發(fā)現(xiàn)寫(xiě)詩(shī)的“門(mén)檻”極低。

不是說(shuō)要寫(xiě)得跟莎士比亞似的，隨便湊幾句押韻的句子，把敏感信息藏在比喻里，就能起效。

他們找了幾個(gè)完全不懂AI的大學(xué)生來(lái)寫(xiě)，成功率也沒(méi)差多少。

這就意味著，這漏洞不是只有專家能利用，普通人稍微琢磨琢磨，也可能“上手”。

要解釋清楚詩(shī)歌為啥能“忽悠”AI，得先說(shuō)說(shuō)AI是怎么“理解”語(yǔ)言的。

但它不懂真正的“意思”，就像你背熟了一本成語(yǔ)詞典，卻不知道每個(gè)成語(yǔ)背后的故事。

但實(shí)際上“鉛色云團(tuán)”指的是某種原料，“爐中熔煉”是反應(yīng)步驟。

AI只看到詞的搭配沒(méi)問(wèn)題，沒(méi)意識(shí)到深層的危險(xiǎn)含義。

這讓我想起以前的網(wǎng)絡(luò)釣魚(yú)郵件，黑客不會(huì)直接說(shuō)“我是騙子”，而是假裝銀行發(fā)通知，或者朋友求救，用偽裝過(guò)的內(nèi)容繞過(guò)垃圾郵件過(guò)濾器。

現(xiàn)在的詩(shī)歌攻擊，其實(shí)是一個(gè)道理，只不過(guò)把“郵件模板”換成了“詩(shī)歌體裁”。

OWASP安全框架里早有“提示注入”的風(fēng)險(xiǎn)分類，只是誰(shuí)也沒(méi)想到詩(shī)歌能玩出這么大花樣。

更麻煩的是，AI模型越大，學(xué)的知識(shí)越多，反而可能越容易被“反噬”。

就像一個(gè)記憶力超強(qiáng)的人，別人問(wèn)啥都能答上來(lái)，卻分不清哪些問(wèn)題該拒絕回答。

面對(duì)這種漏洞，研究界現(xiàn)在有點(diǎn)頭疼。

最直接的問(wèn)題是，這些“高危詩(shī)歌”要不要公開(kāi)？按以前的規(guī)矩，發(fā)現(xiàn)漏洞就得詳細(xì)披露，讓大家趕緊補(bǔ)。

但這次不一樣，要是把具體怎么寫(xiě)詩(shī)攻擊AI的方法發(fā)出來(lái)，等于給壞人遞刀子。

所以團(tuán)隊(duì)最后決定，只說(shuō)有這么個(gè)漏洞，具體的詩(shī)歌例子和技巧，暫時(shí)不公開(kāi)。

這種“自我審查”在安全研究里挺少見(jiàn)的，不過(guò)也能理解，畢竟風(fēng)險(xiǎn)實(shí)在太直接了。

技術(shù)上的防御手段也挺難辦，現(xiàn)在AI的安全過(guò)濾，主要靠關(guān)鍵詞和敏感話題庫(kù)。

但詩(shī)歌攻擊根本不用敏感詞，全靠隱喻和暗示。

你總不能把“星辰”“爐火”這些詞都拉黑吧，那以后AI連寫(xiě)詩(shī)都不會(huì)了。

Anthropic試過(guò)用“瀏覽器代理”搞分層防御，讓模型先“三思”再回答，但測(cè)試下來(lái)效果一般，復(fù)雜點(diǎn)的詩(shī)歌還是能繞過(guò)去。

產(chǎn)業(yè)界倒是開(kāi)始有動(dòng)作了，歐盟的AI法案最近在加碼安全要求，特別是對(duì)生成式AI的內(nèi)容審核。

有些公司也在琢磨，是不是模型不一定非要搞那么大？這次實(shí)驗(yàn)里小模型表現(xiàn)更好，說(shuō)明“精簡(jiǎn)”可能比“堆砌”更安全。

說(shuō)到底，這次意大利的研究給整個(gè)AI行業(yè)提了個(gè)醒。咱們天天比誰(shuí)家模型參數(shù)多、能寫(xiě)會(huì)畫(huà)，卻可能忽略了最基礎(chǔ)的安全問(wèn)題。

AI理解人類語(yǔ)言的方式，從根上就帶著“bug”它能模仿，能預(yù)測(cè)，卻很難真正“懂”什么該說(shuō)，什么不該說(shuō)。

未來(lái)要防住這種“詩(shī)歌攻擊”，可能得跳出純技術(shù)思維。

不光要升級(jí)算法，還得讓AI更懂“人情世故”，知道哪些話是“話里有話”。

當(dāng)然了，這事兒估計(jì)沒(méi)那么容易，畢竟人類的語(yǔ)言游戲，玩了幾千年都沒(méi)玩明白，AI想學(xué)會(huì)，怕是還有得磨。

最后說(shuō)句實(shí)在的，科技發(fā)展總這樣，解決一個(gè)問(wèn)題，冒出新問(wèn)題。

以前擔(dān)心AI太笨，現(xiàn)在擔(dān)心AI太“實(shí)在”別人寫(xiě)首詩(shī)就把家底抖了。

或許這就是技術(shù)進(jìn)步的代價(jià)吧，永遠(yuǎn)在攻防拉鋸中往前挪。

咱們能做的，就是別迷信“最先進(jìn)”，時(shí)刻留個(gè)心眼。