国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

僅花12美元,工程師成功欺騙AI將虛構(gòu)賽事奉為事實

0
分享至

IT之家5月4日消息,普通搜索引擎會讓用戶自行甄別信息來源的可信度,而依托搜索能力的人工智能聊天機器人,卻能把漏洞百出的網(wǎng)絡(luò)素材包裝成篤定確鑿的答案。據(jù) The Register 報道,就有這樣一個典型案例:一名安全工程師哄騙多款 AI 機器人,聲稱自己是德國一款熱門紙牌游戲的現(xiàn)任世界冠軍,可事實上這項賽事根本不存在。


工程師成功欺騙AI將虛構(gòu)賽事奉為事實 資料圖

直到近期,維基百科的《誰是牛頭王》(6 Nimmt!,英語地區(qū)玩家也稱“拿五分”)詞條里,還赫然標注著羅恩?斯托納是2025年該項賽事的世界冠軍。該維基百科條目引用了看起來十分官方的6nimmt.com 網(wǎng)站作為依據(jù),點開這個網(wǎng)址,確實能看到一篇簡短的新聞通稿,宣稱斯托納斬獲冠軍。

整件事的破綻顯而易見:斯托納本人承認,維基百科的奪冠詞條、以及留存這份唯一“奪冠證據(jù)”的6nimmt.com 域名,都是他一手偽造的?杉幢闳绱,當(dāng)他向多款 AI 聊天機器人詢問此事時,機器人依舊篤定地稱他為世界冠軍。

斯托納在博客文章中表示:“我的網(wǎng)站沒有任何獨立第三方佐證,完全是憑空捏造。整個虛假騙局,僅僅建立在我喝咖啡時花12美元(IT之家注:現(xiàn)匯率約合82元人民幣)注冊的一個域名之上!

換言之,這是檢索增強生成(RAG)層面的信息投毒。它不屬于提示詞注入攻擊,卻直擊人工智能聯(lián)網(wǎng)搜索這一核心功能漏洞。

正如斯托納所解釋的:AI 并不會真正在意其引用的權(quán)威信息來源出處,而這正是斯托納設(shè)計本次實驗想要利用的關(guān)鍵點。

斯托納寫道:“所有具備聯(lián)網(wǎng)搜索能力的前沿大語言模型,都會依據(jù)檢索排名最高的內(nèi)容生成答案!痹谶@場本就不存在的《誰是牛頭王》賽事騙局中,他刻意植入的虛假來源是全網(wǎng)唯一相關(guān)信息,再加上維基百科自帶的權(quán)威背書,輕易就能誤導(dǎo) AI 把謊言當(dāng)成事實。這種造假手法門檻極低,即便不懂技術(shù)的普通人也能輕松復(fù)刻。

斯托納稱:“我這次的操作并無新意,不過是把傳統(tǒng)搜索引擎優(yōu)化和虛假信息傳播手段,套上了大語言模型的新技術(shù)外殼與交互界面。真正的變化在于,如今 AI 會把這類虛假結(jié)果包裝成權(quán)威信息呈現(xiàn)給用戶,而絕大多數(shù)用戶根本不了解背后的數(shù)據(jù)流轉(zhuǎn)邏輯。”

斯托納在分析文章中指出:“大語言模型最不擅長識別的,恰恰是它的核心設(shè)計邏輯 —— 無條件信任文本和網(wǎng)絡(luò)資源。別指望模型能自行分辨真?zhèn),它根本分不清某個信息來源是真實權(quán)威網(wǎng)站,還是我上周二剛注冊的空殼域名;就連‘strawberry(草莓)’這個單詞里到底有幾個字母 R,它都沒法精準判斷!

他解釋道,本次實驗暴露的漏洞包含三類失效模式,若被別有用心之人利用,造成的危害遠比捏造一場紙牌游戲賽事嚴重得多。

第一,檢索層漏洞。只要大語言模型依托網(wǎng)絡(luò)搜索作答,就會直接沿用檢索結(jié)果排名內(nèi)容的可信度,極易輸出錯誤信息。

第二,模型訓(xùn)練語料漏洞。斯托納表示,若維基百科的虛假詞條留存時間足夠長、被網(wǎng)絡(luò)爬蟲抓取收錄,就會混入 AI 訓(xùn)練語料庫。他于2025年2月添加了虛假詞條,直到上周五發(fā)布實驗文章后才被刪除。這意味著在此期間抓取維基百科數(shù)據(jù)的所有 AI 企業(yè),都有可能把他虛構(gòu)的奪冠經(jīng)歷納入訓(xùn)練數(shù)據(jù)。

斯托納稱:“即便維基百科后續(xù)撤銷了虛假編輯,那些用撤銷前數(shù)據(jù)訓(xùn)練的模型,依然會保留這份虛假信息。截至2026年,語料投毒的后續(xù)清理問題至今沒有可行的解決方案!

他計劃半年左右待新一代 AI 模型發(fā)布后再次測試:若模型無需聯(lián)網(wǎng),就能默認他是賽事冠軍,就足以證明這份謊言已經(jīng)固化進了模型訓(xùn)練數(shù)據(jù)。

第三,智能體漏洞。在斯托納看來,這一漏洞才是惡意攻擊者最有利可圖的突破口。

他指出:“聊天模型輸出虛假信息,只是品牌聲譽問題;而擁有工具調(diào)用權(quán)限的 AI 智能體,若被誤導(dǎo)做出錯誤操作,將會引發(fā)嚴重的安全隱患!惫粽咧恍鑼χ悄荏w檢索的信息來源進行投毒,就能操控智能體執(zhí)行指定惡意行為。

斯托納在博客中總結(jié):“這次攻擊測試,我只花了12美元注冊域名、編輯了一條維基百科詞條,耗時不過二十分鐘。試想,若有蓄意攻擊者批量注冊虛假域名、在數(shù)十個低流量維基百科詞條中同步植入虛假內(nèi)容,攻擊面會瞬間急劇擴大!

斯托納認為,大語言模型服務(wù)商必須正視檢索投毒問題,并向用戶作出風(fēng)險提示。他預(yù)計,未來 AI 聊天機器人很快會新增風(fēng)險警示功能,尤其針對檢索增強生成的內(nèi)容。

他還呼吁 AI 企業(yè)將數(shù)據(jù)溯源納入核心研發(fā)環(huán)節(jié),同時對近期新增的網(wǎng)絡(luò)內(nèi)容進行啟發(fā)式篩查,識別可疑特征。以本次紙牌游戲造假事件為例:單一引文指向維基百科更新前后短期內(nèi)剛注冊的域名,本應(yīng)觸發(fā)風(fēng)險預(yù)警,卻被 AI 完全忽略。

如今這場虛假賽事已被從維基百科刪除,AI 檢索增強生成結(jié)果中也不再出現(xiàn)相關(guān)內(nèi)容。但斯托納強調(diào),此次騙局利用的信任邏輯漏洞真實存在,已然成為人工智能行業(yè)亟待解決的潛在隱患。

斯托納表示:“很高興我的文章能引發(fā)業(yè)界對大語言模型、信息來源、信息可信度以及底層運行邏輯的討論。這正是我做這次實驗的初衷,而目前看來,我的目標已經(jīng)達成!

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
取代兩輪電動車!新型代步工具來襲,續(xù)航120公里電費不足10元

取代兩輪電動車!新型代步工具來襲,續(xù)航120公里電費不足10元

侃故事的阿慶
2026-05-01 09:24:59
“我工資 6000,新來的 9800,一氣之下跳了槽,昨天前老板打電話,說回去給我 18000!”但網(wǎng)友的話讓我傻眼了……

“我工資 6000,新來的 9800,一氣之下跳了槽,昨天前老板打電話,說回去給我 18000!”但網(wǎng)友的話讓我傻眼了……

互聯(lián)網(wǎng)思維
2026-05-03 23:34:45
四川主持人37歲陳熹菲去世,因感情不順患癌,對后媽有很多虧欠

四川主持人37歲陳熹菲去世,因感情不順患癌,對后媽有很多虧欠

老好人的憤怒
2026-05-04 15:45:50
男子殺妻后 尸體投入動物焚化爐 數(shù)小時燒精光  面帶微笑照常上班

男子殺妻后 尸體投入動物焚化爐 數(shù)小時燒精光 面帶微笑照常上班

華人星光
2026-05-04 11:02:57
趙繼偉取消認證遼寧球員!對管理層不滿,今夏要離隊?

趙繼偉取消認證遼寧球員!對管理層不滿,今夏要離隊?

籃球大陸
2026-05-04 16:42:51
撕破臉!親美派真面目藏不住,鄭麗文陷入死局,洪秀柱發(fā)言太硬氣

撕破臉!親美派真面目藏不住,鄭麗文陷入死局,洪秀柱發(fā)言太硬氣

生活魔術(shù)專家
2026-05-04 15:09:31
云南一方丈意外身亡,整理遺物銀行卡有498萬,方丈女兒提出繼承,寺廟拒絕:出家人,這筆錢屬于寺廟!

云南一方丈意外身亡,整理遺物銀行卡有498萬,方丈女兒提出繼承,寺廟拒絕:出家人,這筆錢屬于寺廟!

大愛三湘
2026-04-28 19:39:12
2016年,黎明和助理陳泳儀的合影,2年后,陳助理成了黎夫人

2016年,黎明和助理陳泳儀的合影,2年后,陳助理成了黎夫人

喜文多見01
2026-05-03 12:41:06
廣東晉級八強,能淘汰北京隊嗎?聽聽粵媒京媒怎么說,一隊被看衰

廣東晉級八強,能淘汰北京隊嗎?聽聽粵媒京媒怎么說,一隊被看衰

南海浪花
2026-05-04 10:26:10
白宮28歲女發(fā)言人宣布懷孕了,記者們驚訝的是她60歲的老公。

白宮28歲女發(fā)言人宣布懷孕了,記者們驚訝的是她60歲的老公。

歲月有情1314
2026-05-03 17:58:56
感謝特朗普!我國投入巨資建設(shè)的瓜達爾港,終于等來了大訂單

感謝特朗普!我國投入巨資建設(shè)的瓜達爾港,終于等來了大訂單

南生今世說
2026-05-02 17:56:11
蔡一杰腦癌擴散!59歲頻繁回內(nèi)地農(nóng)村老家,重溫童年時光

蔡一杰腦癌擴散!59歲頻繁回內(nèi)地農(nóng)村老家,重溫童年時光

原夢叁生
2026-04-30 08:10:48
意媒評國米奪冠五位關(guān)鍵人物:迪馬爾科最為關(guān)鍵 皮奧是驚喜收獲

意媒評國米奪冠五位關(guān)鍵人物:迪馬爾科最為關(guān)鍵 皮奧是驚喜收獲

天光破云來
2026-05-04 16:11:06
75歲姜昆近況:與46歲單身愛女相依為命,日子過得讓人羨慕

75歲姜昆近況:與46歲單身愛女相依為命,日子過得讓人羨慕

娛說瑜悅
2026-04-04 15:38:01
他老婆很大方!

他老婆很大方!

下水道男孩
2026-05-02 23:34:27
汪東興回憶:教員深入虎穴,挫敗林彪驚天暗殺陰謀,過程太驚險了

汪東興回憶:教員深入虎穴,挫敗林彪驚天暗殺陰謀,過程太驚險了

南冥那只貓
2025-04-19 12:06:43
10倍航天牛股因842萬造假!1天跌15%成A股最貴ST

10倍航天牛股因842萬造假!1天跌15%成A股最貴ST

慧眼看世界哈哈
2026-05-04 10:15:19
39歲前國腳現(xiàn)狀:定居美國踢野球,早已財富自由,有2個可愛女兒

39歲前國腳現(xiàn)狀:定居美國踢野球,早已財富自由,有2個可愛女兒

攬星河的筆記
2026-04-14 15:18:30
來了!湖人備戰(zhàn)衛(wèi)冕冠軍,東契奇再次缺席,詹姆斯正式超越喬丹

來了!湖人備戰(zhàn)衛(wèi)冕冠軍,東契奇再次缺席,詹姆斯正式超越喬丹

金風(fēng)說
2026-05-04 12:18:53
男子五一帶朋友回家喝酒,不顧妻子隱私,當(dāng)場大打出手,丟盡臉面

男子五一帶朋友回家喝酒,不顧妻子隱私,當(dāng)場大打出手,丟盡臉面

觀察鑒娛
2026-05-04 10:09:18
2026-05-04 17:03:00
IT之家
IT之家
愛科技,愛這里 - 前沿科技人氣平臺
342428文章數(shù) 607185關(guān)注度
往期回顧 全部

科技要聞

OpenAI“復(fù)活”了QQ寵物,網(wǎng)友直接玩瘋

頭條要聞

宇樹機器人在美坐飛機電池超標被拆卸暫扣 致航班延誤

頭條要聞

宇樹機器人在美坐飛機電池超標被拆卸暫扣 致航班延誤

體育要聞

騎士破猛龍:加雷特·阿倫的活力

娛樂要聞

張敬軒還是站上了英皇25周年舞臺

財經(jīng)要聞

魔幻的韓國股市,父母給嬰兒開戶買股票

汽車要聞

同比大漲190% 方程豹4月銷量29138臺

態(tài)度原創(chuàng)

旅游
藝術(shù)
游戲
健康
手機

旅游要聞

“向往的生活就在眼前!”:多面海南圈粉全球游客

藝術(shù)要聞

300米!重慶解放碑區(qū)在建第一高樓,沖刺竣工!

索尼PS5最新獨占大作不是“鑰匙盤”!玩家高興壞了

干細胞治燒燙傷面臨這些“瓶頸”

手機要聞

消息稱小米Q5機型非MIX 5,而是小米18系列

無障礙瀏覽 進入關(guān)懷版