国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

當(dāng)AI也開始“說謊”,我們要如何避坑?

0
分享至

  從日常消費(fèi)決策到行業(yè)信息參考,AI大模型早已成為公眾獲取信息、做出判斷的核心入口,人們對智能助手的依賴度與信任感與日俱增。

  然而,今年央視“3·15”晚會直擊AI領(lǐng)域灰色產(chǎn)業(yè)鏈,將GEO(生成式引擎優(yōu)化)灰色產(chǎn)業(yè)鏈曝光,虛構(gòu)產(chǎn)品經(jīng)批量虛假投喂就能登頂AI推薦榜單、付費(fèi)即可操控AI回答內(nèi)容等一系列亂象擊穿公眾信任底線,撕開了行業(yè)合規(guī)缺口,更讓高速增長的GEO市場站在了發(fā)展與風(fēng)控的十字路口。


來源:央視網(wǎng)

  低門檻高收益,灰產(chǎn)啃食AI信任根基

  AI投毒并非簡單的虛假營銷,而是針對大模型運(yùn)行機(jī)制的新型信息污染,疊加產(chǎn)業(yè)鏈底層的代碼注入投毒,具備擴(kuò)散性與長期性,一旦失控將徹底損毀AI行業(yè)可信基礎(chǔ)。AI投毒快速蔓延并非偶然,而是多重因素疊加的必然結(jié)果,這也是該亂象愈發(fā)普遍的核心癥結(jié)所在:大模型對外界數(shù)據(jù)依賴度高、校驗(yàn)機(jī)制薄弱,加上違規(guī)操作成本低、收益高、隱蔽性強(qiáng)、追責(zé)困難,導(dǎo)致黑產(chǎn)快速蔓延。

  iiMedia Research(艾媒咨詢)發(fā)布的《2024-2025年中國AI大模型市場現(xiàn)狀及發(fā)展趨勢研究報(bào)告》顯示,2025年中國AI大模型市場規(guī)模約495.39億元,預(yù)計(jì)2026年突破700億元,龐大的市場體量讓灰產(chǎn)嗅到了暴利空間,也讓投毒風(fēng)險(xiǎn)進(jìn)一步增加。


  從應(yīng)用層面來看,大模型依賴海量互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練,現(xiàn)有數(shù)據(jù)校驗(yàn)機(jī)制普遍薄弱,無法精準(zhǔn)甄別信息真?zhèn)闻c優(yōu)劣。不法分子借助GEO系統(tǒng)批量生成虛假軟文、杜撰測評榜單、偽造用戶口碑,分發(fā)至自媒體平臺后,短時間內(nèi)就能被主流AI大模型抓取推薦,甚至躋身優(yōu)選榜單。

  比虛假信息誤導(dǎo)更危險(xiǎn)的,是AI產(chǎn)業(yè)鏈底層的模型文件序列化代碼注入投毒,這成為黑客與灰產(chǎn)實(shí)施供應(yīng)鏈攻擊的新突破口。主流深度學(xué)習(xí)框架(PyTorch、TensorFlow等)生成的模型權(quán)重、checkpoint文件,通常采用Python pickle模塊序列化存儲;而pickle反序列化時可重寫對象__reduce__方法,實(shí)現(xiàn)任意代碼執(zhí)行。

  攻擊者利用該漏洞,將惡意代碼嵌入模型文件并上傳至HuggingFace、ModelScope等開源托管平臺,開發(fā)者使用torch.load()等接口直接加載模型時,會靜默觸發(fā)惡意代碼,遭遇供應(yīng)鏈攻擊。典型案例便是HuggingFace平臺playedalive/mdy-red-1項(xiàng)目,其model.pkl文件內(nèi)嵌反向shell遠(yuǎn)控后門,對接遠(yuǎn)控服務(wù)器52.48.12.202:8080,加載即被控,風(fēng)險(xiǎn)極具隱蔽性。



來源:北京安普諾信息技術(shù)《互聯(lián)網(wǎng)安全行業(yè):2025開源供應(yīng)鏈投毒分析技術(shù)報(bào)告》(圖一為惡意模型項(xiàng)目、圖二為模型文件內(nèi)嵌惡意代碼)

  這些技術(shù)漏洞疊加商業(yè)暴利誘惑,形成“低成本、高回報(bào)、難查處”的灰產(chǎn)溫床,不僅誤導(dǎo)消費(fèi)、侵害用戶權(quán)益,更會逐步瓦解公眾對人工智能的信任,阻礙整個行業(yè)的商業(yè)化進(jìn)程。

  315晚會實(shí)測案例更是觸目驚心:不法分子借助GEO系統(tǒng),虛構(gòu)智能手環(huán)產(chǎn)品,一鍵生成海量虛假軟文、測評榜單,批量分發(fā)至各大自媒體平臺后,短短兩小時便被多家主流AI大模型抓取推薦,三天內(nèi)更是躋身優(yōu)選榜單。這種“付費(fèi)改答案、投毒換排名”的操作,明碼標(biāo)價(jià)、流程標(biāo)準(zhǔn)化,已然形成完整灰色產(chǎn)業(yè)鏈。

  GEO技術(shù)異化,AI投毒已成產(chǎn)業(yè)化灰產(chǎn)

  GEO本是中立技術(shù),定位類似于AI時代的SEO,核心價(jià)值是助力優(yōu)質(zhì)內(nèi)容被大模型高效抓取、呈現(xiàn),提升信息分發(fā)的規(guī)范性與可信度。但在利益驅(qū)動下,這項(xiàng)技術(shù)徹底異化,淪為灰產(chǎn)牟利的工具,演變成系統(tǒng)化、低成本、高隱蔽性的AI投毒產(chǎn)業(yè)鏈。

  從操作模式來看,灰產(chǎn)團(tuán)伙借助GEO系統(tǒng)一鍵批量生成虛假內(nèi)容,全網(wǎng)分發(fā)后利用大模型審核漏洞,將虛構(gòu)信息包裝成“優(yōu)質(zhì)推薦”。部分服務(wù)商甚至推出明碼標(biāo)價(jià)的投毒套餐,付費(fèi)即可鎖定推薦排位,買三送一等營銷手段更是暴露了行業(yè)亂象。


來源:央視財(cái)經(jīng)

  需要明確的是,GEO技術(shù)本身無好壞之分,核心在于使用目的、手段與內(nèi)容。合規(guī)GEO優(yōu)化是適配AI抓取邏輯、提升信息可信度,助力優(yōu)質(zhì)內(nèi)容觸達(dá)用戶;而惡意投毒則是通過偽造信息、批量刷屏、冒充權(quán)威、惡意堆砌關(guān)鍵詞等手段,刻意操控AI輸出結(jié)果,屬于典型的不正當(dāng)競爭與信息欺詐,二者本質(zhì)涇渭分明。

  中立工具無好壞,合規(guī)與惡意涇渭分明

  面對AI投毒亂象,市場一度對GEO技術(shù)產(chǎn)生全盤否定的誤區(qū)。GEO作為中立技術(shù),本身并無好壞之分,核心在于使用目的、手段與內(nèi)容,必須嚴(yán)格區(qū)分合規(guī)優(yōu)化與惡意投毒,避免一刀切遏制行業(yè)正常創(chuàng)新。

  合規(guī)的GEO優(yōu)化,本質(zhì)是適配AI抓取與生成邏輯,提升信息規(guī)范性與可信度,助力優(yōu)質(zhì)內(nèi)容精準(zhǔn)觸達(dá)用戶,是AI時代正常的營銷與信息優(yōu)化手段;而惡意AI投毒,則是通過偽造信息、批量刷屏、冒充權(quán)威、惡意堆砌關(guān)鍵詞等違規(guī)手段,刻意操控AI輸出結(jié)果,屬于典型的不正當(dāng)競爭與信息欺詐。

  技術(shù)層面可通過三大維度實(shí)現(xiàn)精準(zhǔn)甄別:一是信源權(quán)威性,核查信息發(fā)布主體的資質(zhì)與可信度;二是發(fā)布行為異常度,監(jiān)測批量發(fā)稿、刷屏控評等違規(guī)操作;三是內(nèi)容真實(shí)性與一致性,核驗(yàn)信息是否虛構(gòu)、前后是否矛盾。通過這套甄別體系,既能保障合規(guī)GEO的正常發(fā)展,也能精準(zhǔn)打擊惡意投毒行為。

  從市場規(guī)模來看,GEO行業(yè)正處于爆發(fā)式增長期。iiMedia Research(艾媒咨詢)數(shù)據(jù)顯示,2026年全球GEO市場規(guī)模預(yù)計(jì)達(dá)291.7億美元,同比增速高達(dá)159.3%,中國市場規(guī)模有望突破942億元,2030年預(yù)計(jì)將激增至6338.1億元。如此龐大的藍(lán)海市場,若被灰產(chǎn)裹挾,不僅會劣幣驅(qū)逐良幣,更會葬送行業(yè)發(fā)展前景,規(guī)范治理刻不容緩。


  多方協(xié)同共治,破解監(jiān)管治理難題

  艾媒咨詢CEO兼首席分析師張毅表示,AI投毒涉及廣告商、GEO服務(wù)商、大模型平臺等多方主體,責(zé)任應(yīng)遵循“誰發(fā)起誰主責(zé)、誰服務(wù)誰同責(zé)、誰運(yùn)營誰擔(dān)責(zé)”的原則。由于鏈條長、跨平臺、行為隱蔽、取證難度大,確實(shí)給監(jiān)管帶來嚴(yán)峻挑戰(zhàn)。解決之道在于壓實(shí)平臺主體責(zé)任、實(shí)施全鏈條打擊、運(yùn)用技術(shù)手段監(jiān)測防控,并加快完善相關(guān)法律與標(biāo)準(zhǔn)。

  當(dāng)前,AI投毒灰產(chǎn)之所以屢禁不止,核心在于違法成本遠(yuǎn)低于違規(guī)收益。部分商家為搶占AI推薦位,不惜花費(fèi)重金批量投毒;部分GEO服務(wù)商披著技術(shù)外衣規(guī)避監(jiān)管,鉆法律空子牟利;部分大模型平臺疏于數(shù)據(jù)審核,淪為灰產(chǎn)的“傳聲筒”。這種多方失職的局面,讓虛假信息肆意泛濫。

  針對治理痛點(diǎn),結(jié)合多方責(zé)任劃分原則,可有以下的破局方向:

  其一,壓實(shí)平臺主體責(zé)任。大模型平臺需建立嚴(yán)格的數(shù)據(jù)準(zhǔn)入與內(nèi)容審核機(jī)制,升級信源白名單、語義過濾、溯源標(biāo)注等技術(shù)防控手段,從源頭阻斷虛假信息抓?。粌?nèi)容分發(fā)平臺要加強(qiáng)賬號與稿件審核,杜絕批量虛假軟文傳播,履行平臺運(yùn)營主體責(zé)任。

  其二,實(shí)施全鏈條打擊。監(jiān)管部門需協(xié)同網(wǎng)信、市場監(jiān)管、工信等多方力量,開展專項(xiàng)治理,重點(diǎn)打擊GEO投毒軟件開發(fā)商、批量發(fā)稿灰產(chǎn)團(tuán)隊(duì)、付費(fèi)投毒商家,斬?cái)嗷疑骀湕l,落實(shí)發(fā)起者、服務(wù)商的連帶追責(zé)。

  其三,強(qiáng)化技術(shù)監(jiān)測防控。運(yùn)用AI反制AI,搭建智能化監(jiān)測系統(tǒng),實(shí)時識別批量投毒、虛假信息堆砌等違規(guī)行為,提升違規(guī)甄別效率與精準(zhǔn)度,彌補(bǔ)人工審核的短板。

  堅(jiān)守科技向善:可信AI才是長遠(yuǎn)之道

  人工智能商業(yè)化提速的當(dāng)下,不能以犧牲安全可信為代價(jià)換取短期利益。安全可信必須置于商業(yè)利益之前,唯有企業(yè)自律、監(jiān)管發(fā)力、行業(yè)共建,才能破除AI投毒亂象,構(gòu)建健康可持續(xù)的AI生態(tài)。

  對企業(yè)而言,要摒棄流量至上、投機(jī)取巧的短視思維,將誠信經(jīng)營融入發(fā)展內(nèi)核,拒絕付費(fèi)投毒、虛假營銷,專注產(chǎn)品實(shí)力與服務(wù)質(zhì)量;同時建立完善的內(nèi)容風(fēng)控體系,實(shí)現(xiàn)AI生成內(nèi)容可審計(jì)、可追溯、可解釋,主動維護(hù)行業(yè)公信力。

  監(jiān)管層面,需加快完善法律法規(guī)與行業(yè)標(biāo)準(zhǔn),明確AI投毒、違規(guī)GEO操作的界定標(biāo)準(zhǔn)與處罰細(xì)則,提高違法成本,讓法律長出“牙齒”;同時推動《人工智能生成合成內(nèi)容標(biāo)識辦法》落地見效,補(bǔ)齊數(shù)據(jù)溯源、責(zé)任認(rèn)定等漏洞,實(shí)現(xiàn)常態(tài)化監(jiān)管。


來源:國家互聯(lián)網(wǎng)信息辦公室官網(wǎng)

  對行業(yè)整體,要加強(qiáng)自律共建,依托行業(yè)公約、自律聯(lián)盟等形式,抵制惡意投毒、不正當(dāng)競爭行為,引導(dǎo)GEO技術(shù)回歸合規(guī)賦能的本質(zhì)。正如國內(nèi)首個《生成式引擎優(yōu)化(GEO)行業(yè)自律公約》的簽署,正是行業(yè)糾偏、規(guī)范發(fā)展的重要開端。

  歸根結(jié)底,人工智能商業(yè)化必須堅(jiān)守科技向善底線,平衡創(chuàng)新發(fā)展與風(fēng)險(xiǎn)防控,推動可審計(jì)、可追溯、可解釋的可信AI建設(shè),讓技術(shù)真正服務(wù)于社會公共利益。

  AI投毒的曝光是警醒,更是行業(yè)規(guī)范發(fā)展的契機(jī)。AI的核心價(jià)值是傳遞真實(shí)、賦能效率,而非成為商業(yè)操控、虛假牟利的工具。唯有壓實(shí)各方責(zé)任、完善監(jiān)管體系、強(qiáng)化技術(shù)防控,才能徹底清除投毒毒瘤,重建公眾信任。

  未來,隨著合規(guī)治理深化、行業(yè)自律加強(qiáng),GEO技術(shù)將回歸良性軌道,人工智能也能實(shí)現(xiàn)技術(shù)價(jià)值與社會價(jià)值的統(tǒng)一。普通用戶也需保持獨(dú)立判斷,不盲目輕信AI推薦,多方核驗(yàn)權(quán)威信息,共同守護(hù)清朗的AI信息生態(tài)。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
越扒越猛!釋永信在少林寺有多爽,你根本想不到!終于落到這下場

越扒越猛!釋永信在少林寺有多爽,你根本想不到!終于落到這下場

林輕吟
2026-03-26 07:34:21
這些聊天記錄是真實(shí)事件吧?吃瓜群眾不嫌事大,八卦感拉滿了!

這些聊天記錄是真實(shí)事件吧?吃瓜群眾不嫌事大,八卦感拉滿了!

夜深愛雜談
2026-03-25 22:06:41
安徽一女生相親被男方帶去摸魚,收獲一鍋香噴噴的鐵鍋燉,網(wǎng)友調(diào)侃:比挖野菜強(qiáng),好歹吃上魚

安徽一女生相親被男方帶去摸魚,收獲一鍋香噴噴的鐵鍋燉,網(wǎng)友調(diào)侃:比挖野菜強(qiáng),好歹吃上魚

臺州交通廣播
2026-03-25 13:37:21
四天619次進(jìn)攻、6090人傷亡:俄春季攻勢為何高傷亡低戰(zhàn)果?

四天619次進(jìn)攻、6090人傷亡:俄春季攻勢為何高傷亡低戰(zhàn)果?

高博新視野
2026-03-25 08:00:28
“報(bào)仇不隔夜!”72名以議員直接繞開中國大陸支持臺灣入國際組織

“報(bào)仇不隔夜!”72名以議員直接繞開中國大陸支持臺灣入國際組織

安安說
2026-03-25 11:03:58
張?zhí)鞇厶S滿了!穿掛脖裙兜不住好身材,真讓人心動!

張?zhí)鞇厶S滿了!穿掛脖裙兜不住好身材,真讓人心動!

東方不敗然多多
2026-03-09 06:31:29
我愛上41歲女人,她開口:玩玩可以但不結(jié)婚,得知真相我癱坐在地

我愛上41歲女人,她開口:玩玩可以但不結(jié)婚,得知真相我癱坐在地

小月故事
2026-03-19 17:08:37
價(jià)格飆漲6000%!原研藥集體撤離中國的影響,開始出現(xiàn)了...

價(jià)格飆漲6000%!原研藥集體撤離中國的影響,開始出現(xiàn)了...

墜入二次元的海洋
2026-03-24 00:58:18
張雪峰去世后續(xù)!公司現(xiàn)狀曝光,門上對聯(lián)被拆下,葬禮低調(diào)舉行

張雪峰去世后續(xù)!公司現(xiàn)狀曝光,門上對聯(lián)被拆下,葬禮低調(diào)舉行

180視角
2026-03-25 10:17:11
陳賡兒子晚年首次透露:父親這輩子最怕鄧小平,跟周總理卻是過命的交情

陳賡兒子晚年首次透露:父親這輩子最怕鄧小平,跟周總理卻是過命的交情

史海孤雁
2026-03-25 18:42:27
73年工人運(yùn)動現(xiàn)分歧,巴枯寧質(zhì)問馬克思:無產(chǎn)階級掌權(quán)后將統(tǒng)治誰

73年工人運(yùn)動現(xiàn)分歧,巴枯寧質(zhì)問馬克思:無產(chǎn)階級掌權(quán)后將統(tǒng)治誰

磊子講史
2026-03-25 12:21:48
張雪峰離世,爆出大瓜!

張雪峰離世,爆出大瓜!

財(cái)經(jīng)三分鐘pro
2026-03-25 16:15:25
大漲近2元/升后,新周期油價(jià)降幅“漲了起來”,下次4月7日調(diào)整

大漲近2元/升后,新周期油價(jià)降幅“漲了起來”,下次4月7日調(diào)整

豬友巴巴
2026-03-25 15:00:03
宅基地確權(quán)最后沖刺:今年不把名字改成兒子的,以后可能就改不了

宅基地確權(quán)最后沖刺:今年不把名字改成兒子的,以后可能就改不了

混沌錄
2026-03-19 21:59:03
鄭裕彤家族危機(jī)爆發(fā),或賣祖業(yè)自救,為何沒有香港豪門出手相助?

鄭裕彤家族危機(jī)爆發(fā),或賣祖業(yè)自救,為何沒有香港豪門出手相助?

林小明商業(yè)評說
2026-03-25 14:18:52
歐冠+德比制勝!阿韋洛亞撕碎阿隆索體系皇馬兩大“廢人”翻身

歐冠+德比制勝!阿韋洛亞撕碎阿隆索體系皇馬兩大“廢人”翻身

林子說事
2026-03-25 11:05:46
臺灣軍官赴美國深造,歸來后感嘆:毛澤東理論多見卻無蔣中正一言

臺灣軍官赴美國深造,歸來后感嘆:毛澤東理論多見卻無蔣中正一言

鶴羽說個事
2026-03-25 22:26:30
刀刀砍在貴族命脈……

刀刀砍在貴族命脈……

漢周讀書
2026-03-25 09:36:43
想不明白!當(dāng)年李小冉兩次懷上鄢頗的孩子,為何鄢頗仍是不娶她?

想不明白!當(dāng)年李小冉兩次懷上鄢頗的孩子,為何鄢頗仍是不娶她?

春之寞陌
2026-03-19 05:58:30
真是變態(tài)準(zhǔn)??!3名本土合砍62分,三分22中16,付政浩:CBA獨(dú)一檔

真是變態(tài)準(zhǔn)??!3名本土合砍62分,三分22中16,付政浩:CBA獨(dú)一檔

金山話體育
2026-03-26 08:29:20
2026-03-26 09:20:49
艾媒咨詢 incentive-icons
艾媒咨詢
用數(shù)據(jù)說話 為增長導(dǎo)航
2938文章數(shù) 3280關(guān)注度
往期回顧 全部

科技要聞

硅谷因AI大裁員?一線工程師戳破真相

頭條要聞

"10元手沖咖啡"阿姨曾1天賣1000杯 如今只賣兩三杯

頭條要聞

"10元手沖咖啡"阿姨曾1天賣1000杯 如今只賣兩三杯

體育要聞

35歲替補(bǔ)門將,憑什么入選英格蘭隊(duì)?

娛樂要聞

張雪峰遺產(chǎn)分割復(fù)雜!是否立遺囑成關(guān)鍵

財(cái)經(jīng)要聞

黃仁勛:芯片公司的時代已經(jīng)結(jié)束了

汽車要聞

智己LS8放大招 30萬內(nèi)8系旗艦+全線控底盤秀實(shí)力

態(tài)度原創(chuàng)

本地
藝術(shù)
時尚
數(shù)碼
公開課

本地新聞

來永泰同安 赴一場春天的約會

藝術(shù)要聞

王洪文的狂草背后隱藏的秘密,趙孟頫書法的真實(shí)價(jià)值揭秘!

《非窮盡列舉》,好看又絕望

數(shù)碼要聞

開源隱私平板open_slate發(fā)布:獨(dú)立物理開關(guān)可切斷傳感器電源

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版