国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網易首頁 > 網易號 > 正文 申請入駐

當AI也開始“說謊”,我們要如何避坑?

0
分享至

  從日常消費決策到行業(yè)信息參考,AI大模型早已成為公眾獲取信息、做出判斷的核心入口,人們對智能助手的依賴度與信任感與日俱增。

  然而,今年央視“3·15”晚會直擊AI領域灰色產業(yè)鏈,將GEO(生成式引擎優(yōu)化)灰色產業(yè)鏈曝光,虛構產品經批量虛假投喂就能登頂AI推薦榜單、付費即可操控AI回答內容等一系列亂象擊穿公眾信任底線,撕開了行業(yè)合規(guī)缺口,更讓高速增長的GEO市場站在了發(fā)展與風控的十字路口。


來源:央視網

  低門檻高收益,灰產啃食AI信任根基

  AI投毒并非簡單的虛假營銷,而是針對大模型運行機制的新型信息污染,疊加產業(yè)鏈底層的代碼注入投毒,具備擴散性與長期性,一旦失控將徹底損毀AI行業(yè)可信基礎。AI投毒快速蔓延并非偶然,而是多重因素疊加的必然結果,這也是該亂象愈發(fā)普遍的核心癥結所在:大模型對外界數(shù)據依賴度高、校驗機制薄弱,加上違規(guī)操作成本低、收益高、隱蔽性強、追責困難,導致黑產快速蔓延。

  iiMedia Research(艾媒咨詢)發(fā)布的《2024-2025年中國AI大模型市場現(xiàn)狀及發(fā)展趨勢研究報告》顯示,2025年中國AI大模型市場規(guī)模約495.39億元,預計2026年突破700億元,龐大的市場體量讓灰產嗅到了暴利空間,也讓投毒風險進一步增加。


  從應用層面來看,大模型依賴海量互聯(lián)網數(shù)據訓練,現(xiàn)有數(shù)據校驗機制普遍薄弱,無法精準甄別信息真?zhèn)闻c優(yōu)劣。不法分子借助GEO系統(tǒng)批量生成虛假軟文、杜撰測評榜單、偽造用戶口碑,分發(fā)至自媒體平臺后,短時間內就能被主流AI大模型抓取推薦,甚至躋身優(yōu)選榜單。

  比虛假信息誤導更危險的,是AI產業(yè)鏈底層的模型文件序列化代碼注入投毒,這成為黑客與灰產實施供應鏈攻擊的新突破口。主流深度學習框架(PyTorch、TensorFlow等)生成的模型權重、checkpoint文件,通常采用Python pickle模塊序列化存儲;而pickle反序列化時可重寫對象__reduce__方法,實現(xiàn)任意代碼執(zhí)行。

  攻擊者利用該漏洞,將惡意代碼嵌入模型文件并上傳至HuggingFace、ModelScope等開源托管平臺,開發(fā)者使用torch.load()等接口直接加載模型時,會靜默觸發(fā)惡意代碼,遭遇供應鏈攻擊。典型案例便是HuggingFace平臺playedalive/mdy-red-1項目,其model.pkl文件內嵌反向shell遠控后門,對接遠控服務器52.48.12.202:8080,加載即被控,風險極具隱蔽性。



來源:北京安普諾信息技術《互聯(lián)網安全行業(yè):2025開源供應鏈投毒分析技術報告》(圖一為惡意模型項目、圖二為模型文件內嵌惡意代碼)

  這些技術漏洞疊加商業(yè)暴利誘惑,形成“低成本、高回報、難查處”的灰產溫床,不僅誤導消費、侵害用戶權益,更會逐步瓦解公眾對人工智能的信任,阻礙整個行業(yè)的商業(yè)化進程。

  315晚會實測案例更是觸目驚心:不法分子借助GEO系統(tǒng),虛構智能手環(huán)產品,一鍵生成海量虛假軟文、測評榜單,批量分發(fā)至各大自媒體平臺后,短短兩小時便被多家主流AI大模型抓取推薦,三天內更是躋身優(yōu)選榜單。這種“付費改答案、投毒換排名”的操作,明碼標價、流程標準化,已然形成完整灰色產業(yè)鏈。

  GEO技術異化,AI投毒已成產業(yè)化灰產

  GEO本是中立技術,定位類似于AI時代的SEO,核心價值是助力優(yōu)質內容被大模型高效抓取、呈現(xiàn),提升信息分發(fā)的規(guī)范性與可信度。但在利益驅動下,這項技術徹底異化,淪為灰產牟利的工具,演變成系統(tǒng)化、低成本、高隱蔽性的AI投毒產業(yè)鏈。

  從操作模式來看,灰產團伙借助GEO系統(tǒng)一鍵批量生成虛假內容,全網分發(fā)后利用大模型審核漏洞,將虛構信息包裝成“優(yōu)質推薦”。部分服務商甚至推出明碼標價的投毒套餐,付費即可鎖定推薦排位,買三送一等營銷手段更是暴露了行業(yè)亂象。


來源:央視財經

  需要明確的是,GEO技術本身無好壞之分,核心在于使用目的、手段與內容。合規(guī)GEO優(yōu)化是適配AI抓取邏輯、提升信息可信度,助力優(yōu)質內容觸達用戶;而惡意投毒則是通過偽造信息、批量刷屏、冒充權威、惡意堆砌關鍵詞等手段,刻意操控AI輸出結果,屬于典型的不正當競爭與信息欺詐,二者本質涇渭分明。

  中立工具無好壞,合規(guī)與惡意涇渭分明

  面對AI投毒亂象,市場一度對GEO技術產生全盤否定的誤區(qū)。GEO作為中立技術,本身并無好壞之分,核心在于使用目的、手段與內容,必須嚴格區(qū)分合規(guī)優(yōu)化與惡意投毒,避免一刀切遏制行業(yè)正常創(chuàng)新。

  合規(guī)的GEO優(yōu)化,本質是適配AI抓取與生成邏輯,提升信息規(guī)范性與可信度,助力優(yōu)質內容精準觸達用戶,是AI時代正常的營銷與信息優(yōu)化手段;而惡意AI投毒,則是通過偽造信息、批量刷屏、冒充權威、惡意堆砌關鍵詞等違規(guī)手段,刻意操控AI輸出結果,屬于典型的不正當競爭與信息欺詐。

  技術層面可通過三大維度實現(xiàn)精準甄別:一是信源權威性,核查信息發(fā)布主體的資質與可信度;二是發(fā)布行為異常度,監(jiān)測批量發(fā)稿、刷屏控評等違規(guī)操作;三是內容真實性與一致性,核驗信息是否虛構、前后是否矛盾。通過這套甄別體系,既能保障合規(guī)GEO的正常發(fā)展,也能精準打擊惡意投毒行為。

  從市場規(guī)模來看,GEO行業(yè)正處于爆發(fā)式增長期。iiMedia Research(艾媒咨詢)數(shù)據顯示,2026年全球GEO市場規(guī)模預計達291.7億美元,同比增速高達159.3%,中國市場規(guī)模有望突破942億元,2030年預計將激增至6338.1億元。如此龐大的藍海市場,若被灰產裹挾,不僅會劣幣驅逐良幣,更會葬送行業(yè)發(fā)展前景,規(guī)范治理刻不容緩。


  多方協(xié)同共治,破解監(jiān)管治理難題

  艾媒咨詢CEO兼首席分析師張毅表示,AI投毒涉及廣告商、GEO服務商、大模型平臺等多方主體,責任應遵循“誰發(fā)起誰主責、誰服務誰同責、誰運營誰擔責”的原則。由于鏈條長、跨平臺、行為隱蔽、取證難度大,確實給監(jiān)管帶來嚴峻挑戰(zhàn)。解決之道在于壓實平臺主體責任、實施全鏈條打擊、運用技術手段監(jiān)測防控,并加快完善相關法律與標準。

  當前,AI投毒灰產之所以屢禁不止,核心在于違法成本遠低于違規(guī)收益。部分商家為搶占AI推薦位,不惜花費重金批量投毒;部分GEO服務商披著技術外衣規(guī)避監(jiān)管,鉆法律空子牟利;部分大模型平臺疏于數(shù)據審核,淪為灰產的“傳聲筒”。這種多方失職的局面,讓虛假信息肆意泛濫。

  針對治理痛點,結合多方責任劃分原則,可有以下的破局方向:

  其一,壓實平臺主體責任。大模型平臺需建立嚴格的數(shù)據準入與內容審核機制,升級信源白名單、語義過濾、溯源標注等技術防控手段,從源頭阻斷虛假信息抓。粌热莘职l(fā)平臺要加強賬號與稿件審核,杜絕批量虛假軟文傳播,履行平臺運營主體責任。

  其二,實施全鏈條打擊。監(jiān)管部門需協(xié)同網信、市場監(jiān)管、工信等多方力量,開展專項治理,重點打擊GEO投毒軟件開發(fā)商、批量發(fā)稿灰產團隊、付費投毒商家,斬斷灰色利益鏈條,落實發(fā)起者、服務商的連帶追責。

  其三,強化技術監(jiān)測防控。運用AI反制AI,搭建智能化監(jiān)測系統(tǒng),實時識別批量投毒、虛假信息堆砌等違規(guī)行為,提升違規(guī)甄別效率與精準度,彌補人工審核的短板。

  堅守科技向善:可信AI才是長遠之道

  人工智能商業(yè)化提速的當下,不能以犧牲安全可信為代價換取短期利益。安全可信必須置于商業(yè)利益之前,唯有企業(yè)自律、監(jiān)管發(fā)力、行業(yè)共建,才能破除AI投毒亂象,構建健康可持續(xù)的AI生態(tài)。

  對企業(yè)而言,要摒棄流量至上、投機取巧的短視思維,將誠信經營融入發(fā)展內核,拒絕付費投毒、虛假營銷,專注產品實力與服務質量;同時建立完善的內容風控體系,實現(xiàn)AI生成內容可審計、可追溯、可解釋,主動維護行業(yè)公信力。

  監(jiān)管層面,需加快完善法律法規(guī)與行業(yè)標準,明確AI投毒、違規(guī)GEO操作的界定標準與處罰細則,提高違法成本,讓法律長出“牙齒”;同時推動《人工智能生成合成內容標識辦法》落地見效,補齊數(shù)據溯源、責任認定等漏洞,實現(xiàn)常態(tài)化監(jiān)管。


來源:國家互聯(lián)網信息辦公室官網

  對行業(yè)整體,要加強自律共建,依托行業(yè)公約、自律聯(lián)盟等形式,抵制惡意投毒、不正當競爭行為,引導GEO技術回歸合規(guī)賦能的本質。正如國內首個《生成式引擎優(yōu)化(GEO)行業(yè)自律公約》的簽署,正是行業(yè)糾偏、規(guī)范發(fā)展的重要開端。

  歸根結底,人工智能商業(yè)化必須堅守科技向善底線,平衡創(chuàng)新發(fā)展與風險防控,推動可審計、可追溯、可解釋的可信AI建設,讓技術真正服務于社會公共利益。

  AI投毒的曝光是警醒,更是行業(yè)規(guī)范發(fā)展的契機。AI的核心價值是傳遞真實、賦能效率,而非成為商業(yè)操控、虛假牟利的工具。唯有壓實各方責任、完善監(jiān)管體系、強化技術防控,才能徹底清除投毒毒瘤,重建公眾信任。

  未來,隨著合規(guī)治理深化、行業(yè)自律加強,GEO技術將回歸良性軌道,人工智能也能實現(xiàn)技術價值與社會價值的統(tǒng)一。普通用戶也需保持獨立判斷,不盲目輕信AI推薦,多方核驗權威信息,共同守護清朗的AI信息生態(tài)。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
墨菲:趙心童打法觀賞性十足讓人著迷,但我會爭取轟出147淘汰他

墨菲:趙心童打法觀賞性十足讓人著迷,但我會爭取轟出147淘汰他

楊華評論
2026-04-27 21:28:43
一場硬核風力實驗,一見這屆頂級游戲本散熱有多強?

一場硬核風力實驗,一見這屆頂級游戲本散熱有多強?

極果酷玩
2026-04-23 23:13:17
央視曝光兒童彩妝玩具問題,汕頭澄海區(qū)開展專項整治行動

央視曝光兒童彩妝玩具問題,汕頭澄海區(qū)開展專項整治行動

環(huán)球網資訊
2026-04-27 17:21:34
羅永浩連發(fā)6個問句怒懟!俞敏洪反思“東方甄選多位主播離職”,有網友說“任何一個人遭遇羅永浩、董宇輝這種忘恩負義的小人都夠嗆”

羅永浩連發(fā)6個問句怒懟!俞敏洪反思“東方甄選多位主播離職”,有網友說“任何一個人遭遇羅永浩、董宇輝這種忘恩負義的小人都夠嗆”

魯中晨報
2026-04-27 17:56:12
斯諾克世錦賽太殘酷了:奧沙利文12-13惜敗于世界第5,止步16強

斯諾克世錦賽太殘酷了:奧沙利文12-13惜敗于世界第5,止步16強

側身凌空斬
2026-04-27 23:07:49
克宮發(fā)出最后通牒要求烏作出“痛苦決定”,德國炮彈產能超越美國

克宮發(fā)出最后通牒要求烏作出“痛苦決定”,德國炮彈產能超越美國

史政先鋒
2026-04-27 18:27:59
奕境X9,華為合作的又一款旗艦大六座

奕境X9,華為合作的又一款旗艦大六座

汽車商業(yè)評論
2026-04-27 11:12:51
5月1日起抽煙買煙迎來變化,6條紅線碰不得,違規(guī)就罰款!

5月1日起抽煙買煙迎來變化,6條紅線碰不得,違規(guī)就罰款!

老特有話說
2026-04-27 17:43:49
11-9!吳宜澤領先塞爾比沖賽點,;鸫髴(zhàn)11平,25局13勝變3局2勝

11-9!吳宜澤領先塞爾比沖賽點,;鸫髴(zhàn)11平,25局13勝變3局2勝

劉姚堯的文字城堡
2026-04-27 22:22:00
上海男子開啟輔助駕駛超速行駛,因撿拾飲料瓶分心,撞上兩名道路養(yǎng)護工人,致1死1傷,央視披露詳情

上海男子開啟輔助駕駛超速行駛,因撿拾飲料瓶分心,撞上兩名道路養(yǎng)護工人,致1死1傷,央視披露詳情

魯中晨報
2026-04-27 19:40:17
4200萬的“斷繳潮”:數(shù)字背后引發(fā)的思考?

4200萬的“斷繳潮”:數(shù)字背后引發(fā)的思考?

深度報
2026-04-26 22:46:57
臺灣最新民調出爐,蔣萬安、鄭麗文支持率驚人,民眾黨大將已表態(tài)

臺灣最新民調出爐,蔣萬安、鄭麗文支持率驚人,民眾黨大將已表態(tài)

老頭的傳奇色彩
2026-04-27 12:52:27
A股:2.5億股民,今晚可能要興奮得睡不著覺了,你知道為什么嗎?

A股:2.5億股民,今晚可能要興奮得睡不著覺了,你知道為什么嗎?

夜深愛雜談
2026-04-27 21:26:57
伊朗稱發(fā)現(xiàn)15枚美軍未爆重型導彈,已送技術部門逆向研發(fā)仿制

伊朗稱發(fā)現(xiàn)15枚美軍未爆重型導彈,已送技術部門逆向研發(fā)仿制

紅星新聞
2026-04-27 16:51:19
江淮汽車:目前尊界S800面向國內銷售

江淮汽車:目前尊界S800面向國內銷售

每日經濟新聞
2026-04-27 16:27:20
一大批高校,將搬遷!

一大批高校,將搬遷!

吉刻新聞
2026-04-27 16:08:43
費東斌,非法收受他人財物,數(shù)額特別巨大

費東斌,非法收受他人財物,數(shù)額特別巨大

新京報政事兒
2026-04-27 10:20:03
姚高員辭去杭州市市長職務

姚高員辭去杭州市市長職務

澎湃新聞
2026-04-27 21:04:26
中國主辦APEC會議,日本申請赴華參會,高市早苗在打“兩手牌”

中國主辦APEC會議,日本申請赴華參會,高市早苗在打“兩手牌”

近史博覽
2026-04-27 13:08:33
李想稱理想L9 Livis比上汽大眾ID.ERA 9X至少領先兩代,大眾高管回應:理想僅價格和營銷水平領先,我們絕不會自稱是“500萬內最好”產品

李想稱理想L9 Livis比上汽大眾ID.ERA 9X至少領先兩代,大眾高管回應:理想僅價格和營銷水平領先,我們絕不會自稱是“500萬內最好”產品

魯中晨報
2026-04-27 11:28:06
2026-04-28 00:19:00
艾媒網 incentive-icons
艾媒網
用數(shù)據說話 為增長導航
4247文章數(shù) 3185關注度
往期回顧 全部

科技要聞

DeepSeek V4上線三天,第一批實測出來了

頭條要聞

坐在特朗普身邊親歷槍擊案的女記者 身份非常不一般

頭條要聞

坐在特朗普身邊親歷槍擊案的女記者 身份非常不一般

體育要聞

人類馬拉松"破二"新紀元,一場跑鞋軍備競賽

娛樂要聞

黃楊鈿甜為“耳環(huán)風波”出鏡道歉:謠言已澄清

財經要聞

Meta 140億收購Manus遭中國發(fā)改委否決

汽車要聞

不那么小眾也可以 smart的路會越走越寬

態(tài)度原創(chuàng)

游戲
手機
家居
健康
教育

LPL又一超級強隊誕生!S賽冠軍復出豪取六連勝,小局12-0一場不敗

手機要聞

輕薄本迎來驍龍時刻!華碩推出三款萬元AI PC,太精準了

家居要聞

江景風格 流動的秩序

干細胞如何讓燒燙傷皮膚"再生"?

教育要聞

學生課堂偷吃、聽課“擺爛”……這位老師的應對方式絕了!

無障礙瀏覽 進入關懷版