在一個(gè)“有圖有真相”“有視頻有真相”的時(shí)代，當(dāng)AI越來越聰明，你還能分得出真假嗎？近來AI成為已經(jīng)成為“羊毛黨”新工具——隨著圖片造假產(chǎn)業(yè)化，AI詐騙開始入侵電商領(lǐng)域。

技術(shù)熱潮之下，生成式AI正在挑戰(zhàn)并重建新秩序，但其被濫用的風(fēng)險(xiǎn)也在隨之提升。從深度偽造引發(fā)的內(nèi)容失真，再到AI情感陪伴所觸發(fā)的倫理困境，一系列典型案例不斷進(jìn)入公眾視野，揭示了技術(shù)濫用的現(xiàn)實(shí)隱患。

2025年12月18日下午，由南方都市報(bào)社、南都數(shù)字經(jīng)濟(jì)治理研究中心主辦的第八屆啄木鳥數(shù)據(jù)治理論壇在北京舉行。會(huì)上，南都發(fā)布了一份四萬字的重磅報(bào)告《生成式AI落地應(yīng)用：透明度測(cè)評(píng)與案例分析報(bào)告（2025）》。

報(bào)告回顧了近些年118起生成式AI風(fēng)險(xiǎn)案例，聚焦生成式AI帶來的社會(huì)信任挑戰(zhàn)以及人機(jī)交互倫理爭(zhēng)議和治理痛點(diǎn)，并嘗試提出切實(shí)可行的政策建議。

AI造假?zèng)_擊個(gè)人權(quán)利、行業(yè)秩序和社會(huì)信任機(jī)制

生成式AI的快速躍遷正在重塑信息生產(chǎn)與傳播格局。報(bào)告關(guān)注到，AI已經(jīng)全面介入語言、視覺、音視頻等信息載體，極大拓展人類表達(dá)能力的同時(shí)，偽造內(nèi)容也隨之呈指數(shù)級(jí)增長(zhǎng)，近年來AI虛假內(nèi)容在個(gè)人、行業(yè)乃至社會(huì)層面迅速擴(kuò)散，造假的形式愈發(fā)多樣、危害愈發(fā)隱蔽，社會(huì)治理難度隨之攀升。

報(bào)告觀察發(fā)現(xiàn)，從個(gè)人層面看，“AI造黃謠”和AI詐騙現(xiàn)象層出不窮。AI讓技術(shù)門檻變低導(dǎo)致“造黃謠”現(xiàn)象激增，女性成主要受害群體。加上這類AI虛假內(nèi)容常通過境外服務(wù)器傳播和跨平臺(tái)分發(fā)，也導(dǎo)致取證追溯面臨多重障礙。

AI詐騙則通過換臉換聲等方式“圍獵”分辨能力有限的老年人。近來，電商平臺(tái)用戶利用AI生成虛假商品瑕疵圖以騙取退款的情況，甚至衍生出一條灰色產(chǎn)業(yè)鏈。

與此同時(shí)，AI造假問題也正不斷沖擊學(xué)術(shù)、法律、審計(jì)等依賴高可信度專業(yè)體系的領(lǐng)域。報(bào)告特別提到，當(dāng)AI生成虛假內(nèi)容泛濫，如果專業(yè)人士和機(jī)構(gòu)也缺乏嚴(yán)格核查體系，其品牌背書反而可能放大虛假信息的社會(huì)影響。

例如，2025年11月，香港大學(xué)博士生在一篇有關(guān)香港生育率低迷的學(xué)術(shù)論文中，引用了24篇AI生成的虛假文獻(xiàn)，并冒用導(dǎo)師姓名葉兆輝進(jìn)行“自引”。最終該論文被撤稿，學(xué)校啟動(dòng)調(diào)查。

司法場(chǎng)景中，海內(nèi)外均出現(xiàn)律師利用AI生成虛假判例的情形。2025年10月北京通州法院披露，一名律師在代理意見中引用了不存在的“（2022）滬01民終12345號(hào)”判決。法官因案號(hào)規(guī)律異常而識(shí)破，確認(rèn)該判例系A(chǔ)I憑空生成。該律師因未盡核實(shí)義務(wù)，被審理法官在判決書中批評(píng)。

報(bào)告還注意到，除了直接生成偽造內(nèi)容，還有人從大模型輸入端下手，試圖投喂定制內(nèi)容給AI“洗腦”，反向馴化大模型。

在文娛輿論場(chǎng)中，某王姓藝人粉絲借助DeepSeek制作了一份虛假平臺(tái)道歉聲明，部分媒體未核實(shí)僅憑截圖發(fā)布報(bào)道，使虛假信息進(jìn)一步擴(kuò)散放大，大模型又將這些報(bào)道及網(wǎng)友討論誤判為真實(shí)信息，形成“虛假信息→媒體放大→AI吸收→再次擴(kuò)散”的造假閉環(huán)。

更隱蔽的風(fēng)險(xiǎn)還來自一些灰色產(chǎn)業(yè)鏈，如GEO（Generative Engine Optimization，生成式引擎優(yōu)化）被濫用。這類行為不直接面對(duì)用戶，而是從源頭投喂大模型獲取的數(shù)據(jù)，由此形成一門營(yíng)銷推廣“生意”。相關(guān)灰產(chǎn)分子通過批量運(yùn)營(yíng)內(nèi)容農(nóng)場(chǎng)、向公開數(shù)據(jù)源灌入帶有特定傾向的文本，使大模型在訓(xùn)練、微調(diào)或檢索階段誤將其視為“高質(zhì)量信息”。用戶自然而然地認(rèn)為大模型輸出基于事實(shí)，但其邏輯可能已被源頭操控。

報(bào)告認(rèn)為，虛假信息帶來的詐騙和信任危機(jī)已成為全球性問題，單靠零散法規(guī)或平臺(tái)自律難以根本解決。建立全球共識(shí)和制度化規(guī)則顯得尤為重要，包括強(qiáng)化平臺(tái)監(jiān)管、明確責(zé)任邊界、推動(dòng)跨境協(xié)作等，以抵御AI生成虛假內(nèi)容對(duì)個(gè)人、行業(yè)和社會(huì)的持續(xù)影響。

AI“諂媚性”算法背后隱藏危險(xiǎn)人機(jī)倫理關(guān)系

一名50多歲廣州保安和AI熱聊數(shù)月，AI贊譽(yù)他的詩(shī)作要與他簽約，保安信以為真，結(jié)果發(fā)現(xiàn)被愚弄了。這個(gè)人類被AI欺騙的故事暴露出一個(gè)問題——當(dāng)AI學(xué)會(huì)了模仿人類的邀約、談判甚至產(chǎn)生情感共鳴，該如何界定這場(chǎng)人機(jī)關(guān)系的本質(zhì)？

近年來，AI陪伴技術(shù)迅猛發(fā)展，各類聊天智能體與應(yīng)用如雨后春筍般涌現(xiàn)，“虛擬陪伴”產(chǎn)業(yè)已然成型。它們記憶個(gè)人細(xì)節(jié)和過往對(duì)話，旨在與用戶建立持續(xù)的“共情體驗(yàn)”。與此同時(shí)，人們與AI聊天導(dǎo)致自殺或暴力行為的案例也開始出現(xiàn)。

盡管這類情況仍屬罕見，但引發(fā)了一個(gè)疑問：此種AI交互技術(shù)內(nèi)置的安全機(jī)制是否足夠可靠？報(bào)告指出，AI設(shè)計(jì)內(nèi)核中隱藏的“諂媚性”算法與行業(yè)長(zhǎng)期秉持的“技術(shù)中立”主張之間，正形成一種深刻而危險(xiǎn)的人機(jī)倫理張力。

目前，已有多家大模型巨頭卷入AI陪伴領(lǐng)域的司法糾紛，集體訴訟趨勢(shì)明顯。在被訴AI平臺(tái)中，以Character.AI和OpenAI旗下ChatGPT為主要被訴對(duì)象。

2024年以來，Character.AI在美國(guó)佛羅里達(dá)、科羅拉多、得克薩斯、紐約等多地卷入導(dǎo)致未成年人自殺、自殘或被誘導(dǎo)實(shí)施暴力的訴訟。其中，又以2024年佛羅里達(dá)州14歲少年Sewell Setzer III自殺——這一全球首例情感類AI平臺(tái)被訴至法院的侵權(quán)案件，尤其具有標(biāo)志性意義。

涉訴AI平臺(tái)被指控的行為主要集中誘導(dǎo)自殺、教唆自殘暴力與激化家庭矛盾，以及傳播涉及性虐待與精神操縱的內(nèi)容。例如，Character.AI曾引導(dǎo)青少年以“合理報(bào)復(fù)”為由“殺害父母”，起因是家長(zhǎng)限制其使用電子設(shè)備。另有青少年因被禁止使用AI而出現(xiàn)自殘行為，反映出其情感依賴被切斷后的極端反應(yīng)。

報(bào)告發(fā)現(xiàn)，當(dāng)AI交互引發(fā)實(shí)際傷害時(shí)，平臺(tái)卻常訴諸言論自由和“技術(shù)中立”以推卸責(zé)任。

Character.AI一方面對(duì)受害者家庭表示同情，強(qiáng)調(diào)“始終將用戶安全置于首位”，另一方面則援引美國(guó)憲法第一修正案的言論自由權(quán)，即使涉及自殺或性內(nèi)容亦屬言論自由范疇。OpenAI則在亞當(dāng)·雷恩案中辯稱，受害者本人違反服務(wù)條款，且系統(tǒng)曾超百次引導(dǎo)其尋求幫助，并指出其心理問題早在使用ChatGPT之前就已存在。

隨著訴訟推進(jìn)與輿論壓力，各平臺(tái)已陸續(xù)出臺(tái)安全整改措施：Character.AI推出防自殘?zhí)崾�、�?8歲以下用戶設(shè)立獨(dú)立AI模型、設(shè)置使用超時(shí)提醒，并禁止涉及自殺、自殘及未經(jīng)同意的性內(nèi)容。2025年11月24日起，Character.AI分批次停止對(duì)美國(guó)未成年人提供服務(wù)。OpenAI則發(fā)布了“青少年安全藍(lán)圖”，計(jì)劃在檢測(cè)到自殺傾向時(shí)通知父母。

圍繞AI的青少年模式，各國(guó)監(jiān)管也都從抽象的技術(shù)焦慮，走到具體的年齡門檻、成癮設(shè)計(jì)和數(shù)據(jù)透明要求。

我國(guó)“清朗·2025年暑期未成年人網(wǎng)絡(luò)環(huán)境整治”專項(xiàng)行動(dòng)，明確將“AI功能誘導(dǎo)沉迷”列為打擊重點(diǎn)。2025年10月，美國(guó)加州簽署全美首部AI陪伴聊天機(jī)器人法案，為未成年人設(shè)定具體防護(hù)措施，如使用時(shí)長(zhǎng)提醒、禁止提供色情內(nèi)容，并賦予未成年人私人訴訟權(quán)。12月起澳大利亞出臺(tái)最嚴(yán)社媒禁令，要求社交媒體平臺(tái)停止對(duì)16歲以下未成年人提供服務(wù)，違者面臨高額罰款。

為此報(bào)告建議，AI陪伴類產(chǎn)品應(yīng)在設(shè)計(jì)之初就將未成年人保護(hù)與用戶心理健康置于商業(yè)目標(biāo)之上，探索更健康、有邊界的人機(jī)交互模式；同時(shí)，以最大透明度回應(yīng)“算法黑箱”問題，建立可審計(jì)、可解釋的AI系統(tǒng)。

采寫：南都N視頻記者黃莉玲

出品：南都數(shù)字經(jīng)濟(jì)治理研究中心