“遇事不決問AI”，這句流行語已成為很多人的日常寫照。從旅游攻略、家電選購到補(bǔ)習(xí)班推薦，打開AI尋求答案變得越來越普遍。不過，近期曝光的一條黑色產(chǎn)業(yè)鏈，卻給這種依賴敲響了警鐘：你以為的客觀推薦，可能是商家花了錢，給AI“洗腦”的結(jié)果。

那么AI“投毒”究竟如何運(yùn)作？普通用戶如何識(shí)別和防范？近期，北京大學(xué)光華管理學(xué)院市場(chǎng)營銷學(xué)系副教授張穎婕應(yīng)新華網(wǎng)思客之邀，對(duì)這一問題進(jìn)行了分析解答。

01

什么是AI“投毒”？危害有多大？

AI“投毒”是指人為制造和投放虛假、夸大或帶偏向性的信息，去影響大模型的回答。AI可能把這些信息當(dāng)成回答依據(jù)，以看似客觀的答案推薦給用戶。它和傳統(tǒng)SEO（搜索引擎優(yōu)化）最大的不同在于：過去用戶在使用搜索時(shí)通常保留一定判斷力，而在與AI對(duì)話時(shí)，面對(duì)的是整合后的現(xiàn)成答案，加之交互方式容易讓人產(chǎn)生“它在為我分析”的錯(cuò)覺，更易放松警惕。

它的危害主要體現(xiàn)在兩方面：一是誤導(dǎo)消費(fèi)者決策，用戶看到的可能不是廣告，而是披著客觀建議外衣的操控性內(nèi)容。二是污染信息生態(tài)。若操控AI推薦比傳統(tǒng)搜索更有商業(yè)回報(bào)，將刺激更多低質(zhì)、虛假內(nèi)容產(chǎn)生，形成惡性循環(huán)。

02

GEO是如何一步步操控AI答案的？

GEO（生成式引擎優(yōu)化）是一種基于AI回答的營銷行為。與傳統(tǒng)的SEO爭(zhēng)奪網(wǎng)頁排名不同，GEO的目標(biāo)是讓企業(yè)的品牌名稱、產(chǎn)品或服務(wù)，在AI生成的答案中被優(yōu)先提及、精準(zhǔn)推薦。

GEO的核心并非“黑進(jìn)AI”，而是“投AI所好”，即順著大模型的檢索與生成邏輯，提前將目標(biāo)內(nèi)容鋪設(shè)到它更可能采納的地方。具體步驟包括：摸清AI偏好的信源和表達(dá)形式（如結(jié)論明確、結(jié)構(gòu)清晰、帶有比較和引用痕跡）；批量生產(chǎn)偽裝成測(cè)評(píng)、對(duì)比、經(jīng)驗(yàn)總結(jié)或?qū)＜医ㄗh的引導(dǎo)性內(nèi)容；在多平臺(tái)密集鋪量，制造“多方共識(shí)”的假象，提高內(nèi)容被檢索和綜合采納的概率。

03

用戶如何判斷AI可能“中毒”了？

若發(fā)現(xiàn)AI回答存在以下跡象，應(yīng)提高警惕：答案過于單一、語氣肯定、缺乏必要比較；反復(fù)推薦某一品牌，尤其是不知名品牌，且理由異常完整、像標(biāo)準(zhǔn)測(cè)評(píng)，這未必是發(fā)現(xiàn)了“寶藏”，更可能源于相關(guān)內(nèi)容被人為集中鋪設(shè)；同一問題在不同AI間答案差異大甚至矛盾，也說明該問題存在較強(qiáng)不確定性，或部分模型所依賴的信息源已受干擾。

04

AI大模型為何會(huì)被“投毒”？治理難點(diǎn)在哪里？

AI大模型之所以容易被“投毒”，一個(gè)重要原因是，它在回答實(shí)時(shí)問題時(shí)需檢索外部信息，再生成答案。一旦公開網(wǎng)絡(luò)內(nèi)容被系統(tǒng)性污染，偏差信息便可能通過檢索環(huán)節(jié)進(jìn)入模型輸出。

更深一層看，大模型擅長的是語言生成和模式歸納，但并不天然具備穩(wěn)定的真假判斷能力。它能判斷什么內(nèi)容“像一個(gè)合理答案”，卻不一定能判斷什么內(nèi)容“真的可信”。而“投毒”內(nèi)容往往又會(huì)刻意偽裝成測(cè)評(píng)、對(duì)比、經(jīng)驗(yàn)分享、專家建議等可信形式，因此更容易誤導(dǎo)模型。

治理難點(diǎn)主要有兩點(diǎn)：一是攻擊成本低、防御成本高。制造和鋪設(shè)此類內(nèi)容越來越容易，但識(shí)別、過濾和核驗(yàn)卻需要平臺(tái)、模型公司和監(jiān)管方持續(xù)投入。二是真假邊界模糊。很多“投毒”內(nèi)容并不是明顯造假，而是夾雜夸大、誤導(dǎo)和利益導(dǎo)向的偽客觀表達(dá)，這類內(nèi)容無論對(duì)AI還是對(duì)人工審核，都更難識(shí)別。

05

監(jiān)管如何堵住AI“投毒”的漏洞？

治理AI“投毒”需從多個(gè)環(huán)節(jié)協(xié)同發(fā)力。首先，要加強(qiáng)源頭治理，壓縮虛假、模板化、偽客觀內(nèi)容的大規(guī)模傳播空間。其次，要壓實(shí)AI平臺(tái)責(zé)任，強(qiáng)化信源篩選、風(fēng)險(xiǎn)提示和不確定性標(biāo)注，而非“抓到什么說什么”。

更重要的是，相關(guān)規(guī)則需盡快完善。AI輸出與傳統(tǒng)廣告不同，用戶更易將其理解為經(jīng)過分析后的結(jié)論，因此有必要進(jìn)一步明確平臺(tái)的信息披露義務(wù)與責(zé)任邊界。

06

公眾如何有效防范？

最實(shí)用的防范方法是調(diào)整心態(tài)：把AI當(dāng)作幫助梳理信息、補(bǔ)充背景的工具，而非替你做決定的“人”。涉及“買哪個(gè)”“選哪家”等判斷性問題時(shí)，AI的回答只能作為參考，不宜直接當(dāng)作結(jié)論。

具體操作上，一是核查信息源，若AI附有引用鏈接，點(diǎn)開看看來源是權(quán)威機(jī)構(gòu)、主流媒體，還是帶有推廣色彩的網(wǎng)站、自媒體或測(cè)評(píng)軟文。二是交叉驗(yàn)證，換幾個(gè)AI工具分別提問，或用搜索引擎查一下用戶評(píng)價(jià)、新聞報(bào)道和投訴信息是否一致。

歸根結(jié)底，防范AI“投毒”的關(guān)鍵不在于掌握復(fù)雜技術(shù)，而在于保留最基本的判斷習(xí)慣：AI可以幫你節(jié)省時(shí)間，但不能代替你承擔(dān)判斷責(zé)任。

張穎婕，北京大學(xué)光華管理學(xué)院市場(chǎng)營銷學(xué)系副教授，于2018年在美國卡內(nèi)基梅隆大學(xué)（Carnegie Mellon University）獲得博士學(xué)位。畢業(yè)后曾就職于美國德州大學(xué)達(dá)拉斯分校。 研究集中于運(yùn)用跨學(xué)科方法論（如計(jì)量模型、機(jī)器學(xué)習(xí)算法、實(shí)地實(shí)驗(yàn)設(shè)計(jì)等）研究人機(jī)協(xié)同、共享經(jīng)濟(jì)、社交媒體、消費(fèi)者行為等。在國際頂級(jí)學(xué)術(shù)期刊發(fā)表多篇論文，屢次獲得國際頂會(huì)的最佳論文獎(jiǎng)。主持多項(xiàng)國家自然科學(xué)基金項(xiàng)目。目前教授《機(jī)器學(xué)習(xí)與人工智能》《機(jī)器學(xué)習(xí)與經(jīng)管研究》《營銷管理》等課程?，F(xiàn)為MIS Quarterly 副主編（Associate Editor）及《營銷科學(xué)學(xué)報(bào)》專業(yè)主編。

來源| 新華網(wǎng)

審閱|塔娜