12月22日，從西安建筑科技大學(xué)獲悉，該校管理學(xué)院智能管理與決策團(tuán)隊(duì)在人工智能虛假信息識(shí)別與治理研究領(lǐng)域取得重要進(jìn)展，首次揭示了AI虛假信息的質(zhì)量調(diào)節(jié)效應(yīng)，為政府推進(jìn)數(shù)字安全和網(wǎng)絡(luò)生態(tài)治理提供了關(guān)鍵技術(shù)支撐。相關(guān)研究成果于近日發(fā)表在Nature子刊Nature Communications雜志上。

隨著生成式人工智能技術(shù)的廣泛應(yīng)用，虛假信息的生產(chǎn)與傳播方式正在發(fā)生深刻變化。與傳統(tǒng)人工編造的謠言不同，AI虛假信息在語言流暢性和結(jié)構(gòu)完整性方面更具迷惑性，給識(shí)別與治理帶來了新的挑戰(zhàn)。盡管近年來學(xué)界普遍嘗試?yán)肁I參與事實(shí)核查與虛假信息檢測(cè)，但在實(shí)際應(yīng)用中，其識(shí)別效果并不總是穩(wěn)定可靠。

針對(duì)這一現(xiàn)實(shí)問題，研究團(tuán)隊(duì)將研究視角從“如何使用AI識(shí)別虛假信息”轉(zhuǎn)向“AI在語言理解與生成層面存在哪些內(nèi)在局限”。研究從心理語言學(xué)和計(jì)算語言學(xué)的交叉視角出發(fā)，系統(tǒng)分析了AI真實(shí)內(nèi)容、AI虛假內(nèi)容與人類文本在語言特征上的差異，并進(jìn)一步探討哪些語言信號(hào)可能有助于提升虛假信息的識(shí)別能力。

AI虛假信息語言特征與檢測(cè)局限研究框架圖

各質(zhì)量組LIWC分析與K-S檢驗(yàn)結(jié)果

研究團(tuán)隊(duì)綜合運(yùn)用心理語言學(xué)分析、語言毒性與錯(cuò)誤檢測(cè)、語法依存結(jié)構(gòu)和詞性組合分析，并結(jié)合零樣本提示實(shí)驗(yàn)與誤判樣本分析，開展了多維度實(shí)證研究。研究首次提出并驗(yàn)證了“AI虛假內(nèi)容的質(zhì)量調(diào)節(jié)效應(yīng)”，即隨著生成內(nèi)容質(zhì)量的提高，AI文本在創(chuàng)造性、表達(dá)規(guī)范性和整體可讀性上逐漸逼近人類寫作，同時(shí)其可被檢測(cè)的語言差異卻不斷減弱。這一發(fā)現(xiàn)表明，當(dāng)AI被用于高質(zhì)量“洗稿”或細(xì)節(jié)捏造時(shí)，無論是普通讀者，還是現(xiàn)有依賴大型語言模型的檢測(cè)工具，其識(shí)別難度都會(huì)顯著增加。研究結(jié)果不僅揭示了單純依賴語言特征或大型模型進(jìn)行虛假信息檢測(cè)所面臨的潛在風(fēng)險(xiǎn)，也為理解AI生成文本的認(rèn)知加工機(jī)制提供了新的證據(jù)支持，相關(guān)結(jié)論在一定程度上呼應(yīng)了刺激貧乏理論、范例理論和加工流暢性理論，為AI虛假信息研究提供了更具解釋力的理論框架。

“本研究為政府監(jiān)管部門、互聯(lián)網(wǎng)平臺(tái)及相關(guān)管理機(jī)構(gòu)在制定AI信息治理策略、優(yōu)化AI虛假檢測(cè)技術(shù)和完善風(fēng)險(xiǎn)預(yù)警體系方面提供了重要參考?！闭撐淖髡邚埿律淌诒硎?，團(tuán)隊(duì)未來將深入開展多模態(tài)AI虛假信息的治理研究，為推動(dòng)人工智能安全應(yīng)用與社會(huì)治理現(xiàn)代化提供更堅(jiān)實(shí)的科學(xué)依據(jù)。（通訊員：肖雯雯）