“作惡”的人工智能還要人來治

有點數(shù)·數(shù)字經(jīng)濟工作室原創(chuàng)

作 者 | 有 叔

微信ID | yds_sh

一個家喻戶曉的明星正在短視頻平臺上聊教育話題，猝不及防就打起了廣告：“從小給孩子喝某某牌奶粉，聰明長得壯。”盡管表情和口型有點對不上，但聲音卻相似得出奇。仔細辨別之后才能發(fā)現(xiàn)，這是“AI換臉擬聲”搞得鬼。

隨著AI技術(shù)的更新迭代，為工作生活帶來便利的同時，也給了犯罪分子可乘之機，“AI換臉擬聲”詐騙、侵權(quán)案時有發(fā)生。在今年3·15國際消費者權(quán)益日來臨之際，我們聊聊人工智能帶來的消費亂象。

當詐騙與AI技術(shù)結(jié)合，應(yīng)該如何應(yīng)對？

“張文宏”正直播帶貨？AI助長了“信息蝗災(zāi)”

知名傳染病學(xué)專家張文宏化身帶貨主播，在深夜直播，大肆推銷某個牌子的蛋白棒？

不久前，某視頻博主發(fā)布的視頻中，“張文宏”醫(yī)生強烈推銷一款蛋白棒，讓不少網(wǎng)友信以為真，一時銷量近1200件。

面對這樣明目張膽的侵權(quán)行為，張文宏隨后作出回應(yīng)稱，視頻是AI合成的：“我在發(fā)現(xiàn)這事后立即投訴過那個AI合成的視頻，但這樣的賣貨賬號不止一個，且一直在變，我多次向平臺投訴但屢禁不絕，自己最后也沒精力了?！?/p>

在此類直播中，幕后人員以AI技術(shù)利用張文宏的形象和聲音，稍加編造話術(shù)進行“忽悠”，便可使得那些不知名、以次充好甚至假冒偽劣商品瞬間賣光。如果騙局被揭穿，他們就會重新再開賬號進行直播帶貨。

“這些假的AI合成信息就像蝗災(zāi)一樣，一次又一次發(fā)生，像漫天飛過來的蝗蟲一樣害人。很多不明真相的老百姓、特別是有些對AI不是很熟悉的、年紀較大的市民，就很容易相信。” 該涉事視頻已從發(fā)布賬號中移除，且該賬號已被平臺永久封禁。除了向平臺投訴，張文宏也考慮求助警方，但對方看不見、摸不著，經(jīng)常更換賬號，很難找到準確的報警對象。

《2024人工智能安全報告》顯示，2023年基于AI的深度偽造欺詐事件數(shù)量激增了3000%，AI合成視頻正在成為別有用心之人引導(dǎo)輿論、斂財工具。看不著、摸不見、對得上……這些在AI合成視頻中的優(yōu)點轉(zhuǎn)身一變，不斷挑戰(zhàn)人們“眼見為實”的認知底線，侵蝕消費者合法權(quán)益。

不只是張文宏，許多公眾人物如教育專家李玫瑾、影視明星劉德華、靳東等都在不同場合呼吁過對“AI換臉擬聲”加強監(jiān)管，全國人大代表雷軍在今年兩會提出的建議中，就包括關(guān)于“AI換臉擬聲”違法侵權(quán)的治理。

不管馬云還是靳東，AI都能換臉擬聲

誤信“AI換臉擬聲”的直播帶貨，從而買到假冒偽劣的商品，消費者權(quán)益不免受到損害，但更具危害性的是，利用人工智能技術(shù)進行的詐騙活動。據(jù)媒體報道，有人在社交平臺用AI換臉成富商馬云，視頻連線獲取網(wǎng)友信任，目標受眾多為對AI缺乏認知的中老年人，之后再以“做扶貧項目”等為由騙取錢財。還有人在短視頻平臺上冒充演員靳東與中老年人接觸，以需要錢拍戲為由誘使他人轉(zhuǎn)賬。

除了冒充公眾人物，還有不法分子用AI模仿你身邊的重要關(guān)系人，更是讓人防不勝防。比如天津警方披露的一起AI詐騙案中，市民李先生此前收到了一條短信，對方自稱是李先生單位的領(lǐng)導(dǎo)，要求加其社交軟件詳聊。加上好友后，對方便以有急事需要資金周轉(zhuǎn)為由，要求李先生向其轉(zhuǎn)賬，還保證事后錢款一定返還。對方還主動打來視頻電話。看到視頻那頭出現(xiàn)的確實是“領(lǐng)導(dǎo)”，李先生瞬間放下戒備，分3筆向?qū)Ψ絽R款95萬元。當天下午，李先生與朋友聊天時提起這件事，越想越覺得不對勁，于是報警。

接到報警后，天津警方迅速與銀行開啟聯(lián)動機制，及時對3張銀行卡進行緊急止付操作。銀行成功凍結(jié)了涉案資金83萬元。據(jù)民警介紹，不法分子利用AI技術(shù)，將他人的臉換成熟人或親人的臉，冒充詐騙對象的重要關(guān)系人，通過合成“以假亂真”的視頻或照片來實施詐騙。

香港警方也披露過一起多人“AI換臉”詐騙案，涉案金額高達2億港元。據(jù)央視新聞報道，一家跨國公司香港分部的職員受邀參加總部首席財務(wù)官發(fā)起的“多人視頻會議”，并按照要求先后轉(zhuǎn)賬多次，將2億港元分別轉(zhuǎn)賬15次，轉(zhuǎn)到5個本地銀行賬戶內(nèi)。之后，其向總部查詢才知道受騙。警方調(diào)查得知，這起案件中所謂的視頻會議中只有受害人一個人是“真人”，其他“參會人員”都是經(jīng)過“AI換臉”后的詐騙人員。

與AI換臉視頻相比，AI合成語音在詐騙中更難辨別。全球安全技術(shù)公司邁克菲（McAfee）發(fā)布的調(diào)查報告指出，只需提供3-4秒的錄音，網(wǎng)絡(luò)上的免費AI工具就能生成相似度達到85%的克隆人聲。在參與調(diào)查的7000多位全球受訪者中，有70%的人不確定是否能分辨 AI 合成語音，而大約有10%的人遭遇過AI語音詐騙。

在社交媒體上，有不少留學(xué)生發(fā)帖表示曾遇到利用AI合成本人語音，對在國內(nèi)的父母進行的詐騙。這些詐騙以綁架為名，放出AI合成的求救語音，同時利用時空差，在造成恐慌的心理下騙取大量金額。

預(yù)防信息泄露，用心識破AI騙局

我們從上面的案例不難看出，人工智能是把雙刃劍。從細分行業(yè)來說，有越來越多的金融機構(gòu)引入了人工智能來開展客戶服務(wù)，這也給了不法分子可乘之機。有消費者接到自稱是保險公司客服電話，要求提供銀行卡信息并支付“續(xù)期保費”，結(jié)果被騙取錢財。在這背后，是不法分子利用人工智能模擬保險公司客服人員的聲音或聊天機器人，通過電話聯(lián)系消費者，誘導(dǎo)其泄露個人信息。

說到這里，我們發(fā)現(xiàn)當下利用 AI 技術(shù)的詐騙手段呈現(xiàn)出門檻更低，效果更逼真的趨勢，那面對AI新型騙局的各類場景，我們應(yīng)該如何提高防范意識和應(yīng)對能力呢？

AI技術(shù)上確實能做到換臉、擬音，但要實現(xiàn)騙局，首先得收集到被換臉對象的個人身份信息、大量人臉照片、語音，通過AI生成以假亂真的音視頻；竊取被換臉（聲）對象的社交軟件號碼；掌握詐騙對象個人身信息，熟悉其社會關(guān)系等。這就提醒我們，要增強個人信息保護意識，不在社交平臺上發(fā)布機票、證書、照片等包含姓名、身份證號、手機號、關(guān)鍵位置等個人信息的圖片，不輕易提供人臉、指紋等生物信息給他人。

對一些冒充名人網(wǎng)絡(luò)營銷或者生成虛假新聞的，如何辨別，或者怎么識別是否AI換臉、變聲呢？業(yè)內(nèi)專家提醒，一方可以檢查面部特征，觀察表情、動作以及聲音和口型的匹配度；另一方面，核實信息來源，讓對方用手遮住面部或進行其他面部動作判斷畫面是否連貫。

AI合成視頻往往在面部細節(jié)上存在較為顯著缺陷：微表情缺失（如眼角細紋、嘴角抽動難以捕捉）、光影不匹配（輪廓和陰影過渡不符合光線反射規(guī)律）以及皮膚過于光滑（缺乏毛孔、紋理和瑕疵）。在眼神與表情方面，眼球運動機械化（轉(zhuǎn)動不連貫、眨眼頻率異常），面部表情僵硬（轉(zhuǎn)換生硬、笑容缺乏真實感）。

雖然聲音克隆技術(shù)近年來取得了顯著進步，幾乎能夠達到以假亂真的程度。仔細聽聽可以發(fā)現(xiàn)，AI生成的語音通常更加流暢，語速更快，且較少出現(xiàn)‘額’‘嗯’‘也就是說’等語氣詞或停頓，聽得多了，還是能識別出AI生成的聲音。

結(jié) 語

AI亂象面前，消費者提高警惕的同時，政府監(jiān)管也要跟得上、跑得快。我國相繼頒布了《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法律法規(guī)，目的就是規(guī)范AI應(yīng)用。

AI技術(shù)要想造福于民，監(jiān)管與提升大眾防范意識必不可少。只有不斷提高違法行騙成本與難度，提升公眾鑒別真?zhèn)我庾R，才能杜絕AI技術(shù)淪為技術(shù)行騙的工具。

——The End——