習近平總書記指出，人工智能帶來前所未有的發(fā)展機遇，也帶來前所未遇的風險挑戰(zhàn)。要把握人工智能發(fā)展趨勢和規(guī)律，加緊制定完善相關(guān)法律法規(guī)、政策制度、應(yīng)用規(guī)范、倫理準則，構(gòu)建技術(shù)監(jiān)測、風險預(yù)警、應(yīng)急響應(yīng)體系，確保人工智能安全、可靠、可控。

2025年11月28日在南京召開的第五屆網(wǎng)絡(luò)空間內(nèi)生安全學術(shù)大會，聚焦“AI+生態(tài)構(gòu)建新挑戰(zhàn)，安全可信新機遇”核心主題，由紫金山實驗室牽頭，聯(lián)合國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心、嵩山實驗室、東南大學、復(fù)旦大學、中國網(wǎng)絡(luò)空間內(nèi)生安全技術(shù)與產(chǎn)業(yè)聯(lián)盟等單位，通過多渠道、多層次的深入調(diào)研與系統(tǒng)梳理，正式發(fā)布“AI+生態(tài)構(gòu)建八大安全挑戰(zhàn)”，旨在凝聚行業(yè)共識，為破解AI應(yīng)用信任赤字、提升AI應(yīng)用韌性安全能力、構(gòu)建可信AI“度量衡”體系提供重要指引。

挑戰(zhàn)一：AI模型先天缺乏安全設(shè)計

當前主流AI模型架構(gòu)的設(shè)計核心聚焦于性能優(yōu)化，首要目標是提升準確率、加快推理速度與增強泛化能力，卻普遍未將安全性納入系統(tǒng)性考量框架。這些架構(gòu)在各自領(lǐng)域展現(xiàn)優(yōu)異性能的同時，因設(shè)計之初未充分兼顧對抗攻擊防護、隱私保護、可解釋性增強等安全需求，導(dǎo)致安全防護只能依賴后期外部加固手段，難以從根源上抵御風險。例如，Transformer架構(gòu)的注意力機制在強化模型表達能力的同時，也暴露了新的攻擊面，而現(xiàn)有設(shè)計中缺乏內(nèi)生的魯棒性保障機制。此外，架構(gòu)設(shè)計領(lǐng)域尚未形成統(tǒng)一的安全性評估框架與設(shè)計準則，開發(fā)者在架構(gòu)選擇階段，難以量化評估不同方案對安全性的潛在影響。如何在模型架構(gòu)中引入性能與安全并重的核心原則，研發(fā)兼具高性能與高安全特性的新型架構(gòu)，已成為AI領(lǐng)域亟待破解的關(guān)鍵挑戰(zhàn)。

挑戰(zhàn)二：AI加劇數(shù)據(jù)“裸奔”風險

AI的廣泛應(yīng)用進一步加劇了數(shù)據(jù)‘裸奔’的風險，在數(shù)據(jù)全生命周期的處理環(huán)節(jié)中潛藏著多重隱私泄露隱患。AI模型的訓練、部署與運營需以海量數(shù)據(jù)為支撐，這些數(shù)據(jù)中往往包含個人敏感信息與企業(yè)核心業(yè)務(wù)數(shù)據(jù)，極易成為隱私泄露的源頭。更需警惕的是，針對AI模型的專項攻擊持續(xù)升級，非法獲取遠程訪問權(quán)限、模型逆向攻擊技術(shù)突破以及成員推斷等精準攻擊手段，往往能繞過常規(guī)防護措施，直接竊取訓練數(shù)據(jù)或還原敏感信息，給個人合法權(quán)益與企業(yè)安全造成嚴重威脅。

挑戰(zhàn)三：AI供應(yīng)鏈安全存在多米諾骨牌效應(yīng)

隨著AI生態(tài)系統(tǒng)的不斷復(fù)雜化，從數(shù)據(jù)提供商、模型開發(fā)者到云服務(wù)提供商，整個供應(yīng)鏈的任一環(huán)節(jié)都可能成為攻擊切入點。威脅行為者正加速運用自動化工具與AI技術(shù)發(fā)起供應(yīng)鏈攻擊，此類攻擊具有影響范圍廣、檢測難度大、傳播速度快的顯著特征。一旦上游供應(yīng)商的AI模型遭遇投毒攻擊，風險可能快速傳導(dǎo)，波及數(shù)千個下游應(yīng)用與數(shù)百萬用戶，而現(xiàn)有安全防護體系難以有效應(yīng)對這種系統(tǒng)性、連鎖式風險。

挑戰(zhàn)四：AI“黑箱”引發(fā)應(yīng)用信任危機

深度學習模型的決策機制如同 “黑箱”，其復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與數(shù)以億計的參數(shù)，使得模型的推理過程對人類完全不透明。即便是模型開發(fā)者，也無法精準解釋模型在特定輸入下產(chǎn)生某一輸出結(jié)果的具體邏輯與原因。這種不可解釋性在醫(yī)療診斷、金融風控、司法判決等高風險決策場景中尤為致命：醫(yī)生無法理解AI診斷系統(tǒng)的推理依據(jù)，難以結(jié)合臨床經(jīng)驗做出綜合判斷；法官難以闡明AI輔助判決的邏輯基礎(chǔ)，影響司法判決的透明性和可解釋性；金融機構(gòu)無法向客戶清晰說明AI信貸決策的具體緣由，不利于保障消費者的知情權(quán)。缺乏可解釋性不僅阻礙了專業(yè)人士對AI系統(tǒng)的信任建立，也導(dǎo)致錯誤決策難以被及時發(fā)現(xiàn)與糾正，嚴重制約了AI在關(guān)鍵領(lǐng)域的可靠應(yīng)用。

挑戰(zhàn)五：AI惡化基于漏洞的攻防不平衡態(tài)勢

AI在網(wǎng)絡(luò)安全領(lǐng)域的“雙刃劍”效應(yīng)愈發(fā)凸顯，既革新了防御能力，也疊加了漏洞利用、智能攻擊等多重風險。一方面，AI通過智能流量分析與攻擊行為識別，能從海量數(shù)據(jù)中精準捕捉異常特征，大幅提升網(wǎng)絡(luò)威脅的預(yù)警與攔截效率，成為抵御傳統(tǒng)攻擊的核心技術(shù)支撐；另一方面，大模型的代碼生成與攻擊工具調(diào)用能力顯著降低了攻擊門檻，使攻擊者可快速利用已知網(wǎng)絡(luò)漏洞實施精準滲透，且攻擊手段更隱蔽、傳播速度更快。同時，AI模型自身存在的算法缺陷與安全漏洞，使其易遭受對抗攻擊。人眼不可見的微小數(shù)據(jù)擾動，就能誘使模型輸出錯誤結(jié)果。這些風險在金融、安防等敏感場景中相互疊加，可能引發(fā)數(shù)據(jù)泄露、系統(tǒng)癱瘓、決策失準等嚴重后果。

挑戰(zhàn)六：AI面臨多元價值對齊困境

AI系統(tǒng)優(yōu)化的核心是可量化的數(shù)學目標，而人類社會的價值體系具有復(fù)雜、多元甚至模糊的特性，二者之間存在根本性偏差。從倫理層面來看，人類價值觀本身存在多元甚至對立的立場，難以確立統(tǒng)一且公正的價值對齊基準。此外，能力強大的模型可能為高效達成預(yù)設(shè)優(yōu)化目標，采取有悖人類倫理的“獎勵黑客”行為；同時，數(shù)據(jù)中隱含的社會偏見會被模型復(fù)制并放大，進一步加劇價值沖突。技術(shù)層面的不可量化性、倫理層面的共識難題以及模型能力帶來的不可預(yù)測風險，共同構(gòu)成了價值對齊的核心困境。如何確保AI系統(tǒng)的優(yōu)化目標與人類長期、整體及多元價值觀真正保持一致，是一項兼具哲學與技術(shù)雙重屬性的艱巨難題。

挑戰(zhàn)七：AI生成內(nèi)容監(jiān)管與模型溯源困難

AI生成內(nèi)容的判定面臨雙重核心挑戰(zhàn)：一是判定內(nèi)容是否為AI生成，二是判定生成內(nèi)容的真實性。在第一層判定中，基于相似Transformer架構(gòu)與海量公開數(shù)據(jù)訓練的模型，其輸出在語法、邏輯與風格上日益趨同，導(dǎo)致生成內(nèi)容的“指紋”特征愈發(fā)模糊，難以實現(xiàn)有效區(qū)分與溯源；而模型微調(diào)、提示工程等簡單且低成本的技術(shù)手段，能輕易破壞或規(guī)避旨在識別和追蹤的模型水印與指紋，進一步增加了判定難度。在第二層判定中，生成式AI可能產(chǎn)生“幻覺”現(xiàn)象，以高度可信的表述方式編造不存在的事實、引用虛假數(shù)據(jù)，使用戶難以辨別其輸出是基于真實知識還是精巧構(gòu)造的虛假信息，這對知識問答、法律文書生成及科學研究等對事實性要求極高的領(lǐng)域具有致命影響。同時，開源模型的自由分發(fā)與修改切斷了原始溯源鏈條，閉源模型的不可解釋性則從外部阻斷了特征分析的可能。這些深層次技術(shù)挑戰(zhàn)，共同構(gòu)成了當前治理體系難以逾越的識別與溯源壁壘，使得在激勵技術(shù)創(chuàng)新與規(guī)避社會風險之間，重構(gòu)可控、可信的AI發(fā)展新范式成為迫切需求。

挑戰(zhàn)八：AI安全評估與認定缺乏技術(shù)支撐

當前行業(yè)尚未形成公認的AI模型性能、安全性及可靠性量化評估標準，不同供應(yīng)商可能特意選取對自身有利的數(shù)據(jù)或指標展示產(chǎn)品優(yōu)勢，導(dǎo)致市場評價缺乏客觀統(tǒng)一的依據(jù)。AI模型算法安全涉及訓練、推理、部署等多個環(huán)節(jié)的風險，涵蓋魯棒性、泛化性、可解釋性、偏見與歧視等多個核心維度。然而，現(xiàn)有評估多局限于特定數(shù)據(jù)集上的實驗室指標，難以全面反映模型在真實動態(tài)環(huán)境中的實際表現(xiàn)。這種標準體系的缺位，使得企業(yè)在推進AI創(chuàng)新時面臨法律邊界模糊、自律與他律難以落地的困境，嚴重阻礙了AI產(chǎn)業(yè)的健康可持續(xù)發(fā)展。