IPP評論是國家高端智庫華南理工大學(xué)公共政策研究院（IPP）官方微信平臺。

導(dǎo)語：

要馴服一頭龐然巨獸，使其融入人類的生產(chǎn)與生活，除長久的謹(jǐn)慎與耐心外，還需要一套穩(wěn)固可靠的“馴獸術(shù)”——一邊思考駕馭，一邊謀求共生；一邊提供空間，一邊抓緊韁繩。這與我們當(dāng)下面對人工智能的處境何其相似。

如今，人工智能正從單一的技術(shù)工具，迅速變?yōu)槿谌虢?jīng)濟(jì)與社會運(yùn)轉(zhuǎn)的基礎(chǔ)設(shè)施。它調(diào)度交通、驅(qū)動金融交易、影響輿論傳播，并日益融入公共安全管理和基層治理。伴隨這種轉(zhuǎn)變，其引發(fā)一系列風(fēng)險往往也不再是孤立事件。一次金融風(fēng)控模型的算法偏差，可能瞬間蔓延至資本市場，引發(fā)系統(tǒng)性恐慌；一段深度偽造的視頻，足以在短時間內(nèi)攪動輿論，左右公眾判斷；自動駕駛一旦失靈，可能引發(fā)保險、物流乃至城市治理的連鎖反應(yīng)。

IPP特約研究員、廣州市社會科學(xué)院城市治理研究所副所長孫占卿認(rèn)為，阿西莫夫描繪的“智能反叛”可能正在走出科幻：生成式人工智能正速度改變世界，而治理和倫理框架卻未能跟上。網(wǎng)絡(luò)攻擊、深度偽造、算法歧視、軍備競賽……AI正在多維度重塑公共安全版圖。要馴服這股力量，關(guān)鍵不是按下暫停鍵，而是在持續(xù)發(fā)展中打造一套有韌性、夠敏捷、能協(xié)同的全球治理體系，用動態(tài)風(fēng)險管理和國際共識為未來護(hù)航。

阿西莫夫在小說《莎莉》中描述了一輛自動巴士因?yàn)槭艿酱直Υ?，造反殺死了自己的主人吉爾宏的故事。這可能是人類第一次意識到人工智能可能忤逆人的意圖，并由此誕生了“機(jī)器人三大法則”?，F(xiàn)代人工智能，尤其是生成式人工智能的到來，迅速顛覆了人們對人工智能的倫理想象，并確立了新的思路：

與其將安全希望寄托在人工智能身上，不如把安全規(guī)則建立在人類開發(fā)行為中。

在阿西莫夫看來，技術(shù)背后真正的風(fēng)險多源于人的動機(jī)與制度缺陷。圖源：Getty Imagies

一、AI安全問題已迫在眉睫

與技術(shù)的高速演進(jìn)相比，人工智能安全機(jī)制、倫理規(guī)范和治理框架發(fā)展相對滯后，已經(jīng)形成了危險的“治理赤字”。

斯坦福大學(xué)人類中心人工智能研究所（Stanford HAI）發(fā)布的《2025AI指數(shù)報告》指出，2024年全球人工智能總投資額高達(dá)2523億美元，較2023年增長25.5%。僅以領(lǐng)軍企業(yè)OpenAI為例，其2025至2029年預(yù)計(jì)現(xiàn)金支出就將達(dá)到1150億美元。這表明人工智能已經(jīng)成為驅(qū)動全球經(jīng)濟(jì)的核心引擎。指數(shù)級的資本注入轉(zhuǎn)化為驚人的行業(yè)滲透率，全球有78%的組織報告稱在2024年使用了AI。在2023的時候，這一數(shù)據(jù)僅為55%。

《人工智能全球治理上海宣言》（以下簡稱《上海宣言》）指出：

“隨著人工智能技術(shù)快速發(fā)展，我們也面臨前所未有的挑戰(zhàn)，特別是在安全和倫理方面”。

對人工智能公共安全風(fēng)險進(jìn)行系統(tǒng)性、前瞻性的評估與治理，已經(jīng)變成維護(hù)社會穩(wěn)定與未來發(fā)展的當(dāng)務(wù)之急。

2024世界人工智能大會暨人工智能全球治理高級別會議開幕式上，上海向全球發(fā)布了《人工智能全球治理上海宣言》。圖源：新華社

二、AI帶來了新型公共安全風(fēng)險

人工智能正在打破網(wǎng)絡(luò)安全與物理安全之間的傳統(tǒng)界限，催生了形態(tài)多樣、影響深遠(yuǎn)的新型公共安全風(fēng)險，意味著公共安全治理體系必須打破原有部門壁壘，推動網(wǎng)絡(luò)安全、交通安全、能源安全等領(lǐng)域的深度融合，重構(gòu)專業(yè)知識體系和應(yīng)急響應(yīng)機(jī)制。

（一）技術(shù)應(yīng)用層：新的安全威脅不斷“涌現(xiàn)”

在技術(shù)應(yīng)用層面，人工智能正被用于構(gòu)建和放大傳統(tǒng)安全威脅。

一是網(wǎng)絡(luò)與信息安全風(fēng)險。

人工智能技術(shù)普及極大地降低了網(wǎng)絡(luò)攻擊和虛假信息制造的門檻，同時顯著提升了其復(fù)雜性和破壞力。一方面，AI被用于武器化的網(wǎng)絡(luò)攻擊。生成式AI可以被用來創(chuàng)造惡意軟件，這類軟件能夠?qū)崟r改變其代碼以規(guī)避傳統(tǒng)的病毒檢測系統(tǒng)，并能自動化地發(fā)現(xiàn)和利用系統(tǒng)漏洞。

另一方面，AI驅(qū)動的大規(guī)模虛假信息和認(rèn)知作戰(zhàn)正成為突出現(xiàn)實(shí)威脅。利用深度偽造（Deepfake）等技術(shù)，攻擊者可以生成高度逼真的音視頻內(nèi)容，用于實(shí)施精準(zhǔn)詐騙（如香港發(fā)生的涉案金額高達(dá)2500萬美元的深度偽造詐騙案）和操縱公眾輿論。

“深度偽造技術(shù)”（Deepfake）基于AI人工智能技術(shù)進(jìn)行人體圖像合成。近年在國內(nèi)外已出現(xiàn)多起相關(guān)詐騙案件。圖源：央視新聞

世界經(jīng)濟(jì)論壇的《全球風(fēng)險報告》已連續(xù)兩年將“錯誤信息和虛假信息”列為未來兩年全球面臨的最大風(fēng)險，并明確指出AI是其主要驅(qū)動因素。

在2024年，AI生成的虛假與誤導(dǎo)信息被認(rèn)為是僅次于極端天氣的全球重大風(fēng)險。圖源：World Economic Forum

二是物理世界安全風(fēng)險。

人工智能技術(shù)正從數(shù)字空間溢出到物理世界，直接關(guān)系到人身與財產(chǎn)安全。

首先，自主系統(tǒng)的安全事故頻發(fā)。以自動駕駛汽車為例，盡管技術(shù)不斷進(jìn)步，但其在復(fù)雜真實(shí)世界環(huán)境中的感知、決策和執(zhí)行環(huán)節(jié)仍存在缺陷。美國國家公路交通安全管理局（NHTSA）和加州車輛管理局（DMV）的事故報告顯示，自動駕駛系統(tǒng)在特定場景下存在缺陷，且各地的事故報告標(biāo)準(zhǔn)不一，增加了風(fēng)險評估和監(jiān)管的難度 。

其次，致命性自主武器系統(tǒng)帶來了嚴(yán)峻的倫理和安全挑戰(zhàn)。聯(lián)合國裁軍研究所（UNIDIR）的研究報告指出，自主武器系統(tǒng)可能壓縮人類決策時間，增加誤判和沖突意外升級的風(fēng)險，并對如何確?！坝幸饬x的人類控制”提出了根本性質(zhì)疑，凸顯了其對全球戰(zhàn)略穩(wěn)定的潛在顛覆性影響。

聯(lián)合國新聞網(wǎng)站（UN News）發(fā)布評論指出，自主武器帶來程序失誤、惡意軟件入侵等高危隱患。圖源：路透社

三是生化與核安全風(fēng)險。

人工智能的“雙刃劍”效應(yīng)在生化安全領(lǐng)域尤為突出。為藥物研發(fā)等良性目的設(shè)計(jì)的AI工具，可能被惡意行為者濫用，用于設(shè)計(jì)新型毒素分子或增強(qiáng)病原體的毒性與傳播性，也可能被用于開發(fā)新型武器。這種“雙重用途”困境使得傳統(tǒng)的出口管制和材料監(jiān)控措施的效果大打折扣。

歐盟在其《人工智能法案》中已將化學(xué)、生物、放射性和核（CBRN）威脅明確列為高風(fēng)險AI系統(tǒng)需要評估的“特定風(fēng)險” 。同樣，美國的相關(guān)行政命令也強(qiáng)調(diào)，需評估和減輕前沿模型被用于制造生化武器風(fēng)險的重要性。

澳大利亞悉尼大學(xué)研究團(tuán)隊(duì)開發(fā)出一種生物AI系統(tǒng)，可在幾周內(nèi)創(chuàng)造出具有新功能的分子，為藥物研發(fā)帶來突破性進(jìn)展。圖源：路透社

（二）社會治理層：侵蝕公共秩序與社會公平

在社會治理層面，人工智能的不當(dāng)應(yīng)用可能侵蝕社會公平正義的基石，挑戰(zhàn)公共秩序的穩(wěn)定性。

1.算法歧視與司法不公

在司法和執(zhí)法領(lǐng)域，算法的不透明和數(shù)據(jù)偏見可能固化甚至放大社會不公。例如，“預(yù)測性警務(wù)”系統(tǒng)如果使用帶有歷史偏見的逮捕數(shù)據(jù)進(jìn)行訓(xùn)練，可能會將警力過度集中于特定族裔社區(qū)，從而形成“數(shù)據(jù)污染—算法偏見—歧視性執(zhí)法—更多偏見數(shù)據(jù)”的惡性循環(huán)。

最具代表性的案例是美國非營利新聞機(jī)構(gòu)ProPublica對COMPAS算法的調(diào)查。該算法被用于美國多個州的法院，以評估被告的再犯風(fēng)險。調(diào)查發(fā)現(xiàn)，COMPAS在預(yù)測準(zhǔn)確率上對不同族裔看似“公平”，但在錯誤率上存在顯著的種族偏見：它將未再犯的黑人被告錯誤地標(biāo)記為“高風(fēng)險”的概率，幾乎是白人被告的兩倍。此案例深刻揭示了不同數(shù)學(xué)“公平”定義之間的沖突，以及算法偏見在現(xiàn)實(shí)世界中造成的實(shí)質(zhì)性傷害。

ProPublica的調(diào)查中，COMPAS算法系統(tǒng)性地偏向于將黑人被告判定為高風(fēng)險，而更頻繁將白人被犯低估為低風(fēng)險。
2. 隱私侵犯與社會監(jiān)控

人工智能與傳統(tǒng)治理手段的結(jié)合，放大了治理行為的活動空間和深度，以目前被廣泛用于公共安全領(lǐng)域的人臉識別等生物識別技術(shù)為例：自動拍攝、自動識別的使用極大擴(kuò)張了原識別的范圍和對象，引發(fā)對個人隱私和公民自由的嚴(yán)重關(guān)切。

聯(lián)合國人權(quán)事務(wù)高級專員辦事處警告稱，無處不在的監(jiān)控可能對人們的隱私權(quán)、集會自由和言論自由產(chǎn)生寒蟬效應(yīng)，最終侵蝕民主社會的根基。為此，歐盟《人工智能法案》對執(zhí)法部門在公共場所使用實(shí)時遠(yuǎn)程生物識別系統(tǒng)采取了原則上禁止、對待例外情況極其嚴(yán)格的規(guī)定，旨在遏制其滑向大規(guī)模社會監(jiān)控的風(fēng)險。

據(jù)路透社近日報道，許多公司對遵守《人工智能法案》的合規(guī)成本和嚴(yán)格要求表示擔(dān)憂。圖源：路透社

3. 關(guān)鍵基礎(chǔ)設(shè)施脆弱性

人工智能系統(tǒng)正被深度整合到能源、金融、交通、通信等國家關(guān)鍵基礎(chǔ)設(shè)施中，這在提升效率的同時也造成了新的脆弱性。未來這類系統(tǒng)不僅面臨外部網(wǎng)絡(luò)攻擊的風(fēng)險，其自身的復(fù)雜性和“黑箱”特性也可能導(dǎo)致難以預(yù)料的故障或錯誤。

一次針對AI控制系統(tǒng)的網(wǎng)絡(luò)攻擊，或一次算法的意外失效，都可能引發(fā)長鏈條反應(yīng)，導(dǎo)致物理世界的服務(wù)大規(guī)模中斷。目前多個國家已明確要求負(fù)責(zé)關(guān)鍵基礎(chǔ)設(shè)施的政府機(jī)構(gòu)全面評估并防范AI相關(guān)風(fēng)險。

上述當(dāng)前已顯現(xiàn)的風(fēng)險及其特征并不是挑戰(zhàn)的全貌，它們預(yù)示著，隨著人工智能的持續(xù)演進(jìn)，公共安全治理體系將面臨一系列更為嚴(yán)峻的長期性與結(jié)構(gòu)性挑戰(zhàn)。

三、人工智能對公共安全體系的結(jié)構(gòu)性挑戰(zhàn)

除了當(dāng)前已顯現(xiàn)的風(fēng)險，人工智能的持續(xù)演進(jìn)還將從更深層次、更廣范圍對公共安全體系構(gòu)成長期性和結(jié)構(gòu)性的挑戰(zhàn)。

（一）戰(zhàn)略失衡：加劇的大國競爭與軍備競賽

人工智能的軍事化應(yīng)用正成為大國地緣政治競爭的焦點(diǎn)，尤其是在中美之間。蘭德公司等研究機(jī)構(gòu)的分析指出，將AI整合到軍事指揮、情報分析和武器系統(tǒng)中，將極大地壓縮決策時間窗口，但同時也會增加誤判和沖突意外升級的風(fēng)險，從而可能破壞長期以來形成的戰(zhàn)略穩(wěn)定。

這種圍繞“算法優(yōu)勢”展開的新一輪軍備競賽，不僅投入巨大，而且各國形成的高度自主的智能系統(tǒng)，其行為邊界和可靠性難以預(yù)測，給危機(jī)管控帶來了前所未有的復(fù)雜性。

另外，與傳統(tǒng)軍備競賽不同，AI技術(shù)的擴(kuò)散速度更快、成本更低，這使得一些非國家行為體也能獲得強(qiáng)大的非對稱能力，對傳統(tǒng)大國制衡的國際安全格局構(gòu)成復(fù)雜挑戰(zhàn)。

（二）治理赤字：技術(shù)迭代與法規(guī)建設(shè)的“剪刀差”

人工智能技術(shù)的指數(shù)級發(fā)展速度與政策法規(guī)的線性演進(jìn)速度之間形成巨大的“剪刀差”。斯坦福大學(xué)的研究表明，前沿模型的評估基準(zhǔn)和方法嚴(yán)重缺乏標(biāo)準(zhǔn)化，同步廠商各自為政，使得對不同模型的風(fēng)險進(jìn)行系統(tǒng)性比較極為困難。

更深層次的挑戰(zhàn)在于，AI系統(tǒng)的“黑箱”特性，以及大模型動輒數(shù)百億參數(shù)的規(guī)模使得其內(nèi)部工作機(jī)理難以被解釋，甚至其開發(fā)者都無法完全理解其所有行為。這給監(jiān)管機(jī)構(gòu)帶來了巨大難題：不僅包括在制度層面，如何在不完全理解技術(shù)的情況下，設(shè)計(jì)出既能有效防范風(fēng)險又不過度扼殺創(chuàng)新的、基于證據(jù)的法規(guī)；還包括在執(zhí)行層面，如何甄別人工智能產(chǎn)品的安全性和合法性。這種知識上的不對稱導(dǎo)致治理往往依賴于企業(yè)的自愿承諾，而對于事關(guān)公共安全的高風(fēng)險領(lǐng)域，這種軟性約束可能遠(yuǎn)遠(yuǎn)不夠。

（三）社會韌性沖擊：大規(guī)模失業(yè)和社會結(jié)構(gòu)變遷

人工智能對勞動力市場的沖擊不僅是一個經(jīng)濟(jì)問題，更是一個深刻的公共安全問題。世界經(jīng)濟(jì)論壇、國際貨幣基金組織（IMF）等機(jī)構(gòu)的報告預(yù)測，AI可能導(dǎo)致全球數(shù)億個工作崗位被取代或重塑。

IMF的分析指出，在發(fā)達(dá)經(jīng)濟(jì)體中，高達(dá)60%的工作崗位將受到AI的影響。這種由技術(shù)驅(qū)動的大規(guī)模、快速的結(jié)構(gòu)性失業(yè)，可能催生一個龐大的“AI不穩(wěn)定無產(chǎn)者”階層，他們不僅面臨收入損失，更可能失去職業(yè)認(rèn)同感、社會歸屬感和生活目標(biāo)。

歷史經(jīng)驗(yàn)表明，大規(guī)模失業(yè)和社會疏離感的蔓延是社會不穩(wěn)定的溫床，可能導(dǎo)致犯罪率上升、極端主義滋生、社會凝聚力下降，從而給公共安全和治安管理帶來巨大壓力。

示威者在舊金山OpenAI辦公室外抗議人工智能。圖源：紐約時報
（四）社會信任崩塌：AI深度偽造可能造成信息紊亂

以深度偽造為代表的AI生成內(nèi)容技術(shù)，正以前所未有的能力大規(guī)模制造足以亂真的虛假信息。這使得公眾、媒體甚至專業(yè)機(jī)構(gòu)辨別真?zhèn)蔚碾y度呈指數(shù)級增長，從根本上動搖了“眼見為實(shí)”的認(rèn)知基石。當(dāng)事實(shí)與虛構(gòu)的界限模糊，社會共識的基礎(chǔ)便會瓦解，這直接威脅到社會治理的有效性，甚至政治選舉等活動的嚴(yán)肅性。蘭德公司和世界經(jīng)濟(jì)論壇等機(jī)構(gòu)均對此發(fā)出過嚴(yán)重警告 。

（五）人類價值危機(jī)：人工智能是否該與人類價值對齊

從長遠(yuǎn)的時間維度看，通用人工智能（AGI）——在認(rèn)知能力上達(dá)到或超越人類，具備主體性的“類人”的出現(xiàn)，幾乎可以肯定，因此構(gòu)成了對人類社會的終極挑戰(zhàn)。

牛津大學(xué)人類未來研究所的尼克·博斯特羅姆（Nick Bostrom）等學(xué)者指出，如果一個遠(yuǎn)超人類智能的系統(tǒng)其目標(biāo)與人類的核心價值觀不一致，可能會帶來災(zāi)難性甚至存在性風(fēng)險。雖然AGI的實(shí)現(xiàn)尚無明確時間表，但其潛在的巨大影響意味著，對其安全和“對齊”（Alignment）問題的研究必須從現(xiàn)在開始就納入國家安全和公共安全治理的頂層戰(zhàn)略規(guī)劃中。

忽視這一長期挑戰(zhàn)，無異于在沒有設(shè)計(jì)剎車和方向盤的情況下，加速駛向一個充滿不確定性的未來。然而，隨著這一天加速到來，人類必然又面臨另一個爭議：為什么類人的價值觀，必須以人類為中心？為什么不是兩者之間的價值融合，甚至人類向類人看齊？畢竟，從基思·斯坦諾維奇的《機(jī)器人叛亂》一書的視角看，人類也只是機(jī)器人的一種。

基思·斯坦諾維奇（Keith E. Stanovich）的心理學(xué)著作《機(jī)器人叛亂》（ The Robot's Rebellion: Finding Meaning in the Age of Darwin ）

四、堅(jiān)持在發(fā)展中管控風(fēng)險的治理理念

《上海宣言》提出：

“以發(fā)展的眼光看問題，在人類決策與監(jiān)管下，以人工智能治技術(shù)防范人工智能風(fēng)險，提高人工智能治理的技術(shù)能力”。

在人工智能仍處于技術(shù)生命周期的初級階段，其能力邊界、應(yīng)用場景和潛在風(fēng)險仍在不斷演變。在此背景下，選擇何種治理理念，將決定未來相當(dāng)一段時間內(nèi)人類馴服人工智能的成效。我們應(yīng)該摒棄狹隘偏見，堅(jiān)持在發(fā)展中解決安全問題。

（一）人工智能安全困境：風(fēng)險與發(fā)展同步加速

對人工智能安全性的治理，存在巨大的兩難困境：與傳統(tǒng)技術(shù)革命不同，人工智能技術(shù)的安全風(fēng)險并不隨著技術(shù)演進(jìn)而降低，而是一種同步加速的復(fù)雜共生關(guān)系。

驅(qū)動人工智能快速發(fā)展的因素——創(chuàng)新的速度、投資的規(guī)模、部署的廣度——恰恰也是制造系統(tǒng)性脆弱性的核心動因。

首先，創(chuàng)新的高速度制造了“治理赤字”。技術(shù)的指數(shù)級迭代與政策法規(guī)的線性演進(jìn)之間的“剪刀差”，使得傳統(tǒng)治理模式難以跟上技術(shù)發(fā)展的步伐，在風(fēng)險浮現(xiàn)時往往顯得被動和滯后。

其次，投資的規(guī)模導(dǎo)致了能力的高度集中。高昂的研發(fā)成本使得前沿AI的開發(fā)能力集中于少數(shù)大型科技企業(yè)，這些非國家行為體的內(nèi)部決策，能夠產(chǎn)生全球性的公共安全影響，從根本上改變了傳統(tǒng)的以國家為中心的安全治理范式。

另外，部署的廣度打破了安全邊界。人工智能正被深度整合到金融、能源、交通等關(guān)鍵基礎(chǔ)設(shè)施中，并從數(shù)字空間溢出到物理世界，使得純粹的數(shù)字威脅（如算法被篡改）能夠直接轉(zhuǎn)化為物理世界的傷害（如自動駕駛汽車事故、關(guān)鍵基礎(chǔ)設(shè)施癱瘓）。這種發(fā)展與安全的伴生關(guān)系，意味著我們無法將二者割裂開來。

安全問題內(nèi)生于發(fā)展過程之中，也應(yīng)該在持續(xù)的發(fā)展中尋求動態(tài)的解決方案。試圖在絕對安全的環(huán)境中謀求發(fā)展，或在無視風(fēng)險的情況下追求增長，都將是徒勞的。因此，任何有效的人工智能治理體系，都必須深刻理解并立足于這一基本現(xiàn)實(shí)，在鼓勵創(chuàng)新和防范風(fēng)險之間找到一條精妙而穩(wěn)健的平衡之道。

北京的機(jī)器人商城，一臺機(jī)器人正在工作。圖源：AP

（二）警惕“發(fā)展萬能論”，正視內(nèi)生性風(fēng)險

有種觀點(diǎn)認(rèn)為，技術(shù)發(fā)展本身能夠解決其帶來的所有問題，市場和創(chuàng)新最終會自我修正，消除安全隱患。這種“發(fā)展萬能論”的盲目樂觀具有極大的危險性，人工智能的許多風(fēng)險，特別是社會治理層面的風(fēng)險，具有自我強(qiáng)化效應(yīng)，并不會隨著技術(shù)的進(jìn)一步發(fā)展而自動消失。

以ProPublica對COMPAS算法偏見的調(diào)查為例，用于預(yù)測再犯風(fēng)險的算法對不同族裔存在顯著的偏見，源于帶有歷史歧視的訓(xùn)練數(shù)據(jù)，而算法的預(yù)測結(jié)果指導(dǎo)警力部署，從而在特定社區(qū)產(chǎn)生更多帶有偏見的執(zhí)法數(shù)據(jù)，形成“偏見數(shù)據(jù)—偏見算法—歧視性執(zhí)法—更多偏見數(shù)據(jù)”的惡性循環(huán)。在這種情況下，更強(qiáng)大的算力、更復(fù)雜的模型不僅不會消除偏見，反而可能使其更加隱蔽和固化。

同樣，AI驅(qū)動的虛假信息對社會信任的侵蝕、大規(guī)模失業(yè)對社會結(jié)構(gòu)的沖擊等問題，也無法單純依靠技術(shù)自身迭代來解決，而需要主動的、有意識的治理干預(yù)。公眾日益增長的憂慮情緒也表明，社會對技術(shù)發(fā)展的信任并非無條件的，忽視風(fēng)險只會侵蝕創(chuàng)新的社會基礎(chǔ)。

（三）摒棄“過度預(yù)防論”：避免扼殺式治理

與“發(fā)展萬能論”相對的另一個極端，是基于恐懼和不確定性的“過度預(yù)防論”，即人為地為技術(shù)探索設(shè)置大量禁區(qū)，試圖通過暫?；蚪鼓承╊I(lǐng)域的研究來規(guī)避潛在風(fēng)險。這種做法看似審慎，實(shí)則可能導(dǎo)致更深層次的戰(zhàn)略被動和安全隱患。

首先，在人工智能發(fā)展的早期階段，人類尚無法完全預(yù)見其所有潛在的技術(shù)路線。過早地關(guān)閉探索之門，可能會錯失其在應(yīng)對氣候變化、攻克疾病、發(fā)現(xiàn)新材料等人類重大挑戰(zhàn)方面的巨大潛力 。

其次，人工智能領(lǐng)域的國際競爭日益激烈，技術(shù)領(lǐng)導(dǎo)權(quán)直接關(guān)系到國家安全和經(jīng)濟(jì)競爭力。單方面設(shè)置研究禁區(qū)，無異于將制定未來技術(shù)規(guī)則和倫理規(guī)范的主導(dǎo)權(quán)拱手讓人。另外，禁止良性研究并不能阻止惡意行為者利用已有技術(shù)作惡。真正的長久安全之道，在于通過持續(xù)的發(fā)展，構(gòu)建更強(qiáng)大的技術(shù)治理體系和防御能力，例如，利用更先進(jìn)的AI來識別和對抗深度偽造、檢測和防御網(wǎng)絡(luò)攻擊。

“過猶不及”，安全風(fēng)險治理，用力過猛和不管不顧同樣不合理，只有正視技術(shù)發(fā)展不可阻擋的趨勢，尊重風(fēng)險的客觀性，加強(qiáng)技術(shù)創(chuàng)新引導(dǎo)，以持續(xù)創(chuàng)新破解發(fā)展中的出現(xiàn)問題，才是馴服人工智能的合理方式。

五、面向未來的安全治理框架

為將“發(fā)展中治理”的理念落到實(shí)處，必須構(gòu)建一個面向未來、兼具“敏捷性”與“韌性”的一體化治理框架。該框架應(yīng)是多層次的，能夠?qū)⒑暧^戰(zhàn)略、法律規(guī)范與微觀實(shí)踐緊密結(jié)合，從而有效應(yīng)對技術(shù)快速迭代帶來的風(fēng)險。

（一）框架的理念：明確發(fā)展導(dǎo)向的動態(tài)治理

一是要加強(qiáng)風(fēng)險管理而不是執(zhí)著于風(fēng)險消除。治理目標(biāo)不是追求一個沒有風(fēng)險的烏托邦，而是在承認(rèn)不確定性的前提下，建立一套能夠有效識別、評估、監(jiān)測和管理風(fēng)險的動態(tài)機(jī)制。

二是監(jiān)管應(yīng)用而非技術(shù)本身。治理的焦點(diǎn)應(yīng)從限制技術(shù)研發(fā)轉(zhuǎn)向規(guī)范技術(shù)的具體應(yīng)用場景。例如歐盟《人工智能法案》對不同應(yīng)用進(jìn)行風(fēng)險分級，對社會評分、操控性AI等“不可接受風(fēng)險”的應(yīng)用予以禁止，對用于關(guān)鍵基礎(chǔ)設(shè)施、執(zhí)法、就業(yè)等領(lǐng)域的“高風(fēng)險”應(yīng)用施加嚴(yán)格的合規(guī)要求，而對“最低風(fēng)險”應(yīng)用則給予充分的發(fā)展空間。

三是將安全融入設(shè)計(jì)。推動“安全始于設(shè)計(jì)”的理念，通過政策引導(dǎo)和標(biāo)準(zhǔn)設(shè)定，鼓勵和要求開發(fā)者在AI系統(tǒng)的整個生命周期中，從一開始就將安全、倫理、隱私和公平等要素融入其中，而不是在產(chǎn)品成型后亡羊補(bǔ)牢。

四是堅(jiān)持以發(fā)展促安全。積極支持和投資于“安全AI”的研究，鼓勵利用人工智能技術(shù)本身來解決其帶來的安全挑戰(zhàn)。這包括開發(fā)用于模型評估、漏洞檢測、偏見糾正、內(nèi)容溯源和網(wǎng)絡(luò)防御的AI工具，形成技術(shù)閉環(huán)。

（二）共識與原則層：確立治理的“韌性”基石

作為治理框架的根本，應(yīng)在國家層面確立一套高級別、技術(shù)中立、與國際主流共識相銜接的AI倫理和安全原則。

經(jīng)濟(jì)合作與發(fā)展組織（OECD）提出的五大價值觀原則——包容性增長與福祉、以人為本的價值觀與公平、透明度與可解釋性、穩(wěn)健性與安全性、問責(zé)制——為我們提供了良好的參照。

我國發(fā)布的《新一代人工智能治理原則》也強(qiáng)調(diào)了和諧友好、公平公正、安全可控、責(zé)任明確等核心思想。這些高層原則具有高度的穩(wěn)定性和指導(dǎo)性，是整個治理體系的“壓艙石”，確保無論技術(shù)如何演變，其發(fā)展始終不偏離維護(hù)公共利益和尊重基本權(quán)利的根本方向，從而為治理體系提供“韌性”。

（三）法規(guī)與標(biāo)準(zhǔn)層：劃定發(fā)展的“安全”邊界

在治理共識和原則指導(dǎo)下，建立一套以風(fēng)險為基礎(chǔ)的核心法律法規(guī)與技術(shù)標(biāo)準(zhǔn)體系。借鑒國際先進(jìn)經(jīng)驗(yàn)，特別是歐盟的風(fēng)險分級方法，明確界定在我國公共安全領(lǐng)域不可接受的AI應(yīng)用，并為高風(fēng)險應(yīng)用設(shè)定具有法律強(qiáng)制力的準(zhǔn)入和運(yùn)行規(guī)范。

同時，大力推進(jìn)技術(shù)標(biāo)準(zhǔn)的制定工作。美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）在AI安全、安保和測試標(biāo)準(zhǔn)方面的實(shí)踐表明，統(tǒng)一、權(quán)威的技術(shù)標(biāo)準(zhǔn)是彌合產(chǎn)學(xué)研與監(jiān)管之間認(rèn)知差距、實(shí)現(xiàn)有效治理的關(guān)鍵。當(dāng)前，前沿模型評估基準(zhǔn)的嚴(yán)重缺乏標(biāo)準(zhǔn)化，使得對不同模型的風(fēng)險進(jìn)行系統(tǒng)性比較極為困難。因此，建立國家級的AI測評基準(zhǔn)和標(biāo)準(zhǔn)體系，是實(shí)現(xiàn)“安全可控”的必要前提。

（四）執(zhí)行與工具層：賦予治理的“敏捷”能力

為應(yīng)對技術(shù)的快速迭代，法規(guī)和標(biāo)準(zhǔn)必須通過靈活、可操作的執(zhí)行工具來落地。美國NIST發(fā)布的《人工智能風(fēng)險管理框架》（AI RMF）提供了一個將高層原則轉(zhuǎn)化為具體實(shí)踐的優(yōu)秀范例 。該框架通過治理、識別、度量、管理四大核心功能，為在AI系統(tǒng)的整個生命周期中系統(tǒng)性開展風(fēng)險管理提供了一套標(biāo)準(zhǔn)化的流程和通用語言。

圖源：美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）

我國可以借鑒這一理念，制定并推廣國家人工智能風(fēng)險管理框架和實(shí)施指南，并將其作為高風(fēng)險人工智能系統(tǒng)采購、部署和評估的必要環(huán)節(jié)。此外，還應(yīng)建立國家級人工智能安全事件監(jiān)測預(yù)警平臺，借鑒OECD的“AI事件監(jiān)控器”模式，匯集和分析安全事件數(shù)據(jù)，實(shí)現(xiàn)對系統(tǒng)性風(fēng)險的早期識別和態(tài)勢感知。根據(jù)技術(shù)和風(fēng)險變化不斷更新監(jiān)管工具，賦予治理體系至關(guān)重要的行動“敏捷性”。

（五）監(jiān)督與協(xié)作層：構(gòu)建治理的“協(xié)同”生態(tài)

人工智能治理的復(fù)雜性決定了任何單一部門都無法獨(dú)立應(yīng)對。因此，必須設(shè)立一個高級別的、跨部門的國家人工智能治理協(xié)調(diào)機(jī)構(gòu)，負(fù)責(zé)統(tǒng)籌全國人工智能治理工作，打破部門壁壘，確保政策的一致性和協(xié)同性。同時，由于人工智能風(fēng)險的全球性，深度參與全球治理至關(guān)重要，包括積極參與國際標(biāo)準(zhǔn)的制定，并在全球人工智能多邊機(jī)制中廣泛發(fā)揮建設(shè)性作用，推動建立風(fēng)險通報、行為準(zhǔn)則等信任措施，共同塑造一個開放、包容、安全的全球人工智能治理秩序。

人工智能（AI）作為一種關(guān)鍵的通用目的技術(shù)，正深刻重塑著全球經(jīng)濟(jì)結(jié)構(gòu)、社會形態(tài)和國家安全格局。我們既不能因噎廢食，也不能放任自流，只有堅(jiān)持“在發(fā)展中治理”的中道理念，構(gòu)建具有集共識“韌性”、工具“敏捷性”和跨域“協(xié)同性”于一體的現(xiàn)代化安全治理框架，才有可能馴服人工智能，確保技術(shù)發(fā)展服務(wù)于增進(jìn)人類的長遠(yuǎn)福祉。

【關(guān)于“城市觀察”】

“城市觀察”是廣州市社會科學(xué)院城市治理研究所副所長、IPP特約研究員孫占卿博士在“IPP評論”開設(shè)的專欄，著力分析當(dāng)今中國城市發(fā)展所面臨的模式與路徑、技術(shù)與產(chǎn)業(yè)發(fā)展等問題。

點(diǎn)擊圖片閱讀更多孫占卿博士的文章

IPP公共關(guān)系與傳播中心

審讀｜劉　深

排版｜周浩鍇

終審｜劉金程

誠摯約稿

“IPP評論”是國家高端智庫華南理工大學(xué)公共政策研究院（IPP）的官方微信平臺，以提倡優(yōu)秀政策研究為導(dǎo)向?，F(xiàn)IPP評論歡迎海內(nèi)外學(xué)者和專家同仁就國際關(guān)系、社會治理、技術(shù)與產(chǎn)業(yè)及相關(guān)公共政策話題的研究賜稿，協(xié)助舉辦專欄。

稿件須以科學(xué)化和學(xué)科化為導(dǎo)向，符合學(xué)術(shù)議論文的一般規(guī)范，突出對于公共政策實(shí)踐的啟示和建議。IPP評論將邀請?jiān)簝?nèi)專家對稿件進(jìn)行匿名審稿，并在收文一個月內(nèi)擇優(yōu)刊登。

來稿請寄 wx@ipp.org.cn，電子郵件題目請標(biāo)明“IPP評論投稿”。目前僅接受電子郵件投稿，一般來稿以5千字左右為宜。

凡在IPP評論上發(fā)表的文字，不代表本機(jī)構(gòu)觀點(diǎn)，作者需對作品的學(xué)術(shù)正直性負(fù)全責(zé)。著作權(quán)歸華南理工大學(xué)公共政策研究院所有，作者享有署名權(quán)。未經(jīng)書面允許，不得轉(zhuǎn)載。引用或轉(zhuǎn)載本刊文章請注明出處。

華南理工大學(xué)公共政策研究院

“IPP評論”編輯部

孫占卿：AI黑箱，“死亡陷阱”還是“星際之門”？｜城市觀察

孫占卿：翻越“奇點(diǎn)”，“加速時代”需要均衡治理｜城市觀察

孫占卿：如何破局“無利潤繁榮”背后的“供應(yīng)鏈壓榨”？

關(guān)于IPP

華南理工大學(xué)公共政策研究院（IPP）是一個獨(dú)立、非營利性的知識創(chuàng)新與公共政策研究平臺。IPP圍繞中國的體制改革、社會政策、中國話語權(quán)與國際關(guān)系等開展一系列的研究工作，并在此基礎(chǔ)上形成知識創(chuàng)新和政策咨詢協(xié)調(diào)發(fā)展的良好格局。IPP的愿景是打造開放式的知識創(chuàng)新和政策研究平臺，成為領(lǐng)先世界的中國智庫。