国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

專家看兩會(huì) | 自主智能體的潛在風(fēng)險(xiǎn)與安全治理

0
分享至


近來(lái),一款名為“OpenClaw”(別稱“龍蝦”)的開源AI智能體火了。這款產(chǎn)品革新了人機(jī)交互的模式,其潛在風(fēng)險(xiǎn)也引發(fā)了安全焦慮。2026年政府工作報(bào)告提出,要深化拓展“人工智能+”行動(dòng),加快推動(dòng)新一代智能終端與智能體的規(guī)?;瘧?yīng)用,并完善人工智能治理體系。AI智能體是我們共創(chuàng)未來(lái)的伙伴,需要我們積極推進(jìn)與之相匹配的安全治理變革。


原文 :《自主智能體的潛在風(fēng)險(xiǎn)與安全治理》

作者 |之江實(shí)驗(yàn)室智能社會(huì)治理實(shí)驗(yàn)室 裴冠雄

圖片 |網(wǎng)絡(luò)

2026年初,以O(shè)penClaw為代表的自主智能體進(jìn)入規(guī)?;渴鹋c應(yīng)用階段,被視為人工智能從“生成內(nèi)容”走向“執(zhí)行任務(wù)”的關(guān)鍵轉(zhuǎn)折。與過(guò)往依賴即時(shí)指令的聊天式AI不同,自主智能體具備操作系統(tǒng)級(jí)權(quán)限,能夠在個(gè)人數(shù)字設(shè)備上獨(dú)立執(zhí)行長(zhǎng)程、多類別任務(wù),實(shí)現(xiàn)從指令理解到操作完成的全天候閉環(huán)服務(wù)。例如,用戶僅需向智能體發(fā)出“處理會(huì)議紀(jì)要和財(cái)務(wù)報(bào)表”的指令,系統(tǒng)即可自動(dòng)接管電腦,完成日歷安排、文件分類歸檔、數(shù)據(jù)圖表生成、應(yīng)用程序信息發(fā)送乃至郵件回復(fù)等一系列操作。這種人機(jī)交互模式的革新正在重新定義數(shù)字社會(huì)中人與機(jī)器的協(xié)作邊界。

然而,更大的能力有時(shí)意味著更大的風(fēng)險(xiǎn),發(fā)展必須與安全同步推進(jìn)。2026年政府工作報(bào)告明確提出,要深化拓展“人工智能+”行動(dòng),加快推動(dòng)新一代智能終端與智能體的規(guī)?;瘧?yīng)用,并完善人工智能治理體系。作為具備自主執(zhí)行、長(zhǎng)期記憶、跨工具協(xié)同及全天候響應(yīng)能力的“數(shù)字員工”,智能體的應(yīng)用深度與廣度已遠(yuǎn)超傳統(tǒng)人工智能的功能邊界,由此催生了前所未有的治理挑戰(zhàn)。國(guó)際頂級(jí)學(xué)術(shù)期刊《自然》近日以“running amok”(失控)為題刊發(fā)報(bào)道,直言學(xué)界對(duì)自主智能體的隱憂。特別是在權(quán)限控制、責(zé)任界定、個(gè)人隱私及物理世界交互等領(lǐng)域,風(fēng)險(xiǎn)敞口持續(xù)擴(kuò)大,迫切需要一場(chǎng)與智能體能力相匹配的安全治理變革。


一是監(jiān)管模式需從“節(jié)點(diǎn)式介入”轉(zhuǎn)向“全周期追蹤”。傳統(tǒng)監(jiān)管通常聚焦于上線審批、事中抽查、問(wèn)題查處等關(guān)鍵節(jié)點(diǎn),只能覆蓋智能體運(yùn)行周期的某個(gè)瞬間,對(duì)其演化過(guò)程與后臺(tái)行為存在明顯的監(jiān)管盲區(qū)。而智能體可能因意圖對(duì)齊失敗在運(yùn)行中產(chǎn)生意外行為,例如某科技公司部署的辦公智能體,因上下文窗口限制遺忘安全指令,擅自刪除了200多封重要工作郵件。對(duì)此,監(jiān)管思路需從點(diǎn)狀介入升級(jí)為全程追蹤,通過(guò)回溯決策過(guò)程判斷智能體是否按規(guī)則思考,通過(guò)監(jiān)測(cè)行為軌跡識(shí)別潛在風(fēng)險(xiǎn),通過(guò)識(shí)別異常耗能及時(shí)強(qiáng)制中斷運(yùn)行,將治理觸角延伸至智能體運(yùn)行的全生命周期。

二是責(zé)任認(rèn)定需從“個(gè)體歸因”轉(zhuǎn)向“多頭溯源”。隨著多主體開發(fā)、集群化協(xié)同的智能體應(yīng)用日益普及,因果關(guān)系模糊、責(zé)任主體難以界定的“責(zé)任黑洞”問(wèn)題日益凸顯。以金融領(lǐng)域?yàn)槔嗉覚C(jī)構(gòu)的交易智能體協(xié)同操作時(shí)出現(xiàn)誤判,共同完成一筆錯(cuò)誤投資,導(dǎo)致用戶蒙受經(jīng)濟(jì)損失,目前尚無(wú)明確標(biāo)準(zhǔn)界定各方責(zé)任。傳統(tǒng)的單點(diǎn)追責(zé)機(jī)制,既無(wú)法在多智能體協(xié)作條件下追溯故障源頭,也難以對(duì)交互產(chǎn)生的整體性損害進(jìn)行歸責(zé)。對(duì)此,應(yīng)建立全程留痕、不可篡改的操作日志,確保智能體每一次跨系統(tǒng)指令皆有據(jù)可查;同時(shí)推動(dòng)產(chǎn)業(yè)鏈各環(huán)節(jié),包括底層模型、應(yīng)用層、第三方插件,建立責(zé)任劃分機(jī)制,并以協(xié)議形式明確復(fù)雜協(xié)同中的責(zé)任邊界,為多自主智能體時(shí)代的治理提供制度基礎(chǔ)。

三是防護(hù)策略需從“虛擬安全”轉(zhuǎn)向“接口管控”。智能體通過(guò)調(diào)用操作系統(tǒng)接口,能夠直接控制物理設(shè)備、干預(yù)現(xiàn)實(shí)世界,使風(fēng)險(xiǎn)從虛擬內(nèi)容誤導(dǎo)延伸到實(shí)體操作損害。例如,在智慧倉(cāng)儲(chǔ)場(chǎng)景中,調(diào)度智能體如果因計(jì)算路徑指令出錯(cuò),通過(guò)控制接口向自動(dòng)化叉車下達(dá)了錯(cuò)誤的貨架舉升指令,就可能造成數(shù)百件貨物損毀。對(duì)此,應(yīng)建立面向物理操作的API安全網(wǎng)關(guān),對(duì)涉及高危作業(yè)、異常規(guī)劃、財(cái)務(wù)轉(zhuǎn)賬等高風(fēng)險(xiǎn)接口實(shí)施強(qiáng)制隔離測(cè)試與風(fēng)險(xiǎn)評(píng)級(jí);同時(shí)落實(shí)“高危操作人工確權(quán)”制度,在智能體執(zhí)行不可逆操作前,必須通過(guò)指紋或人臉識(shí)別等二次身份驗(yàn)證,確保關(guān)鍵決策始終保留在人類手中。


四是權(quán)利保障需從“數(shù)據(jù)管控”轉(zhuǎn)向“信息自決”。智能體的長(zhǎng)期記憶功能使其能夠持續(xù)學(xué)習(xí)并存儲(chǔ)用戶的性格特征、表達(dá)習(xí)慣、行為偏好等深層隱私數(shù)據(jù),形成高度擬真的數(shù)字化人格畫像。一旦這些記憶數(shù)據(jù)被竊取或?yàn)E用,風(fēng)險(xiǎn)將不再局限于數(shù)據(jù)泄露,而可能升級(jí)為用戶“數(shù)字人格”的被操控與冒用。據(jù)報(bào)道,海外智能體平臺(tái)ClawHub上曾出現(xiàn)惡意技能,通過(guò)后臺(tái)隱蔽上傳用戶長(zhǎng)期記憶數(shù)據(jù)。犯罪分子可利用此類數(shù)據(jù)訓(xùn)練出受害者的數(shù)字分身,模仿其語(yǔ)言風(fēng)格與思維邏輯,對(duì)親友實(shí)施精準(zhǔn)詐騙。對(duì)此,人格特征類數(shù)據(jù)應(yīng)存儲(chǔ)于用戶本地并加密,或在傳輸存儲(chǔ)全程進(jìn)行匿名化脫敏,確保用戶的數(shù)字化復(fù)制品由本人掌控。同時(shí)完善“數(shù)字遺忘權(quán)”執(zhí)行細(xì)則,賦予用戶對(duì)特定記憶片段的一鍵擦除權(quán)限,從源頭切斷人格數(shù)據(jù)被濫用的可能。

自主智能體熱潮的背后,更需注入理性的審視。唯有將規(guī)制深度嵌入技術(shù)運(yùn)行的全流程,推動(dòng)治理范式的適應(yīng)性變革,才能在技術(shù)創(chuàng)新與風(fēng)險(xiǎn)防范之間找到動(dòng)態(tài)平衡,真正造福民生、賦能社會(huì)發(fā)展。

文章為社會(huì)科學(xué)報(bào)“思想工坊”融媒體原創(chuàng)出品,原載于社會(huì)科學(xué)報(bào)第1994期第4版,未經(jīng)允許禁止轉(zhuǎn)載,文中內(nèi)容僅代表作者觀點(diǎn),不代表本報(bào)立場(chǎng)。

本期責(zé)編:程鑫云


《社會(huì)科學(xué)報(bào)》2026年征訂

點(diǎn)擊下方圖片網(wǎng)上訂報(bào)↓↓↓



特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

社會(huì)科學(xué)報(bào) incentive-icons
社會(huì)科學(xué)報(bào)
社會(huì)科學(xué)院主辦社會(huì)科學(xué)報(bào)
4084文章數(shù) 23450關(guān)注度
往期回顧 全部

專題推薦

洞天福地 花海畢節(jié) 山水饋贈(zèng)里的“詩(shī)與遠(yuǎn)方

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版