人類如何與AI智能體共處

編者按

新質(zhì)策源導(dǎo)刊的第二期，我們聚焦AI智能體（AI Agent），不僅僅因?yàn)樗?dāng)下的熱度，更因?yàn)槲覀兛吹搅怂鼘?duì)未來(lái)的影響。我們深度訪談行業(yè)頂級(jí)專家、資深研究人員、國(guó)內(nèi)外知名企業(yè)，盡力描繪當(dāng)下AI時(shí)代的真實(shí)圖景，展望未來(lái)的各種可能性，在不確定性中尋找確定性。

這個(gè)領(lǐng)域創(chuàng)新不斷，猶如科幻即將照入現(xiàn)實(shí)。我們想知道的不只是近在咫尺的明天會(huì)怎樣，更想知道今天我們做的一切，會(huì)對(duì)不遠(yuǎn)的未來(lái)產(chǎn)生什么樣的影響，誠(chéng)邀您和我們一起，探索新AI時(shí)代。敬請(qǐng)關(guān)注本期策劃——“人類如何與AI智能體共處”。

——訪中國(guó)信息通信研究院人工智能研究所副總工程師孫鑫

■中國(guó)經(jīng)濟(jì)時(shí)報(bào)記者張一鳴

伴隨著AI智能體（AI Agent）的快速發(fā)展，人工智能時(shí)代正在加速到來(lái)，智能體正成為重塑人機(jī)關(guān)系、驅(qū)動(dòng)產(chǎn)業(yè)升級(jí)的核心變量。中國(guó)經(jīng)濟(jì)時(shí)報(bào)記者日前獨(dú)家專訪了中國(guó)信息通信研究院人工智能研究所副總工程師孫鑫，她認(rèn)為，AI智能體的發(fā)展有力推動(dòng)了人工智能從“提供知識(shí)”向“交付結(jié)果”的逐步躍遷，治理的重心一定程度上需要更加關(guān)注“交互行為”風(fēng)險(xiǎn)的防控，其核心挑戰(zhàn)在于，如何在承認(rèn)智能體“一定程度自主性”的前提下，守住價(jià)值對(duì)齊和安全可控的紅線、底線。

圖片來(lái)源/新華社

AI智能體使AI具備執(zhí)行閉環(huán)，完成了從“提供知識(shí)”向“交付結(jié)果”的躍遷

中國(guó)經(jīng)濟(jì)時(shí)報(bào)：當(dāng)前公眾對(duì)“AI智能體（AI Agent）”的認(rèn)知存在差異，與傳統(tǒng)生成式AI相比，其在自主決策與交互模式上有哪些本質(zhì)區(qū)別？

孫鑫：AI智能體正在持續(xù)快速發(fā)展，從技術(shù)到功能再到模式都日新月異。從某種維度來(lái)說(shuō)，當(dāng)前的AI智能體可以認(rèn)為是一種以大語(yǔ)言模型為核心認(rèn)知引擎，具備自主拆解目標(biāo)、感知環(huán)境狀態(tài)、調(diào)用外部工具并在動(dòng)態(tài)反饋中實(shí)現(xiàn)自我迭代的數(shù)字化主體。AI智能體的發(fā)展從某種程度上來(lái)說(shuō)代表了人工智能從“概率擬合”向“邏輯實(shí)操”的能力跨越，即從Next-Token Prediction（預(yù)測(cè)下一個(gè)詞）到Next-Action Planning（規(guī)劃下一個(gè)行動(dòng)）。

智能體的執(zhí)行力來(lái)自其兩個(gè)關(guān)鍵能力：主動(dòng)交互能力和動(dòng)態(tài)規(guī)劃能力。在交互方面，傳統(tǒng)生成式AI更多是“問(wèn)答模式”，交互是單次、線性的指令觸發(fā)；智能體處于“任務(wù)模式”，交互是長(zhǎng)程的、終局驅(qū)動(dòng)的（Outcome-based）。人類更多是提供“終局狀態(tài)的目標(biāo)描述”，智能體通過(guò)調(diào)用外部工具改變環(huán)境狀態(tài)，并在環(huán)境回傳的反饋中進(jìn)行實(shí)時(shí)推理和糾偏。在規(guī)劃方面，傳統(tǒng)AI缺乏時(shí)序上的記憶連續(xù)性。智能體通過(guò)引入了“記憶”與“規(guī)劃”模塊，使其具備了將長(zhǎng)程任務(wù)拆解為可執(zhí)行的原子步驟，并利用長(zhǎng)期記憶進(jìn)行跨時(shí)序的狀態(tài)感知和經(jīng)驗(yàn)調(diào)用，使得AI具備執(zhí)行閉環(huán)的能力，完成從“提供知識(shí)”向“交付結(jié)果”的躍遷。

治理重心應(yīng)從“信息內(nèi)容”風(fēng)險(xiǎn)防控轉(zhuǎn)向“交互行為”風(fēng)險(xiǎn)的防控

中國(guó)經(jīng)濟(jì)時(shí)報(bào)：AI智能體技術(shù)創(chuàng)新速度非?？欤瑢?duì)現(xiàn)有制度規(guī)則的挑戰(zhàn)很大。在技術(shù)狂飆與安全可控的張力下，您認(rèn)為應(yīng)如何構(gòu)建兼具創(chuàng)新包容性與風(fēng)險(xiǎn)防控能力的治理框架？

孫鑫：AI智能體風(fēng)險(xiǎn)是復(fù)雜多元的，其安全風(fēng)險(xiǎn)超出了大語(yǔ)言模型的范疇，既包括模型底座傳導(dǎo)的風(fēng)險(xiǎn)，也包括環(huán)境交互風(fēng)險(xiǎn)以及行為自主性帶來(lái)的“代理失控”漣漪效應(yīng)。治理的重心一定程度上從“信息內(nèi)容”風(fēng)險(xiǎn)轉(zhuǎn)向“交互行為”風(fēng)險(xiǎn)的防控。治理的核心挑戰(zhàn)在于：如何在承認(rèn)智能體“一定程度自主性”的前提下，守住價(jià)值對(duì)齊和安全可控的紅線、底線。

探索智能體安全治理體系需要兼顧前瞻性、動(dòng)態(tài)性與協(xié)同性，可以考慮從以下幾個(gè)方面加強(qiáng)相關(guān)研究和實(shí)踐。一是分級(jí)分層與場(chǎng)景約束，針對(duì)高風(fēng)險(xiǎn)領(lǐng)域考慮“白盒化”治理方案，確保關(guān)鍵節(jié)點(diǎn)“人類在回路中”（Human-in-the-loop），而在風(fēng)險(xiǎn)可控的領(lǐng)域?qū)嵤┌輰徤鞯摹吧澈斜O(jiān)管”。二是完善“行為歸因”識(shí)別機(jī)制，構(gòu)建智能體關(guān)鍵環(huán)節(jié)的風(fēng)險(xiǎn)識(shí)別和響應(yīng)標(biāo)準(zhǔn)，探索針對(duì)智能體“代理行為”權(quán)責(zé)溯源機(jī)制，制定行為透明度、可解釋性、數(shù)據(jù)安全等方面的技術(shù)指引，推動(dòng)法律規(guī)范與技術(shù)標(biāo)準(zhǔn)協(xié)同落地。三是增強(qiáng)智能體動(dòng)態(tài)防護(hù)能力，強(qiáng)化底層合規(guī)，推動(dòng)運(yùn)行時(shí)安全護(hù)欄（Safety Guardrails）等技術(shù)在產(chǎn)業(yè)實(shí)踐中的同步應(yīng)用，研發(fā)具備預(yù)測(cè)能力與適配機(jī)制的安全工具，防范潛在的系統(tǒng)性風(fēng)險(xiǎn)與誤用場(chǎng)景，保障智能體在復(fù)雜環(huán)境下的可信運(yùn)行。治理目標(biāo)不應(yīng)是“防盜門”，而應(yīng)是智能體大規(guī)模商用的“安全氣囊”，通過(guò)建立確定性的規(guī)則體系，為產(chǎn)業(yè)的長(zhǎng)期繁榮錨定安全預(yù)期。

總 監(jiān) 制丨王列軍車海剛

監(jiān) 制丨陳 波 王 彧 楊玉洋

主 編丨毛晶慧 編 輯丨蔣 帥