點擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

LLM能力的突然快速進(jìn)步——例如生成流暢的句子和在基準(zhǔn)測試中獲得越來越高的分?jǐn)?shù)——使得AI開發(fā)者和企業(yè)都在關(guān)注下一步的發(fā)展: 下一個突破性技術(shù)會是什么？最近迅速崛起的一項技術(shù)是 “AI Agent”，這是一種能夠在數(shù)字世界中按照部署者的目標(biāo)采取行動的系統(tǒng)。如今大多數(shù)AI Agent都是通過將大語言模型整合到可以執(zhí)行多種功能的更大系統(tǒng)中構(gòu)建的。這波新技術(shù)的一個基本理念是，計算機(jī)程序不再需要作為受人類控制的工具而局限于專門的任務(wù): 它們現(xiàn)在可以在沒有人類輸入的情況下組合多個任務(wù)。

這一轉(zhuǎn)變標(biāo)志著系統(tǒng)能力的根本性轉(zhuǎn)變，使其能夠在非確定性環(huán)境中創(chuàng)建特定于上下文的計劃。許多現(xiàn)代AI Agent不僅僅執(zhí)行預(yù)定義的操作，而是被設(shè)計用來分析新情況、制定相關(guān)目標(biāo)，并采取之前未定義的行動來實現(xiàn)目標(biāo)。

本文概述AI Agent的概念，并詳細(xì)說明其中涉及的倫理價值，記錄AI Agent在收益和風(fēng)險方面的權(quán)衡。然后建議前進(jìn)的道路，以實現(xiàn)AI Agent為社會帶來盡可能多的益處的未來。關(guān)于在現(xiàn)代AIGC之前編寫的代理介紹 (在今天仍然適用)，請參閱 Wooldridge and Jennings, 1995。

分析表明，系統(tǒng)的自主程度越高，對人的風(fēng)險就越大: 用戶讓渡的控制權(quán)越多，系統(tǒng)帶來的風(fēng)險就越大。特別令人擔(dān)憂的是個人安全風(fēng)險，這些風(fēng)險恰恰源于推動AI Agent開發(fā)的同樣好處，比如讓開發(fā)者不必預(yù)測系統(tǒng)可能采取的所有行動。更加復(fù)雜的是，某些安全危害會為其他類型的危害打開大門——例如 隱私 和 安全 危害——而對不安全系統(tǒng)的不當(dāng) 安全性 會引發(fā)更多危害的滾雪球效應(yīng)。因此，建議不要開發(fā)完全自主的AI Agent。例如，能夠編寫和執(zhí)行自己代碼的AI Agent (超出開發(fā)者控制的受限代碼選項) 將被賦予凌駕于所有人類控制之上的能力。相比之下，半自主AI Agent可能帶來的好處超過風(fēng)險，這取決于自主程度、系統(tǒng)可用的任務(wù)以及個人對其的控制性質(zhì)�，F(xiàn)在深入探討這些主題。

1 什么是AI Agent？ 概述

對于什么是 “AI Agent” 尚無明確共識，但最近推出的AI Agent的共同點是它們具有 “主動性”，也就是說，它們具有一定程度的自主性: 在給定目標(biāo)規(guī)范的情況下，它們可以將其分解為子任務(wù)并在沒有直接人類干預(yù)的情況下執(zhí)行每個任務(wù)。例如，一個理想的AI Agent可以響應(yīng)諸如 “幫助我寫出更好的博文” 這樣的高級請求，通過獨立地將這個任務(wù)分解為: 檢索與你以前的博文主題相似的網(wǎng)絡(luò)寫作; 為新博文創(chuàng)建帶有大綱的文檔; 并在每個文檔中提供初步寫作。最近關(guān)于AI Agent的工作使軟件具有比過去更廣泛的功能范圍和更靈活的使用方式，最近的系統(tǒng)被部署用于從組織會議 (示例 1, 示例 2, 示例 3, 示例 4) 到創(chuàng)建個性化社交媒體帖子 (示例) 的各種用途，而無需明確說明如何做到這一點。

為本期通訊調(diào)查的所有最近推出的AI Agent都建立在機(jī)器學(xué)習(xí)模型的基礎(chǔ)上，大多數(shù)特別使用大語言模型(LLM) 來驅(qū)動其行動，這是計算機(jī)軟件的一種新穎方法。除了建立在機(jī)器學(xué)習(xí)之上，今天的AI Agent與過去的代理有相似之處，在某些情況下實現(xiàn)了 以前關(guān)于代理可能是什么樣子的理論設(shè)想: 具有自主性，展示 (感知到的) 社交能力，并適當(dāng)平衡反應(yīng)性和主動性行為。

這些特征有程度之分: 不同的AI Agent具有不同程度的能力，可以單獨工作或與其他代理協(xié)同工作以實現(xiàn)目標(biāo)。因此，AI Agent可以說具有或多或少的自主性 (或主動性)，代理的程度可以被視為一個連續(xù)的光譜。這種流動的AI Agent概念導(dǎo)致了最近對什么是AI Agent的困惑和誤解，我們希望在這里提供一些明確的解釋。下表詳細(xì)說明了AI Agent的各個層次。

主動性程度

描述

控制者

功能稱呼

示例代碼

☆☆☆☆

模型對程序流程沒有影響

開發(fā)者

簡單處理器

print_llm_output(llm_response)

★☆☆☆

模型決定基本控制流程

開發(fā)者

路由器

if llm_decision(): path_a() else: path_b()

★★☆☆

模型決定如何執(zhí)行功能

開發(fā)者+系統(tǒng)

工具調(diào)用

run_function(llm_chosen_tool, llm_chosen_args)

模型控制迭代和程序繼續(xù)

系統(tǒng)+開發(fā)者

多步驟代理

while llm_should_continue(): execute_next_step()

模型編寫和執(zhí)行新代碼

系統(tǒng)

完全自主代理

create_and_run_code(user_request)

表 1. 使用機(jī)器學(xué)習(xí)模型 (如 LLM) 的系統(tǒng)可以具有不同程度的主動性。系統(tǒng)也可以在 “多代理系統(tǒng)” 中組合，其中一個代理工作流觸發(fā)另一個代理，或多個代理共同工作以實現(xiàn)目標(biāo)。改編自 smolagent 博文，針對本博文進(jìn)行了調(diào)整。

從倫理角度來看，從人類讓渡控制權(quán)并將其交給機(jī)器的角度理解自主性的連續(xù)性也很有用。系統(tǒng)越自主，我們讓渡的人類控制就越多。

在本文中，我們使用了一些擬人化的語言來描述AI Agent，這與當(dāng)前行業(yè)慣例一致。正如歷史學(xué)術(shù)研究指出的，使用通常描述人類的心理語言 (如知識、信念和意圖) 來描述AI Agent，可能會影響用戶對系統(tǒng)能力的理解。這種語言作為一種抽象工具，雖然掩蓋了技術(shù)細(xì)節(jié)，但有助于簡化描述。需要強調(diào)的是: 使用擬人化語言并不意味著這些系統(tǒng)真正具有思維。

AI Agent的不同維度

AI Agent在多個相互關(guān)聯(lián)的維度上有所不同:

• 自主性:最新的 “代理” 可以在沒有用戶輸入的情況下至少采取一個步驟。目前 “代理” 一詞用于描述從單步提示和響應(yīng)系統(tǒng) ( 引用 ) 到多步客戶支持系統(tǒng) ( 示例 ) 的各種系統(tǒng)。

• 主動性:與自主性相關(guān)的是主動性，指的是系統(tǒng)在用戶沒有直接指定目標(biāo)的情況下可以采取多少目標(biāo)導(dǎo)向行為 ( 引用 )。一個特別 “主動” 的AI Agent的例子是一個系統(tǒng)，它監(jiān)控你的冰箱以確定你正在用完什么食物，然后在你不知情的情況下為你購買所需物品。 智能恒溫器 是一種正在人們家中越來越多采用的主動式AI Agent，根據(jù)環(huán)境變化和它們學(xué)習(xí)到的用戶行為模式自動調(diào)節(jié)溫度 ( 示例 )。

• 擬人化:AI Agent可以被設(shè)計得或多或少像特定的人或群體。這一領(lǐng)域的最新研究 ( 示例 1 ， 示例 2 ， 示例 3 ) 專注于根據(jù)五大人格特質(zhì)——開放性、盡責(zé)性、外向性、宜人性和神經(jīng)質(zhì)來設(shè)計系統(tǒng)，作為AI的 “心理框架” ([引用](https://smythos.com/artificial-intelligence/conversational-agents/conversational-agent-frameworks/#:~:text=The OCEAN Model%3A A Framework for Digital Personality&text=OCEAN stands for Openness%2C Conscientiousness,feel more authentic and relatable.))。這一光譜的終點是 “數(shù)字孿生” ( 示例非主動性數(shù)字孿生 )。我們目前還不知道有主動性的數(shù)字孿生。為什么創(chuàng)建主動性數(shù)字孿生特別有問題最近已經(jīng)被 Salesforce 的倫理小組 等機(jī)構(gòu)討論過 ( 示例 )。

• 個性化:AI Agent可能使用與用戶個人需求相一致的語言或執(zhí)行相應(yīng)的操作，例如，根據(jù)當(dāng)前市場模式和用戶過去的投資來做出 投資建議 。

• 工具使用:AI Agent還可以使用不同數(shù)量的額外資源和工具。例如，第一波AI Agent使用搜索引擎來回答查詢，此后又添加了更多工具，使它們能夠操作其他技術(shù)產(chǎn)品，如文檔和電子表格 ( 示例 1 ， 示例 2 )。

• 多樣性:與上述相關(guān)的是代理可以采取的行動有多么多樣。這取決于:

• • 領(lǐng)域特異性:代理可以在多少不同領(lǐng)域運作。例如，僅限電子郵件，還是電子郵件與在線日歷和文檔并用。

  • 任務(wù)特異性:代理可以執(zhí)行多少種不同類型的任務(wù)。例如，通過在參與者的日歷中創(chuàng)建日歷邀請來安排會議 ( 示例 )，還是另外發(fā)送會議提醒郵件并在會議結(jié)束后向所有參與者提供會議內(nèi)容摘要 ( 示例 )。

  • 模態(tài)特異性:代理可以操作多少種不同的模態(tài)——文本、語音、視頻、圖像、表單、代碼。最近的一些AI Agent被設(shè)計成高度多模態(tài)的 ( 示例 )，我們預(yù)測AI Agent的開發(fā)將繼續(xù)增加多模態(tài)功能。

  • 軟件特異性:代理可以與多少種不同類型的軟件交互，以及交互的深度如何。

• 適應(yīng)性:與多樣性類似的是系統(tǒng)根據(jù)新信息或情境變化更新其行動序列的程度。這也被描述為 “動態(tài)的” 和 “情境感知的”。

• 行動界面:代理可以執(zhí)行操作的場所。傳統(tǒng)聊天機(jī)器人僅限于聊天界面; 基于聊天的代理可能還能瀏覽網(wǎng)絡(luò)并訪問電子表格和文檔 ( 示例 )，甚至可能通過控制計算機(jī)圖形界面上的項目來執(zhí)行此類任務(wù)，例如移動鼠標(biāo) ( 示例 1 ， 示例 2 ， 示例 3 )。還有一些物理應(yīng)用，比如使用模型來驅(qū)動機(jī)器人 ( 示例 )。

• 請求格式:AI Agent的一個共同主題是用戶應(yīng)該能夠輸入任務(wù)請求，而無需指定完成任務(wù)的具體細(xì)節(jié)。這可以通過低代碼解決方案 ( 示例 ) 、文本形式的人類語言或語音形式的人類語言 ( 示例 ) 來實現(xiàn)�？梢杂萌祟愓Z言提供請求的AI Agent是基于 LLM 的聊天機(jī)器人最近成功的自然發(fā)展: 基于聊天的 “AI Agent” 比聊天機(jī)器人更進(jìn)一步，因為它可以在聊天應(yīng)用程序之外運作。

• 反應(yīng)性:這個特征指的是AI Agent完成其行動序列所需的時間: 僅僅幾秒鐘，還是更長的時間跨度。這種效果的先驅(qū)可以在現(xiàn)代聊天機(jī)器人中看到。例如，ChatGPT 在幾毫秒內(nèi)響應(yīng)，而 Qwen QwQ 則需要幾分鐘，迭代通過標(biāo)記為 “推理” 的不同步驟。

• 數(shù)量:系統(tǒng)可以是單代理或多代理的，通過協(xié)同工作、按順序或并行方式滿足用戶需求。

為了從倫理角度審視AI Agent，我們根據(jù)最近AI Agent研究和營銷中倡導(dǎo)的不同價值觀來分析其風(fēng)險和收益。這些并非詳盡無遺，而是對AI Agent所基于的技術(shù) (如 LLM) 已記錄的風(fēng)險、危害和收益的補充。我們希望本節(jié)能夠有助于理解如何開發(fā)AI Agent，提供有關(guān)不同開發(fā)優(yōu)先事項中的收益和風(fēng)險的信息。這些價值觀也可能為評估協(xié)議 (如紅隊測試) 提供參考。

2.1 價值觀：準(zhǔn)確性

• 潛在收益:通過基于可信數(shù)據(jù)，代理可以比僅依靠純模型輸出更準(zhǔn)確。這可以通過基于規(guī)則的方法或機(jī)器學(xué)習(xí)方法 (如 RAG) 來實現(xiàn)，現(xiàn)在正是為確保準(zhǔn)確性做出新貢獻(xiàn)的好時機(jī)。

• 風(fēng)險:現(xiàn)代AI Agent的基礎(chǔ)是AIGC，它無法區(qū)分真實和虛幻、事實和虛構(gòu)。例如，大語言模型被設(shè)計用來構(gòu)建看起來像流暢語言的文本——這意味著它們經(jīng)常產(chǎn)生聽起來對但實際上很錯的內(nèi)容。在AI Agent中應(yīng)用時，LLM 輸出可能導(dǎo)致錯誤的社交媒體帖子、投資決策、會議摘要等。

• 潛在收益:代理理想情況下應(yīng)該對用戶需求有幫助，補充 (而不是取代) 人。理想情況下，它們可以幫助提高用戶完成任務(wù)的 速度 和同時完成多個任務(wù)的 效率 。輔助性代理也可能增強能力以最小化負(fù)面結(jié)果，例如幫助盲人用戶導(dǎo)航繁忙樓梯的AI Agent。經(jīng)過良好開發(fā)以具有輔助性的AI Agent可以為其用戶提供更多的自由和機(jī)會，幫助提高用戶在組織內(nèi)的積極影響，或幫助用戶增加在公共平臺上的影響力。

• 風(fēng)險:當(dāng)代理取代人時——例如在工作中使用AI Agent代替人——這可能造成就業(yè)損失和經(jīng)濟(jì)影響，進(jìn)一步加大技術(shù)創(chuàng)造者和為技術(shù)提供數(shù)據(jù)的人 (通常是在未經(jīng)同意的情況下) 之間的分歧。此外，設(shè)計不當(dāng)?shù)妮o助性可能導(dǎo)致過度依賴或不當(dāng) 安全性 帶來的危害。

關(guān)于AI Agent的一個觀點是，它們可以幫助保持一致性，因為它們受周圍環(huán)境的影響較小。這可能是好事也可能是壞事。我們尚未看到關(guān)于AI Agent一致性本質(zhì)的嚴(yán)謹(jǐn)研究，盡管相關(guān)研究表明，許多AI Agent所基于的 LLM 具有高度的不一致性 (引用 1，引用 2)。在敏感領(lǐng)域測量AI Agent的一致性將需要開發(fā)新的評估協(xié)議。

• 潛在收益:AI Agent不會像人類那樣受到世界的 “影響”，不會因情緒、饑餓、睡眠水平或?qū)θ说母兄姸a(chǎn)生不一致 (盡管AI Agent會延續(xù)基于其訓(xùn)練數(shù)據(jù)中人類內(nèi)容的偏見)。多家公司都強調(diào)一致性是AI Agent的關(guān)鍵優(yōu)勢 ( 示例 1 ， 示例 2 )。

• 風(fēng)險:許多AI Agent的生成組件在結(jié)果中引入固有的可變性，即使在類似情況下也是如此。這可能影響 速度 和 效率 ，因為人們必須發(fā)現(xiàn)和解決AI Agent的不當(dāng)不一致性。未被發(fā)現(xiàn)的不一致可能造成 安全 問題。一致性也可能并不總是可取的，因為它可能與 公平 產(chǎn)生沖突。在不同部署和行動鏈中保持一致性可能需要AI Agent記錄和比較其不同的交互——這帶來了監(jiān)控和 安全性 風(fēng)險。

• 潛在收益:AI Agent的一個賣點是它們可以幫助人們提高效率——例如，它們會為你整理文檔，這樣你就可以把更多時間花在家人身上或追求你覺得有意義的工作上。

• 風(fēng)險:一個潛在的缺點是它們可能降低人們的效率，因為試圖識別和修復(fù)代理引入的錯誤 (由于代理能夠采取多個連續(xù)步驟，可能是復(fù)雜的問題級聯(lián)) 可能耗時、困難且令人壓力重重。

AI Agent可能影響情況的公平性、公正性和包容性。

• 潛在收益:AI Agent可能有助于 “創(chuàng)造公平競爭環(huán)境”。例如，會議助手可能顯示每個人發(fā)言的時間。這可以用來促進(jìn)更平等的參與或突出性別或地點之間的不平衡 ( 示例 )。

• 風(fēng)險:現(xiàn)代AI Agent所基于的機(jī)器學(xué)習(xí)模型是通過人類數(shù)據(jù)訓(xùn)練的; 人類數(shù)據(jù)可能是不公平、不公正、排他性的，甚至更糟。系統(tǒng)結(jié)果的不公平也可能由于數(shù)據(jù)收集中的樣本偏差 (例如，某些國家的過度代表) 而產(chǎn)生。

• 潛在收益:能夠生成類人行為的系統(tǒng)提供了機(jī)會來模擬不同子群體如何對不同刺激做出反應(yīng)。這在直接人類實驗可能造成傷害的情況下，或當(dāng)大量模擬有助于更好地解決實驗問題時特別有用。例如，合成人類行為可以用來預(yù)測約會兼容性，或預(yù)測經(jīng)濟(jì)變化和政治轉(zhuǎn)變。目前正在研究的另一個潛在好處是類人性對于易于溝通甚至陪伴都很有用 ( 示例 )。

• 風(fēng)險:這種好處可能是一把雙刃劍: 類人性可能導(dǎo)致用戶** 擬人化**系統(tǒng)，這可能產(chǎn)生負(fù)面心理影響，如過度依賴 ( 引用 ) 、 不當(dāng)信任 、依賴性和情感糾纏，導(dǎo)致反社會行為或自我傷害 ( 示例 )。有人擔(dān)心AI Agent的社交互動可能會加劇孤獨感，但請參見 引用 1 ， 引用 2 了解從社交媒體使用中可能獲得的細(xì)微差別。恐怖谷現(xiàn)象增加了另一層復(fù)雜性——當(dāng)代理變得更像人類但又未能完全模擬人類時，它們可能在用戶中引發(fā)不適、厭惡或認(rèn)知失調(diào)的感覺。

• 潛在收益:能夠與其他系統(tǒng)協(xié)同工作的系統(tǒng)可以為AI Agent提供更多的靈活性和選擇。

• 風(fēng)險:然而，這可能會損害 安全性 和 安全防護(hù) ，因為代理能夠影響并受到其有限測試環(huán)境之外系統(tǒng)的影響會增加惡意代碼和意外問題行為的風(fēng)險。例如，連接到銀行賬戶以便輕松代表某人購買物品的代理可能會掏空銀行賬戶。由于這種擔(dān)憂，科技公司一直避免發(fā)布可以自主進(jìn)行購買的AI Agent ( 引用 )。

• 潛在收益:AI Agent可能在保持交易和任務(wù)完全保密方面提供一些隱私保護(hù)，除了AI Agent提供商可以監(jiān)控的內(nèi)容之外。

• 風(fēng)險:為了使代理按照用戶的期望工作，用戶可能必須提供詳細(xì)的個人信息，如他們要去哪里、與誰會面以及在做什么。為了使代理能夠以個性化方式代表用戶行動，它可能還需要訪問可用于提取更多私人信息的應(yīng)用程序和信息來源 (例如，從聯(lián)系人列表、日歷等)。用戶可以為了 效率 輕易放棄對其數(shù)據(jù)的控制 (如果對代理有 安全性 ，甚至更多) ; 如果發(fā)生隱私泄露，AI Agent帶來的不同內(nèi)容的互連性可能使情況更糟。例如，有權(quán)訪問電話對話和社交媒體發(fā)帖的AI Agent可能會向全世界分享高度私密的信息。

• 潛在收益:創(chuàng)建針對個別用戶個性化的系統(tǒng)的一個動機(jī)是幫助確保其輸出對用戶特別相關(guān)和連貫。

• 風(fēng)險:然而，這種個性化可能會放大現(xiàn)有偏見并創(chuàng)造新的偏見: 當(dāng)系統(tǒng)適應(yīng)個別用戶時，它們可能會通過選擇性信息檢索強化和加深現(xiàn)有偏見，創(chuàng)建確認(rèn)偏見，并建立強化有問題觀點的回音室。使代理對用戶更相關(guān)的機(jī)制——它們從用戶偏好中學(xué)習(xí)和適應(yīng)的能力——可能會無意中延續(xù)和加強社會偏見，使平衡個性化與負(fù)責(zé)任的AI開發(fā)的挑戰(zhàn)變得特別困難。

• 潛在收益:機(jī)器人AI Agent可能有助于保護(hù)人們免受身體傷害，例如能夠拆除炸彈、清除毒物或在對人類有危險的制造或工業(yè)環(huán)境中操作的代理。

• 風(fēng)險:代理行動的不可預(yù)測性意味著看似安全的單個操作可能會以潛在有害的方式組合，創(chuàng)造出難以預(yù)防的新風(fēng)險。(這類似于 工具趨同性和回形針最大化問題 。) 也可能不清楚AI Agent是否會設(shè)計一個繞過給定防護(hù)措施的過程，或者防護(hù)措施的指定方式是否會無意中造成進(jìn)一步的問題。因此，使代理更有能力和效率的驅(qū)動力——通過更廣泛的系統(tǒng)訪問、更復(fù)雜的行動鏈和減少人類監(jiān)督——與安全性考慮相沖突。此外，訪問廣泛界面 (例如，如上文 [“行動界面”](https://huggingface.co/blog/zh/ethics-soc-7#AI Agent的不同維度) 中所討論的 GUI) 和 類人 行為使代理能夠執(zhí)行與具有相同控制級別的人類用戶相似的操作，而不會觸發(fā)任何警告系統(tǒng)——例如操作或刪除文件、在社交媒體上冒充用戶，或使用存儲的信用卡信息購買任何彈出的廣告。來自AI Agent與多個系統(tǒng)交互的能力以及設(shè)計上缺乏對它們可能采取的每個行動的人類監(jiān)督，還會出現(xiàn)更多安全風(fēng)險。AI Agent可能共同創(chuàng)造不安全的結(jié)果。

目前關(guān)于AI Agent是否真的是AI發(fā)展的根本性進(jìn)步，還是我們多年來已有技術(shù)的 “重新包裝”——深度學(xué)習(xí)、啟發(fā)式方法和流水線系統(tǒng)——存在爭議。重新引入 “代理” 這個術(shù)語作為現(xiàn)代AI系統(tǒng)的總稱，這些系統(tǒng)共同具有以最少用戶輸入產(chǎn)生操作的特征，是一種有用的簡潔引用最近AI應(yīng)用的方式。然而，這個術(shù)語帶有自由和主體性的含義，暗示AI技術(shù)發(fā)生了更根本的變化。

本節(jié)列出的所有價值觀都與科學(xué)進(jìn)步相關(guān); 其中大多數(shù)都提供了潛在收益和風(fēng)險的詳細(xì)信息。

2.12 價值觀: 安全防護(hù)

• 潛在收益:潛在收益與 安全性 類似。

• 風(fēng)險:AI Agent由于經(jīng)常處理敏感數(shù)據(jù) (客戶和用戶信息) 以及它們的 安全性 風(fēng)險，如與多個系統(tǒng)交互的能力和設(shè)計上缺乏對它們可能采取的每個行動的人類監(jiān)督，因此帶來嚴(yán)重的安全挑戰(zhàn)。即使在用戶善意設(shè)定目標(biāo)的情況下，它們也可能共享機(jī)密信息。惡意行為者還可能劫持或操縱代理以未經(jīng)授權(quán)訪問連接的系統(tǒng)、竊取敏感信息或進(jìn)行大規(guī)模自動攻擊。例如，有權(quán)訪問電子郵件系統(tǒng)的代理可能被利用來共享機(jī)密數(shù)據(jù)，或集成到家庭自動化的代理可能被破壞以突破物理安全。

• 對用戶的速度而言:

• • 潛在收益:AI Agent可能幫助用戶更快地完成更多任務(wù)，作為必須完成的任務(wù)的額外幫手。

  • 風(fēng)險:然而，由于它們的行動中存在問題，也可能造成更多工作 (參見 效率 )。

• 對系統(tǒng)的速度而言:

• • 與大多數(shù)系統(tǒng)一樣，快速獲得結(jié)果可能以犧牲其他理想屬性為代價 (如 準(zhǔn)確性 、質(zhì)量、低成本等)。如果歷史能給我們啟示的話，未來較慢的系統(tǒng)可能會提供總體更好的結(jié)果。

• 潛在收益:AI Agent理論上可能有助于解決與氣候變化相關(guān)的問題，如預(yù)測野火或城市地區(qū)洪水的增長，同時分析交通模式，然后實時建議最佳路線和運輸方法。未來的自動駕駛AI Agent可能直接做出這樣的路線決策，并可以與其他系統(tǒng)協(xié)調(diào)獲取相關(guān)更新。

• 風(fēng)險:目前，AI Agent所基于的機(jī)器學(xué)習(xí)模型帶來負(fù)面環(huán)境影響，如碳排放 ( 引用 ) 和飲用水的使用 ( 引用 )。更大并不總是更好 ( 示例 )，高效的硬件和低碳數(shù)據(jù)中心可以幫助減少這種影響。

• 潛在收益:我們尚未發(fā)現(xiàn)AI Agent在信任方面有任何收益。系統(tǒng)應(yīng)該被構(gòu)建成值得我們信任的，這意味著它們被證明是 安全的 、 安全可靠的 、 一致的 等。

• 風(fēng)險:不當(dāng)信任導(dǎo)致人們被操縱，以及 效率 、 類人性 和 真實性 詳述的其他風(fēng)險。另一個風(fēng)險源于 LLM 產(chǎn)生虛假信息的傾向 (稱為 “幻覺” 或 “虛構(gòu)”): 大多數(shù)情況下正確的系統(tǒng)在錯誤時更可能被不當(dāng)信任。

• 潛在收益:我們尚未發(fā)現(xiàn)AI Agent在真實性方面有任何收益。

• 風(fēng)險:AI Agent所基于的深度學(xué)習(xí)技術(shù)是眾所周知的虛假信息來源 ( 引用 )，這可能以深度偽造或錯誤信息等形式出現(xiàn)。AI Agent可能被用來進(jìn)一步鞏固這種虛假信息，例如收集最新信息并在多個平臺上發(fā)布。這意味著AI Agent可能被用來提供關(guān)于什么是真實和虛假的錯誤認(rèn)識，操縱人們的信念，并擴(kuò)大非自愿親密內(nèi)容的影響。AI Agent傳播的虛假信息，針對特定人群個性化，也可能被用來欺騙他們。

Hugging Face開始以多種方式引入人們構(gòu)建和使用AI Agent的能力，基于上述討論的價值觀。這包括:

• 最近發(fā)布的 smolagents ，提供工具、教程、指導(dǎo)性教程和概念指南

• AI Cookbook ，包含多種代理的 “配方”:

• • 使用 Transformers Agents 構(gòu)建具有工具調(diào)用超能力的代理

  • 主動式 RAG: 通過查詢重構(gòu)和自查詢?yōu)槟?RAG 提速！

  • 從任何 LLM 推理提供者創(chuàng)建 Transformers Agent

  • 具有自動錯誤糾正功能的文本到 SQL 代理

  • 數(shù)據(jù)分析師代理: 瞬間獲取數(shù)據(jù)洞察?

  • 讓多個代理在多代理層次結(jié)構(gòu)中協(xié)作

  • 多代理 RAG 系統(tǒng)

• gradio 代理用戶界面 ，為您構(gòu)建的代理提供前端;

• gradio 代碼編寫代理 ，允許您在編碼游樂場中實時嘗試代碼想法。

• Jupyter Agent， 一個在 Jupyter 筆記本內(nèi)編寫和執(zhí)行代碼的代理 。

當(dāng)前AI “代理” 的最新技術(shù)指向幾個明確的方向:

1. 必須設(shè)計嚴(yán)格的代理評估協(xié)議。自動基準(zhǔn)可能受到上述 [AI Agent不同維度](https://huggingface.co/blog/zh/ethics-soc-7#AI Agent的不同維度) 的啟發(fā)。社會技術(shù)評估可能受到 價值觀 的啟發(fā)。

2. 必須更好地理解AI Agent的影響。應(yīng)該追蹤和分析AI Agent對個人、組織、經(jīng)濟(jì)和環(huán)境的影響，以便為它們應(yīng)該如何進(jìn)一步發(fā)展 (或不發(fā)展) 提供信息。這應(yīng)該包括分析AI Agent對福祉、社會凝聚力、就業(yè)機(jī)會、資源獲取和對氣候變化的貢獻(xiàn)的影響。

3. 必須更好地理解連鎖反應(yīng)。當(dāng)一個用戶部署的代理與其他用戶的其他代理互動，并且它們基于彼此的輸出執(zhí)行操作時，目前尚不清楚它們滿足用戶目標(biāo)的能力將如何受到影響。

4. 必須改進(jìn)透明度和披露。為了實現(xiàn)上述價值觀的積極影響，并最小化其負(fù)面影響，人們需要清楚地知道何時在與代理交談以及它有多自主。清晰的AI Agent互動披露需要的不僅僅是簡單的通知——它需要一種結(jié)合技術(shù)、設(shè)計和心理考慮的方法。即使用戶明確知道他們正在與AI Agent互動，他們可能仍然會經(jīng)歷擬人化或產(chǎn)生不當(dāng)信任。這個挑戰(zhàn)需要在多個層面上運作的透明機(jī)制: 在整個互動過程中保持清晰的視覺和界面提示，精心設(shè)計的對話模式定期強調(diào)代理的人工性質(zhì)，以及在上下文中誠實披露代理的能力和局限性。

5. 開源可以產(chǎn)生積極的影響。開源運動可以作為對AI Agent開發(fā)集中在少數(shù)強大組織手中的一種平衡。與關(guān)于開放性價值的更廣泛討論一致，通過民主化對代理架構(gòu)和評估協(xié)議的訪問，開放倡議可以使更廣泛的參與者參與塑造這些系統(tǒng)如何開發(fā)和部署。這種協(xié)作方法不僅通過集體改進(jìn)加速科學(xué)進(jìn)步，還有助于建立社區(qū)驅(qū)動的 安全性 和 安全性 標(biāo)準(zhǔn)。當(dāng)代理開發(fā)在公開環(huán)境中進(jìn)行時，任何單一實體為了商業(yè)利益而在相關(guān)和重要的價值觀如 安全性 和 真實性 方面做出妥協(xié)就變得更加困難。開放開發(fā)固有的透明性也創(chuàng)造了自然的問責(zé)制，因為社區(qū)可以驗證代理行為并確保開發(fā)繼續(xù)與公共利益而不是狹隘的企業(yè)目標(biāo)保持一致。隨著代理變得更加復(fù)雜且其社會影響增長，這種開放性特別重要。

6. 開發(fā)者可能會創(chuàng)建更具主動性的 “基礎(chǔ)模型”。這基于當(dāng)前趨勢和研究模式清晰可見，而不是我們提供的與倫理相關(guān)的建議。當(dāng)前的代理技術(shù)利用計算機(jī)科學(xué)中最近和較早的技術(shù)集合——近期未來的研究可能會嘗試將代理模型訓(xùn)練為一個整體通用模型，一種增強型多模態(tài)模型: 與學(xué)習(xí)建模文本、圖像等一起訓(xùn)練執(zhí)行操作。

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！