點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過(guò)度深思！ 萬(wàn)事萬(wàn)物都經(jīng)不起審視，因?yàn)槭郎蠜](méi)有同樣的成長(zhǎng)環(huán)境，也沒(méi)有同樣的認(rèn)知水平，更「沒(méi)有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來(lái)從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

0 前言

過(guò)去一年中，我們與不同行業(yè)中開(kāi)發(fā)大語(yǔ)言模型 (LLM) 智能體的多個(gè)團(tuán)隊(duì)進(jìn)行了合作。我們發(fā)現(xiàn)，最成功的實(shí)現(xiàn)并非依賴(lài)復(fù)雜的框架或?qū)I(yè)化的庫(kù)，而是通過(guò)簡(jiǎn)單、可組合的模式構(gòu)建。

本文分享從客戶(hù)合作及自身開(kāi)發(fā)智能體的過(guò)程中所學(xué)到的經(jīng)驗(yàn)，并為開(kāi)發(fā)者提供構(gòu)建高效智能體的實(shí)用建議。

1 啥是智能體？

“智能體”有多種定義：

• 一些客戶(hù)將智能體定義為完全自主的系統(tǒng)，這些系統(tǒng)能夠獨(dú)立運(yùn)行較長(zhǎng)時(shí)間，利用各種工具完成復(fù)雜任務(wù)

• 另一些人則將其描述為遵循預(yù)定義工作流的更具指令性的實(shí)現(xiàn)

在 Anthropic，我們將這些變化形式統(tǒng)稱(chēng)為智能系統(tǒng)（agentic systems），但在架構(gòu)上對(duì)工作流和智能體做重要區(qū)分：

• 工作流是通過(guò)預(yù)定義的代碼路徑來(lái)協(xié)調(diào) LLM 和工具的系統(tǒng)

• 智能體則是動(dòng)態(tài)控制其自身過(guò)程和工具使用的系統(tǒng)，保持對(duì)任務(wù)完成方式的主導(dǎo)權(quán)

接下來(lái)詳細(xì)探討這兩種智能系統(tǒng)類(lèi)型。在附錄 1（“智能體的實(shí)際應(yīng)用”）中，我們會(huì)描述客戶(hù)在特定領(lǐng)域中應(yīng)用這些系統(tǒng)所取得的成果。

2 何時(shí)（及何時(shí)不）使用智能體

在構(gòu)建 LLM 應(yīng)用時(shí)，建議尋找盡可能簡(jiǎn)單的解決方案，僅必要時(shí)增加復(fù)雜性。這可能意味著完全不構(gòu)建智能系統(tǒng)。智能系統(tǒng)通常以犧牲延遲和成本為代價(jià)，換取更好的任務(wù)表現(xiàn)，因此需權(quán)衡。

當(dāng)需要更多復(fù)雜性時(shí)，工作流可以為定義明確的任務(wù)提供可預(yù)測(cè)性和一致性，而智能體更適合需要靈活性和模型驅(qū)動(dòng)決策的大規(guī)模任務(wù)。然而，對(duì)于許多應(yīng)用，使用檢索和上下文示例優(yōu)化單次 LLM 調(diào)用通常已經(jīng)足夠。

3 何時(shí)及咋用框架

許多框架可簡(jiǎn)化智能系統(tǒng)實(shí)現(xiàn)，如：

• LangChain 的 LangGraph

• 亞馬遜 Bedrock 的 AI Agent 框架

• Rivet，一種拖拽式 GUI LLM 工作流構(gòu)建器

• Vellum，另一個(gè)用于構(gòu)建和測(cè)試復(fù)雜工作流的 GUI 工具

這些框架通過(guò)簡(jiǎn)化調(diào)用 LLM、定義和解析工具以及串聯(lián)調(diào)用等標(biāo)準(zhǔn)底層任務(wù)，幫助用戶(hù)快速入門(mén)。然而，它們常常會(huì)引入額外的抽象層，可能掩蓋底層提示詞和響應(yīng)，使調(diào)試變得更困難，同時(shí)也容易誘使開(kāi)發(fā)者添加本可以避免的復(fù)雜性。

建議開(kāi)發(fā)者從直接使用 LLM API 入手，因?yàn)樵S多模式可以用幾行代碼實(shí)現(xiàn)。如果確實(shí)使用框架，請(qǐng)確保對(duì)底層代碼有充分了解。對(duì)框架內(nèi)部運(yùn)行機(jī)制的錯(cuò)誤假設(shè)是客戶(hù)錯(cuò)誤的常見(jiàn)來(lái)源。

參考我們的 cookbook 獲取一些示例實(shí)現(xiàn)。

4 構(gòu)建模塊、工作流與智能體

本部分探討我們?cè)趯?shí)際生產(chǎn)環(huán)境中觀察到的智能系統(tǒng)常見(jiàn)模式。從基礎(chǔ)構(gòu)建模塊（增強(qiáng)型 LLM）開(kāi)始，逐步增加復(fù)雜性，從簡(jiǎn)單的組合工作流到自主智能體。

4.1 構(gòu)建模塊：增強(qiáng)型 LLM

智能系統(tǒng)的基本構(gòu)建模塊是通過(guò)檢索、工具和記憶功能增強(qiáng)的 LLM。我們的現(xiàn)有模型能夠主動(dòng)使用這些功能，如：

• 生成搜索查詢(xún)

• 選擇合適工具

• 確定需要保留的信息

增強(qiáng)型 LLM：

建議重點(diǎn)關(guān)注實(shí)現(xiàn)的兩個(gè)關(guān)鍵方面：將這些功能定制化以滿(mǎn)足特定用例需求，并確保為 LLM 提供易于使用且文檔完備的接口。雖這些增強(qiáng)功能有多種實(shí)現(xiàn)，但其中一種方法是使用我們最近發(fā)布的 模型上下文協(xié)議，該協(xié)議允許開(kāi)發(fā)者通過(guò)簡(jiǎn)單的 客戶(hù)端實(shí)現(xiàn) 與日益擴(kuò)展的第三方工具生態(tài)系統(tǒng)集成。

接下來(lái)，假設(shè)每次 LLM 調(diào)用都可以訪(fǎng)問(wèn)這些增強(qiáng)功能。

4.2 工作流：提示詞鏈?zhǔn)秸{(diào)用

提示詞鏈?zhǔn)秸{(diào)用將任務(wù)分解為一系列步驟，每次 LLM 調(diào)用處理上一步的輸出。您可以在任何中間步驟添加程序化檢查（見(jiàn)下圖中的“門(mén)”）以確保流程仍在正軌上。

提示詞鏈?zhǔn)秸{(diào)用工作流：

適用場(chǎng)景：此工作流適用于任務(wù)可以輕松、清晰地分解為固定子任務(wù)的情況。其主要目標(biāo)是通過(guò)使每次 LLM 調(diào)用任務(wù)更簡(jiǎn)單，以延遲換取更高準(zhǔn)確性。

提示詞鏈?zhǔn)秸{(diào)用的應(yīng)用示例：

• 生成營(yíng)銷(xiāo)文案，然后將其翻譯成另一種語(yǔ)言

• 編寫(xiě)文檔提綱，檢查提綱是否符合特定標(biāo)準(zhǔn)，然后根據(jù)提綱編寫(xiě)文檔

對(duì)輸入進(jìn)行分類(lèi)，并將其引導(dǎo)到特定后續(xù)任務(wù)來(lái)實(shí)現(xiàn)的工作流。這允許更好分離關(guān)注點(diǎn)，并能為特定類(lèi)型的輸入構(gòu)建更專(zhuān)業(yè)提示詞。沒(méi)這種工作流，為某種輸入優(yōu)化的方式可能影響其他輸入的性能。

路由工作流：

適用場(chǎng)景：路由適用于復(fù)雜任務(wù)，這些任務(wù)分為不同類(lèi)別，每個(gè)類(lèi)別更適合獨(dú)立處理，并且分類(lèi)能夠準(zhǔn)確完成，可以由 LLM 或更傳統(tǒng)的分類(lèi)模型/算法處理。

路由的應(yīng)用示例：

• 將不同類(lèi)型的客戶(hù)服務(wù)查詢(xún)（如一般問(wèn)題、退款請(qǐng)求、技術(shù)支持）分別引導(dǎo)到不同的下游流程、提示詞和工具

• 將簡(jiǎn)單或常見(jiàn)的問(wèn)題引導(dǎo)到較小的模型（如 Claude 3.5 Haiku），而將復(fù)雜或罕見(jiàn)的問(wèn)題引導(dǎo)到更強(qiáng)大的模型（如 Claude 3.5 Sonnet），以?xún)?yōu)化成本和速度

在并行化工作流中，LLM 可以同時(shí)處理一個(gè)任務(wù)，其輸出隨后由程序進(jìn)行聚合。這種工作流有兩種主要形式：

• 分段：將任務(wù)分解為獨(dú)立子任務(wù)并行運(yùn)行

• 投票：對(duì)同一任務(wù)運(yùn)行多次以獲取多樣化輸出

并行化工作流：

適用場(chǎng)景：并行化適用于可以分解為獨(dú)立子任務(wù)以加快速度的任務(wù)，或需要多次嘗試或多個(gè)視角來(lái)提高結(jié)果信心的任務(wù)。對(duì)于需要考慮多個(gè)因素的復(fù)雜任務(wù)，讓每個(gè)因素由獨(dú)立的 LLM 調(diào)用處理通常表現(xiàn)更優(yōu)，能夠集中精力應(yīng)對(duì)每個(gè)特定方面。

應(yīng)用示例

• 分段：

• • 實(shí)現(xiàn)護(hù)欄功能，其中一個(gè)模型實(shí)例處理用戶(hù)查詢(xún)，另一個(gè)模型實(shí)例篩選不適當(dāng)內(nèi)容或請(qǐng)求。這種方式通常比單次 LLM 調(diào)用同時(shí)處理護(hù)欄和核心響應(yīng)更高效。

  • 自動(dòng)評(píng)估 LLM 性能，每次調(diào)用評(píng)估模型性能的不同方面。

• 投票：

• • 檢查代碼中的漏洞，通過(guò)多種不同提示詞對(duì)代碼進(jìn)行審查并標(biāo)記潛在問(wèn)題。

  • 評(píng)估給定內(nèi)容是否不適當(dāng)，多種提示詞評(píng)估不同方面，或使用不同投票閾值以平衡誤報(bào)和漏報(bào)。

在協(xié)調(diào)者-工作者模式中，中心 LLM 動(dòng)態(tài)分解任務(wù)，將子任務(wù)分配給工作者 LLM，并綜合其結(jié)果。

協(xié)調(diào)者-工作者工作流：

**適用場(chǎng)景：**非常適合無(wú)法預(yù)測(cè)所需子任務(wù)的復(fù)雜任務(wù)。如編碼中，每次需要更改的文件數(shù)量及每個(gè)文件的更改內(nèi)容可能取決于特定任務(wù)。盡管拓?fù)渖项?lèi)似并行化，其關(guān)鍵區(qū)別在靈活性——子任務(wù)不是預(yù)定義的，而是由協(xié)調(diào)者根據(jù)具體輸入動(dòng)態(tài)確定。

應(yīng)用示例：

• 實(shí)現(xiàn)復(fù)雜更改的編碼產(chǎn)品，涉及多個(gè)文件

• 搜索任務(wù)，從多個(gè)來(lái)源收集并分析信息以篩選可能的相關(guān)內(nèi)容

在評(píng)估者-優(yōu)化者模式中，一個(gè) LLM 調(diào)用生成響應(yīng)，另一個(gè) LLM 調(diào)用則提供評(píng)估和反饋，通過(guò)循環(huán)迭代優(yōu)化結(jié)果。

評(píng)估者-優(yōu)化者工作流

適用場(chǎng)景：此工作流特別適合有明確評(píng)估標(biāo)準(zhǔn)的情況，并且迭代改進(jìn)可以帶來(lái)顯著價(jià)值。兩個(gè)適用標(biāo)志是：首先，當(dāng)人類(lèi)提出反饋時(shí)，LLM 的響應(yīng)能夠顯著改進(jìn)；其次，LLM 自身可以提供這樣的反饋。這類(lèi)似于人類(lèi)寫(xiě)作過(guò)程中反復(fù)修改以生成精煉文檔的過(guò)程。

應(yīng)用示例

• 文學(xué)翻譯，其中譯者 LLM 初始可能無(wú)法捕捉到所有細(xì)微差別，而評(píng)估者 LLM 能夠提供有益的批評(píng)

• 復(fù)雜的搜索任務(wù)，這些任務(wù)需要多輪搜索和分析以收集全面的信息，評(píng)估者決定是否需要進(jìn)一步搜索

隨 LLM 在理解復(fù)雜輸入、進(jìn)行推理和規(guī)劃、可靠地使用工具以及從錯(cuò)誤中恢復(fù)的能力方面的逐步成熟，智能體正在生產(chǎn)環(huán)境中逐漸被采用。智能體的工作起點(diǎn)通常是用戶(hù)的指令或與用戶(hù)的互動(dòng)討論。一旦任務(wù)明確，智能體會(huì)規(guī)劃并自主執(zhí)行任務(wù)，必要時(shí)可能會(huì)再次與用戶(hù)交互以獲取更多信息或判斷。在執(zhí)行過(guò)程中，智能體需在每個(gè)步驟中從環(huán)境中獲取“真實(shí)信息”（例如工具調(diào)用的結(jié)果或代碼執(zhí)行的反饋），以評(píng)估任務(wù)進(jìn)展。智能體可以在檢查點(diǎn)或遇到阻礙時(shí)暫停以獲取用戶(hù)反饋。任務(wù)通常在完成后終止，也可以設(shè)置停止條件（如最大迭代次數(shù)）以保持控制。

盡管智能體可以處理復(fù)雜任務(wù)，但其實(shí)現(xiàn)通常較為簡(jiǎn)單，主要是 LLM 在一個(gè)循環(huán)中基于環(huán)境反饋使用工具。因此，設(shè)計(jì)清晰和完善的工具集及其文檔至關(guān)重要。在附錄 2（“為工具設(shè)計(jì)提示詞”）中，我們擴(kuò)展了工具開(kāi)發(fā)的最佳實(shí)踐。

自主智能體：

適用場(chǎng)景：智能體適合開(kāi)放性問(wèn)題，這類(lèi)問(wèn)題難以預(yù)測(cè)所需步驟，且無(wú)法通過(guò)硬編碼定義固定路徑。LLM 可能需要多輪操作，因此需要對(duì)其決策有一定信任。智能體的自主性使其非常適合在可信環(huán)境中擴(kuò)展任務(wù)。

智能體的自主性帶來(lái)了更高的成本，并可能導(dǎo)致錯(cuò)誤的累積。我們建議在隔離環(huán)境中進(jìn)行廣泛測(cè)試，并配備適當(dāng)?shù)谋Ｗo(hù)措施。

應(yīng)用示例

來(lái)自我們自身的實(shí)現(xiàn)：

• 一個(gè)編碼智能體，用于解決 SWE-bench 任務(wù)，這些任務(wù)根據(jù)任務(wù)描述對(duì)多個(gè)文件進(jìn)行編輯

• 我們的 “計(jì)算機(jī)使用”參考實(shí)現(xiàn)，其中 Claude 使用計(jì)算機(jī)完成任務(wù)

High-level flow of a coding agent：

這些構(gòu)建模塊并非硬性規(guī)定，而是開(kāi)發(fā)者可以根據(jù)不同用例加以調(diào)整和組合的通用模式。與任何 LLM 功能一樣，成功的關(guān)鍵在于衡量性能并對(duì)實(shí)現(xiàn)方案進(jìn)行迭代優(yōu)化。重申一點(diǎn)：只有在復(fù)雜性確實(shí)能夠顯著改善結(jié)果時(shí)，才應(yīng)考慮增加復(fù)雜性。

5 總結(jié)

在大語(yǔ)言模型領(lǐng)域取得成功，并不是構(gòu)建最復(fù)雜的系統(tǒng)，而是構(gòu)建適合自身需求的正確系統(tǒng)。從簡(jiǎn)單的提示詞開(kāi)始，用全面的評(píng)估優(yōu)化它們，只有當(dāng)更簡(jiǎn)單的解決方案無(wú)法滿(mǎn)足需求時(shí)，才引入多步驟的智能系統(tǒng)。

在實(shí)施智能體時(shí)，我們遵循以下三個(gè)核心原則：

1. 在智能體設(shè)計(jì)中保持簡(jiǎn)潔；

2. 優(yōu)先透明性，明確展示智能體的規(guī)劃步驟；

3. 通過(guò)全面的工具文檔和測(cè)試，精心設(shè)計(jì)智能體的接口。

框架可以幫助快速入門(mén)，但隨著進(jìn)入生產(chǎn)階段，不要猶豫減少抽象層，并以基本組件進(jìn)行構(gòu)建。遵循這些原則，您可以創(chuàng)建功能強(qiáng)大、可靠且易于維護(hù)的智能體，贏得用戶(hù)的信任。

附錄-智能體的實(shí)際應(yīng)用

我們與客戶(hù)的合作表明，有兩個(gè)特別有前景的智能體應(yīng)用領(lǐng)域能夠很好地展示本文所討論模式的實(shí)際價(jià)值。這兩個(gè)應(yīng)用領(lǐng)域顯示了智能體在需要結(jié)合對(duì)話(huà)與操作、具有明確成功標(biāo)準(zhǔn)、能夠進(jìn)行反饋循環(huán)并且可進(jìn)行有意義的人工監(jiān)督的任務(wù)中所能帶來(lái)的顯著價(jià)值。

A. 客戶(hù)支持

客戶(hù)支持結(jié)合了傳統(tǒng)的聊天機(jī)器人界面與通過(guò)工具集成增強(qiáng)的能力。對(duì)于更加開(kāi)放式的智能體而言，這是一個(gè)天然契合的場(chǎng)景，因?yàn)椋?/p>

• 支持交互自然遵循對(duì)話(huà)流程，同時(shí)需要訪(fǎng)問(wèn)外部信息和執(zhí)行操作；

• 可以集成工具來(lái)提取客戶(hù)數(shù)據(jù)、訂單歷史以及知識(shí)庫(kù)文章；

• 諸如處理退款或更新工單之類(lèi)的操作可以以編程方式處理；

• 成功可以通過(guò)用戶(hù)定義的解決方案清晰地衡量。

許多公司已經(jīng)通過(guò)基于使用的定價(jià)模式證明了這種方法的可行性，即僅對(duì)成功解決方案收費(fèi)，這顯示了對(duì)智能體效果的高度信心。

B. 編碼智能體

軟件開(kāi)發(fā)領(lǐng)域在 LLM 功能方面展現(xiàn)了顯著潛力，其能力已經(jīng)從代碼補(bǔ)全發(fā)展到自主解決問(wèn)題。智能體特別有效的原因包括：

• 代碼解決方案可以通過(guò)自動(dòng)化測(cè)試進(jìn)行驗(yàn)證；

• 智能體可以使用測(cè)試結(jié)果作為反饋迭代改進(jìn)解決方案；

• 問(wèn)題空間定義清晰且結(jié)構(gòu)化；

• 輸出質(zhì)量可以通過(guò)客觀指標(biāo)進(jìn)行衡量。

在我們的實(shí)施中，智能體已經(jīng)能夠根據(jù)拉取請(qǐng)求描述解決 SWE-bench Verified 基準(zhǔn)測(cè)試中的真實(shí) GitHub 問(wèn)題。然而，盡管自動(dòng)化測(cè)試有助于驗(yàn)證功能性，人工審查對(duì)于確保解決方案符合更廣泛的系統(tǒng)需求仍然至關(guān)重要。

關(guān)注我，緊跟本系列專(zhuān)欄文章，咱們下篇再續(xù)！

★ 作者簡(jiǎn)介：魔都架構(gòu)師，多家大廠后端一線(xiàn)研發(fā)經(jīng)驗(yàn)，在分布式系統(tǒng)設(shè)計(jì)、數(shù)據(jù)平臺(tái)架構(gòu)和AI應(yīng)用開(kāi)發(fā)等領(lǐng)域都有豐富實(shí)踐經(jīng)驗(yàn)。 各大技術(shù)社區(qū)頭部專(zhuān)家博主。具有豐富的引領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn)，深厚業(yè)務(wù)架構(gòu)和解決方案的積累。 負(fù)責(zé)： 中央/分銷(xiāo)預(yù)訂系統(tǒng)性能優(yōu)化 活動(dòng)&券等營(yíng)銷(xiāo)中臺(tái)建設(shè) 交易平臺(tái)及數(shù)據(jù)中臺(tái)等架構(gòu)和開(kāi)發(fā)設(shè)計(jì) 車(chē)聯(lián)網(wǎng)核心平臺(tái)-物聯(lián)網(wǎng)連接平臺(tái)、大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)及優(yōu)化 LLM Agent應(yīng)用開(kāi)發(fā) 區(qū)塊鏈應(yīng)用開(kāi)發(fā) 大數(shù)據(jù)開(kāi)發(fā)挖掘經(jīng)驗(yàn) 推薦系統(tǒng)項(xiàng)目 目前主攻市級(jí)軟件項(xiàng)目設(shè)計(jì)、構(gòu)建服務(wù)全社會(huì)的應(yīng)用系統(tǒng)。 ”

參考：

• 編程嚴(yán)選網(wǎng)

編程嚴(yán)選網(wǎng)：http://www.javaedge.cn/ 專(zhuān)注分享軟件開(kāi)發(fā)全生態(tài)相關(guān)技術(shù)文章、視頻教程資源、熱點(diǎn)資訊等，全站資源免費(fèi)學(xué)習(xí)，快來(lái)看看吧~ 【編程嚴(yán)選】星球

歡迎長(zhǎng)按圖片加好友，我會(huì)第一時(shí)間和你分享軟件行業(yè)趨勢(shì)，面試資源，學(xué)習(xí)方法等等。

添加好友備注【技術(shù)群交流】拉你進(jìn)技術(shù)交流群

關(guān)注公眾號(hào)后，在后臺(tái)私信：

• 更多教程資源應(yīng)有盡有，歡迎關(guān)注并加技術(shù)交流群，慢慢獲取

• 為避免大量資源被收藏白嫖而浪費(fèi)各自精力，以上資源領(lǐng)取分別需要收取1元門(mén)檻費(fèi)！