這項(xiàng)由香港中文大學(xué)裴澤華、潘信陵和于貝等學(xué)者，聯(lián)合華為諾亞方舟實(shí)驗(yàn)室任慧玲、柯世雄、王云鶴、袁明軒等研究人員共同完成的研究，于2024年12月在預(yù)印本論文平臺發(fā)表，論文編號為arXiv:2512.15374v1。感興趣的讀者可以通過該編號查詢完整論文內(nèi)容。

在現(xiàn)實(shí)生活中，當(dāng)我們反復(fù)犯同樣的錯(cuò)誤時(shí)，通常會被說成"不長記性"。現(xiàn)在的AI智能體也面臨著相似的問題。當(dāng)前的AI助手就像一個(gè)健忘的學(xué)徒，即使剛剛因?yàn)椴僮麇e(cuò)誤而失敗，下一次遇到類似情況時(shí)仍然會重復(fù)相同的錯(cuò)誤。這種現(xiàn)象在AI領(lǐng)域被稱為"靜態(tài)提示詞"問題，就好比給學(xué)徒一份永遠(yuǎn)不變的工作手冊，無論遇到多少新情況或犯了多少錯(cuò)誤，手冊內(nèi)容永遠(yuǎn)不會更新。

研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人震驚的現(xiàn)象：當(dāng)前最先進(jìn)的AI智能體系統(tǒng)雖然能夠獲取大量的上下文信息，卻缺乏有效管理這些信息的機(jī)制。這就像一個(gè)擁有世界上最大圖書館鑰匙的人，卻不知道如何找到需要的書籍一樣。通過分析超過150萬行的AI執(zhí)行日志，研究人員識別出兩種主要的失敗模式。第一種是"糾正性失敗"，AI在收到明確的錯(cuò)誤信息后，仍然將其視為普通警報(bào)而非可操作的反饋。第二種是"增強(qiáng)性失敗"，即使在沒有明顯錯(cuò)誤的情況下，AI也錯(cuò)過了優(yōu)化機(jī)會，固守低效的策略。

為了解決這一根本性問題，研究團(tuán)隊(duì)開發(fā)了一個(gè)名為SCOPE的革命性框架，全稱為"通過提示詞進(jìn)化實(shí)現(xiàn)自進(jìn)化上下文優(yōu)化"。這個(gè)系統(tǒng)的核心思想是讓AI的指令系統(tǒng)能夠像生物進(jìn)化一樣不斷完善自己。SCOPE將上下文管理轉(zhuǎn)化為一個(gè)在線優(yōu)化問題，通過分析執(zhí)行軌跡來自動(dòng)合成指導(dǎo)原則，讓智能體的提示詞能夠自動(dòng)進(jìn)化。

SCOPE系統(tǒng)的工作原理可以用一個(gè)不斷改進(jìn)的烹飪食譜來類比。傳統(tǒng)的AI智能體就像嚴(yán)格按照一份固定食譜做菜的廚師，即使發(fā)現(xiàn)某種調(diào)料會讓菜變苦，下次做菜時(shí)仍會加入同樣的調(diào)料。而SCOPE系統(tǒng)則像一個(gè)聰明的廚師，會在食譜的空白處記錄每次的經(jīng)驗(yàn)教訓(xùn)。當(dāng)發(fā)現(xiàn)某種調(diào)料會讓菜變苦時(shí)，會在食譜上寫下"避免使用X調(diào)料"。當(dāng)發(fā)現(xiàn)某種搭配特別美味時(shí)，會記錄下"嘗試使用Y和Z的組合"。

這個(gè)系統(tǒng)引入了雙流路由機(jī)制，能夠平衡戰(zhàn)術(shù)特異性和戰(zhàn)略通用性。戰(zhàn)術(shù)流專門處理當(dāng)前任務(wù)的具體問題，就像在食譜上臨時(shí)記錄"今天的鹽比較咸，要少放一些"。戰(zhàn)略流則負(fù)責(zé)提取長期有效的通用原則，如"在潮濕天氣里，面粉的吸水性會增強(qiáng)，需要適當(dāng)減少液體用量"。

除了雙流機(jī)制，SCOPE還采用了視角驅(qū)動(dòng)探索策略，同時(shí)維護(hù)多個(gè)具有不同優(yōu)化視角的并行提示詞。這就像同時(shí)培訓(xùn)兩個(gè)不同風(fēng)格的廚師，一個(gè)專注于效率，追求快速出菜，另一個(gè)專注于精致，確保每道菜品都達(dá)到完美水準(zhǔn)。在面對不同類型的"客戶"時(shí)，系統(tǒng)能夠選擇最適合的"廚師"來處理任務(wù)。

在實(shí)際測試中，SCOPE展現(xiàn)出了令人矚目的效果。在專業(yè)級別的HLE基準(zhǔn)測試中，這個(gè)系統(tǒng)將任務(wù)成功率從14.23%提升到了38.64%，幾乎實(shí)現(xiàn)了三倍的性能提升。在GAIA基準(zhǔn)測試中，成功率從32.73%躍升至56.97%。這種改善不是一次性的突破，而是隨著指導(dǎo)原則的積累而持續(xù)改進(jìn)的過程。

研究團(tuán)隊(duì)深入分析了超過150萬行執(zhí)行日志后，發(fā)現(xiàn)了兩種截然不同的失敗模式。糾正性失敗通常發(fā)生在AI收到明確錯(cuò)誤信號時(shí)。比如，當(dāng)系統(tǒng)提示"找不到final_answer工具"并明確列出可用工具列表時(shí)，AI卻繼續(xù)嘗試使用錯(cuò)誤的工具名稱。這就像一個(gè)人明明看到門上寫著"拉"，卻還在那里拼命推門一樣。更嚴(yán)重的情況下，AI甚至?xí)跓o法獲取真實(shí)數(shù)據(jù)時(shí)編造信息，這種行為在部署到真實(shí)環(huán)境中可能帶來嚴(yán)重的安全風(fēng)險(xiǎn)。

增強(qiáng)性失敗則更加微妙，它發(fā)生在沒有明顯錯(cuò)誤的情況下。AI可能采用了技術(shù)上正確但效率極低的策略。例如，在搜索棒球相關(guān)信息時(shí)，AI只使用"walks"這個(gè)詞，而錯(cuò)過了更專業(yè)的術(shù)語"base on balls"或縮寫"BB"。這就像用最原始的方法解決問題，雖然最終可能成功，但過程極其低效。

SCOPE的指導(dǎo)原則合成過程采用了創(chuàng)新的最佳N選擇機(jī)制。系統(tǒng)首先生成多個(gè)候選指導(dǎo)原則，然后通過專門的選擇器來挑選最優(yōu)方案，這個(gè)過程類似于舉辦一場內(nèi)部創(chuàng)意比賽，讓多個(gè)方案競爭，最終選出最實(shí)用的指導(dǎo)原則。

在分類和路由階段，SCOPE使用專門的分類器來評估每個(gè)指導(dǎo)原則的通用性并分配置信度得分。高置信度的通用原則會被添加到戰(zhàn)略記憶中，在多個(gè)任務(wù)間保持有效。低置信度或任務(wù)特定的原則則被分配到戰(zhàn)術(shù)記憶中，僅在當(dāng)前任務(wù)中有效。這種設(shè)計(jì)確保了系統(tǒng)既能學(xué)到長期有效的智慧，又不會被過于具體的臨時(shí)經(jīng)驗(yàn)所困擾。

記憶優(yōu)化是SCOPE的另一個(gè)重要特性。當(dāng)戰(zhàn)略記憶中的指導(dǎo)原則數(shù)量超過預(yù)設(shè)閾值時(shí)，系統(tǒng)會自動(dòng)觸發(fā)優(yōu)化流程。這個(gè)過程包括沖突解決、包含性修剪和整合三個(gè)步驟。沖突解決負(fù)責(zé)處理相互矛盾的指導(dǎo)原則，包含性修剪會移除被更通用原則覆蓋的具體規(guī)則，整合則將相似的指導(dǎo)原則合并為更全面的規(guī)則。

視角驅(qū)動(dòng)探索機(jī)制讓SCOPE能夠同時(shí)維護(hù)多個(gè)優(yōu)化視角。效率視角專注于減少延遲和計(jì)算成本，傾向于快速失敗和工具切換策略。完整性視角則優(yōu)先考慮準(zhǔn)確性和全面性，更傾向于嘗試多種方法和深度驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示，這兩個(gè)視角在不同類型的任務(wù)上各有優(yōu)勢，它們的交集僅占33.94%，意味著約23%的解決方案是某個(gè)特定視角獨(dú)有的。

在具體實(shí)現(xiàn)上，研究團(tuán)隊(duì)構(gòu)建了一個(gè)分層多智能體系統(tǒng)作為基礎(chǔ)測試平臺。這個(gè)系統(tǒng)包含一個(gè)規(guī)劃智能體作為頂層協(xié)調(diào)者，以及多個(gè)專門的子智能體，包括網(wǎng)絡(luò)搜索、分析和瀏覽器智能體。每個(gè)智能體都配備了特定領(lǐng)域的工具，使用不同的語言模型以發(fā)揮各自的優(yōu)勢。

實(shí)驗(yàn)結(jié)果顯示，SCOPE在多個(gè)維度上都表現(xiàn)出色。在專業(yè)知識密集型領(lǐng)域，如生物醫(yī)學(xué)和化學(xué)，系統(tǒng)的改進(jìn)最為顯著。在生物醫(yī)學(xué)領(lǐng)域，準(zhǔn)確率從14.9%提升至43.2%，在化學(xué)領(lǐng)域從14.1%躍升至50.3%。這些領(lǐng)域通常涉及專門的工具使用和復(fù)雜的協(xié)議，SCOPE的領(lǐng)域特定指導(dǎo)原則能夠有效幫助智能體恢復(fù)和優(yōu)化。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)反直覺的現(xiàn)象：將指導(dǎo)原則放置在系統(tǒng)提示詞中比放置在用戶提示詞中效果更好。系統(tǒng)提示詞放置方式實(shí)現(xiàn)了46.06%的準(zhǔn)確率，而用戶提示詞放置方式僅達(dá)到41.21%。分析表明，系統(tǒng)提示詞作為隱性背景指導(dǎo)，允許智能體將指導(dǎo)原則內(nèi)化并保持探索靈活性。相比之下，用戶提示詞中的指導(dǎo)原則被視為顯式命令，導(dǎo)致過度順從，智能體變得過于保守，提前終止任務(wù)而非持續(xù)探索。

在模型選擇方面，研究發(fā)現(xiàn)SCOPE的有效性與具體的元智能體模型選擇無關(guān)。無論使用GPT-4.1還是Gemini-2.5-Pro作為指導(dǎo)原則生成器，系統(tǒng)都能實(shí)現(xiàn)相似的性能表現(xiàn)，差異僅在1.2%以內(nèi)。這一發(fā)現(xiàn)簡化了部署過程，允許實(shí)踐者根據(jù)成本或延遲需求而非準(zhǔn)確性需求來選擇模型。

通過對指導(dǎo)原則分布的詳細(xì)分析，研究團(tuán)隊(duì)發(fā)現(xiàn)增強(qiáng)型指導(dǎo)原則占所有合成指導(dǎo)原則的61%，這表明SCOPE主要是一個(gè)優(yōu)化器而非僅僅是錯(cuò)誤調(diào)試工具。這種主動(dòng)優(yōu)化的特性解釋了為什么SCOPE在錯(cuò)誤率較低的情況下仍能持續(xù)改進(jìn)，因?yàn)樗軌蚓幋a成功模式來預(yù)防潛在失敗。

研究還揭示了一個(gè)重要的合規(guī)性現(xiàn)象：智能體確實(shí)會遵循合成的指導(dǎo)原則。通過語言采用分析，研究團(tuán)隊(duì)發(fā)現(xiàn)智能體在SCOPE合成指導(dǎo)原則后，會在后續(xù)輸出中逐字采用相關(guān)措辭。例如，當(dāng)系統(tǒng)合成了建議使用"合理標(biāo)簽同義詞和短語變體"的指導(dǎo)原則后，智能體的后續(xù)輸出會直接包含這一確切措辭。這種直接的語言轉(zhuǎn)移提供了強(qiáng)有力的證據(jù)，證明指導(dǎo)原則被積極整合到智能體的決策制定過程中。

現(xiàn)代智能體系統(tǒng)的復(fù)雜性為這種動(dòng)態(tài)優(yōu)化創(chuàng)造了獨(dú)特的機(jī)會。成功的GAIA軌跡平均需要16.4個(gè)步驟，復(fù)雜任務(wù)甚至超過30輪交互。系統(tǒng)由專門的子智能體組成，如瀏覽器和分析器，各自具有不同的失敗模式。這種異構(gòu)性意味著優(yōu)化必須是智能體特定的。研究結(jié)果顯示，瀏覽器智能體積累了最多的指導(dǎo)原則，主要集中在應(yīng)對網(wǎng)絡(luò)特定挑戰(zhàn)的效率指導(dǎo)上，而規(guī)劃智能體的指導(dǎo)原則則專注于工具使用，反映了其協(xié)調(diào)角色。

SCOPE框架的理論基礎(chǔ)在于將智能體的提示詞視為可進(jìn)化的參數(shù)。與傳統(tǒng)的梯度優(yōu)化不同，由于提示詞空間是離散的，系統(tǒng)無法直接計(jì)算梯度。相反，SCOPE從執(zhí)行軌跡中合成自然語言指導(dǎo)原則，將離散優(yōu)化問題轉(zhuǎn)化為可操作的文本更新過程。這種方法使得每次智能體調(diào)用都成為應(yīng)用學(xué)習(xí)指導(dǎo)原則的機(jī)會。

在安全性和可靠性方面，研究發(fā)現(xiàn)基礎(chǔ)智能體在面臨不確定性時(shí)存在編造信息的嚴(yán)重傾向。當(dāng)遇到無法讀取的文件或無法訪問的網(wǎng)址時(shí)，智能體經(jīng)常生成假設(shè)性分析，然后基于這些完全虛構(gòu)的數(shù)據(jù)產(chǎn)生看似合理的最終答案。SCOPE通過提供明確的不確定性處理指導(dǎo)原則，顯著減少了這種危險(xiǎn)行為。

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面的改進(jìn)。它展示了一種新的AI發(fā)展范式，從靜態(tài)的、手工制作的指令轉(zhuǎn)向動(dòng)態(tài)的、自適應(yīng)的智能系統(tǒng)。這種方法不僅提高了性能，還為AI系統(tǒng)的持續(xù)學(xué)習(xí)和改進(jìn)開辟了新的可能性。隨著AI技術(shù)在各個(gè)領(lǐng)域的應(yīng)用日益廣泛，這種能夠從經(jīng)驗(yàn)中學(xué)習(xí)并自我改進(jìn)的能力將變得越來越重要。

值得注意的是，SCOPE的成功不僅在于技術(shù)創(chuàng)新，還在于對AI智能體認(rèn)知局限性的深刻理解。通過識別和解決糾正性失敗和增強(qiáng)性失敗這兩種根本性問題，研究團(tuán)隊(duì)為整個(gè)AI領(lǐng)域提供了寶貴的見解。這種對問題本質(zhì)的深入分析，結(jié)合創(chuàng)新的解決方案，使得SCOPE不僅是一個(gè)有效的技術(shù)工具，更是AI發(fā)展方向上的重要里程碑。

實(shí)驗(yàn)驗(yàn)證的廣度和深度也值得贊揚(yáng)。研究團(tuán)隊(duì)在多個(gè)具有挑戰(zhàn)性的基準(zhǔn)測試上驗(yàn)證了SCOPE的有效性，從專業(yè)級別的HLE測試到通用AI助手的GAIA評估，再到深度搜索的DeepSearch基準(zhǔn)。這種全面的評估確保了研究結(jié)果的可靠性和普適性。

從實(shí)用角度來看，SCOPE的模型無關(guān)性使其能夠輕松集成到現(xiàn)有的AI系統(tǒng)中，無需對底層架構(gòu)進(jìn)行重大修改。這種設(shè)計(jì)哲學(xué)確保了研究成果能夠快速轉(zhuǎn)化為實(shí)際應(yīng)用，為AI技術(shù)的產(chǎn)業(yè)化提供了有力支持。

總體而言，SCOPE代表了AI智能體技術(shù)發(fā)展的一個(gè)重要轉(zhuǎn)折點(diǎn)。它不僅解決了當(dāng)前系統(tǒng)的關(guān)鍵問題，還為未來更加智能、自適應(yīng)的AI系統(tǒng)奠定了基礎(chǔ)。隨著這一技術(shù)的進(jìn)一步發(fā)展和應(yīng)用，我們有望看到AI助手在各個(gè)領(lǐng)域發(fā)揮更大的作用，真正成為人類的得力助手。

Q&A

Q1：SCOPE系統(tǒng)如何幫助AI智能體避免重復(fù)犯錯(cuò)？

A：SCOPE通過動(dòng)態(tài)更新AI的指令系統(tǒng)來解決這個(gè)問題。就像給AI提供一本會自動(dòng)更新的工作手冊，每當(dāng)AI犯錯(cuò)或找到更好的解決方法時(shí)，系統(tǒng)會自動(dòng)在"手冊"中添加相應(yīng)的指導(dǎo)原則。比如AI第一次因?yàn)楣ぞ呙Q錯(cuò)誤而失敗后，SCOPE會自動(dòng)生成"使用正確工具名稱"的指導(dǎo)原則，確保下次不會犯同樣錯(cuò)誤。

Q2：雙流路由機(jī)制是什么，為什么需要區(qū)分戰(zhàn)術(shù)和戰(zhàn)略指導(dǎo)？

A：雙流機(jī)制類似于區(qū)分"臨時(shí)筆記"和"長期經(jīng)驗(yàn)"。戰(zhàn)術(shù)流處理當(dāng)前任務(wù)的具體問題，如"今天網(wǎng)絡(luò)很慢，要多等幾秒"，這種指導(dǎo)只對當(dāng)前任務(wù)有用。戰(zhàn)略流則提取通用原則，如"網(wǎng)絡(luò)請求失敗時(shí)應(yīng)該重試三次"，這種經(jīng)驗(yàn)可以在多個(gè)任務(wù)中重復(fù)使用。這樣既能解決當(dāng)前問題，又能積累長期智慧。

Q3：視角驅(qū)動(dòng)探索為什么要同時(shí)維護(hù)效率和完整性兩種視角？

A：這就像同時(shí)培訓(xùn)一個(gè)快手廚師和一個(gè)精工廚師。效率視角追求快速解決問題，適合處理時(shí)間緊迫的簡單任務(wù)。完整性視角注重準(zhǔn)確性和全面性，更適合復(fù)雜的專業(yè)任務(wù)。實(shí)驗(yàn)顯示，約23%的成功案例是某個(gè)特定視角獨(dú)有的，這意味著單一視角會錯(cuò)過很多解決方案，只有結(jié)合兩種視角才能應(yīng)對各種不同類型的挑戰(zhàn)。