隨著大語言模型 Agent 開始在對話、問答與復(fù)雜交互環(huán)境中長期運行，“記憶該如何設(shè)計” 正在成為一個繞不開的核心問題。

• 論文標題：PlugMem: A Task-Agnostic Plugin Memory Module for LLM Agents
• 論文鏈接：https://arxiv.org/abs/2603.0329
• 微軟研究院官方博客：https://msft.it/6017Qc9vv
• 作者單位：UIUC、清華大學、微軟研究院
• 研究方向：LLM Agent?長期記憶?知識抽象?任務(wù)泛化

UIUC、清華、微軟研究院聯(lián)合提出：

一種 “可插拔” 的通用 Agent 記憶模塊 PlugMem

來自UIUC、清華大學與微軟研究院的研究團隊，近日提出了一種面向LLM Agent 的任務(wù)無關(guān)記憶模塊 PlugMem。該工作試圖回答一個在 Agent 研究中反復(fù)出現(xiàn)、卻始終沒有統(tǒng)一答案的問題：

Agent 的長期記憶，究竟該 “存什么”，才能真正幫助它在不同任務(wù)中做出更好的決策？

在當前主流設(shè)計中，大多數(shù) Agent 的記憶仍停留在 “存經(jīng)歷、再檢索” 的范式：

要么把對話、軌跡、網(wǎng)頁觀察等原始內(nèi)容直接存下來，要么在此基礎(chǔ)上做簡單壓縮或檢索增強（如 RAG、GraphRAG）。

問題在于，這類方法在任務(wù)切換時往往失效：

一個在長對話中表現(xiàn)良好的記憶機制，放到 Web Agent 或多跳問答中，幾乎無法直接復(fù)用。

一個典型的失敗場景：

Agent 記住了 “經(jīng)歷”，卻忘了 “經(jīng)驗”

作者在論文中給出了一個極具代表性的隱含例子：

• 在長期對話中，Agent 多次與用戶討論飲食偏好
• 在網(wǎng)頁任務(wù)中，Agent 多次成功完成 “搜索 — 篩選 — 下單” 的流程

但當 Agent 面臨一個新任務(wù)時（比如推薦菜譜，或在陌生電商頁面購物）：

• 原始對話記錄太長、太雜，直接檢索會引入大量無關(guān)上下文
• 完整網(wǎng)頁軌跡高度依賴具體頁面結(jié)構(gòu)，幾乎無法遷移

真正對決策有幫助的，其實只是兩類高度抽象的信息：

• 「用戶是素食者、對乳制品過敏」（事實性知識）
• 「在電商頁面中尋找最低價的一般流程」（可復(fù)用的行動策略）

但這些信息，往往并不存在于任何一條原始記憶中，而是分散在大量經(jīng)歷里。

PlugMem 的核心判斷：

決策相關(guān)信息，應(yīng)該以 “知識” 為單位被存儲

基于這一觀察，PlugMem 提出了一種與主流 Agent 記憶設(shè)計明顯不同的思路：

記憶的基本單位，不應(yīng)是 “文本” 或 “軌跡”，而應(yīng)是 “可決策的知識”。

具體來說，系統(tǒng)將 Agent 的長期記憶明確拆分為三類：

• 情景記憶（Episodic）：原始交互與行為軌跡，作為可追溯證據(jù)
• 語義記憶（Semantic）：從經(jīng)歷中抽象出的事實性命題（knowing that）
• 程序記憶（Procedural）：可跨任務(wù)復(fù)用的行動處方（knowing how）

與 GraphRAG 等方法不同，PlugMem 構(gòu)建的并不是 “實體圖” 或 “文本圖”， 而是一個以命題（proposition）和處方（prescription）為節(jié)點的知識中心記憶圖。

換句話說，Agent 檢索的不是 “我曾經(jīng)做過什么”，而是 “我已經(jīng)學會了什么”。

一個關(guān)鍵技術(shù)細節(jié)：

同一套記憶結(jié)構(gòu)，如何同時支持三類任務(wù)？

論文中一個很有說服力的點在于：

PlugMem 在不做任何任務(wù)特化修改的情況下，被直接用于三類差異極大的任務(wù)：

1. 長時對話記憶（LongMemEval）
2. 多跳知識問答（HotpotQA）
3. Web Agent 決策（WebArena）

在每種任務(wù)中，系統(tǒng)會動態(tài)判斷當前更需要哪一類記憶：

• 回憶具體經(jīng)歷 → 使用情景記憶
• 推理事實關(guān)系 → 使用語義記憶
• 執(zhí)行復(fù)雜操作 → 使用程序記憶

而檢索與推理始終圍繞知識級節(jié)點展開，而不是原始文本。

評估與分析：

實驗在回答哪些問題？

PlugMem 的實驗設(shè)計，圍繞三個明確的問題展開。這三個問題，分別對應(yīng) Agent 記憶系統(tǒng)中最關(guān)鍵、也最容易被混用的三個層面：通用性、因果結(jié)構(gòu)，以及可遷移性。

RQ1：同一套記憶機制，

能否同時適用于不同類型的 Agent 任務(wù)？

第一個問題關(guān)注的是 PlugMem 的適用范圍。

作者將同一個 PlugMem 實現(xiàn)，直接用于三類結(jié)構(gòu)差異極大的任務(wù)：

• LongMemEval：強調(diào)跨輪次對話中的事實一致性
• HotpotQA：強調(diào)多跳知識檢索與組合推理
• WebArena：強調(diào)交互式環(huán)境中的程序性操作

這些任務(wù)對記憶的需求并不相同：

有的依賴對過往事實的回憶，有的依賴知識之間的關(guān)聯(lián)，有的則依賴對行動策略的復(fù)用。

實驗結(jié)果顯示，在三類任務(wù)中，PlugMem 都能夠在提升任務(wù)表現(xiàn)的同時，顯著降低 Agent 側(cè)所消耗的記憶 token 數(shù)量。這表明，將記憶表示為知識級單元，有助于在不同任務(wù)中穩(wěn)定提升單位記憶的決策價值。

這一結(jié)果為后續(xù)分析提供了基礎(chǔ)前提：記憶的組織方式，會系統(tǒng)性地影響其在不同任務(wù)中的有效性。

一個中間視角：

如何比較不同任務(wù)中的 “記憶效率”？

在進一步分析之前，作者引入了一個統(tǒng)一的評估視角，用于衡量記憶系統(tǒng)在不同任務(wù)中的性價比。

具體而言，論文將記憶的作用表述為：在給定狀態(tài)下，記憶對 Agent 正確決策概率所帶來的信息增益，并將這一增益歸一化到所使用的記憶 token 數(shù)量上。由此得到的 “信息密度” 指標，使得不同任務(wù)、不同記憶設(shè)計可以在同一尺度下進行比較。

這一評估框架，為后續(xù)的消融分析和跨任務(wù)比較提供了統(tǒng)一坐標系。

RQ2：結(jié)構(gòu)化、檢索與推理，

各自在記憶系統(tǒng)中起什么作用？

第二個問題關(guān)注的是 PlugMem 內(nèi)部各組件的作用分工。

作者通過系統(tǒng)性的消融實驗，分別移除結(jié)構(gòu)化模塊、檢索模塊和推理模塊，觀察性能與記憶消耗的變化。實驗結(jié)果呈現(xiàn)出清晰的分工關(guān)系：

• 檢索模塊決定記憶是否能夠被有效利用

當檢索被移除后，記憶幾乎無法在決策中發(fā)揮作用。

• 結(jié)構(gòu)化模塊決定檢索到的內(nèi)容質(zhì)量

在缺少結(jié)構(gòu)化的情況下，系統(tǒng)更容易檢索到冗余、粒度不合適的原始信息，從而限制性能提升空間。

• 推理模塊主要影響記憶使用效率

移除推理模塊后，性能變化相對有限，但記憶 token 消耗顯著增加，表明其主要作用在于壓縮與整合。

這組實驗明確區(qū)分了三個常被混為一談的概念：

檢索讓記憶 “可達”，結(jié)構(gòu)化讓記憶 “可用”，推理讓記憶 “省著用”。

RQ3：Agent 記憶能否作為可繼承的經(jīng)驗，

在新任務(wù)中繼續(xù)發(fā)揮作用？

第三個問題關(guān)注的是記憶的可遷移性。

在 WebArena 中，作者將任務(wù)劃分為 online 與 offline 兩個階段：

Agent 只允許在 online 階段寫入記憶，而 offline 階段則在基本凍結(jié)記憶的情況下進行評估。

這一設(shè)置刻意避免了通過重復(fù)試錯積累熟練度的可能性，重點考察已有記憶是否能夠支持新任務(wù)中的決策。

實驗結(jié)果表明，即使在 offline 階段，PlugMem 仍能顯著提升任務(wù)成功率，尤其是在涉及多站點組合操作的任務(wù)中。這表明系統(tǒng)中存儲的程序性與語義知識，能夠被新的 Agent 實例直接復(fù)用，而不依賴于具體的交互軌跡。

小結(jié)

通過這三組問題，實驗逐步澄清了 PlugMem 所刻畫的 Agent 記憶形態(tài)：

• 記憶以知識為基本單位
• 決策相關(guān)信息可以在不同任務(wù)間復(fù)用
• 結(jié)構(gòu)化與檢索決定 “能否用”，推理決定 “如何高效地用”

在這一意義上，PlugMem 的實驗不僅驗證了方法本身，也為理解 Agent 長期記憶的設(shè)計與評估提供了一組清晰的分析視角。

總體來看，PlugMem 從記憶的基本單位、組織方式與評估視角三個層面，系統(tǒng)性地重審了 Agent 長期記憶這一問題。通過將經(jīng)歷抽象為可復(fù)用的語義與程序性知識，并在多類任務(wù)中進行統(tǒng)一評估，作者展示了一種更接近 “經(jīng)驗繼承” 而非 “歷史回放” 的 Agent 記憶形態(tài)。這一思路，也為后續(xù)構(gòu)建可遷移、可積累經(jīng)驗的通用 Agent 提供了新的設(shè)計基線。

作者簡介：

楊可，清華大學本科、UIUC計算機三年級博士生，主要研究AI agents、語言模型、信息檢索與算法審計。本項目由其承擔領(lǐng)導(dǎo)與主要寫作工作，為排序第一作者，并與陳子曦、何宣、蔣積澤共同作為共同第一作者。該成果由UIUC、清華大學與微軟研究院合作完成，并接受Michel Galley、汪成龍博士建議，得到高劍峰、韓家煒、翟成祥教授指導(dǎo)。