“記憶”有望成為 AI 在產(chǎn)業(yè)界紅利釋放的最大驅(qū)動引擎。

作者丨岑峰

編輯丨馬曉寧

人工智能在過去的十年中，以驚人的速度革新了信息處理和內(nèi)容生成的方式。然而，無論是大語言模型（LLM）本體，還是基于檢索增強生成（RAG）的系統(tǒng)，在實際應用中都暴露出了一個深層的局限性：缺乏跨越時間的、可演化的、個性化的“記憶”。它們擅長瞬時推理，卻難以實現(xiàn)持續(xù)積累經(jīng)驗、反思歷史、乃至真正像人一樣成長的目標。

近日，雷峰網(wǎng)主辦了一場主題為《智能始于記憶：Agent Memory 的技術(shù)演化過程》的線上圓桌論壇，邀請到了金融行業(yè)的資深領域?qū)＜液我莘?、騰訊 AI Lab 專家研究員王琰、上海交通大學人工智能學院副教授陳思衡三位重量級嘉賓，他們與主持人、 記憶張量CTO李志宇一起，他們圍繞記憶的本質(zhì)定義、與傳統(tǒng)技術(shù)的區(qū)別、系統(tǒng)架構(gòu)的瓶頸，以及未來在金融、教育、游戲等領域的商業(yè)化范式，展開了系統(tǒng)性的探討。

何逸凡表示，記憶系統(tǒng)是大模型乃至整個 AI 發(fā)展至今，除了核心大模型結(jié)構(gòu)研究之外，可能最為關鍵的領域之一。當前傳統(tǒng) RAG 系統(tǒng)對召回的研究比重過高，而對記憶的組織研究相對較少。他認為，在金融投研投顧領域，記憶系統(tǒng)將引發(fā)一場業(yè)務模式上的巨大、革新性變革，最有可能帶來的革新范式是個性化、伴隨成長的投顧和投研系統(tǒng)，即構(gòu)建投研專家的“分身”。

王琰認為，智能體記憶的關鍵在于自主編織能力。他指出，記憶是模型主動的行為，而上下文工程是人類強加給模型的流程，未來人類主導的 RAG 流程將被取代。他預測，未來 AI 架構(gòu)的必然趨勢是記憶與推理的解耦以及實現(xiàn)推理時訓練，使模型具備在其生命周期中隨著經(jīng)歷而不斷變化的能力。

陳思衡闡述了智能體記憶機制與傳統(tǒng)模型訓練的最大不同在于實現(xiàn)自演進。他提出，智能體記憶的組織結(jié)構(gòu)應是一種多層級的圖結(jié)構(gòu)，并認為未來研究應集中在將對記憶的增、刪、改、查能力工具化，通過有針對性的訓練，使模型像調(diào)用 Web Search 一樣，自主地對記憶進行操作管理。此外，他指出記憶系統(tǒng)將向著多模態(tài)融合、原生動態(tài)交互以及引入主觀感受的方向演進。

從理論上的多層級、自主編織，到工程上的解耦、動態(tài)更新，再到商業(yè)上的“記憶即資產(chǎn)”和“個性化分身”，記憶系統(tǒng)不再是簡單的技術(shù)補丁，而是驅(qū)動 AI 從瞬時推理工具向具備跨時間積累、理解和成長能力的“有靈魂”智能體進化的核心動力。正如嘉賓所期望，記憶的成熟和發(fā)展，有望成為 AI 在產(chǎn)業(yè)界突破和產(chǎn)業(yè)紅利釋放的最大驅(qū)動引擎。

以下是此次圓桌討論的精彩分享，AI 科技評論進行了不改原意的編輯整理：

李志宇：各位晚上好。感謝雷峰網(wǎng)的組織，與我們共同籌備了這場圍繞“記憶”主題的在線圓桌。

我是本次圓桌的主持人李志宇。我目前與團隊共同創(chuàng)立了一家專注于大模型應用研發(fā)的AI Infra公司叫記憶張量，我個人在公司擔任首席技術(shù)官（CTO）一職。公司致力于構(gòu)建記憶驅(qū)動的大模型應用增強體系及框架研發(fā)。團隊先后發(fā)布了業(yè)界首個記憶分層的大模型，以及首個操作系統(tǒng)級的記憶操作管理框架MemOS（Memory Operating System）并獲得廣泛關注。

在探討下一代智能體時，一個關鍵議題正在浮現(xiàn)：AI 是否需要擁有類人記憶？ 這不僅是一個技術(shù)命題，更是一個重要的發(fā)展方向。

本次會議，我們邀請了三位在本領域極具代表性的嘉賓，共同展望智能記憶體的未來。接下來，我將依次介紹各位嘉賓：

何逸凡老師，現(xiàn)任金融行業(yè)的資深領域?qū)＜摇⒔淌诩壐呒壒こ處?、博士后，長期深耕于金融科技和智能系統(tǒng)研發(fā)領域；

王琰老師，現(xiàn)任騰訊 AI Lab 專家研究員，曾任前米哈游大模型團隊上海負責人，專注于探索具有無限長記憶的下一代基座模型架構(gòu)；

陳思衡老師，現(xiàn)任上海交通大學人工智能學院副教授，專注于多智能體體系化研究，是系統(tǒng)層面和理論層面思考智能體機制相關的代表性學者之一。

三位嘉賓分別代表了產(chǎn)業(yè)界、研究界和系統(tǒng)工程三個層面的獨特視角：產(chǎn)業(yè)界關注記憶能否帶來新的商業(yè)模式；研究界關注記憶機制能否突破現(xiàn)有模型邊界；而系統(tǒng)工程則更注重如何實現(xiàn)智能體的真正記憶與成長。

我們將通過三輪深度討論，從記憶的共同基礎、技術(shù)挑戰(zhàn)以及未來展望三個維度，逐層展開。

01

AI記憶的定義、分層結(jié)構(gòu)與自主決策機制

李志宇：首先請教何逸凡老師。從您的專業(yè)角度來看，您認為人類記憶的演化到智能體記憶這一概念轉(zhuǎn)變過程中，最核心的共性是什么？智能體記憶與人類記憶在哪些方面具備相似性？

何逸凡：在實際實踐中，我們發(fā)現(xiàn)記憶系統(tǒng)是大模型乃至整個 AI 發(fā)展至今，除了核心大模型結(jié)構(gòu)研究之外，可能最為關鍵的領域之一。從目前的研究與實踐來看，智能體記憶與人類記憶正呈現(xiàn)出越來越多的相似性。

首先是層次性與結(jié)構(gòu)化。人類記憶以有組織、有層次的方式來存儲知識，這對于智能體尤為重要。如何組織記憶的結(jié)構(gòu)、表達和建模是研究重點。然而，目前產(chǎn)業(yè)界最樸素的做法是將召回結(jié)果作為提示詞輸入給大模型。傳統(tǒng) RAG 系統(tǒng)對召回的研究比重過高（約占 90%），而對記憶的組織研究相對較少（約占 10%）。我們認為，如何以有層次的方式組織記憶是一個至關重要的問題。

其次是特征提取與抽象概括。人類存儲知識更可能是選擇性地提取核心特征，或進行概括與抽象，這種信息在大腦中轉(zhuǎn)化為認知的內(nèi)在機制，對未來的記憶系統(tǒng)具有重要啟發(fā)。

第三點是聯(lián)想與快速召回。人類記憶擁有瞬間觸發(fā)遠期回憶的聯(lián)想功能和低延遲的快速召回能力，這對當前的計算機系統(tǒng)而言實現(xiàn)難度較大。智能體記憶系統(tǒng)若要實現(xiàn)像人類那樣，在面對強相關事件時能夠零滯后地快速聯(lián)想并召回遠期信息，仍是挑戰(zhàn)。如何實現(xiàn)跨越記憶層次的快速聯(lián)想，是我們探索的方向。

總之，智能體記憶可以從人類記憶中汲取大量的靈感，但兩者并非完全等同，也存在本質(zhì)差異，例如人類記憶中的情感要素。因此，研究的關鍵在于甄別哪些人類記憶特性可供智能體學習和借鑒，而哪些方面存在本質(zhì)不同。

李志宇：在理解了人類記憶體系對人工智能領域的指導原則后，我們將視角切換至 Agent 自身的工程體系：智能體的記憶與我們目前熟知的上下文工程或 RAG 等技術(shù)有何本質(zhì)區(qū)別？

這個問題我想請王琰老師來解答。在構(gòu)建大模型與智能體的過程中，兩者采取了怎樣的發(fā)展路徑？我們應該如何在定義上區(qū)分和界定智能體記憶？

王琰：這是一個精彩的問題。我的觀點是：RAG 這類技術(shù)不會消亡，但其形式必然會發(fā)生變化。

我認為當前 RAG 體系中最大的問題在于人類主導的流水線（Pipeline）限制了模型的行為。我預估，這種以人為干預為主的流程將在未來一年內(nèi)逐漸被取代。取而代之的，將是一種智能體式的檢索方式：檢索本身被視為一種工具。正如人類使用搜索引擎，智能體也將以類似方式使用搜索引擎。

智能體記憶的關鍵在于自主編織能力。智能體必須具備自主決策的能力，決定在短期記憶中應存儲哪些內(nèi)容；主動進行檢索，將檢索到的信息納入自身的記憶空間；并在信息不再需要時，將其從記憶空間中移除。

我認為，減少人類對流程的干預，是未來 Agent 架構(gòu)的核心。人類的角色將越來越多地局限于下達指令和接收回答，而中間流程中的人工干預將日益減少。這便是智能體記憶未來的發(fā)展趨勢所在。

李志宇：王老師的觀點非常精辟。您清晰地描繪了記憶系統(tǒng)與外部系統(tǒng)的本質(zhì)區(qū)別，即“能夠查閱并不等同于擁有記憶”。

如果我們從單一智能體交互轉(zhuǎn)向多智能體交互結(jié)構(gòu)，記憶將不再是孤立的 Agent Memory，而是需要處理跨記憶、跨智能體、跨環(huán)境的歷史軌跡信息。

在這種多智能體場景下，記憶應如何被組織？我想請教陳老師：如果將智能體的記憶視作一段歷史的連續(xù)軌跡，您認為記憶的結(jié)構(gòu)應以何種方式組織最為理想？

陳思衡：這是一個非常好的問題。我完全贊同：記憶對于智能體而言是一個至關重要的課題。

很多人難以區(qū)分大模型（LLM）與智能體（Agent）的區(qū)別。如果說大模型更類似于人類的大腦，那么智能體則更類似于完整的人。記憶在區(qū)分兩者中發(fā)揮著核心作用。當模型以外部記憶進行加持時，它擁有了過去的成功經(jīng)驗和失敗教訓，使其成為一個更具獨立性的個體。

今年 6 月Devin 公司發(fā)布了一篇博客，主張暫緩使用多智能體，因為在多 Agent 相互交流時，任務往往難以順利下發(fā)或執(zhí)行。其原因在于 Agent 之間缺乏共同的上下文（Common Context）。隔天 Anthropic 也發(fā)布了一篇博客，闡述了多智能體的必要性及結(jié)構(gòu)化設計方法。這恰恰說明，智能體不僅需要個體記憶，還需要共享記憶或在管理和約束多個智能體方面有更高的要求。

我們在設計智能體記憶時，通常會采用類比的方式：類比人類如何形成記憶，以及計算機如何構(gòu)建其存儲系統(tǒng)。從人類記憶系統(tǒng)來看，我們會記住事件之間的相互關系，形成關聯(lián)式的網(wǎng)絡結(jié)構(gòu)。因此，我們可以采用圖結(jié)構(gòu)作為一種表示形式來管理智能體的記憶，并希望 Agent 能夠以多層次結(jié)構(gòu)來管理其記憶。

我們期望智能體記憶具備以下特性：在每一個層級上，記憶可能采用圖譜結(jié)構(gòu)，節(jié)點代表事實、實體或關鍵詞，同時節(jié)點之間存在連接關系。記憶并非單一圖結(jié)構(gòu)，而是多層級的圖結(jié)構(gòu)，不同層級之間存在一定的層間關聯(lián)與映射。

在多智能體系統(tǒng)中，各個 Agent 維護的記憶庫之間也需要有某種映射關系。一個理想的 Agent 需要維護這樣一個多層級、關聯(lián)豐富的記憶，并能實現(xiàn)對其進行增、刪、改、查的操作。

李志宇：感謝陳老師的解答。在智能體（Agent）交互中，記憶起到至關重要的傳導作用。我們將議題轉(zhuǎn)向產(chǎn)業(yè)落地，這里我想問下何老師，尤其針對金融投研、投顧等嚴肅應用場景，何種具備記憶的智能系統(tǒng)才能真正變革現(xiàn)有的決策流程？

何逸凡：李老師提出的問題，對于金融行業(yè)而言是一個極其重要但尚未被充分認識到的前沿議題。當前記憶系統(tǒng)研究在產(chǎn)業(yè)界尚未形成體系化，行業(yè)內(nèi)仍集中于如何有效地進行知識召回和查詢使用。

在投研和投顧領域，目前仍以場景驅(qū)動為主，尚未與記憶系統(tǒng)產(chǎn)生強相關需求。然而，這其中蘊含著巨大的業(yè)務模式革新潛力。

雖然 AI 投研和投顧是熱門趨勢，但金融機構(gòu)普遍尚未意識到“記憶”的重要性，目前的做法仍是將知識檢索出來送入上下文窗口。

問題的關鍵在于：一位資深研究員或投資顧在長期服務中會積累大量的個性化經(jīng)驗和長期觀點。這種經(jīng)驗能否形成一種個性化的附加值，輔助其未來的金融服務？據(jù)我觀察，在金融領域，目前尚未有機構(gòu)考慮到這個方向。

當前的 AI 投研和投顧狀態(tài)是單次會話模式，客戶提出訴求，系統(tǒng)搜索、總結(jié)和生成報告，本次會話即告結(jié)束， 對標的、持倉的分析和建議，記憶僅持續(xù)在十幾分鐘，且局限于大模型上下文窗口的長度。每一次服務都是一個獨立的“零點開始”。

因此，長期服務過程中形成的個性化環(huán)境和積累，至今仍處于空白。反觀之，如果能夠?qū)⒂洃浵到y(tǒng)與這兩個場景深度結(jié)合，我認為它將會在金融投研投顧領域引發(fā)一場業(yè)務模式上的巨大、革新性變革，這將對整個行業(yè)具有重大促進作用。

李志宇：感謝何老師的分享。在金融等嚴肅場景，記憶帶來的潛在商業(yè)化價值是顯而易見的。

現(xiàn)在我們將視角轉(zhuǎn)向娛樂化領域，王琰老師您在游戲相關智能體研究中，是何時開始意識到記憶不能僅僅依賴于單純的上下文，而需要進行系統(tǒng)化的設計？

王琰：我認為意識到這一點非常簡單：只要一開始進行游戲智能體的開發(fā)，就會立即意識到記憶的必要性。

最初，如果只是對話Agent，那么持續(xù)塞入幾百甚至上千輪的上下文信息是可行的。但游戲 Agent 的輸入是游戲的狀態(tài)信息，每一幀有每一幀有幾K 到幾十K token的長度，而游戲的幀率通常為每秒 15 到 30 幀。這意味著上下文窗口只能塞入一幀信息就幾乎飽和，不可能通過增加上下文窗口來容納所有的歷史幀信息。

因此，我們不可能通過增加上下文窗口的長度來容納所有的歷史幀信息。從工程化的角度來看，我們必須進行上下文工程。

大約在一兩年前，斯坦福大學的論文《Generative Agents》問世，我們試圖將其移植到游戲環(huán)境中。我們將游戲過程建模為一個馬爾可夫鏈，使得下一個時刻的行動必須基于當前時刻的狀態(tài)。同時將過去的行動等信息，以壓縮的方式注入到輸入提示詞中。這些工程工作大約在 2023 年底開始進行。

隨著工作的深入，我們逐漸意識到這個過程變得極其復雜，因為各個模塊之間需要傳輸大量的上下文、提示詞和歷史行為等信息。我們開始思考是否存在一條根本性的路線來解決這一問題。那時我們探索的方法是參數(shù)化記憶，希望將一個 Agent 所有的歷史行為都存儲到一個 LoRA 模塊中，并提出了 TempLora 的方法來實現(xiàn)。

正是從那時起，我開始從架構(gòu)層面進行關于長期記憶的研究探索。這是我意識到記憶必要性，并在工程和研究上進行探索的整個過程。

李志宇：從復雜度上看，游戲場景的世界模型模擬狀態(tài)確實是一個復雜度更高的應用場景。如果我們將視野進一步拓寬，當我們追求完成一個復雜的任務，而不僅僅是簡單的對話時，是訓練一個基座模型還是搭建一個 Agent 框架，兩者之間會產(chǎn)生非常明顯的差異。

針對 Agent 框架的設計，我想請教陳老師：從您的角度來看，設計一個長期、可持續(xù)更新的智能體記憶機制，與傳統(tǒng)的一次性模型訓練，其最大的不同點體現(xiàn)在何處？

陳思衡：當前，在大模型智能體領域，自演進和工具調(diào)用都是極其熱門的研究方向。您提出的長期、持續(xù)地使用并不斷調(diào)整自身以達到更強大的狀態(tài)的需求，與智能體的自演進理念高度契合，也是未來大模型或智能體進一步發(fā)展的關鍵。

自演進的核心在于記憶機制。智能體必須通過持續(xù)地總結(jié)成功經(jīng)驗、反思不足之處，從而實現(xiàn)不斷的迭代和提升。如果沒有記憶，智能體將無法凝練經(jīng)驗、無法反思，也就無法實現(xiàn)成長和自演進。

我認為，智能體記憶的實現(xiàn)在方式上與傳統(tǒng)大模型至少有兩個方面的不同：

首先是系統(tǒng)設計與外部交互。即在已訓練好的基座模型基礎上，讓其與外部存儲，包括數(shù)據(jù)庫、知識庫 或 RAG 存儲的大量外部信息進行交互。這種交互可以是偏向系統(tǒng)設計的工程方法，也可以是基于提示詞工程的方式。

第二是記憶能力的內(nèi)嵌訓練。這是一種更根本性 的方法，也可能更能解決實際問題：將操作記憶或訓練記憶的能力直接內(nèi)嵌到模型中，而非將其視為一個獨立的外部模塊。例如記憶張量去年 7 月份發(fā)布的 Memory3框架。

今天，一些基于推理模型加上工具調(diào)用進行訓練的智能體方法已經(jīng)出現(xiàn)，它們在推理過程中會反復調(diào)用工具進行信息查詢。我們可以設想，將其中 Web Search 等搜索工具替換為記憶的增加、更新、刪除和遺忘等相關工具。然后，訓練智能體在合適的時機，像使用 Web Search 功能一樣，自主地對其記憶進行恰當?shù)脑鰟h改查。

如果能實現(xiàn)這樣的功能，將能夠促使模型與外部存儲設備進行更深度的交互。

02

智能體記憶的深入探索：技術(shù)挑戰(zhàn)、模型架構(gòu)與算法路徑

李志宇：通過第一輪討論，我們基本明確了記憶的定義、與傳統(tǒng)方法的區(qū)別、組織方式及應用潛力。接下來，我們將進入更深入的探討：構(gòu)建記憶系統(tǒng)的具體技術(shù)細節(jié)與難點在哪里？哪些是至關重要的工程問題，哪些又是核心的算法問題？

何老師，從您的角度來看，在產(chǎn)業(yè)系統(tǒng)的實際落地過程中，引入記憶系統(tǒng)可能引發(fā)哪些技術(shù)和組織上的挑戰(zhàn)？同時，在您看來，記憶系統(tǒng)在金融行業(yè)中（投研、投顧）最有可能帶來的業(yè)務革新范式是什么？

何逸凡：在我印象中，產(chǎn)業(yè)界尚未形成體系化的記憶系統(tǒng)概念，但在技術(shù)層面，產(chǎn)業(yè)界已研究了大量與記憶相關的技術(shù)。

我可以列舉幾個與記憶系統(tǒng)相關的產(chǎn)業(yè)應用和面臨的挑戰(zhàn)：

首先是知識庫與 RAG 系統(tǒng)的局限。大模型在產(chǎn)業(yè)界最廣泛的應用是 RAG 系統(tǒng)，即知識庫系統(tǒng)，包括企業(yè)知識庫、領域/產(chǎn)品知識庫等。這些系統(tǒng)雖然實用，但在產(chǎn)業(yè)界并未被關聯(lián)到“記憶”的概念，但它們應屬于記憶領域的一個子課題。

其次是業(yè)務知識資產(chǎn)的組織與管理。業(yè)務專家經(jīng)驗和最權(quán)威的業(yè)務知識往往存儲在業(yè)務系統(tǒng)代碼中。挑戰(zhàn)在于：如何系統(tǒng)地組織和管理這些存儲在代碼中的業(yè)務知識，并確保在 AI 服務業(yè)務流程時，能精確召回并隨上下文提供給大模型，以完成可控、可信的業(yè)務流程。

本質(zhì)上，RAG、業(yè)務知識資產(chǎn)組織、上下文工程都屬于記憶范疇，但在產(chǎn)業(yè)界被零散對待。這引出了一個疑問：記憶的范疇是否被過度擴大了？因此，對記憶系統(tǒng)進行明確的定義至關重要，以避免將所有非模型訓練問題都歸為記憶。

在技術(shù)挑戰(zhàn)方面，在連續(xù)的對話或規(guī)劃任務中，將全部歷史信息帶入上下文會導致上下文窗口過長，更嚴重的是會干擾模型的認知，例如在多步驟召回中導致決策混亂。

在金融等領域，實時性至關重要。如果對話歷史中引用了實時行情，后續(xù)評判時，歷史中的該數(shù)據(jù)必須根據(jù)實時行情進行更新。這意味著歷史記憶本身是動態(tài)變化的。用戶可能會要求返回到前幾輪的狀態(tài)重新開始，這對記憶系統(tǒng)提出了工程挑戰(zhàn)。

雖然這些問題都可以用樸素的工程方法解決，但產(chǎn)業(yè)界缺乏體系化的理論和方法論來研究這些問題。

在商業(yè)化挑戰(zhàn)與業(yè)務革新范式方面，目前，記憶系統(tǒng)尚未被視為一個獨立的收費單元。如何將記憶系統(tǒng)本身作為一個可付費的組件進行銷售是一個商業(yè)化挑戰(zhàn)。

將運維或產(chǎn)品知識作為公共知識在行業(yè)云中進行知識庫訂閱的商業(yè)模式已存在。未來，記憶系統(tǒng)能否深化為一種 SaaS 服務模式？例如，投顧和投研專家在云端沉淀其專業(yè)知識和記憶，并在權(quán)限允許下互相融合，從而升級服務能力。

我個人認為最有可能帶來業(yè)務革新的范式是：個性化、伴隨成長的投顧和投研系統(tǒng)。即構(gòu)建投顧/投研專家的“分身”。這些分身能夠掌握客戶或研究員過去的習慣和歷史，提供貼身、定制化的服務。這不僅是財富服務模式的升級，也是商業(yè)模式的重大變化。盡管被稱為 Agent，但其核心驅(qū)動力正是記憶系統(tǒng)。我個人對此前景充滿信心和期待。

最后是關于記憶與存儲系統(tǒng)的區(qū)別。存儲系統(tǒng)本質(zhì)上是被動的，它等待用戶或程序按規(guī)則調(diào)用。我個人認為，記憶與存儲系統(tǒng)的核心區(qū)別在于：記憶是面向主動召回（Active Retrieval）的一種存儲系統(tǒng)。 如果未來的存儲系統(tǒng)都能實現(xiàn)面向主動召回的機制，那么它們是否都會演變?yōu)橹悄軙r代的記憶系統(tǒng)？我認為這是一種可能性。

李志宇：非常感謝何老師詳盡的分享。從應用場景來看，具備完整記憶系統(tǒng)的陪伴性、成長性投資系統(tǒng)，可能預示著一種全新的服務形態(tài)和業(yè)務變革。

接下來，我想請教王琰老師，您在探索無限長記憶的基座模型時，遇到了哪些關鍵的技術(shù)瓶頸？您對這些瓶頸和未來可能的解決技術(shù)路線有何看法？

王琰 ：當前的 Transformer 架構(gòu)存在一個典型問題，即記憶與推理不分家，兩者本質(zhì)上都由模型的參數(shù)來完成。這導致了一個兩難困境：如果通過充分訓練記錄過去知識，模型的通用能力會迅速下降（災難性遺忘）；如果訓練不足，對知識的記憶又不夠牢固。

令人欣喜的是，我最近看到了 Apple 的一項工作，成功實現(xiàn)了記憶與推理的分離：采用一個較小的推理模型和一個非常大的記憶模型，這與人類的快思考與慢思考模式有相似之處。

盡管模型架構(gòu)已改進，但我們的訓練算法如 Adam 優(yōu)化器等仍是基礎配置，這也加劇了訓練的瓶頸。Google 的 Nested Learning 或 HOPE 模型是最近的一個有趣的方向，他們直接將優(yōu)化器本身作為可學習的參數(shù)，在推理過程中不斷地優(yōu)化優(yōu)化器，再由優(yōu)化器來改變模型的參數(shù)。

此外，當前的深度學習框架并非支持所有新型架構(gòu)，這導致許多不受主流框架支持的架構(gòu)很難進行大規(guī)模訓練。例如，我們曾嘗試開發(fā) RNN 和 Transformer 的混合架構(gòu)，由于底層問題效果不佳。有團隊通過解決底層架構(gòu)問題成功訓練了此類模型，提出了 AHN網(wǎng)絡，將 Mamba 或 RNN 這類模型用作長期記憶。這表明底層基礎設施的限制，使得缺乏 Infra支持 能力的團隊難以進行架構(gòu)研究。

最后，架構(gòu)研究還面臨非技術(shù)層面的挑戰(zhàn)。新架構(gòu)往往需要從零開始重新預訓練，但研究者往往缺乏足夠的資源。更現(xiàn)實的問題是，如果成果的模型效果無法超越主流模型，其論文關注度就會很低，導致研究者缺乏動力進行架構(gòu)創(chuàng)新。同時，公司組織架構(gòu)也存在挑戰(zhàn)：架構(gòu)研究團隊通常不是負責短期效果的基座模型團隊，缺乏大規(guī)模預訓練所需的資源和數(shù)據(jù)，而基座模型團隊的巨大壓力導致他們很難重兵投入新架構(gòu)的研究和探索。只有像 DeepSeek 這樣，研究與工程互通性極高的公司，在這方面才擁有巨大的便利性。

李志宇：確實，對于基模驅(qū)動的記憶增強優(yōu)化無論是對于組織難度、研發(fā)難度和投入產(chǎn)出的衡量，都是具備極大挑戰(zhàn)的。現(xiàn)在，我們從基座模型層面的Agent層面進行探討。我想請教陳老師，關于智能記憶體的組織方式，如果假設我們采用圖神經(jīng)網(wǎng)絡或時序模型表達記憶節(jié)點及其聯(lián)系，您在目前的研究中對于這類結(jié)構(gòu)有什么樣的思路和見解？

陳思衡：我相信智能體記憶應是一種多層級結(jié)構(gòu)，類似于計算機的存儲系統(tǒng)。類比繪制人物關系圖、思維導圖等人類記憶方式，我預想的結(jié)構(gòu)是：一個分層的圖結(jié)構(gòu)，其中每個層級組織成關系網(wǎng)絡，且層級之間存在關聯(lián)。

在圖神經(jīng)網(wǎng)絡中，節(jié)點代表概念或事件。為了快速查詢，我們需要利用節(jié)點嵌入。通過構(gòu)建圖結(jié)構(gòu)和有效的消息傳遞，可以確保相似或相互關聯(lián)的節(jié)點在嵌入層面具有較高的相似性，實現(xiàn)遠距離和異構(gòu)信息的關聯(lián)。這種結(jié)構(gòu)并非純粹靜態(tài)，回溯是動態(tài)過程。當提出粗略問題時，系統(tǒng)給出粗略結(jié)構(gòu)；提出細粒度問題時，系統(tǒng)進行細粒度縮放，深入記憶庫追蹤更細節(jié)的信息以完善回答。

李志宇：感謝思衡老師的回答，分析了類圖神經(jīng)網(wǎng)絡的記憶組織形態(tài)的優(yōu)勢。如果未來智能體要更像人類，實現(xiàn)更好的遺忘、更新和更準確的糾錯（例如人類記憶中的干擾或重構(gòu)機制），從算法研究路徑來看，您覺得我們應采取哪些可行的方法？

陳思衡：純粹從算法角度而言，我認為有以下幾個方面值得深入思考：

首先是整體多層級架構(gòu)。借鑒計算機組成的概念，我們需要一個多層級的架構(gòu)，類似于 CPU 使用越頻繁，存儲越小、讀取越快。在智能體中，通過結(jié)合參數(shù)記憶、上下文記憶和外部數(shù)據(jù)庫記憶形成分層記憶。根據(jù)場景需求，對不同層級的記憶進行分層追蹤，例如根據(jù)金融話題切換 LoRA 參數(shù)。

其次是遺忘與更新的量化指標。在遺忘和更新過程中，我們需要衡量哪些記憶仍然有信息量。可能需要定義類似于記憶熵或互信息等信息論概念，去量化評估記憶片段的重要性和信息量。

最后是有針對性的訓練與工具化。最終目標是讓模型達到非規(guī)則驅(qū)動的狀態(tài)。我們需要對模型進行訓練，使其像調(diào)用 Web Search 一樣，能夠不斷地從外部獲取所需信息。將外部信息獲取替換為對記憶的增、刪、改、查等工具。訓練智能體在合適的時間，自主地調(diào)用“添加”、“總結(jié)”或“刪除”等工具，對記憶進行操作，將這種能力內(nèi)嵌到模型中。

03

記憶的商業(yè)化路徑：金融、教育、醫(yī)療的模式升級

李志宇：在第三部分，我想進一步與各位老師探討未來的行業(yè)演變趨勢、模型進化的形態(tài)，以及記憶研究中的跨學科演進方向。

請教王琰老師，您認為基于基座模型驅(qū)動的無限長記憶研究方案，是否會成為未來智能體發(fā)展的關鍵轉(zhuǎn)折點？如果是，其背后的架構(gòu)和生態(tài)將是怎樣的？

王琰：我認為這是一個漸進發(fā)生的過程，而非突然的轉(zhuǎn)折點?；仡?2023 年，曾有觀點認為無限長的上下文（Context Window）可以解決所有問題，但現(xiàn)在看來上下文長度并非沒有限制。因此，如果我們的記憶能夠?qū)崿F(xiàn)無限長，我們是否可以重新提出一個觀點：將所有訓練數(shù)據(jù)直接存儲在模型的記憶中，其效果是否能等同甚至優(yōu)于直接訓練？鑒于現(xiàn)在模型即智能體的概念日益普及，這無疑是一個必然的趨勢。

我不敢妄下斷言，但我可以提出兩個我確信一定會發(fā)生的架構(gòu)變化：

首先是記憶與推理的解耦（Decoupling）。兩者必然會位于兩個不同的參數(shù)區(qū)域。未來必然會有一個只包含常識的推理模型，其尺寸可能比現(xiàn)有大模型更小；同時，會有一個負責記憶的更大模型。這個記憶模型在存儲上尺寸會大很多，但并非在每一個 Token 推理時都需要被調(diào)用。記憶與推理分離的架構(gòu)，是未來的必然趨勢。

其次是推理時訓練（Inference-Time Training）。即前向推理過程中參數(shù)的動態(tài)變化?，F(xiàn)在已有許多模型采納了這一思想，包括 RNN 模型、TTT 架構(gòu)和 Google 的 HOPE 模型。毋庸置疑，就像人類在生命過程中不斷變化一樣，模型也應具備在其生命周期中隨著經(jīng)歷而不斷變化的能力，其參數(shù)中必然有一部分是可變的。目前以我的能力判斷，這兩個趨勢是較為確定的。

李志宇：感謝王老師的分享。接下來我想請教何老師。從您的產(chǎn)業(yè)視角來看，未來 3 到 5 年內(nèi)，記憶智能體最有可能在哪些行業(yè)實現(xiàn)更大的突破？同時，如果將記憶服務視為一種未來的商業(yè)模式，您認為這個模式中最關鍵的要素可能是什么？

何逸凡：記憶系統(tǒng)在產(chǎn)業(yè)界的應用，與新一代 AI 在產(chǎn)業(yè)界的滲透趨勢是同步的。當前 AI 發(fā)展日新月異，但在產(chǎn)業(yè)界，整體上仍處于 ROI 為負的狀態(tài)，產(chǎn)業(yè)紅利尚未充分釋放。但這預示著 AI 發(fā)展的下一波重點，除了基礎研究外，將是產(chǎn)業(yè)紅利的釋放，即 AI 在產(chǎn)業(yè)界的實際應用研究。記憶系統(tǒng)將是其中的一個重要方向。

在產(chǎn)業(yè)突破領域，我判斷：

金融行業(yè)最先改變的是對客系統(tǒng)，例如客服演變?yōu)闃I(yè)務系統(tǒng)，營業(yè)廳演變?yōu)闋I銷系統(tǒng)。但金融的內(nèi)核（交易）不會被 AI 驅(qū)動。

教育行業(yè)，我認為具有顛覆性的潛力。AI 可以實現(xiàn)高度個性化的記憶系統(tǒng)，且可能對教育模式的內(nèi)核產(chǎn)生顛覆性變化，即教育的“芯片”被更換。

醫(yī)療行業(yè)也將面臨內(nèi)核被更換的可能性，通過將專業(yè)專家的經(jīng)驗參數(shù)化到大模型中，未來可能擁有大部分醫(yī)生的知識經(jīng)驗。

在商業(yè)模式與架構(gòu)思考方面，技術(shù)上，記憶與推理的分離是一個重要趨勢。但產(chǎn)業(yè)界面臨一個核心未解問題：未來的記憶服務模式是采用集中式巨型模型（將所有記憶參數(shù)化，參數(shù)占比 90%甚至 100%），還是端側(cè)小模型 + 大量外部記憶（參數(shù)占比 30%，外部存儲占 70%）？這兩種路線是否會并存？這是一個亟待回答的問題。

從我工作來看，我最確認的關鍵要素是個性化的投顧和投研系統(tǒng)，即能夠伴隨客戶成長的投顧系統(tǒng)，或投研專家的“分身”，這將是財富服務模式的升級和商業(yè)模式的重大變化。

李志宇：感謝何老師的分享。從產(chǎn)業(yè)角度來看，未來發(fā)展記憶系統(tǒng)，關鍵在于如何將記憶切實地轉(zhuǎn)化為資產(chǎn)，以實現(xiàn)價值重構(gòu)，并找到潛在的商業(yè)化方向，例如金融的對客場景，以及教育、醫(yī)療等可能發(fā)生內(nèi)核變革的行業(yè)。

接下來我想請問下陳老師：從學術(shù)研究和系統(tǒng)應用融合的角度來看，未來智能體要實現(xiàn)跨學科協(xié)作，例如融合認知科學、神經(jīng)科學、機器學習、系統(tǒng)工程等，哪些方面是您認為最值得投入的？此外，展望未來，如果智能體具備情境交互、協(xié)作和記憶的能力，可能會帶來哪些系統(tǒng)化的改變？這些改變對現(xiàn)有系統(tǒng)（如 MemOS）能帶來哪些啟示？

陳思衡：關于跨學科合作，我認為認知科學、神經(jīng)科學等底層研究可以帶來啟發(fā)，但也帶來一定的偏差。人類記憶并非完美體系，完全照搬或使智能體趨向于人，可能并非最優(yōu)解。我個人認為，智能體的設計和記憶機制優(yōu)化，仍應主要面向具體的應用場景和任務需求，這本質(zhì)上是一個工程性問題，需要做好工程上的迭代優(yōu)化。

在情境交互與協(xié)作方面，分人機協(xié)作和機器協(xié)作兩種類型。

情境協(xié)作可以使智能體成為親密的 AI 助手。為了貼合人的喜好，智能體需要提升情感和偏好洞察、具備深度的多模態(tài)能力，并需要主動觀察，而非被動接收輸入，從而產(chǎn)生更多的交互性記憶。

在多智能體協(xié)作中，記憶共享是至關重要的一環(huán)。要實現(xiàn)智能體作為一個組織（Organization） 運作，就需要 Agent 之間能夠相互共享記憶、更好地組織和共享上下文（Context），從而實現(xiàn)更強大的調(diào)度和能力。

對于 MemOS等記憶系統(tǒng)的啟示，未來可以從以下方面提升：記憶組織結(jié)構(gòu)應具備更多的關系和多層級結(jié)構(gòu)； 模型對記憶工具（增刪改查）的調(diào)度能力應是原生化的，能自然地調(diào)用工具進行動態(tài)管理；未來記憶系統(tǒng)需支持語音、圖像、視頻等多模態(tài)數(shù)據(jù)，以融入人的生活情境；引入如對用戶情緒的理解等主觀感受，使其更懂人性。

04

總結(jié)、問答與未來展望

李志宇：通過今天的討論，我們從基礎理論、工程機制、產(chǎn)業(yè)落地，到未來的趨勢等多個維度探討了記憶的關鍵點，一致認為：記憶已成為下一代智能體的最核心變量，更是 AI 未來演化的必經(jīng)之路。

由于時間關系，我們將選取最后兩個觀眾提問問題，邀請各位老師一起討論回答。

第一個問題：如何區(qū)分“記憶”和“上下文工程”？

王琰：當前并沒有一個嚴格的區(qū)分標準，我只能提供我的區(qū)分方式：

• 記憶： 是模型主動的行為。

• 上下文工程： 是人類強加給模型的，是人類設定的流程。

因此，KV Cache、RNN 中的 Hidden States、推理時訓練以及模型自發(fā)起的增刪改查，我認為它們屬于記憶；而人類定義的 Workflow，則屬于上下文工程。

李志宇：王老師將概念解釋得非常清楚。接下來看第二個問題：未來的一年內(nèi) Agent Memory 會出現(xiàn)哪些重要的突破？

陳思衡：正如剛才提到的，我認為以下幾點可能出現(xiàn)重要突破：

首先是多模態(tài)記憶，記憶的模態(tài)將不僅限于文本，更多的多模態(tài)大模型和相關的記憶形態(tài)將成為研究重點；其次是原生工具化能力，我們需要將對記憶的增刪改查能力，像工具調(diào)用一樣訓練到模型內(nèi)部，使其能夠更適配、更充分地調(diào)用各種記憶編輯工具，進行交互；以及表示形態(tài)的演進，可能會出現(xiàn)針對 Memory 的表示形態(tài)的演進，例如更好的多層級結(jié)構(gòu)架構(gòu)，這也是非常值得研究的地方。

李志宇：感謝陳老師。這意味著 Memory 能夠處理的模態(tài)范圍以及其上下游的觸達路徑都將有更深遠的突破。

通過前面三個部分的總結(jié)，相信大家對智能記憶體有了很好的了解。最后，我們有請各位嘉賓用一句話來總結(jié)一下自己對未來記憶增強技術(shù)的看法或觀點。

何逸凡：期望記憶的成熟和發(fā)展，能夠為 AI 在產(chǎn)業(yè)界的突破和完成產(chǎn)業(yè)紅利的釋放，成為最大的驅(qū)動引擎。

王琰：我希望人的能力不要成為制約大模型能力的一個瓶頸。現(xiàn)在很多記憶設計都是照著擬人化，這就好比要求飛機必須像鳥一樣扇翅膀，這是一種倒退而非進步。我希望大模型擁有比人類更強的記憶能力，而不是僅僅一味地擬人化記憶。

陳思衡：我更多是寄語我自己和組里的同學。我年初就看到了 Agentic Memory 是一個非常好的方向，希望我們能在一年之內(nèi)發(fā)表更多更好的研究成果。

李志宇：再次感謝三位老師的精彩分享。希望今天關于智能體的深入討論，能夠為理解下一代智能體的形態(tài)成為一個重要的起點，讓 AI 真正具備跨時間的積累、理解和成長能力，并在個性化層面呈現(xiàn)更好的發(fā)展。未來，我們期待共同推進把記憶從概念變成能力，從能力變成系統(tǒng)，最終讓智能體走向產(chǎn)業(yè)化和價值化。

謝謝大家，今晚圓桌結(jié)束。

完整視頻觀看地址 :

https://youtu.be/kdJ_BI_h1lg

未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。