你以為 AI 在學(xué)習(xí)，實(shí)際上，每次對(duì)話它都在重學(xué)一遍。

你或許也有這樣的體驗(yàn)：在 NotebookLM、ChatGPT 上傳一系列文件，LLM 處理并生成答案。但每次 LLM 都要“從 0 開(kāi)始”挖掘知識(shí)，尤其是當(dāng)達(dá)到使用上限或結(jié)束會(huì)話時(shí)，就像給項(xiàng)目做了一次“記憶清空”。

其本質(zhì)仍然是檢索增強(qiáng)生成（RAG）。為了讓它記住建立的架構(gòu)細(xì)節(jié)，只能用更多的 token 和時(shí)間來(lái)重建 AI 的上下文。

現(xiàn)在，OpenAI 創(chuàng)始成員之一、特斯拉前 AI 總監(jiān) Andrej Karpathy 通過(guò)構(gòu)建一個(gè)持久的、由 LLM 維護(hù)的項(xiàng)目記錄，提出了一套全新的知識(shí)庫(kù)方案 LLM Wiki。

該方案比典型的企業(yè)級(jí)解決方案（向量數(shù)據(jù)庫(kù)和 RAG 管道）更簡(jiǎn)單，也更優(yōu)雅，能夠復(fù)制粘貼到個(gè)人 Agent 中（例如 OpenAI Codex、Claude Code、OpenCode/Pi 等）。在這個(gè)系統(tǒng)中，LLM 本身充當(dāng)?shù)慕巧侨殹爸R(shí)庫(kù)管理員”：積極編譯、檢查和鏈接類 Markdown（.md）維基百科式文檔。

（來(lái)源：https://gist.github.com/karpathy/442a6bf555914893e9）

Karpathy 將大量 token 預(yù)算用于結(jié)構(gòu)化知識(shí)構(gòu)建，而非重復(fù)生成樣板代碼，從而為“第二大腦”的下一階段繪制藍(lán)圖：一個(gè)能夠自我修復(fù)、可審計(jì)且完全人類可讀的知識(shí)體系。

Karpathy 指出，“該方法在約 100 篇文章、40 萬(wàn)字規(guī)模下的效率顯著優(yōu)于傳統(tǒng) RAG，且完全人類可讀、可審計(jì)，基本擺脫了供應(yīng)商鎖定。”

盡管 Karpathy 稱這套方案現(xiàn)在還處于靠“一堆蹩腳腳本”實(shí)現(xiàn)的階段，但已有企業(yè)家嗅到了商機(jī)，有企業(yè)家稱：誰(shuí)能把這個(gè)功能打包成普通用戶都能用的東西，誰(shuí)就把握了巨大商機(jī)。一款應(yīng)用即可與你常用工具、書(shū)簽、閱讀應(yīng)用、播客應(yīng)用及社交媒體優(yōu)質(zhì)討論內(nèi)容同步。

（來(lái)源：https://x.com/karpathy/status/2039805659525644595）

在 LLM Wiki 方案中，LLM 并非僅僅在查詢時(shí)從原始文檔中檢索信息，而是逐步構(gòu)建并維護(hù)一個(gè)持久化的維基：一個(gè)結(jié)構(gòu)化的、相互鏈接的 Markdown 文件集合，它位于用戶和原始數(shù)據(jù)源之間。

當(dāng)用戶添加新的數(shù)據(jù)源時(shí)，LLM 不僅會(huì)為其進(jìn)行索引以便后續(xù)檢索，還會(huì)讀取、提取關(guān)鍵信息，并將其整合到現(xiàn)有的 Wiki 中更新頁(yè)面，修訂主題摘要，指出新數(shù)據(jù)與舊說(shuō)法相矛盾之處，從而不斷修正或強(qiáng)化已有知識(shí)體系。知識(shí)被編譯后可持續(xù)復(fù)用，無(wú)需在每次查詢時(shí)重新推導(dǎo)。

關(guān)鍵在于，LLM Wiki 是一個(gè)持續(xù)更新、不斷完善的資源。交叉引用已然建立，矛盾之處已被標(biāo)記，綜合信息則反映了用戶閱讀過(guò)的所有內(nèi)容。你添加的每個(gè)來(lái)源、提出的每個(gè)問(wèn)題都會(huì)讓 LLM Wiki 的內(nèi)容更加豐富。

這樣做的好處是，用戶幾乎從不（或很少）親自編寫(xiě) Wiki，所有內(nèi)容都由 LLM（知識(shí)庫(kù)管理員）編寫(xiě)和維護(hù)，其一次可處理約 15 個(gè)文件。你只需要尋找資料、主動(dòng)探索和提出正確的問(wèn)題；而 LLM 則負(fù)責(zé)所有繁瑣的工作：總結(jié)、交叉引用、歸檔和信息整理，這些工作使知識(shí)庫(kù)能夠長(zhǎng)期發(fā)揮作用。

Karpathy 稱，他一邊打開(kāi) Agent，一邊打開(kāi) Obsidian。LLM 會(huì)根據(jù)他們的對(duì)話進(jìn)行編輯，用戶能夠?qū)崟r(shí)瀏覽結(jié)果，包括點(diǎn)擊鏈接、查看圖表視圖、閱讀更新后的頁(yè)面。在這種情景下，Obsidian 是集成開(kāi)發(fā)環(huán)境（IDE）；LLM 是程序員；維基則是代碼庫(kù)。

綜合來(lái)看，系統(tǒng)架構(gòu)分三個(gè)不同的階段運(yùn)行。

數(shù)據(jù)導(dǎo)入：原始資料，例如研究論文、GitHub 代碼庫(kù)、數(shù)據(jù)集和網(wǎng)絡(luò)文章被導(dǎo)入到 raw/ 目錄中。為了將網(wǎng)頁(yè)文章轉(zhuǎn)換為 .md 文件，Karpathy 使用了 Obsidian Web Clipper 擴(kuò)展，他還設(shè)置了一個(gè)快捷鍵，將所有相關(guān)的圖片下載到本地，以便 LLM 可通過(guò)視覺(jué)功能引用它們。

編譯步驟：這是架構(gòu)中的核心創(chuàng)新點(diǎn)。LLM 不僅僅是對(duì)文件進(jìn)行索引，而是對(duì)文件進(jìn)行“編譯”。它讀取原始數(shù)據(jù)并生成結(jié)構(gòu)化的維基百科頁(yè)面，包括生成摘要、識(shí)別關(guān)鍵概念、撰寫(xiě)百科全書(shū)式條目，以及在相關(guān)概念之間創(chuàng)建“反向鏈接”。

主動(dòng)維護(hù)（代碼校對(duì)）：該系統(tǒng)并非一成不變。Karpathy 描述了運(yùn)行“健康檢查”或“代碼校對(duì)”的過(guò)程，LLM 會(huì)掃描 Wiki 以查找不一致之處、缺失數(shù)據(jù)或新連接。這相當(dāng)于一個(gè)更動(dòng)態(tài)的、能夠“自我修復(fù)”的知識(shí)庫(kù)。

（來(lái)源：https://x.com/himanshustwts/status/2039811786602607）

LLM Wiki 的應(yīng)用場(chǎng)景廣泛，競(jìng)爭(zhēng)分析、盡職調(diào)查、旅行計(jì)劃、課程筆記、興趣愛(ài)好深度研究……任何需要持續(xù)積累知識(shí)，并且希望有序整理的場(chǎng)景都可以用到它。

個(gè)人成長(zhǎng)：追蹤個(gè)人目標(biāo)、健康、心理、自我提升，可記錄日記、文章、播客筆記，并隨著時(shí)間的推移構(gòu)建一個(gè)結(jié)構(gòu)化的自我形象。

深度研究：對(duì)某個(gè)主題進(jìn)行為期數(shù)周或數(shù)月的深入研究，例如閱讀論文、文章、報(bào)告，并逐步構(gòu)建一個(gè)包含不斷發(fā)展的論點(diǎn)的綜合維基。

讀書(shū)筆記：邊讀邊整理章節(jié)，創(chuàng)建頁(yè)面記錄人物、主題、情節(jié)線索以及它們之間的聯(lián)系。最終，你將擁有一個(gè)內(nèi)容豐富的配套維基。以托爾金百科（Tolkien Gateway）為例，其歷經(jīng)數(shù)年由志愿者社區(qū)構(gòu)建而成，涵蓋人物、地點(diǎn)、事件、語(yǔ)言等。你可以一邊閱讀，一邊構(gòu)建類似的內(nèi)容，而 LLM 則負(fù)責(zé)所有的交叉引用和維護(hù)工作。

業(yè)務(wù)/團(tuán)隊(duì)：一個(gè)由 LLM 維護(hù)的內(nèi)部 Wiki，內(nèi)容來(lái)源于 Slack 消息、會(huì)議記錄、項(xiàng)目文檔和客戶電話，可能也會(huì)有人工參與審核更新。Wiki 之所以能保持更新?tīng)顟B(tài)，是因?yàn)?LLM 承擔(dān)了重要使命——那些團(tuán)隊(duì)中其他人都不愿意做的維護(hù)工作。

目前，已有開(kāi)發(fā)者將 LLM Wiki 模式擴(kuò)展到 OpenClaw 管理的 10 個(gè) Agent 系統(tǒng)中，通過(guò) Hermes（由 Nous Research 訓(xùn)練用于結(jié)構(gòu)化評(píng)估）作為獨(dú)立審核關(guān)卡對(duì)編譯后的文章進(jìn)行評(píng)分驗(yàn)證，以確保只有準(zhǔn)確的內(nèi)容進(jìn)入永久知識(shí)庫(kù)，再生成簡(jiǎn)報(bào)回饋給各個(gè) Agent，從而形成了一個(gè)“產(chǎn)生-整理-驗(yàn)證-反饋”的閉環(huán)。

（來(lái)源：X）

Karpathy 將 Markdown 文件看作“真理之源”，其可避免向量嵌入的“黑箱”問(wèn)題。AI 給出的每一條結(jié)論都可以追溯到特定的 .md 文件，而這些文件可以由人閱讀、編輯或刪除。

LLM Wiki 方案探索的未來(lái)目標(biāo)是合成數(shù)據(jù)生成和微調(diào)。隨著 Wiki 的增長(zhǎng)，數(shù)據(jù)通過(guò)持續(xù)的 LLM 代碼校對(duì)變得越來(lái)越“純凈”，有望成為更完美的數(shù)據(jù)訓(xùn)練集。

LLM 不再僅僅讀取 Wiki 的上下文窗口，在此基礎(chǔ)上，用戶最終有望在 Wiki 本身上對(duì)模型進(jìn)行微調(diào)，從而構(gòu)建一個(gè)更小、更高效的模型。這將使 LLM 通過(guò)模型權(quán)重掌握個(gè)人知識(shí)庫(kù)，把研究項(xiàng)目真正轉(zhuǎn)化為專屬的定制化智能。

總體來(lái)說(shuō)，這種方案是一種新的理念：通過(guò)擁有自身記憶的主動(dòng)智能體，避免了以往“單次”人工智能交互的局限性。

對(duì)于個(gè)人研究人員而言，這意味著有望告別 LLM“失憶”，轉(zhuǎn)而建立更長(zhǎng)期的關(guān)系。對(duì)企業(yè)而言，這預(yù)示著原始數(shù)據(jù)湖正在向編譯后的知識(shí)資產(chǎn)轉(zhuǎn)變�；蛟S，這也意味著我們正在進(jìn)入 AI 自主知識(shí)庫(kù)時(shí)代。

參考資料：

https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f

https://x.com/karpathy/status/2039805659525644595

https://x.com/himanshustwts/status/2039811786602607052

https://x.com/jumperz/status/2040166448492900356

https://venturebeat.com/data/karpathy-shares-llm-knowledge-base-architecture-that-bypasses-rag-with-an

排版：劉雅坤