大家好，我是Ai學(xué)習(xí)的老章

經(jīng)常在外沖浪，看到很多優(yōu)秀的技術(shù)文章，獨(dú)享不如分享

我會(huì)使用DeepSeek-R1+科技類翻譯大師prompt翻譯出來(lái)，大家一起學(xué)習(xí)

如有翻譯偏差，請(qǐng)大家指教。原文[1]

演講調(diào)皮的標(biāo)題。

本自我介紹，提到他的基地在日本 Musashino 市，那里有吉卜力博物館。他目前在 Answer.AI 從事機(jī)器學(xué)習(xí)研發(fā)。他開(kāi)腔回到自己廣為流傳的個(gè)人照片，稱其為“單圖”，一張五年前的照片如今已經(jīng)獨(dú)立成章。他還提到了自己最近在 ModernBERT 上的工作以及與 ColBERT 相關(guān)的細(xì)節(jié)，承諾稍后會(huì)詳細(xì)討論。

本討論了關(guān)于“RAG 已死”的爭(zhēng)議性觀點(diǎn)。本解釋說(shuō)，這一說(shuō)法僅適用于一種非常狹窄且經(jīng)常被誤解的 RAG 定義，這種定義是由營(yíng)銷活動(dòng)普及開(kāi)來(lái)的。

2023 年很多人了解的“RAG”：這種簡(jiǎn)單的單向量語(yǔ)義搜索方法可能已經(jīng)過(guò)時(shí)。然而，檢索這一基本概念仍然 relevant。

Ben 拆解了這個(gè)縮寫(xiě)：RetrievalAugmentedGeneration。他指出，最初的 RAG 論文實(shí)際上描述的過(guò)程與今天常見(jiàn)的理解大不相同，但名稱卻保留了下來(lái)。其核心流程很簡(jiǎn)單：你以某種方式檢索文檔并將其傳遞給生成模型以增強(qiáng)其輸出。他認(rèn)為，總是需要向模型提供它們未經(jīng)過(guò)訓(xùn)練的外部信息。

這張幻燈片展示了一個(gè)標(biāo)準(zhǔn)的簡(jiǎn)化 LLM 調(diào)用：輸入一個(gè)提示，LLM 生成響應(yīng)，然后輸出結(jié)果。這是理解 RAG 如何改變流程的基礎(chǔ)。

使用 RAG 時(shí)，會(huì)插入一個(gè)新的步驟：“上下文文檔”。本強(qiáng)調(diào)，獲取這些文檔的“方法”并不影響定義。如果你在上下文窗口中添加了外部文檔以增強(qiáng)生成內(nèi)容，你就是在進(jìn)行 RAG。即使手動(dòng)復(fù)制粘貼文本到提示中，從技術(shù)上講，這也是一種形式的 RAG。

本指出，人們常用“RAG”來(lái)指代一種簡(jiǎn)單的暴力搜索，即基于單一向量的語(yǔ)義搜索。這種定義在 2023-2024 年由營(yíng)銷大力推動(dòng)，因?yàn)樗子阡N售。他認(rèn)為，因?yàn)楝F(xiàn)在使用了更好的檢索工具就宣稱 RAG 已經(jīng)死亡，這就像說(shuō)因?yàn)楝F(xiàn)在使用了 CSS，HTML 就已經(jīng)死亡一樣。

本解釋了單向量搜索的局限性。它必須將整個(gè)文檔或片段的意義壓縮成一個(gè)相對(duì)較小的向量（例如，約1000維）。這種壓縮不可避免地會(huì)導(dǎo)致信息丟失。模型是根據(jù)其訓(xùn)練數(shù)據(jù)（如必應(yīng)搜索數(shù)據(jù)）訓(xùn)練的，優(yōu)先處理它認(rèn)為在將查詢與文檔匹配時(shí)有用的信 息，而這些信息很可能與你的特定領(lǐng)域數(shù)據(jù)（例如，一個(gè)獨(dú)特的代碼庫(kù)）不一致。正是這種不匹配使得通用嵌入模型在代碼檢索等專門(mén)領(lǐng)域中常常難以應(yīng)對(duì)。

本解決了一個(gè)論點(diǎn)，即巨大的上下文窗口（例如，Gemini 的 1M 或假設(shè)的 10M 令牌窗口）使 RAG 變得過(guò)時(shí)。他用了一個(gè)類比：就像 1999 年有人聲稱硬盤(pán)已經(jīng)死亡，因?yàn)楹芸炀蜁?huì)有 512MB 的 RAM 條。

實(shí)際情況是，即使是 10M 令牌對(duì)于許多企業(yè)的知識(shí)庫(kù)或大型數(shù)據(jù)集來(lái)說(shuō)也是一小部分空間。此外，將所有內(nèi)容都塞進(jìn)每次查詢的上下文中的成本和低效率使其不切實(shí)際。

檢索永遠(yuǎn)不會(huì)消失。LLM 的權(quán)重在某個(gè)時(shí)間點(diǎn)被凍結(jié)。它們不知道你的新內(nèi)部項(xiàng)目、更新后的公司政策，或者你想要嘗試的“真的很酷的新 fasthtml[2] 庫(kù)”。對(duì)每一條新信息進(jìn)行訓(xùn)練是復(fù)雜且低效的。

Ben 認(rèn)為我們也不想讓模型永久存儲(chǔ)所有這些一次性信息；我們希望它們的有限權(quán)重空間用于智能，而不僅僅是知識(shí)存儲(chǔ)。檢索是注入這些外部、最新信息的必要手段。

本總結(jié)到目前為止的要點(diǎn)：

• RAG 并不會(huì)消失。

• 簡(jiǎn)單的方法（如基本的余弦相似度）已經(jīng)顯示出其局限性，推動(dòng)我們向更好的、更復(fù)雜的檢索技術(shù)發(fā)展。

• RAG 是向模型提供最新信息的最佳方式。

• 長(zhǎng)的上下文窗口不能替代檢索。文氏圖說(shuō)明了“死亡”的是那種用單一向量 brute-force 強(qiáng)制一切的簡(jiǎn)單想法，而不是 RAG 本身。

經(jīng)典本 - 更多驚喜即將來(lái)臨！

關(guān)于更好的檢索方法，還有更多可以討論的。

本又回到了他的類比。雖然更多的 RAM 沒(méi)有殺死硬盤(pán)，但 SSD 確實(shí)做到了（對(duì)于消費(fèi)者而言）。SSD 只不過(guò)是一種“更好的硬盤(pán)”。同樣地，“2023 年的 RAG”被殺死的原因僅僅是更好的 RAG（具體來(lái)說(shuō)，是更好的檢索形式）。

為了展示檢索的廣度，Ben 列出了各種工具：grep、wget、代理搜索、BM25、ColBERT、網(wǎng)絡(luò)搜索，甚至推理。這些都是有效的檢索方法。最好的方法通常是將它們結(jié)合起來(lái)使用。

Ben 承認(rèn)檢索技術(shù)的復(fù)雜景觀已經(jīng)不再像過(guò)去那樣簡(jiǎn)單。

制作不易，如果這篇文章覺(jué)得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見(jiàn)！

參考資料

原文: https://hamel.dev/notes/llm/rag/p1-intro.html

fasthtml: https://www.fastht.ml/