在檢索增強(qiáng)生成（RAG）系統(tǒng)中，稠密檢索器（Dense Retriever）負(fù)責(zé)從海量文檔庫中快速找出與查詢語義最相關(guān)的段落，是整個系統(tǒng)的核心基礎(chǔ)組件。

然而，訓(xùn)練一個高質(zhì)量的稠密檢索器并不容易。對比學(xué)習(xí)（Contrastive Learning）長期以來是這一領(lǐng)域的主流范式，但存在幾個根本性局限：

• 嚴(yán)重依賴人工標(biāo)注數(shù)據(jù)：需要精心構(gòu)造查詢 - 文檔正負(fù)樣本對，在代碼、法律等專業(yè)領(lǐng)域標(biāo)注成本極高；
• 難負(fù)樣本的困境：隨機(jī)負(fù)樣本信號太弱，難負(fù)樣本挖掘又引入額外復(fù)雜性；
• 與語言模型預(yù)訓(xùn)練目標(biāo)割裂：對比損失與主流大模型的預(yù)訓(xùn)練范式（下一詞預(yù)測）天然不兼容，難以充分復(fù)用預(yù)訓(xùn)練知識。

這些問題在專業(yè)領(lǐng)域和推理密集型檢索場景下尤為突出。能否找到一條更自然、更統(tǒng)一的檢索器訓(xùn)練路徑？來自德國達(dá)姆施塔特工業(yè)大學(xué)（TU Darmstadt）的蔡豐宇及其來自華盛頓大學(xué)、卡內(nèi)基梅隆大學(xué)、微軟和騰訊 AI 實(shí)驗(yàn)室的合作者給出了一個優(yōu)雅的答案 -Revela：Dense Retriever Learning via Language Modeling，并憑借這一回答斬獲ICLR 2026 Oral（約 1.1% 錄取率） 和FrontierIR @ AAAI 2026 最佳論文獎

• 論文鏈接：https://openreview.net/forum?id=e7pAjJZJWb
• 代碼鏈接：https://github.com/TRUMANCFY/Revela
• 模型鏈接：https://huggingface.co/trumancai/Revela-3b

核心思路：讓檢索「像語言模型一樣學(xué)習(xí)」

Revela 的核心洞察在于：將稠密檢索器的訓(xùn)練目標(biāo)統(tǒng)一到語言建?？蚣苤?。

語言模型（LM）通過 "預(yù)測下一個 token" 來建模 token 之間的依賴關(guān)系。Revela 將這一思路類比到檢索：如果說 LM 建模的是 token 之間的依賴，那么檢索器建模的就是文本塊（chunk）之間的依賴

具體而言，Revela 引入了一種批內(nèi)注意力機(jī)制（In-batch Attention）：在語言建模時，一個序列的下一詞預(yù)測不僅條件于自身上文，還通過檢索器計(jì)算的相似度權(quán)重，動態(tài)地參考批次中其他相關(guān)文檔。如圖 1 中，紅色文本塊在預(yù)測下一詞時 "參考" 了語義相近的紫色文本塊，這一過程反過來驅(qū)動檢索器提高兩者之間的相似度分?jǐn)?shù)。檢索器的相似度分?jǐn)?shù)就此直接嵌入語言建模的優(yōu)化目標(biāo)，實(shí)現(xiàn)檢索器與語言模型的聯(lián)合端到端訓(xùn)練，無需任何人工標(biāo)注的查詢 - 文檔對

圖 1：Revela 訓(xùn)練框架。檢索器相似度分?jǐn)?shù)作為批內(nèi)注意力權(quán)重，與語言模型聯(lián)合端到端訓(xùn)練。紅、紫序列中高亮片段展示了檢索器如何學(xué)會關(guān)聯(lián)語義相近的文本塊。

這一設(shè)計(jì)帶來了三個關(guān)鍵優(yōu)勢：

• 訓(xùn)練目標(biāo)與預(yù)訓(xùn)練高度一致：語言建模正是大模型預(yù)訓(xùn)練所采用的目標(biāo)，Revela 與之天然對齊，能充分激活預(yù)訓(xùn)練模型中已有的語義理解能力。
• 完全自監(jiān)督，無需標(biāo)注：原始文本自身的上下文關(guān)系即構(gòu)成訓(xùn)練信號，大幅降低對人工標(biāo)注的依賴，使方法在數(shù)據(jù)稀缺的專業(yè)領(lǐng)域具備天然優(yōu)勢。
• 可擴(kuò)展性強(qiáng)：實(shí)驗(yàn)表明，隨著檢索器規(guī)模（從 135M 到 3B）、語言模型規(guī)模和批大小的增大，性能持續(xù)穩(wěn)定提升，展現(xiàn)出良好的 Scaling 特性。

方法架構(gòu)

Revela 的整體架構(gòu)由兩部分組成：負(fù)責(zé)編碼文本，計(jì)算相似度的檢索器，以及提供語言建模訓(xùn)練信號的語言模型，二者在訓(xùn)練過程中聯(lián)合優(yōu)化。

圖 2：Revela 的 Transformer Block 架構(gòu)。

核心創(chuàng)新集中在 LM 的 Transformer Block 內(nèi)部（圖 2）。每一層同時運(yùn)行兩條并行的注意力路徑：標(biāo)準(zhǔn)自注意力處理單條序列內(nèi)部的上下文依賴，輸出 ei；批內(nèi)注意力則在此基礎(chǔ)上引入跨文檔維度：先對序列自身做自注意力得到 si，再以檢索器輸出的相似度分?jǐn)?shù)為權(quán)重，對批次內(nèi)其他文檔的自注意力輸出 ej做交叉注意力并加權(quán)聚合得到 bi，最終輸出 hi= si+ bi。其中，檢索器將批次內(nèi)所有文檔編碼為向量，通過兩兩余弦相似度并經(jīng) softmax 歸一化，得到文檔間的相似度權(quán)重矩陣，直接作為批內(nèi)注意力的聚合權(quán)重。

值得注意的是，跨文檔注意力的 Key 和 Value 均來自其他文檔的 ej，而非 hj，這一設(shè)計(jì)使批內(nèi)注意力能夠使用只含有序列內(nèi)部信息的自注意力。兩路路徑對應(yīng)圖 2 注意力圖中左上與右下兩個區(qū)域，最終輸出相加后送入前饋層，共同驅(qū)動下一詞預(yù)測目標(biāo)。這一設(shè)計(jì)使檢索器的相似度分?jǐn)?shù)直接參與 LM 的反向傳播，檢索器由此得以被端到端優(yōu)化。

在訓(xùn)練數(shù)據(jù)構(gòu)建上，Revela 將文檔切分為 chunk 并分批，確保每個 batch 內(nèi)包含語義相關(guān)的片段，使語言建模信號天然對應(yīng)有意義的跨文本依賴。訓(xùn)練數(shù)據(jù)方面，通用檢索使用約 34 萬篇維基百科文檔，代碼檢索使用 StackOverflow 帖子、技術(shù)教程和庫文檔，均無需任何人工標(biāo)注的查詢-文檔對。

實(shí)驗(yàn)效果：無標(biāo)注數(shù)據(jù)，超越商業(yè) API

Revela 在三大權(quán)威基準(zhǔn)上進(jìn)行了系統(tǒng)評估，分別覆蓋代碼檢索（CoIR）推理密集型檢索（BRIGHT）通用信息檢索（BEIR）三個維度。

表 1：CoIR 代碼檢索基準(zhǔn)上各模型的檢索性能（nDCG@10，%）。

代碼檢索（CoIR）： Revela-3B 在 10 項(xiàng)任務(wù)平均 nDCG@10 達(dá)到 60.1，在無需任何查詢 - 文檔標(biāo)注對的前提下，超越了使用海量標(biāo)注數(shù)據(jù)訓(xùn)練的 7B 參數(shù)有監(jiān)督模型 E5-Mistral-7b-Instruct（57.3）以及 OpenAI Ada-002（45.6）、Voyage-Code-002（56.3）兩個商業(yè) API。在 0.5B 參數(shù)規(guī)模下，Revela 即超越了同樣覆蓋代碼語料、用 2.7 億標(biāo)注對訓(xùn)練的 E5-PT，領(lǐng)先約 10 個百分點(diǎn)。

圖 3：BRIGHT（左）與 BEIR（右）基準(zhǔn)上的檢索性能對比（nDCG@10，%）。

推理密集檢索（BRIGHT）： Revela-3B 平均 nDCG@10 達(dá)到 20.1，僅憑維基百科文本訓(xùn)練，便超越了 E5-Mistral-7b-Instruct（17.9）以及 text-embedding-3-large（OpenAI，17.9）、voyage-large-2-instruct（Voyage，17.9）、cohere-embed-english-v3.0（Cohere，16.6）等主流商業(yè) API，充分體現(xiàn)了語言建模目標(biāo)對深層語義推理能力的激活效果。

通用檢索（BEIR）： Revela-3B 與弱監(jiān)督基線 E5-PT 持平（均為 45.6），但所用訓(xùn)練數(shù)據(jù)約為其 1/1000，使用計(jì)算資源僅為其 1/10，極大降低了訓(xùn)練成本。

意義與展望

Revela 將稠密檢索器的訓(xùn)練與語言建模范式統(tǒng)一，打開了多個值得探索的方向：

動態(tài)索引構(gòu)建：Revela 目前通過文檔分塊來保證 batch 內(nèi)的語義相關(guān)性，更理想的做法是用模型的實(shí)時表示對 chunk 動態(tài)分組，但這意味著需要在訓(xùn)練過程中持續(xù)更新索引，計(jì)算成本是亟待解決的挑戰(zhàn)。模型與數(shù)據(jù)的進(jìn)一步擴(kuò)展：實(shí)驗(yàn)已驗(yàn)證 Revela 在模型規(guī)模和 batch 大小上具備良好的 Scaling 特性，擴(kuò)大訓(xùn)練語料覆蓋范圍、引入更高效的注意力機(jī)制，有望帶來進(jìn)一步的性能提升。反哺語言模型訓(xùn)練：Revela 目前將 LM 視為輔助的訓(xùn)練信號來源，但檢索器所學(xué)到的文本間語義關(guān)聯(lián)，同樣可以反過來用于指導(dǎo) LM 的 batch 構(gòu)建，探索對語言模型本身的改善潛力。

該成果已以 Oral 形式發(fā)表于頂級 AI 會議 ICLR 2026。本屆 ICLR 共收到近兩萬篇投稿，Oral 僅 兩百余篇，錄取率約 1.1%，是對 Revela 在自監(jiān)督檢索學(xué)習(xí)領(lǐng)域創(chuàng)新價值的高度認(rèn)可。

作者介紹

蔡豐宇，德國達(dá)姆施塔特工業(yè)大學(xué)（TU Darmstadt）四年級博士，師從 ACL fellow，前 ACL 主席 Iryna Gurevych 教授及 Heinz Koeppl 教授。他研究方向涵蓋稠密檢索、RAG 及 AI for science，在 ICLR，ACL， EMNLP，CVPR 等會議上發(fā)表論文十余篇。本碩分別畢業(yè)于香港科技大學(xué)（HKUST）與洛桑聯(lián)邦理工學(xué)院（EPFL）。