ICLR 2026 Oral | Revela：用語(yǔ)言建模重新定義稠密檢索器訓(xùn)練

在檢索增強(qiáng)生成（RAG）系統(tǒng)中，稠密檢索器（Dense Retriever）負(fù)責(zé)從海量文檔庫(kù)中快速找出與查詢(xún)語(yǔ)義最相關(guān)的段落，是整個(gè)系統(tǒng)的核心基礎(chǔ)組件。

然而，訓(xùn)練一個(gè)高質(zhì)量的稠密檢索器并不容易。對(duì)比學(xué)習(xí)（Contrastive Learning）長(zhǎng)期以來(lái)是這一領(lǐng)域的主流范式，但存在幾個(gè)根本性局限：

• 嚴(yán)重依賴(lài)人工標(biāo)注數(shù)據(jù)：需要精心構(gòu)造查詢(xún) - 文檔正負(fù)樣本對(duì)，在代碼、法律等專(zhuān)業(yè)領(lǐng)域標(biāo)注成本極高；
• 難負(fù)樣本的困境：隨機(jī)負(fù)樣本信號(hào)太弱，難負(fù)樣本挖掘又引入額外復(fù)雜性；
• 與語(yǔ)言模型預(yù)訓(xùn)練目標(biāo)割裂：對(duì)比損失與主流大模型的預(yù)訓(xùn)練范式（下一詞預(yù)測(cè)）天然不兼容，難以充分復(fù)用預(yù)訓(xùn)練知識(shí)。

這些問(wèn)題在專(zhuān)業(yè)領(lǐng)域和推理密集型檢索場(chǎng)景下尤為突出。能否找到一條更自然、更統(tǒng)一的檢索器訓(xùn)練路徑？來(lái)自德國(guó)達(dá)姆施塔特工業(yè)大學(xué)（TU Darmstadt）的蔡豐宇及其來(lái)自華盛頓大學(xué)、卡內(nèi)基梅隆大學(xué)、微軟和騰訊 AI 實(shí)驗(yàn)室的合作者給出了一個(gè)優(yōu)雅的答案 -Revela：Dense Retriever Learning via Language Modeling，并憑借這一回答斬獲ICLR 2026 Oral（約 1.1% 錄取率） 和FrontierIR @ AAAI 2026 最佳論文獎(jiǎng)

• 論文鏈接：https://openreview.net/forum?id=e7pAjJZJWb
• 代碼鏈接：https://github.com/TRUMANCFY/Revela
• 模型鏈接：https://huggingface.co/trumancai/Revela-3b

核心思路：讓檢索「像語(yǔ)言模型一樣學(xué)習(xí)」

Revela 的核心洞察在于：將稠密檢索器的訓(xùn)練目標(biāo)統(tǒng)一到語(yǔ)言建模框架之下。

語(yǔ)言模型（LM）通過(guò) "預(yù)測(cè)下一個(gè) token" 來(lái)建模 token 之間的依賴(lài)關(guān)系。Revela 將這一思路類(lèi)比到檢索：如果說(shuō) LM 建模的是 token 之間的依賴(lài)，那么檢索器建模的就是文本塊（chunk）之間的依賴(lài)

具體而言，Revela 引入了一種批內(nèi)注意力機(jī)制（In-batch Attention）：在語(yǔ)言建模時(shí)，一個(gè)序列的下一詞預(yù)測(cè)不僅條件于自身上文，還通過(guò)檢索器計(jì)算的相似度權(quán)重，動(dòng)態(tài)地參考批次中其他相關(guān)文檔。如圖 1 中，紅色文本塊在預(yù)測(cè)下一詞時(shí) "參考" 了語(yǔ)義相近的紫色文本塊，這一過(guò)程反過(guò)來(lái)驅(qū)動(dòng)檢索器提高兩者之間的相似度分?jǐn)?shù)。檢索器的相似度分?jǐn)?shù)就此直接嵌入語(yǔ)言建模的優(yōu)化目標(biāo)，實(shí)現(xiàn)檢索器與語(yǔ)言模型的聯(lián)合端到端訓(xùn)練，無(wú)需任何人工標(biāo)注的查詢(xún) - 文檔對(duì)

圖 1：Revela 訓(xùn)練框架。檢索器相似度分?jǐn)?shù)作為批內(nèi)注意力權(quán)重，與語(yǔ)言模型聯(lián)合端到端訓(xùn)練。紅、紫序列中高亮片段展示了檢索器如何學(xué)會(huì)關(guān)聯(lián)語(yǔ)義相近的文本塊。

這一設(shè)計(jì)帶來(lái)了三個(gè)關(guān)鍵優(yōu)勢(shì)：

• 訓(xùn)練目標(biāo)與預(yù)訓(xùn)練高度一致：語(yǔ)言建模正是大模型預(yù)訓(xùn)練所采用的目標(biāo)，Revela 與之天然對(duì)齊，能充分激活預(yù)訓(xùn)練模型中已有的語(yǔ)義理解能力。
• 完全自監(jiān)督，無(wú)需標(biāo)注：原始文本自身的上下文關(guān)系即構(gòu)成訓(xùn)練信號(hào)，大幅降低對(duì)人工標(biāo)注的依賴(lài)，使方法在數(shù)據(jù)稀缺的專(zhuān)業(yè)領(lǐng)域具備天然優(yōu)勢(shì)。
• 可擴(kuò)展性強(qiáng)：實(shí)驗(yàn)表明，隨著檢索器規(guī)模（從 135M 到 3B）、語(yǔ)言模型規(guī)模和批大小的增大，性能持續(xù)穩(wěn)定提升，展現(xiàn)出良好的 Scaling 特性。

方法架構(gòu)

Revela 的整體架構(gòu)由兩部分組成：負(fù)責(zé)編碼文本，計(jì)算相似度的檢索器，以及提供語(yǔ)言建模訓(xùn)練信號(hào)的語(yǔ)言模型，二者在訓(xùn)練過(guò)程中聯(lián)合優(yōu)化。

圖 2：Revela 的 Transformer Block 架構(gòu)。

核心創(chuàng)新集中在 LM 的 Transformer Block 內(nèi)部（圖 2）。每一層同時(shí)運(yùn)行兩條并行的注意力路徑：標(biāo)準(zhǔn)自注意力處理單條序列內(nèi)部的上下文依賴(lài)，輸出 ei；批內(nèi)注意力則在此基礎(chǔ)上引入跨文檔維度：先對(duì)序列自身做自注意力得到 si，再以檢索器輸出的相似度分?jǐn)?shù)為權(quán)重，對(duì)批次內(nèi)其他文檔的自注意力輸出 ej做交叉注意力并加權(quán)聚合得到 bi，最終輸出 hi= si+ bi。其中，檢索器將批次內(nèi)所有文檔編碼為向量，通過(guò)兩兩余弦相似度并經(jīng) softmax 歸一化，得到文檔間的相似度權(quán)重矩陣，直接作為批內(nèi)注意力的聚合權(quán)重。

值得注意的是，跨文檔注意力的 Key 和 Value 均來(lái)自其他文檔的 ej，而非 hj，這一設(shè)計(jì)使批內(nèi)注意力能夠使用只含有序列內(nèi)部信息的自注意力。兩路路徑對(duì)應(yīng)圖 2 注意力圖中左上與右下兩個(gè)區(qū)域，最終輸出相加后送入前饋層，共同驅(qū)動(dòng)下一詞預(yù)測(cè)目標(biāo)。這一設(shè)計(jì)使檢索器的相似度分?jǐn)?shù)直接參與 LM 的反向傳播，檢索器由此得以被端到端優(yōu)化。

在訓(xùn)練數(shù)據(jù)構(gòu)建上，Revela 將文檔切分為 chunk 并分批，確保每個(gè) batch 內(nèi)包含語(yǔ)義相關(guān)的片段，使語(yǔ)言建模信號(hào)天然對(duì)應(yīng)有意義的跨文本依賴(lài)。訓(xùn)練數(shù)據(jù)方面，通用檢索使用約 34 萬(wàn)篇維基百科文檔，代碼檢索使用 StackOverflow 帖子、技術(shù)教程和庫(kù)文檔，均無(wú)需任何人工標(biāo)注的查詢(xún)-文檔對(duì)。

實(shí)驗(yàn)效果：無(wú)標(biāo)注數(shù)據(jù)，超越商業(yè) API

Revela 在三大權(quán)威基準(zhǔn)上進(jìn)行了系統(tǒng)評(píng)估，分別覆蓋代碼檢索（CoIR）推理密集型檢索（BRIGHT）通用信息檢索（BEIR）三個(gè)維度。

表 1：CoIR 代碼檢索基準(zhǔn)上各模型的檢索性能（nDCG@10，%）。

代碼檢索（CoIR）： Revela-3B 在 10 項(xiàng)任務(wù)平均 nDCG@10 達(dá)到 60.1，在無(wú)需任何查詢(xún) - 文檔標(biāo)注對(duì)的前提下，超越了使用海量標(biāo)注數(shù)據(jù)訓(xùn)練的 7B 參數(shù)有監(jiān)督模型 E5-Mistral-7b-Instruct（57.3）以及 OpenAI Ada-002（45.6）、Voyage-Code-002（56.3）兩個(gè)商業(yè) API。在 0.5B 參數(shù)規(guī)模下，Revela 即超越了同樣覆蓋代碼語(yǔ)料、用 2.7 億標(biāo)注對(duì)訓(xùn)練的 E5-PT，領(lǐng)先約 10 個(gè)百分點(diǎn)。

圖 3：BRIGHT（左）與 BEIR（右）基準(zhǔn)上的檢索性能對(duì)比（nDCG@10，%）。

推理密集檢索（BRIGHT）： Revela-3B 平均 nDCG@10 達(dá)到 20.1，僅憑維基百科文本訓(xùn)練，便超越了 E5-Mistral-7b-Instruct（17.9）以及 text-embedding-3-large（OpenAI，17.9）、voyage-large-2-instruct（Voyage，17.9）、cohere-embed-english-v3.0（Cohere，16.6）等主流商業(yè) API，充分體現(xiàn)了語(yǔ)言建模目標(biāo)對(duì)深層語(yǔ)義推理能力的激活效果。

通用檢索（BEIR）： Revela-3B 與弱監(jiān)督基線 E5-PT 持平（均為 45.6），但所用訓(xùn)練數(shù)據(jù)約為其 1/1000，使用計(jì)算資源僅為其 1/10，極大降低了訓(xùn)練成本。

意義與展望

Revela 將稠密檢索器的訓(xùn)練與語(yǔ)言建模范式統(tǒng)一，打開(kāi)了多個(gè)值得探索的方向：

動(dòng)態(tài)索引構(gòu)建：Revela 目前通過(guò)文檔分塊來(lái)保證 batch 內(nèi)的語(yǔ)義相關(guān)性，更理想的做法是用模型的實(shí)時(shí)表示對(duì) chunk 動(dòng)態(tài)分組，但這意味著需要在訓(xùn)練過(guò)程中持續(xù)更新索引，計(jì)算成本是亟待解決的挑戰(zhàn)。模型與數(shù)據(jù)的進(jìn)一步擴(kuò)展：實(shí)驗(yàn)已驗(yàn)證 Revela 在模型規(guī)模和 batch 大小上具備良好的 Scaling 特性，擴(kuò)大訓(xùn)練語(yǔ)料覆蓋范圍、引入更高效的注意力機(jī)制，有望帶來(lái)進(jìn)一步的性能提升。反哺語(yǔ)言模型訓(xùn)練：Revela 目前將 LM 視為輔助的訓(xùn)練信號(hào)來(lái)源，但檢索器所學(xué)到的文本間語(yǔ)義關(guān)聯(lián)，同樣可以反過(guò)來(lái)用于指導(dǎo) LM 的 batch 構(gòu)建，探索對(duì)語(yǔ)言模型本身的改善潛力。

該成果已以 Oral 形式發(fā)表于頂級(jí) AI 會(huì)議 ICLR 2026。本屆 ICLR 共收到近兩萬(wàn)篇投稿，Oral 僅 兩百余篇，錄取率約 1.1%，是對(duì) Revela 在自監(jiān)督檢索學(xué)習(xí)領(lǐng)域創(chuàng)新價(jià)值的高度認(rèn)可。

作者介紹

蔡豐宇，德國(guó)達(dá)姆施塔特工業(yè)大學(xué)（TU Darmstadt）四年級(jí)博士，師從 ACL fellow，前 ACL 主席 Iryna Gurevych 教授及 Heinz Koeppl 教授。他研究方向涵蓋稠密檢索、RAG 及 AI for science，在 ICLR，ACL， EMNLP，CVPR 等會(huì)議上發(fā)表論文十余篇。本碩分別畢業(yè)于香港科技大學(xué)（HKUST）與洛桑聯(lián)邦理工學(xué)院（EPFL）。