始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

在處理 HTML、Markdown 等長篇結(jié)構(gòu)化文檔檢索時，現(xiàn)有方法常因忽略 h1、h2 等文檔結(jié)構(gòu)標(biāo)簽而面臨 “結(jié)構(gòu)性失明（Structural Blindness）” 問題，為此本文提出了名為 SEAL 的全新對比學(xué)習(xí)框架，其核心方法包含兩部分：

一是結(jié)構(gòu)感知學(xué)習(xí)（Structure-Aware Learning，SAL），通過對比含結(jié)構(gòu)標(biāo)簽與不含結(jié)構(gòu)標(biāo)簽的文檔幫助模型理解整體層級結(jié)構(gòu)；二是元素感知對齊（Element-Aware Learning，EAL），通過隨機遮蔽部分元素的標(biāo)簽迫使模型進行更細(xì)粒度的語義對齊。

實驗結(jié)果表明，SEAL 框架在多個基準(zhǔn)模型上效果顯著，例如在 BGE-M3 模型上將 MRR@10 指標(biāo)從 73.96% 提升至 77.84%，且其有效性已在真實線上 A/B 測試中得到驗證，這項研究的核心貢獻在于創(chuàng)新性地將文檔的宏觀層級結(jié)構(gòu)與微觀元素語義同時融入統(tǒng)一的 Embedding 空間，大幅增強了預(yù)訓(xùn)練語言模型對結(jié)構(gòu)化數(shù)據(jù)的理解和表示能力，同時還發(fā)布了專門用于此類研究的長文本帶結(jié)構(gòu)標(biāo)注新數(shù)據(jù)集 StructDocRetrieval，填補了該領(lǐng)域的數(shù)據(jù)集空白。項目均已上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

代碼和數(shù)據(jù)集地址

https://wisemodel.cn/codes/Rilzob/SEAL

https://wisemodel.cn/datasets/Rilzob/StructDocRetrieval/file

01.

結(jié)構(gòu)化長文檔檢索中的常見挑戰(zhàn)

在日常工作和學(xué)習(xí)中，我們常常需要從篇幅浩繁的文檔中尋找特定信息，例如技術(shù)手冊、法律文書或研究報告。面對這些結(jié)構(gòu)復(fù)雜的長文本，即便是先進的Embedding模型，也可能在信息檢索時表現(xiàn)不佳。

一個關(guān)鍵原因是，現(xiàn)有方法在處理結(jié)構(gòu)化長文檔時，大多將其視為一長串無差別的純文本，忽略了標(biāo)題、段落、列表等固有的結(jié)構(gòu)信息。這種對文檔層次脈絡(luò)的“視而不見”，我們稱之為“結(jié)構(gòu)性失明”（Structural Blindness），它限制了Embedding模型對文檔深層語義的理解能力。針對這一挑戰(zhàn)，我們提出了名為 SEAL (Structure and Element Aware Learning) 的對比學(xué)習(xí)框架，嘗試讓Embedding模型更好地理解和利用文檔的結(jié)構(gòu)信息。

02.

SEAL框架的設(shè)計思路

該研究旨在解決長文檔檢索中的兩個具體問題：一是如何讓模型感知文檔的層次結(jié)構(gòu)，二是如何促進用戶查詢與文檔內(nèi)部具體元素之間的精準(zhǔn)對齊。SEAL框架為此設(shè)計了兩種相輔相成的訓(xùn)練策略。我們可以將其理解為對Embedding模型進行的兩項專門“輔導(dǎo)”。

1、結(jié)構(gòu)感知學(xué)習(xí)（Structure-Aware Learning, SAL）—— 嘗試?yán)斫馕臋n的"骨架"

傳統(tǒng)的Embedding模型在讀取HTML等格式的文檔時，往往會剝離

等結(jié)構(gòu)標(biāo)簽。SAL的核心思路則有所不同。它在訓(xùn)練時會向模型同時展示一份文檔的兩個版本：一個保留了結(jié)構(gòu)標(biāo)簽，另一個則去除了標(biāo)簽。通過對比學(xué)習(xí)的任務(wù)，模型被鼓勵去發(fā)現(xiàn)，即使沒有明確的標(biāo)簽，某些文本片段（如標(biāo)題）的內(nèi)容和位置也蘊含著其結(jié)構(gòu)功能。通過這種方式，模型能夠逐步學(xué)習(xí)到文檔的內(nèi)在"骨架"，區(qū)分不同部分的邏輯功能。

2、元素感知對齊（Element-Aware Alignment，EAL）—— 關(guān)注局部元素的語義角色

為了進一步提升模型對細(xì)節(jié)的把握，EAL策略引入了一種基于元素（如一個標(biāo)題或一個段落）的Mask機制。在訓(xùn)練中會按照固定比例隨機Mask文檔中的一小部分元素，然后要求模型判斷這份信息不完整的文檔是否與給定的Query相關(guān)。為了完成任務(wù)，模型必須更依賴文本內(nèi)容本身以及周圍未被遮蓋的元素來推斷文檔的整體相關(guān)性。這個過程促使模型更深入地理解每個文本片段的語義角色及其在上下文中的作用。

實驗結(jié)果表明，這兩種訓(xùn)練策略的結(jié)合能夠帶來積極效果。在BGE-M3模型上的測試顯示，應(yīng)用SEAL框架后，衡量檢索排序質(zhì)量的關(guān)鍵指標(biāo)NDCG@10從73.96%提升至77.84%。這一數(shù)據(jù)表明，模型在將更相關(guān)的結(jié)果排在靠前位置的能力上有所增強。同時，線上A/B測試的結(jié)果也初步顯示了該方法在實際應(yīng)用場景中的積極影響。

03.

為結(jié)構(gòu)化文檔檢索提供新視角

SEAL框架的探索為信息檢索領(lǐng)域，特別是長文檔處理，提供了一個有益的視角。在學(xué)術(shù)層面，這項工作強調(diào)了在模型訓(xùn)練中利用文檔原生結(jié)構(gòu)的重要性，并提出了一種可行的技術(shù)路徑。同時，該團隊還發(fā)布了一個名為StructDocRetrieval 的新數(shù)據(jù)集，其中包含帶有結(jié)構(gòu)標(biāo)注的萬詞級別長文檔。這個資源的公開，為社區(qū)評估和開發(fā)面向長文檔的檢索模型提供了一個新的Benchmark，有望推動相關(guān)研究的進一步發(fā)展。

在應(yīng)用層面，這種對結(jié)構(gòu)信息的精細(xì)理解，有望為檢索增強生成（RAG）等下游任務(wù)提供更可靠的信息來源。例如，當(dāng)AI助手需要從復(fù)雜的技術(shù)文檔中尋找答案時，對結(jié)構(gòu)的理解能幫助它更準(zhǔn)確地定位和引用信息。在企業(yè)知識庫、法律科技等專業(yè)領(lǐng)域，該方法也展現(xiàn)了其應(yīng)用前景。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看