在人工智能快速發(fā)展的今天,大語言模型已經深入到我們工作和生活的方方面面。然而,如何讓AI生成的內容更加可信、可追溯,一直是學術界和工業(yè)界關注的焦點問題。想象一下,當你向ChatGPT提問時,它不僅給出答案,還能像學術論文一樣標注每句話的信息來源——這就是"溯源大語言模型"要解決的核心問題。

北郵百家AI團隊聯合小米大模型團隊提出的溯源大模型C2-Cite，首創(chuàng)上下文感知的歸因生成技術，不僅能讓大模型在生成內容時自動標注精準的信息來源，更能確保生成內容與引用的外部知識高度語義對齊，實現每一處表述都有溯源依據、與參考來源深度協(xié)同，從根本上解決大模型生成內容的可信度問題。該工作已被國際頂級會議WSDM 2026收錄。C2-Cite針對現有歸因模型存在的關鍵缺陷,通過引入"上下文感知"機制,讓引用標記從被動的占位符轉變?yōu)閹в猩舷挛恼Z義的特殊令牌,顯著提升了引用質量和模型回答準確性。

• 論文標題：
  

C2-Cite:Contextual-Aware Citation Generation for Attributed Large Language Models

• 論文鏈接：
  

https://github.com/BAI-LAB/c2cite/blob/main/paper_wsdm_c2cite.pdf

• 代碼倉庫：
  

https://github.com/BAI-LAB/c2cite

引言

在信息爆炸的時代,大語言模型雖然能夠生成流暢的文本,但"幻覺"問題(即生成虛假或不準確的內容)始終困擾著研究者。為了增強模型輸出的可信度,研究人員提出了歸因技術——在生成內容中添加明確的引用標記(如[1]、[2]),將每句話鏈接到具體的信息源。然而現有歸因模型存在顯著缺陷：

1.技術路徑存在固有局限：上下文學習歸因（P-ICL/I-ICL）依賴提示工程或迭代檢索，耗時且泛化性弱；指令微調歸因過度依賴高質量訓練數據，缺乏對引用上下文的主動關聯，大大削弱大模型的溯源能力；事后歸因（Post-Hoc）采用兩階段處理，難以精確到句子級別，缺乏內在歸因能力。

2.引用標記淪為“通用占位符”：現有模型未賦予引用標記（如 [i]）上下文語義，僅將其視為無意義符號，導致引用與所指內容脫節(jié)、知識整合效果差；

3.引用質量與回答準確性失衡：部分模型雖能提升引用精準度，但會破壞回答的語義連貫性和正確性；另一部分模型則因引用混亂，難以支撐回答可信度；

這些問題導致現有模型要么引用錯誤/ 虛構、溯源失效，要么回答邏輯斷裂、準確性下滑，難以同時滿足 “引用可信” 與 “回答有效” 的核心需求。

C2-Cite溯源機制

為解決上述缺陷，北郵百家AI團隊聯合小米提出上下文感知的溯源大模型框架（C2-Cite），核心思路是通過“上下文語義融入” 讓引用標記從被動占位符轉變?yōu)閹в忻鞔_語義指向的主動知識指針，具體包含三大關鍵組件：

1.上下文感知嵌入機制（Contextual-Aware Embedding）：將多令牌引用標記（如“[i]”）標準化為單一引用符號令牌（如“?>”），并通過均值池化計算對應檢索文檔的語義嵌入，替換傳統(tǒng)無意義占位符嵌入，使引用標記攜帶所指文檔的語義信息；

2.上下文引用對齊機制Contextual Citation Alignment：引入引用路由器（二進制分類器）區(qū)分默認令牌與引用令牌，分別優(yōu)化兩類令牌的損失函數—— 默認令牌采用交叉熵損失保證回答流暢性，引用令牌通過語義相似度匹配實現與檢索文檔的精準對齊；

3.上下文注意力增強機制：通過距離衰減系數和注意力約束，放大后續(xù)生成令牌對先前引用令牌的關注度，維持引用與內容的語義連貫性，避免因引用插入導致回答邏輯斷裂。

模型最終損失函數為默認損失、引用對齊損失、路由器損失與注意力增強損失的加權和，確保引用質量與回答準確性的協(xié)同優(yōu)化。

實驗

研究團隊在ALCE基準測試的三個數據集(ASQA、ELI5、QAMPARI)上進行了全面評估,對比了多種主流歸因方法

3.1 主實驗結果

實驗結果令人振奮:

• 引用質量大幅提升:C2-Cite++在引用F1分數上平均提升5.8%
• 回答準確性顯著增強:在回答正確性指標上平均提升17.4%
• 泛化能力強：在不同質量的訓練數據（SynSciQA 系列）上均表現穩(wěn)定，即使使用普通訓練數據也能超越依賴高質量數據的傳統(tǒng)微調模型。

3.2 效率分析

在保證效果的同時,C2-Cite++還展現出卓越的計算效率。吞吐量(每秒處理樣本數)測試顯示,相比需要多輪迭代的方法(如Blueprint),C2-Cite++實現了最高的處理速度,在實際應用中具有明顯優(yōu)勢。

3.3溯源生成模型中注意力模式的轉變

注意力熱力圖可視化，直觀展示了C2-Cite的工作機制。在原生LLM中,引用符號前后的句子幾乎沒有交互;而在C2-Cite中,后續(xù)句子對前文的注意力顯著增強,形成了緊密的語義連接。這種"跨引用的語義橋梁"正是模型生成高質量溯源內容的關鍵。

總結

C2-Cite框架通過"上下文感知"這一核心理念,成功解決了現有歸因大語言模型的關鍵痛點:

• 從符號到語義:將引用標記從被動占位符轉化為主動知識指針
• 精準對齊：通過路由機制確保引用編號與文檔內容的準確匹配
• 語義連貫：利用注意力增強保持引用前后內容的流暢性
• 雙重優(yōu)化:同時提升引用質量和回答準確性,而非顧此失彼

最后，僅僅優(yōu)化訓練數據是不夠的,大模型的溯源能力需設計有效的學習機制。相比于復雜的數據合成流程,C2-Cite通過其"上下文感知"的設計思想,在內容生成的過程依賴可靠的引用知識庫，為構建更加可靠、透明的AI溯源系統(tǒng)提供了重要的技術路徑。