在人工智能快速發(fā)展的今天,大語(yǔ)言模型已經(jīng)深入到我們工作和生活的方方面面。然而,如何讓AI生成的內(nèi)容更加可信、可追溯,一直是學(xué)術(shù)界和工業(yè)界關(guān)注的焦點(diǎn)問(wèn)題。想象一下,當(dāng)你向ChatGPT提問(wèn)時(shí),它不僅給出答案,還能像學(xué)術(shù)論文一樣標(biāo)注每句話的信息來(lái)源——這就是"溯源大語(yǔ)言模型"要解決的核心問(wèn)題。

北郵百家AI團(tuán)隊(duì)聯(lián)合小米大模型團(tuán)隊(duì)提出的溯源大模型C2-Cite，首創(chuàng)上下文感知的歸因生成技術(shù)，不僅能讓大模型在生成內(nèi)容時(shí)自動(dòng)標(biāo)注精準(zhǔn)的信息來(lái)源，更能確保生成內(nèi)容與引用的外部知識(shí)高度語(yǔ)義對(duì)齊，實(shí)現(xiàn)每一處表述都有溯源依據(jù)、與參考來(lái)源深度協(xié)同，從根本上解決大模型生成內(nèi)容的可信度問(wèn)題。該工作已被國(guó)際頂級(jí)會(huì)議WSDM 2026收錄。C2-Cite針對(duì)現(xiàn)有歸因模型存在的關(guān)鍵缺陷,通過(guò)引入"上下文感知"機(jī)制,讓引用標(biāo)記從被動(dòng)的占位符轉(zhuǎn)變?yōu)閹в猩舷挛恼Z(yǔ)義的特殊令牌,顯著提升了引用質(zhì)量和模型回答準(zhǔn)確性。

• 論文標(biāo)題：
  

C2-Cite:Contextual-Aware Citation Generation for Attributed Large Language Models

• 論文鏈接：
  

https://github.com/BAI-LAB/c2cite/blob/main/paper_wsdm_c2cite.pdf

• 代碼倉(cāng)庫(kù)：
  

https://github.com/BAI-LAB/c2cite

引言

在信息爆炸的時(shí)代,大語(yǔ)言模型雖然能夠生成流暢的文本,但"幻覺"問(wèn)題(即生成虛假或不準(zhǔn)確的內(nèi)容)始終困擾著研究者。為了增強(qiáng)模型輸出的可信度,研究人員提出了歸因技術(shù)——在生成內(nèi)容中添加明確的引用標(biāo)記(如[1]、[2]),將每句話鏈接到具體的信息源。然而現(xiàn)有歸因模型存在顯著缺陷：

1.技術(shù)路徑存在固有局限：上下文學(xué)習(xí)歸因（P-ICL/I-ICL）依賴提示工程或迭代檢索，耗時(shí)且泛化性弱；指令微調(diào)歸因過(guò)度依賴高質(zhì)量訓(xùn)練數(shù)據(jù)，缺乏對(duì)引用上下文的主動(dòng)關(guān)聯(lián)，大大削弱大模型的溯源能力；事后歸因（Post-Hoc）采用兩階段處理，難以精確到句子級(jí)別，缺乏內(nèi)在歸因能力。

2.引用標(biāo)記淪為“通用占位符”：現(xiàn)有模型未賦予引用標(biāo)記（如 [i]）上下文語(yǔ)義，僅將其視為無(wú)意義符號(hào)，導(dǎo)致引用與所指內(nèi)容脫節(jié)、知識(shí)整合效果差；

3.引用質(zhì)量與回答準(zhǔn)確性失衡：部分模型雖能提升引用精準(zhǔn)度，但會(huì)破壞回答的語(yǔ)義連貫性和正確性；另一部分模型則因引用混亂，難以支撐回答可信度；

這些問(wèn)題導(dǎo)致現(xiàn)有模型要么引用錯(cuò)誤/ 虛構(gòu)、溯源失效，要么回答邏輯斷裂、準(zhǔn)確性下滑，難以同時(shí)滿足 “引用可信” 與 “回答有效” 的核心需求。

C2-Cite溯源機(jī)制

為解決上述缺陷，北郵百家AI團(tuán)隊(duì)聯(lián)合小米提出上下文感知的溯源大模型框架（C2-Cite），核心思路是通過(guò)“上下文語(yǔ)義融入” 讓引用標(biāo)記從被動(dòng)占位符轉(zhuǎn)變?yōu)閹в忻鞔_語(yǔ)義指向的主動(dòng)知識(shí)指針，具體包含三大關(guān)鍵組件：

1.上下文感知嵌入機(jī)制（Contextual-Aware Embedding）：將多令牌引用標(biāo)記（如“[i]”）標(biāo)準(zhǔn)化為單一引用符號(hào)令牌（如“?>”），并通過(guò)均值池化計(jì)算對(duì)應(yīng)檢索文檔的語(yǔ)義嵌入，替換傳統(tǒng)無(wú)意義占位符嵌入，使引用標(biāo)記攜帶所指文檔的語(yǔ)義信息；

2.上下文引用對(duì)齊機(jī)制Contextual Citation Alignment：引入引用路由器（二進(jìn)制分類器）區(qū)分默認(rèn)令牌與引用令牌，分別優(yōu)化兩類令牌的損失函數(shù)—— 默認(rèn)令牌采用交叉熵?fù)p失保證回答流暢性，引用令牌通過(guò)語(yǔ)義相似度匹配實(shí)現(xiàn)與檢索文檔的精準(zhǔn)對(duì)齊；

3.上下文注意力增強(qiáng)機(jī)制：通過(guò)距離衰減系數(shù)和注意力約束，放大后續(xù)生成令牌對(duì)先前引用令牌的關(guān)注度，維持引用與內(nèi)容的語(yǔ)義連貫性，避免因引用插入導(dǎo)致回答邏輯斷裂。

模型最終損失函數(shù)為默認(rèn)損失、引用對(duì)齊損失、路由器損失與注意力增強(qiáng)損失的加權(quán)和，確保引用質(zhì)量與回答準(zhǔn)確性的協(xié)同優(yōu)化。

實(shí)驗(yàn)

研究團(tuán)隊(duì)在ALCE基準(zhǔn)測(cè)試的三個(gè)數(shù)據(jù)集(ASQA、ELI5、QAMPARI)上進(jìn)行了全面評(píng)估,對(duì)比了多種主流歸因方法

3.1 主實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果令人振奮:

• 引用質(zhì)量大幅提升:C2-Cite++在引用F1分?jǐn)?shù)上平均提升5.8%
• 回答準(zhǔn)確性顯著增強(qiáng):在回答正確性指標(biāo)上平均提升17.4%
• 泛化能力強(qiáng)：在不同質(zhì)量的訓(xùn)練數(shù)據(jù)（SynSciQA 系列）上均表現(xiàn)穩(wěn)定，即使使用普通訓(xùn)練數(shù)據(jù)也能超越依賴高質(zhì)量數(shù)據(jù)的傳統(tǒng)微調(diào)模型。

3.2 效率分析

在保證效果的同時(shí),C2-Cite++還展現(xiàn)出卓越的計(jì)算效率。吞吐量(每秒處理樣本數(shù))測(cè)試顯示,相比需要多輪迭代的方法(如Blueprint),C2-Cite++實(shí)現(xiàn)了最高的處理速度,在實(shí)際應(yīng)用中具有明顯優(yōu)勢(shì)。

3.3溯源生成模型中注意力模式的轉(zhuǎn)變

注意力熱力圖可視化，直觀展示了C2-Cite的工作機(jī)制。在原生LLM中,引用符號(hào)前后的句子幾乎沒有交互;而在C2-Cite中,后續(xù)句子對(duì)前文的注意力顯著增強(qiáng),形成了緊密的語(yǔ)義連接。這種"跨引用的語(yǔ)義橋梁"正是模型生成高質(zhì)量溯源內(nèi)容的關(guān)鍵。

總結(jié)

C2-Cite框架通過(guò)"上下文感知"這一核心理念,成功解決了現(xiàn)有歸因大語(yǔ)言模型的關(guān)鍵痛點(diǎn):

• 從符號(hào)到語(yǔ)義:將引用標(biāo)記從被動(dòng)占位符轉(zhuǎn)化為主動(dòng)知識(shí)指針
• 精準(zhǔn)對(duì)齊：通過(guò)路由機(jī)制確保引用編號(hào)與文檔內(nèi)容的準(zhǔn)確匹配
• 語(yǔ)義連貫：利用注意力增強(qiáng)保持引用前后內(nèi)容的流暢性
• 雙重優(yōu)化:同時(shí)提升引用質(zhì)量和回答準(zhǔn)確性,而非顧此失彼

最后，僅僅優(yōu)化訓(xùn)練數(shù)據(jù)是不夠的,大模型的溯源能力需設(shè)計(jì)有效的學(xué)習(xí)機(jī)制。相比于復(fù)雜的數(shù)據(jù)合成流程,C2-Cite通過(guò)其"上下文感知"的設(shè)計(jì)思想,在內(nèi)容生成的過(guò)程依賴可靠的引用知識(shí)庫(kù)，為構(gòu)建更加可靠、透明的AI溯源系統(tǒng)提供了重要的技術(shù)路徑。