XBridge 能夠?qū)?LLM 低資源語言甚至未見語言的理解和生成能力提升到接近組合的 NMT 模型的水平，在下游任務(wù)上顯著縮小高資源、低資源語言間性能差距，同時保持或提升高資源語言能力，全程無需訓(xùn)練 LLM。

近年來，大語言模型（LLM）在通用問答與復(fù)雜推理任務(wù)上表現(xiàn)優(yōu)異。然而在多語言場景下，LLM 則表現(xiàn)出明顯的不均衡：在英語等少數(shù)高資源語言上表現(xiàn)優(yōu)異，在低資源和未見語言上則不穩(wěn)定或難以支持。

一個直觀的解釋是訓(xùn)練數(shù)據(jù)不足，但更本質(zhì)的問題在于表示空間不匹配。已有研究表明，LLM 已經(jīng)在統(tǒng)一的語義空間中編碼了豐富的跨語言知識，并且在處理多語言文本時會專門「經(jīng)過」這個統(tǒng)一語義空間（如英語表示空間）。這意味著，LLM 的多語言瓶頸不在缺乏知識，而是難以將已有的知識正確映射到多語言表示空間中

與此同時，多語言神經(jīng)機器翻譯（NMT）模型在跨語言表示建模方面表現(xiàn)出色。這些 NMT 模型通過 encoder-decoder 架構(gòu)構(gòu)建了一個統(tǒng)一的跨語言語義空間，實現(xiàn)上百種語言之間穩(wěn)定的語義轉(zhuǎn)換。這啟發(fā)我們：能否將 LLM 的知識處理能力和多語言 NMT 模型的多語言能力組合，實現(xiàn)優(yōu)勢互補？

基于這一思路，中國科學(xué)院計算技術(shù)研究所 NLP 團隊提出了一種新的多語言擴展范式 XBridge：組合 LLM 以英文為中心的通用能力，以及現(xiàn)有多語言 NMT 模型的多語言理解和生成能力，實現(xiàn)二者的能力互補，組合成一個多語言通用模型。換言之，將多語言理解和生成卸載到外部 NMT 模型，LLM 進行以英文為中心的通用知識處理

• 論文：https://arxiv.org/abs/2603.17512
• 代碼：https://github.com/ictnlp/XBridge
• 模型：https://huggingface.co/collections/ICTNLP/xbridge

該成果已被 ACL 2026 主會接收。

XBridge：模型組合的多語言擴展方案

XBridge 的核心思想是，將多語言能力卸載到 NMT 模型，同時保留 LLM 作為知識處理和推理的核心。

1. 模型架構(gòu)

XBridge 采用 encoder-LLM-decoder 三段式架構(gòu)，模塊之間用 MLP 架構(gòu)的輕量映射層連接：

• NMT encoder：將多語言輸入映射到共享語義空間。
• LLM：以英語為中心的知識處理和推理核心。
• NMT decoder：生成目標語言輸出。

直觀來看，多語言輸入首先被 encoder 編碼成共享語義表示，再由 LLM 進行知識處理和推理，最后 decoder 映射到目標語言輸出，實現(xiàn)完整的多語言「理解 - 處理 - 生成」閉環(huán)。

2. 最優(yōu)運輸對齊

由于不同模型之間的表示空間天然不一致，例如 token 粒度上嚴重錯位，單純利用 MLP 進行跨模型表示映射難以實現(xiàn)語義一致的轉(zhuǎn)換。為解決這一問題，我們引入最優(yōu)運輸（Optimal Transport, OT）對齊目標，自適應(yīng)地學(xué)習(xí) token 粒度的軟匹配，從而在不同長度、不同分詞方式的異構(gòu)表示空間之間建立細粒度的語義對齊關(guān)系，實現(xiàn)穩(wěn)定的語義轉(zhuǎn)換和高質(zhì)量的多語言生成。

3. 三階段訓(xùn)練策略

為在不同模型之間建立穩(wěn)定對齊，XBridge 設(shè)計三階段訓(xùn)練策略，LLM 全程無需訓(xùn)練

• 跨模型對齊階段：學(xué)習(xí) encoder-LLM-decoder 之間的基礎(chǔ)語義映射關(guān)系。
• 編碼器適配階段：讓 LLM 學(xué)會利用 encoder 表示完成下游任務(wù)。
• 解碼器適配階段：進一步提升 decoder 多語言生成質(zhì)量。

分階段的訓(xùn)練設(shè)計能夠有效避免不同優(yōu)化目標之間的沖突，使模型能夠逐步建立穩(wěn)定的跨模型映射，并適配下游任務(wù)。

實驗結(jié)果：

不訓(xùn)練 LLM 即可支持高質(zhì)量未見語言問答

1. 多語言能力成功卸載到 NMT 模型

在 FLORES-101 翻譯任務(wù)上，XBridge 顯著提升了 LLM 在低資源語言或未見語言（如孟加拉語、斯瓦西里語等）上的理解和生成能力，性能接近或超越外部 NMT 模型。這表明 LLM 的多語言能力是可以卸載到外部 NMT 模型的。

2. 下游任務(wù)顯著提升

在多語言數(shù)學(xué)推理（MGSM）和摘要生成（XL-Sum）任務(wù)上，XBridge 在低資源語言上獲得顯著提升，顯著縮小高資源、低資源語言的性能差距，同時保持或提升高資源語言性能。值得注意的是，這個過程不需要訓(xùn)練 LLM。

3. 可泛化、語言無關(guān)的跨模型映射

XBridge 在未訓(xùn)練的語言上仍表現(xiàn)出良好的泛化能力，性能甚至接近外部 NMT 模型，這表明 XBridge 學(xué)到的是一種語言無關(guān)的跨模型映射。此外，OT 任務(wù)對語言生成的泛化具有重要作用。

4. 可控語言生成與無損語言切換

通過控制 decoder 輸入語言標簽，XBridge 可以靈活指定輸出語言，實現(xiàn)任意語言對之間的跨語言生成，同時保持無損的多語言切換。

以下是一個語言切換示例。

5. 系統(tǒng)演示

我們借助一階段的泛化性，直接在 50 種語言的通用指令遵循數(shù)據(jù)上訓(xùn)練 XBridge。以下是一個 demo，展示了 XBridge 多語言問答能力和語言切換的效果。

視頻地址：https://mp.weixin.qq.com/s/Ku1dZNIpI93J21d75RYAkg

總結(jié)與展望

通過將多語言能力卸載到外部 NMT 模型，XBridge 在不訓(xùn)練 LLM 的前提下，實現(xiàn)了對低資源和未見語言的高質(zhì)量支持。除了性能的提升，XBridge 更重要的價值在于為 LLM 的多語言擴展提供了一個新思路：擴展 LLM 的多語言能力，或許不再需要依賴大規(guī)模、高質(zhì)量、多任務(wù)的多語言訓(xùn)練數(shù)據(jù)，而是可以通過組合現(xiàn)有模型，實現(xiàn)低成本擴展。

作者介紹

卜夢煜，中國科學(xué)院計算技術(shù)研究所博士研究生，導(dǎo)師為馮洋研究員。主要研究方向為多語言大模型。在 ACL、EMNLP 等自然語言處理領(lǐng)域頂級國際會議發(fā)表多篇論文。

馮洋，中國科學(xué)院院計算技術(shù)研究所研究員、博士生導(dǎo)師，擔(dān)任國際計算語言學(xué)學(xué)會執(zhí)委（ACL Secretary）以及 ACL/EMNLP 等多個國際會議高級領(lǐng)域主席，獲 ACL 2019 唯一最佳長文獎。主導(dǎo)研發(fā)了百聆大模型和 LLaMA-Omni 即時交互語音大模型（曾位列 Huggingface 連續(xù)一周模型下載量前十）。