始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。wisemodel推出邀請(qǐng)注冊(cè)獎(jiǎng)勵(lì)活動(dòng)，最高可得算力券+token包380元獎(jiǎng)勵(lì)，歡迎參與和支持！

大模型驅(qū)動(dòng)的語(yǔ)義表示時(shí)代，文本嵌入模型（Text Embedding Models）已成為檢索、STS、分類(lèi)、排序等各類(lèi)NLP下游任務(wù)的核心基石。然而，主流嵌入模型普遍依賴(lài)大規(guī)模數(shù)據(jù)或合成數(shù)據(jù)，很少系統(tǒng)性探索訓(xùn)練技巧與數(shù)據(jù)質(zhì)量的協(xié)同優(yōu)化。

結(jié)果就是，并且由于模型體積龐大，部署成本高昂，其泛化能力和可復(fù)現(xiàn)性不太理想。

此外，多數(shù)業(yè)界領(lǐng)先的嵌入模型來(lái)源于頭部公司，其專(zhuān)有數(shù)據(jù)、封閉代碼和商業(yè)限制為學(xué)術(shù)界和開(kāi)發(fā)者社區(qū)帶來(lái)了巨大的挑戰(zhàn)，使得高效、可復(fù)現(xiàn)的研究難以進(jìn)行。

為此，KaLM-Embedding團(tuán)隊(duì)推出了KaLM-Embedding-V2系列模型，一個(gè)以高質(zhì)量數(shù)據(jù)+精湛訓(xùn)練技巧為核心打造的緊湊通用嵌入解決方案。它不僅性能強(qiáng)悍，更以0.5B參數(shù)的“小體型”挑戰(zhàn)甚至超越多個(gè)7B~9B級(jí)模型！與同參數(shù)量規(guī)模的Qwen3-Embedding-0.6B以及bge-m3相比，KaLM-Embedding-V2系列展現(xiàn)出來(lái)顯著的性能優(yōu)勢(shì)。

最重要的是，KaLM-Embedding不僅僅是一系列單點(diǎn)模型，而是一個(gè)面向?qū)W術(shù)界的全面開(kāi)源貢獻(xiàn)：

• 完整的數(shù)據(jù)配方和全開(kāi)源的數(shù)據(jù)：讓研究者能直接從training-ready的數(shù)據(jù)集著手；

• 卓越的訓(xùn)練技術(shù)：讓研究者快速構(gòu)建媲美工業(yè)級(jí)的檢索器模型。

• 開(kāi)放的商業(yè)授權(quán)：明確開(kāi)放模型的商用權(quán)限，旨在推動(dòng)RAG基礎(chǔ)設(shè)施的普及；

• 完整的訓(xùn)練與推理代碼：降低復(fù)現(xiàn)與擴(kuò)展的門(mén)檻，以及下游任務(wù)適配難度；

KaLM-Embedding團(tuán)隊(duì)望借此推動(dòng)通用文本嵌入技術(shù)的開(kāi)放：讓任何研究者、開(kāi)發(fā)者乃至企業(yè)團(tuán)隊(duì)，都能自由使用、改進(jìn)與擴(kuò)展這一嵌入框架；讓高質(zhì)量的語(yǔ)義理解能力不再只屬于超大規(guī)模模型與封閉系統(tǒng)，而能通過(guò)開(kāi)放數(shù)據(jù)與透明訓(xùn)練，被更廣泛地共享、驗(yàn)證與創(chuàng)新。模型已上線始智AI-wisemodel開(kāi)源社區(qū)，歡迎大家前去體驗(yàn)。

模型地址

https://wisemodel.cn/models/YanshekWoo/KaLM-embedding-multilingual-mini-instruct-v2.5

01.

模型方法

全雙向表征學(xué)習(xí)

KaLM-Embedding-V2系列采樣Qwen2-0.5B作為模型主干，但在架構(gòu)上進(jìn)行了關(guān)鍵性改造。LLMs天生具有因果注意力掩碼，這限制了嵌入模型在進(jìn)行表征學(xué)習(xí)時(shí)對(duì)全局上下文的捕捉。KaLM-Embedding-V2除了這一掩碼，實(shí)現(xiàn)了完全雙向的注意力機(jī)制，讓模型能夠更全面、更精確地捕捉文本的深層語(yǔ)義，為高性能嵌入打下堅(jiān)實(shí)基礎(chǔ)。模型僅0.5B參數(shù)，卻在語(yǔ)義嵌入質(zhì)量上媲美甚至超越3–26x大的模型。

精湛訓(xùn)練技巧

為解決嵌入模型訓(xùn)練中存在的若干問(wèn)題，包括優(yōu)化方向易被簡(jiǎn)單樣本主導(dǎo)、難負(fù)樣本信息量隨訓(xùn)練衰減、hard標(biāo)簽信號(hào)過(guò)于粗粒度。研究團(tuán)隊(duì)系統(tǒng)性地設(shè)計(jì)了一系列訓(xùn)練優(yōu)化技術(shù)，它們是KaLM-Embedding-V2性能騰飛的關(guān)鍵：

• 焦點(diǎn)式重加權(quán)機(jī)制：借鑒Focal Loss的精髓，持續(xù)聚焦于那些“困難”和“易錯(cuò)”的難樣本，從訓(xùn)練原理上保證了模型的邊界判別能力能夠?qū)?biāo)工業(yè)級(jí)檢索器的要求。

• 在線困難負(fù)樣本混合：針對(duì)離線挖掘的難負(fù)樣本隨著訓(xùn)練進(jìn)行提供的信息量不足的問(wèn)題，模型在訓(xùn)練過(guò)程中動(dòng)態(tài)混合現(xiàn)有難負(fù)樣本的特征，在極低計(jì)算成本下，實(shí)時(shí)合成信息量更多、難度更高的難負(fù)樣本。

• 對(duì)比蒸餾：從更強(qiáng)的教師模型中學(xué)習(xí)“細(xì)粒度語(yǔ)義差異”，實(shí)現(xiàn)語(yǔ)義區(qū)分力的飛躍。這使得模型實(shí)現(xiàn)了從“粗語(yǔ)義理解”到“精語(yǔ)義對(duì)齊”的質(zhì)變。

• 套娃式嵌入：對(duì)比學(xué)習(xí)和對(duì)比蒸餾訓(xùn)練目標(biāo)引入套娃表示學(xué)習(xí)，實(shí)現(xiàn)更魯棒的多維靈活嵌入，低維度依然穩(wěn)健的高性能。

高質(zhì)量數(shù)據(jù)為王

“好模型，離不開(kāi)好數(shù)據(jù)”。KaLM-Embedding 團(tuán)隊(duì)建立了一個(gè)系統(tǒng)化的高質(zhì)量訓(xùn)練數(shù)據(jù)構(gòu)建體系。預(yù)訓(xùn)練覆蓋 20+類(lèi)弱監(jiān)督語(yǔ)料（約470M樣本），精調(diào)與蒸餾階段覆蓋100+類(lèi)高質(zhì)量監(jiān)督數(shù)據(jù)（約6M樣本）。數(shù)據(jù)覆蓋多語(yǔ)言，多領(lǐng)域，多任務(wù)，長(zhǎng)短文本。主要來(lái)源于公開(kāi)數(shù)據(jù)集。引入任務(wù)指令、難負(fù)例挖掘、基于樣例的多類(lèi)別標(biāo)注樣本、Persona數(shù)據(jù)生成等策略，極大豐富任務(wù)多樣性和數(shù)據(jù)的質(zhì)量：

• 任務(wù)指令：在輸入到模型進(jìn)行編碼之前，會(huì)將特定的任務(wù)指令（task instruction）前置于查詢(xún)文本（query）之前。
  

• 難負(fù)例挖掘：在對(duì)比學(xué)習(xí)中，模型的目標(biāo)是最大化查詢(xún)與其正樣本之間的相似度，同時(shí)最小化與負(fù)樣本，尤其是難以區(qū)分的負(fù)樣本之間的相似度。難負(fù)例挖掘用于提供具有挑戰(zhàn)性的訓(xùn)練樣本，以增強(qiáng)模型細(xì)粒度的區(qū)分能力。實(shí)現(xiàn)方式包括離線挖掘以及本工作提出的在線困難負(fù)樣本混合。

• 基于樣例的多類(lèi)別標(biāo)注樣本：針對(duì)分類(lèi)和聚類(lèi)數(shù)據(jù)集，構(gòu)建基于樣例的雙端分類(lèi)樣本；對(duì)同類(lèi)別聚類(lèi)的樣本視作正樣本，將其他類(lèi)別或聚類(lèi)里面的樣本是做負(fù)樣本。

• Persona數(shù)據(jù)生成：通過(guò)引入具有不同角色（Persona）設(shè)定的合成數(shù)據(jù)，進(jìn)一步增強(qiáng)訓(xùn)練數(shù)據(jù)的多樣性，并擴(kuò)大模型的領(lǐng)域覆蓋范圍。

Spark-Chemistry-X1-13B能夠助力化學(xué)相關(guān)科研工作的高效推進(jìn)與深遠(yuǎn)探索，使得開(kāi)發(fā)者能夠高效便捷搭建化學(xué)性質(zhì)預(yù)測(cè)、化學(xué)知識(shí)檢索問(wèn)答等相關(guān)應(yīng)用，同時(shí)也激發(fā)了更多跨領(lǐng)域創(chuàng)新可能，例如計(jì)算機(jī)科學(xué)與化學(xué)、生物學(xué)與化學(xué)等。

02.

實(shí)驗(yàn)性能表現(xiàn)

主要結(jié)果

在MTEB英文和中文benchmark上，KaLM-Embedding-V2系列取得了雙料冠軍（< 1B parameters）；對(duì)比更大的嵌入模型，比如bge-multilingual-gemma2，在參數(shù)量?jī)H有1/18的情況下，KaLM-Embedding-V2性能表現(xiàn)也絲毫不遜色。在具體子任務(wù)上，KaLM-Embedding-V2.5在10/13 cases中，取得了最優(yōu)或次優(yōu)的表現(xiàn)。

值得一提的是KaLM-Embedding-V2系列微調(diào)數(shù)據(jù)量?jī)H6M，同時(shí)僅使用2-4 GPUs，Qwen3-Embedding-0.6B則使用了19M的微調(diào)數(shù)據(jù)量，充分說(shuō)明精湛的訓(xùn)練技術(shù)和卓越的數(shù)據(jù)工程的有效性。

OOD評(píng)估

為評(píng)估模型在真實(shí)工業(yè)場(chǎng)景下的魯棒性與泛化能力，我們?cè)趦蓚�(gè)中文域外檢索任務(wù)中進(jìn)行測(cè)試：客服FAQ檢索與游戲文檔搜索。所有數(shù)據(jù)均來(lái)自真實(shí)用戶(hù)，且未用于模型訓(xùn)練。結(jié)果顯示，KaLM-Embedding-V2.5在相似規(guī)模下取得SOTA性能，并在僅為Qwen3-Embedding-8B 參數(shù)量約1/15的情況下，在8/12項(xiàng)上表現(xiàn)更優(yōu)，體現(xiàn)出了強(qiáng)大的泛化與魯棒性。

可視化分析

為分析嵌入質(zhì)量與下游任務(wù)性能的關(guān)系，我們?cè)诙喾N中英文聚類(lèi)與分類(lèi)數(shù)據(jù)上進(jìn)行可視化。結(jié)果顯示，KaLM-Embedding-V2.5的嵌入分布更緊湊、類(lèi)別更分離，相比V1和Qwen3-Embedding-0.6B，能更好區(qū)分細(xì)粒度語(yǔ)義。在RedditClustering和CLSClusteringP2P等任務(wù)中，V2.5的語(yǔ)義聚類(lèi)更清晰，進(jìn)一步驗(yàn)證了其優(yōu)越的語(yǔ)義表示能力。

KaLM-Embedding-V2系列由KaLM-Embedding團(tuán)隊(duì)聯(lián)合推出，通過(guò)高質(zhì)量數(shù)據(jù)與精湛訓(xùn)練技巧，在僅0.5B參數(shù)下實(shí)現(xiàn)跨語(yǔ)言、多任務(wù)SOTA表現(xiàn)，性能媲美3-26x大的模型；其全開(kāi)源、可商用、可復(fù)現(xiàn)的設(shè)計(jì)，旨在推動(dòng)通用文本嵌入的開(kāi)放，打造高效、透明、可持續(xù)的語(yǔ)義表示。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶(hù)的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以?huà)叽a添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專(zhuān)委會(huì)副秘書(shū)長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門(mén)、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看