點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過(guò)度深思！ 萬(wàn)事萬(wàn)物都經(jīng)不起審視，因?yàn)槭郎蠜](méi)有同樣的成長(zhǎng)環(huán)境，也沒(méi)有同樣的認(rèn)知水平，更「沒(méi)有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來(lái)從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

本文已收錄在Github，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)百萬(wàn)級(jí)流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺(tái)架構(gòu)

• AIGC應(yīng)用開(kāi)發(fā)先行者 | 區(qū)塊鏈落地實(shí)踐者

• 以技術(shù)驅(qū)動(dòng)創(chuàng)新，我們的征途是改變世界！

• 實(shí)戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

本文已收錄在Github，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)百萬(wàn)級(jí)流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺(tái)架構(gòu)

• AIGC應(yīng)用開(kāi)發(fā)先行者 | 區(qū)塊鏈落地實(shí)踐者

• 以技術(shù)驅(qū)動(dòng)創(chuàng)新，我們的征途是改變世界！

• 實(shí)戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

qwen正式發(fā)布 Qwen3 Embedding 系列模型, Qwen 模型家族的新成員。該系列模型專為文本表征、檢索與排序任務(wù)設(shè)計(jì)，基于 Qwen3 基礎(chǔ)模型進(jìn)行訓(xùn)練，充分繼承了 Qwen3 在多語(yǔ)言文本理解能力方面的優(yōu)勢(shì)。在多項(xiàng)基準(zhǔn)測(cè)試中，Qwen3 Embedding 系列在文本表征和排序任務(wù)中展現(xiàn)了卓越的性能。 qwen使用了 Apache 2.0 協(xié)議在 Hugging Face 和 ModelScope 上開(kāi)源了這一系列的文本表征及排序模型，并在 GitHub 公布了技術(shù)報(bào)告及相關(guān)代碼。

排序模型評(píng)測(cè)結(jié)果

Model

Param

MTEB-R

CMTEB-R

MMTEB-R

MLDR

MTEB-Code

FollowIR

Qwen3-Embedding-0.6B

0.6B

5.09

Jina-multilingual-reranker-v2-base

0.3B

gte-multilingual-reranker-base

0.3B

BGE-reranker-v2-m3

0.6B

Qwen3-Reranker-0.6B

0.6B

5.41

Qwen3-Reranker-4B

4B

Qwen3-Reranker-8B

8B

8.05

★ Note: q'wen使用MTEB(eng, v2), MTEB(cmn, v1), MTEB (Multilingual) 以及MTEB (Code)中的檢索數(shù)據(jù)集進(jìn)行測(cè)試, 分別記作MTEB-R, CMTEB-R, MMTEB-R, MTEB-Code. 排序結(jié)果基于Qwen3-Embedding-0.6B的top-100向量召回結(jié)果進(jìn)行排序. ”

主要特點(diǎn):

卓越的泛化性: Qwen3 Embedding 系列在多個(gè)下游任務(wù)評(píng)估中達(dá)到行業(yè)領(lǐng)先水平。其中，8B 參數(shù)規(guī)模的Embedding模型在MTEB多語(yǔ)言Leaderboard榜單中位列第一（截至 2025 年 6 月 5 日，得分70.58），性能超越眾多商業(yè) API 服務(wù)。此外，該系列的排序模型在各類文本檢索場(chǎng)景中表現(xiàn)出色，顯著提升了搜索結(jié)果的相關(guān)性。

靈活的模型架構(gòu): Qwen3 Embedding 系列提供從 0.6B 到 8B 參數(shù)規(guī)模的 3 種模型配置，以滿足不同場(chǎng)景下的性能與效率需求。開(kāi)發(fā)者可以靈活組合表征與排序模塊，實(shí)現(xiàn)功能擴(kuò)展。此外，模型支持以下定制化特性：1) 表征維度自定義：允許用戶根據(jù)實(shí)際需求調(diào)整表征維度，有效降低應(yīng)用成本；2) 指令適配優(yōu)化：支持用戶自定義指令模板，以提升特定任務(wù)、語(yǔ)言或場(chǎng)景下的性能表現(xiàn)。

全面的多語(yǔ)言支持: Qwen3 Embedding 系列支持超過(guò) 100 種語(yǔ)言，涵蓋主流自然語(yǔ)言及多種編程語(yǔ)言。該系列模型具備強(qiáng)大的多語(yǔ)言、跨語(yǔ)言及代碼檢索能力，能夠有效應(yīng)對(duì)多語(yǔ)言場(chǎng)景下的數(shù)據(jù)處理需求。

模型總覽

Model Type

Models

Size

Layers

Sequence Length

Embedding Dimension

MRL Support

Instruction Aware

Text Embedding

Qwen3-Embedding-0.6B

0.6B

28

32K

1024

Yes

Yes

Qwen3-Embedding-4B

4B

36

32K

2560

Yes

Yes

Qwen3-Embedding-8B

8B

36

32K

4096

Yes

Yes

Text Reranking

Qwen3-Reranker-0.6B

0.6B

28

32K

Yes

Qwen3-Reranker-4B

4B

36

32K

Yes

Qwen3-Reranker-8B

8B

36

32K

Yes

注：MRL Support表示 Embedding 模型是否支持最終向量的自定義維度。Instruction Aware表示 Embedding 或 Reranking 模型是否支持根據(jù)不同任務(wù)定制輸入指令。

模型架構(gòu)

基于 Qwen3 基礎(chǔ)模型， qwen的 Embedding 模型和 Reranking 模型分別采用了雙塔結(jié)構(gòu)和單塔結(jié)構(gòu)的設(shè)計(jì)。通過(guò) LoRA 微調(diào)， qwen最大限度地保留并繼承了基礎(chǔ)模型的文本理解能力。具體實(shí)現(xiàn)如下：1) Embedding 模型接收單段文本作為輸入，取模型最后一層[EOS]標(biāo)記對(duì)應(yīng)的隱藏狀態(tài)向量，作為輸入文本的語(yǔ)義表示；2) Reranking 模型則接收文本對(duì)（例如用戶查詢與候選文檔）作為輸入，利用單塔結(jié)構(gòu)計(jì)算并輸出兩個(gè)文本的相關(guān)性得分。

Qwen3 Embedding 系列模型的訓(xùn)練繼承了 GTE-Qwen 系列的多階段訓(xùn)練范式，但針對(duì)具體應(yīng)用場(chǎng)景進(jìn)行了深度優(yōu)化。在 Embedding 模型的訓(xùn)練過(guò)程中， qwen采用三階段訓(xùn)練架構(gòu)：第一階段通過(guò)超大規(guī)模弱監(jiān)督數(shù)據(jù)進(jìn)行對(duì)比學(xué)習(xí)預(yù)訓(xùn)練；第二階段基于高質(zhì)量標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練；最終通過(guò)模型融合策略融合多個(gè)候選模型，以提升整體性能。這種分階段訓(xùn)練機(jī)制有效平衡了模型的泛化能力與任務(wù)適配性。

在 Reranking 模型的訓(xùn)練中，基于實(shí)驗(yàn)驗(yàn)證結(jié)果， qwen直接采用高質(zhì)量標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，以提升訓(xùn)練效率。特別需要說(shuō)明的是，在 Embedding 模型的第一階段弱監(jiān)督訓(xùn)練中， qwen構(gòu)建了多任務(wù)適配的 Prompt 體系，利用 Qwen3 基礎(chǔ)模型的文本生成能力， qwen針對(duì)不同任務(wù)類型和語(yǔ)言特性，動(dòng)態(tài)生成了一系列弱監(jiān)督文本對(duì)，突破了傳統(tǒng)方法依賴社區(qū)論壇或開(kāi)源數(shù)據(jù)篩選獲取弱監(jiān)督文本對(duì)的局限性，實(shí)現(xiàn)了大規(guī)模弱監(jiān)督數(shù)據(jù)的高效生成。

Qwen3 Embedding 系列模型是一個(gè)新的起點(diǎn)，依托于 Qwen 基礎(chǔ)模型的持續(xù)優(yōu)化, qwen將繼續(xù)提升文本表征與排序模型的訓(xùn)練效率，以增強(qiáng)模型在實(shí)際場(chǎng)景中的部署性能。此外， qwen還計(jì)劃拓展多模態(tài)表征體系，構(gòu)建跨模態(tài)語(yǔ)義理解能力。 qwen期待更多開(kāi)發(fā)者基于 Qwen3 Embedding 系列探索更廣泛的應(yīng)用場(chǎng)景，推動(dòng)模型在不同業(yè)務(wù)場(chǎng)景中的深入應(yīng)用。

加我好友，一起AI探索交流！