近日,通義千問官方正式發佈了Qwen3-Embedding系列模型,作爲Qwen模型家族的新成員,該系列模型專爲文本表徵、檢索與排序任務而設計。Qwen3-Embedding系列基於Qwen3基礎模型進行訓練,充分繼承了Qwen3在多語言文本理解能力上的顯著優勢。
該系列模型在多項基準測試中表現出色,特別是在文本表徵和排序任務中展現了卓越性能。測試使用了MTEB(包括英文版v2、中文版v1、多語言版以及代碼版)中的檢索數據集,排序結果基於Qwen3-Embedding-0.6B的top-100向量召回結果。值得一提的是,8B參數規模的Embedding模型在MTEB多語言榜單中位列第一,得分高達70.58,性能超越衆多商業API服務。
Qwen3-Embedding系列提供了從0.6B到8B參數規模的三種模型配置,以滿足不同場景下的性能與效率需求。開發者可以靈活組合表徵與排序模塊,實現功能的擴展。此外,模型還支持表徵維度自定義和指令適配優化,允許用戶根據實際需求調整表徵維度,並自定義指令模板,以提升特定任務、語言或場景下的性能表現。
在多語言支持方面,Qwen3-Embedding系列表現出色,支持超過100種語言,涵蓋主流自然語言及多種編程語言,具備強大的多語言、跨語言及代碼檢索能力。該系列模型採用了雙塔結構和單塔結構的設計,分別用於Embedding模型和Reranker模型,通過LoRA微調最大限度地保留並繼承了基礎模型的文本理解能力。
訓練過程中,Qwen3-Embedding系列採用了多階段訓練範式,並針對具體應用場景進行了深度優化。Embedding模型通過三階段訓練架構,包括超大規模弱監督數據的對比學習預訓練、高質量標註數據的監督訓練以及模型融合策略,有效平衡了模型的泛化能力與任務適配性。而Reranker模型則直接採用高質量標註數據進行監督訓練,以提升訓練效率。
此次發佈的Qwen3-Embedding系列模型已在Hugging Face、ModelScope和GitHub平臺開源,用戶也可直接使用阿里雲百鍊平臺提供的最新文本向量模型服務。官方表示,這只是一個新的起點,依託於Qwen基礎模型的持續優化,將繼續提升文本表徵與排序模型的訓練效率,並計劃拓展多模態表徵體系,構建跨模態語義理解能力。
ModelScope:
https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48
https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f
Hugging Face:
https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f
https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea
GitHub:
https://github.com/QwenLM/Qwen3-Embedding