NVIDIA 發佈 Nemotron 3 Embed 系列，8B 版本登頂 RTEB 檢索基準

NVIDIA 近日發佈了 Nemotron3Embed 系列嵌入向量模型，專爲生產級 RAG、智能體檢索、代碼檢索及智能體記憶等場景設計。其中8B 版本在檢索嵌入基準測試 RTEB 上排名第一，成爲當前該領域性能最強的開源模型。

該系列包含三個開放檢查點:Nemotron-3-Embed-8B-BF16（精度優先）、Nemotron-3-Embed-1B-BF16(輕量化版本)以及 Nemotron-3-Embed-1B-NVFP4(針對 Blackwell 架構優化的4比特版本)。三者均採用雙向注意力掩碼訓練的 Transformer 編碼器，最大序列長度均爲32，768個 token，支持34種語言，並採用 OpenMDW-1.1許可協議開源。值得注意的是，其基礎模型均基於 Mistral 架構，8B 版本源自 Ministral-3-8B-Instruct-2512，兩個1B 變體則基於 Ministral-3-3B-Instruct-2512。

在 RTEB 基準的16項公開任務測試中，8B-BF16版本以平均 NDCG@10得分78.46位列榜首。1B-BF16版本得分72.38，相較上一代基線 llama-nemotron-embed-vl-1b-v2提升了10.4分。而針對 Blackwell 優化的1B-NVFP4版本僅損失0.38分，相當於保留了99.5% 的精度，同時在 Blackwell 架構上吞吐量比 BF16提升2倍。

1B 模型的構建採用了壓縮而非小規模訓練的路徑。研發團隊先使用 NVIDIA ModelOpt 的神經架構搜索將3B 基礎模型剪枝至2B，再從微調後的8B 嵌入向量教師模型中通過餘弦距離損失和均方誤差損失進行知識蒸餾，最終迭代至1.14B 參數。NVFP4版本則在此基礎上進行了量化感知蒸餾，使用512個樣本校準、2萬個樣本訓練，在長輸入場景下恢復了精度。

在部署層面，三個版本存在差異:8B 和1B 的 BF16版本支持 Transformers 和 Sentence Transformers 框架，而1B-NVFP4僅支持 vLLM0.25.0的 /v2/embed 接口。微架構覆蓋方面，NVFP4版本兼容 Ampere、Hopper、Lovelace 和 Blackwell，而 BF16版本主要面向 Ampere、Hopper 和 Blackwell。NVIDIA 還發布了針對1B 模型的優化版 NIM 微服務，基於 Rust 構建，在 GB200和 RTX PRO6000上達到或超越了 vLLM 檢查點的性能。

應用場景方面，該系列模型支持多語言企業搜索（跨語言檢索）、代碼檢索(訓練數據包含 SWE-bench 等代碼數據集)以及智能體記憶(32K token 長上下文支持較長對話摘要嵌入)。對於成本敏感場景，可採用"1B-NVFP4處理高容量召回 +8B 處理困難查詢"的分層 RAG 策略。

NVIDIA 同時提供了完整的代碼示例，涵蓋基於 Sentence Transformers 的本地推理和基於 vLLM 的服務端部署，查詢和文檔分別通過 `query:` 和 `passage:` 前綴區分，嵌入向量經 L2歸一化處理後點積即等於餘弦相似度。