谷歌 Gemini 嵌入模型登顶 MTEB 排行榜，超越 OpenAI

2023年7月15日，谷歌在凌晨1点正式发布了首个 Gemini 嵌入模型，该模型在多文本嵌入基准测试平台（MTEB）上以68.37的高分名列第一，超越了 OpenAI 的58.93分。这一成绩不仅展示了谷歌在嵌入技术上的领先地位，也为独立创作者和自由职业者提供了更为经济的选择:Gemini 嵌入模型的使用成本仅为每100万 token0.15美元。

Gemini 嵌入模型的强大功能

根据测试结果，Gemini 嵌入模型在双语挖掘、分类、聚类、指令检索、多标签分类、配对分类、重排、检索和语义文本相似性等多项任务中表现出色，成为当前最强的嵌入模型。其多语言能力使其在全球范围内的应用更具潜力，特别是在大量非英语母语用户中。

模型架构与技术创新

Gemini 嵌入模型基于双向 Transformer 编码器架构设计，保留了 Gemini 模型的双向注意力机制，充分发挥了其预训练的语言理解能力。该模型在底层32层 Transformer 的基础上，添加了一个池化层，用于聚合输入序列的每个 token 嵌入，生成单一的嵌入向量。采用的均值池化策略简单有效，增强了模型的适应性。

训练方法与数据质量控制

在训练过程中，Gemini 嵌入模型采取了多阶段的训练策略，分为预微调和精调两个阶段。在预微调阶段，模型使用大规模 Web 语料库中的数据进行训练，主要目标是将参数从自回归生成任务适应到编码任务。精调阶段则针对特定任务的数据进行更精细的训练，确保模型在检索、分类、聚类等任务中的高效表现。

为提高数据质量，研究团队设计了合成数据生成策略，并利用 Gemini 对训练数据进行过滤，去除低质量样本，确保模型在训练中的有效性。

Gemini 嵌入模型的发布标志着谷歌在嵌入技术上的一次重要进步，增强了其在人工智能领域的竞争力。随着这一模型的推广，预计将推动搜索、个性化推荐等多种应用的发展。

体验地址:https://aistudio.google.com/prompts/new_chat

官方博客:https://developers.googleblog.com/en/gemini-embedding-available-gemini-api/