グーグルのディープラーニングチームから最新情報が届きました。彼らは、モバイルデバイスに特化したオープンソースの埋め込みモデルである「EmbeddingGemma」を正式リリースしました。EmbeddingGemmaは、3億8,000万パラメータを持つ効率的な設計で、MTEB（大規模なテキスト埋め込みベンチマーク）において500M以下のパラメータを持つ多言語テキスト埋め込みモデルの中で最高評価を受け、検索拡張生成（RAG）やセマンティック検索などの強力な機能を備えています。インターネット接続なしでも、スマートフォンなどのデバイス上で直接動作します。

image.png

EmbeddingGemmaの優れた点は、ほぼ2倍のサイズの有名なモデルと同等の性能を発揮できる点です。それは軽量でありながら柔軟性があり、さまざまなシナリオに適用可能で、768から128のカスタマイズ可能な出力次元をサポートし、2000トークンのコンテキストウィンドウを持ち、スマートフォン、ノートブック、デスクトップなど日常的なデバイスで動作できます。また、sentence-transformers、MLX、Ollamaなどの人気ツールとの統合も可能です。

EmbeddingGemmaは、RAGパイプラインの構築において優れた性能を発揮します。これは、テキストを数字表現に変換し、高次元空間で意味を表す埋め込みを作成する能力があります。RAGパイプラインでは、まずユーザー入力に基づいて埋め込みが生成され、その埋め込みとシステム内のすべてのドキュメント埋め込みとの類似度が計算され、最も関連性の高い文章が検索されます。この高品質な埋め込みにより、最終的に得られる回答は正確で文脈に合ったものになります。

さらに、EmbeddingGemmaは速度とリソース消費についても丁寧に設計されており、小さく、高速で効率的です。その埋め込み推論時間は15ミリ秒以下で、リアルタイムのインタラクションを許可します。オフライン機能により、ユーザーのデータプライバシーが保証され、特にモバイルデバイスアプリケーションの開発に適しています。

開発者は今やEmbeddingGemmaを利用して、カスタムチャットボットの構築、ファイル検索、特定の分野での高速微調整を行うことができます。オンラインアプリケーションであれ、効率的な性能が必要なサーバーサイドアプリケーションであれ、EmbeddingGemmaは理想的な選択肢を提供します。

公式ブログ：https://developers.googleblog.com/en/introducing-embeddinggemma/

ポイント：

🌟 EmbeddingGemmaは、3億8,000万パラメータを持つオープンソースの埋め込みモデルで、モバイルデバイス向けに設計されており、ネットワーク接続なしでも動作します。

📱 さまざまなツールとの統合をサポートしており、多様なシナリオに柔軟に対応し、開発者のニーズを満たします。

🔒 強力なオフライン機能により、ユーザーのデータプライバシーが確保され、プライバシー保護が向上し、モバイルアプリケーションに信頼性を提供します。