先日、Googleは、大規模言語モデル（LLM）が統計データ処理時に発生しやすい「幻覚」問題に対処することを目的とした、新しいオープンソースAIモデルDataGemmaを発表しました。

この幻覚現象により、モデルは数字や統計に関する質問に答える際に、不正確な回答をする可能性があります。DataGemmaモデルの発表は、GoogleによるAI分野における重要な進歩を示しています。

アンケート調査、データレポート

画像出典：AI生成画像、画像ライセンス提供元Midjourney

統計クエリにおける幻覚の低減

DataGemmaは、ユーザーへの回答の正確性を向上させるために、2つの異なる方法で構成されています。これらのモデルは、Googleのデータ共有プラットフォームData Commonsの膨大な現実世界のデータに基づいており、Data Commonsは経済、科学、健康など複数の分野の情報を網羅する2400億個以上のデータポイントを保有しています。これはモデルに堅実な事実の基盤を提供します。

この2つの新しいモデルは、Hugging Faceで学術および研究目的で使用でき、既存のGemmaシリーズのオープンモデルをベースに構築されており、Googleが作成したData Commonsプラットフォームからの大量の現実データを使用して回答の基礎を築いています。この公共プラットフォームは、経済、科学、医療など様々な分野の信頼できる組織からの2400億個以上のデータポイントを含む、オープンな知識グラフを提供しています。

モデルアクセス：https://huggingface.co/collections/google/datagemma-release-66df7636084d2b150a4e6643

Googleの研究者たちは、この問題の原因を突き止めるため、モデルの幻覚現象について多角的に調査しました。従来のモデルは、論理や算術の問題処理において効果が低い場合があり、また公共の統計データはフォーマットが多様で背景情報が複雑なため、理解が困難です。

これらの問題を解決するために、Googleの研究者たちは2つの新しい方法を組み合わせました。1つ目は「検索交差生成」（RIG）と呼ばれ、モデルが生成した回答とData Commons内の関連統計情報を比較することで正確性を向上させます。そのため、微調整されたLLMは、最初に生成されたLLMの値を記述する自然言語クエリを生成します。クエリが準備できると、マルチモデル後処理パイプラインがそれを構造化データクエリに変換し、それを実行してData Commonsから関連する統計的回答を取得し、LLMの生成を関連する引用句と共に返したり修正したりします。

2つ目は「検索強化生成」（RAG）と呼ばれ、モデルが元の統計的問題から関連変数を抽出し、自然言語クエリを構築し、Data Commonsから関連データを取得できるようにします。この場合、微調整されたGemmaモデルは、元の統計的問題を使用して関連変数を抽出し、Data Commonsに対して自然言語クエリを生成します。次に、データベースに対してクエリを実行して、関連する統計情報/表を取得します。値を抽出したら、それらは元のユーザークエリと共に、高精度で最終的な回答を生成するために、ロングコンテキストLLM（この場合はGemini1.5Pro）に提示されます。

大幅な精度向上

初期テストでは、RIG手法を使用したDataGemmaモデルは、ベースラインモデルの事実の正確性を5～17％から約58％に向上させることができました。RAG手法の効果はやや劣りますが、それでもベースラインモデルよりも優れています。

データによると、DataGemmaは統計問題の24～29％に正確に回答でき、数値の正確性は99％に達しますが、正しい結論を導き出す際には依然として6～20％の誤差率が存在します。

Googleは、DataGemmaの発表を通じて、関連研究をさらに推進し、将来のGemmaおよびGeminiモデルのより堅実な基盤を築きたいと考えています。Googleの研究は継続され、厳格なテストを経て、これらの改良機能をより多くのモデルに統合することを期待しています。

要点：

🌟 GoogleがDataGemmaモデルを発表。AIによる統計クエリにおけるエラーを削減することを目的とする。

📊 DataGemmaはGoogleのデータ共有プラットフォームを活用し、モデルの回答の正確性を向上させる。

🔍 初期テストでは、DataGemmaは統計クエリにおける正確性を大幅に向上させたことが示された。