ユーザーの質問方法がAIモデルの正確性に影響 簡潔な回答は誤情報を招きやすい

最近、フランスの人工知能研究所であるGiskardは、言語モデルに関する研究を行いました。その結果、ユーザーが簡潔な回答を求めた場合、多くの言語モデルが誤ったまたは誤導的な情報を生成する可能性が高いことが明らかになりました。

この研究では多言語のPhareベンチマークを使用し、特に現実的な使用環境でのモデルのパフォーマンスに焦点を当てています。特に、モデルが生成する「ファンタジーアイテム」現象についてです。「ファンタジーアイテム」とは、モデルが虚偽または誤導的な内容を生成する状況を指します。過去の研究では、この問題が大型言語モデル全体の記録された事象の三分の一以上を占めると報告されています。

画像ソース注記: 画像はAIによって生成され、画像提供サービスMidjourneyがライセンスしています。

研究結果は、ユーザーが簡潔な回答を求めた場合、多くのモデルでファンタジーアイテム現象が顕著に増加することを示しています。一部の場合では、モデルのファンタジーアイテムに対する耐性が最大で20%低下しました。特に、ユーザーが「簡潔に答えてください」という指示を与えた場合、モデルの事実正確性が影響を受けやすいことがわかりました。正確な反論にはより長く詳細な説明が必要ですが、モデルが回答を簡略化するように求められた場合、事実の正確性が犠牲になることが多いです。

さまざまなモデル間での簡潔な要求に対する反応には大きな差があります。Grok2、Deepseek V3、GPT-4o miniなどのモデルは、簡潔性制限に対して明らかなパフォーマンスの低下が見られました。一方で、Claude3.7Sonnet、Claude3.5Sonnet、Gemini1.5Proなどのモデルは、簡潔な回答を要求されても、比較的安定した正確性を維持できました。

簡潔な要求だけでなく、ユーザーのトーンもモデルの反応に影響を与えます。ユーザーが「私は100%確信しています…」や「私の先生が私に言った…」といった表現を使う場合、特定のモデルの訂正能力が著しく低下することがあります。これを「アクリシズム効果」と呼び、この効果によりモデルが誤った主張に挑戦する能力が最大で15%低下することがあります。小さなモデル、例えばGPT-4o mini、Qwen2.5Max、Gemma327Bは特にこのような表現に敏感ですが、Claude3.5やClaude3.7のような大型モデルはそれほど影響を受けません。

全体として、この研究は、現実的なアプリケーション環境では理想的なテスト環境と比べて言語モデルのパフォーマンスが劣ることが多いことを強調しています。特に、誤導的な質問やシステム制約がある場合、その傾向が顕著です。アプリケーションが事実の正確性よりも簡潔さやユーザーフレンドリーさを重視する場合、この問題は特に顕著になります。

ポイント:

- 📉 簡潔な要求は言語モデルの正確性を低下させ、ファンタジーアイテムへの耐性が最大で20%低下することがあります。

- 🗣️ ユーザーのトーンや表現はモデルの訂正能力に影響を与え、アクリシズム効果により誤った情報に挑戦する能力が最大で15%低下します。

- 🔍 現実的な条件では、異なるモデル間でのパフォーマンスに大きな違いがあり、小さなモデルは簡潔さや自信のある表現に特に敏感です。