最近、MIT CSAIL、ゲッティンゲン大学、IBM研究所など複数の機関からなる研究チームが、新たな音声質問応答モデル「Omni-R1」を発表しました。このモデルは、Qwen2.5-Omniをベースに、「グループ相対ポリシー最適化（GRPO）」と呼ばれる強化学習手法を使用して最適化され、音声質問応答タスクで優れたパフォーマンスを示しています。

image.png

Omni-R1は、音声、音楽、スピーチなどを含む複数の音声カテゴリをカバーする著名なMMAUベンチマークで新しい最先端の記録を作成しました。研究チームは、モデルのトレーニングには音声データが使用されたものの、そのパフォーマンス向上の主な理由はテキスト推論能力の強化であることを指摘しています。これは驚くべき発見であり、単にテキストデータでの微調整のみでもモデルのパフォーマンスが大幅に改善されることを示しています。

そのため、研究者たちはChatGPTを利用して大量の音声質問応答データを生成し、新しいデータセットAVQA-GPTとVGGS-GPTを作成しました。これらのデータセットはそれぞれ4万件と18.2万件の音声データを含み、Omni-R1の精度をさらに高めました。トレーニングプロセスでは、Omni-R1は従来の基準モデル（SARIを含む）を上回り、平均スコア71.3％を達成しました。研究によると、音声データでの微調整は若干有利ですが、テキストのみでの微調整も無視できない貢献を果たしています。

GRPO方法の重要な利点の一つはメモリ効率の高さです。これにより、48GBのGPU上で効率的に動作します。この方法は、回答の正誤に基づいて比較されるグループごとの出力に基づいて報酬を与え、複雑な価値関数を使用せずに行います。研究者たちは、Qwen-2Audioの音声説明を拡張することでトレーニングデータを増やし、マルチモーダルタスクにおいてモデルの競争力を高める戦略を取りました。

Omni-R1は音声質問応答分野で新たな基準を確立しただけでなく、テキスト推論が音声モデルのパフォーマンスに及ぼす影響の重要性も示しました。今後、研究チームはすべての関連リソースを公開することを約束しており、多くの研究者と開発者がこの成果を利用できるようになります。

論文: https://arxiv.org/abs/2505.09439

ポイント:  

🔍 Omni-R1は、Qwen2.5-Omniモデルをベースに、GRPO強化学習手法を使用して最適化された音声質問応答モデルです。  

📈 同モデルはMMAUベンチマークで新たな記録を達成し、テキスト推論能力の向上が主な要因とされています。  

🛠️ 研究チームはChatGPTを利用して新しいデータセットを生成し、モデルのトレーニング効果と精度を大幅に向上させています。