最近、香港大学、香港中文大学および商湯科技の研究チームは、注目すべき新しいフレームワーク「GoT-R1」を発表しました。この新たなマルチモーダル大規模モデルは、強化学習（RL）を導入することで、視覚生成タスクにおいてAIの意味的および空間的推論能力を著しく向上させ、複雑なテキスト指示に応じて高精細で意味的に一貫した画像を生成することに成功しました。この進展は、画像生成技術におけるまた一つの飛躍を示しています。

現在、既存のマルチモーダル大規模モデルはテキスト指示に基づいて画像を生成する面で顕著な進歩を遂げていますが、正確な空間関係や複雑な組み合わせを含む指示を処理する際には依然として多くの課題に直面しています。GoT-R1はこのような問題を解決するために生まれました。その前身であるGoTと比較して、GoT-R1はAIの推論能力を拡張し、さらに自律的に学習し推論戦略を最適化する能力も備えています。

image.png

GoT-R1のコアはその強化学習メカニズムにあります。チームは、ユーザーの複雑な指示をよりよく理解できるよう、一貫して効果的な報酬メカニズムを設計しました。このメカニズムは、生成された画像の意味的整合性、空間配置の正確性、全体的な芸術的品質といった複数の評価次元をカバーしています。さらに重要なのは、GoT-R1が推論プロセスを可視化することで、画像生成の効果をより正確に評価できるようにしている点です。

image.png

総合的な評価の結果、研究チームはGoT-R1が「T2I-CompBench」というベンチマークテストで優れた性能を発揮していることを確認しました。特に複雑な階層的な指示を処理する際には、他の主流モデルを上回る能力を示しました。例えば、「複雑」なベンチマークテストでは、GoT-R1の性能が特に目立ち、その強力な推論および生成能力により、多数の評価項目で最高点を記録しました。

GoT-R1のリリースは、マルチモーダル画像生成技術に新たな活力をもたらし、AIが複雑なタスクを処理する際の無限の可能性を示しています。技術が進化し続ける中、今後の画像生成はさらに知能化され精度が向上していくでしょう。

論文: https://arxiv.org/pdf/2503.10639