最近、MetaのFAIRチームとエルサレムのヘブライ大学の研究者らは、新しい研究を発表しました。この研究では、大規模言語モデルの推論時間を短縮することで、複雑な推論タスクでのパフォーマンスが大幅に向上することを示しています。研究結果によると、短い推論チェーンを使用したAIモデルの正確性は34.5%向上し、これは現在のAI業界の仮説に挑戦するものです。

メタバース SF サイバーパンク 描画 (1)大規模モデル

画像出典:AI生成、画像提供サービスMidjourney

この研究において、著者たちは長い思考チェーンが必ずしもより良い推論能力をもたらすわけではないことを指摘しました。むしろ、それは計算リソースの浪費につながる可能性があると述べています。これまで多くの企業は、複雑な問題を解決するために詳しい手順を通じてAIの計算能力を拡張するために多額のリソースを投資してきました。しかし、この研究は、短い推論プロセスでも精度を高め、同時に計算コストを大幅に削減できるという点を示しています。

研究チームは「short-m@k」という新しい方法を提案しました。この方法では、複数の推論試行を並列で実行し、少数のプロセスが完了した時点で計算を停止します。最終的な答えは、これらの短い推論チェーンの多数決で決定されます。その結果、この方法はパフォーマンスを維持しつつ、最大40%の計算リソースを削減できることが示されました。このアプローチは、組織が大規模なAI推論システムを展開する際の重要な参考になります。

さらに、研究ではAIモデルのトレーニング時に短い推論インスタンスを使用することで、モデルのパフォーマンスがさらに向上することも明らかになりました。これは従来の仮説に反するもので、長時間の推論トレーニングがより良いパフォーマンスをもたらすと考えられていましたが、実際には短いトレーニングインスタンスの方が効果的であることがわかりました。

AI業界では企業がしばしばより強力なモデルを迅速に展開しようとしますが、これらは通常非常に大きな計算リソースを必要とします。この研究の発見により、技術の意思決定者はテスト時のLLM（大規模言語モデル）の計算方法を見直す必要性を感じています。研究では、長い「思考」が必ずしもパフォーマンスを向上させるわけではなく、逆に結果が悪化する可能性があることが示されています。

この研究成果は、計算コストを削減しながらパフォーマンスを向上させたいと考える技術の巨人たちにとって非常に重要です。拡張志向の業界において、AIに簡潔な思考方法を教えることは、計算リソースを節約し、知能レベルを向上させるだけでなく、最終的に「考えすぎない」という古い知恵にも通じています。

ポイント:

🌟 研究により、シンプルな推論チェーンを採用するとAIモデルの正確性が34.5%向上することがわかった。

💡 新しい手法「short-m@k」により、計算コストを40%削減可能。

📈 短い推論インスタンスを使ったトレーニングで、AIパフォーマンスがさらに向上し、従来の仮説と異なる結果が出た。