セミアナライシスの最新レポートによると、2024年5月にGPT-4oがリリースされて以来、OpenAIは「次の先進モデル向けの」大規模なプリトレーニングの展開をまだ完了しておらず、トップチームが複数回パラメーターやデータ規模の拡張を試みたが、収束の困難や性能の低下により途中で中止せざるを得なかった。これにより、世間から期待されていたGPT-5シリーズは実際にはGPT-4oの最適化バージョンであり、アーキテクチャレベルでの飛躍は見られていなかった。

一方で、グーグルのTPUv7はGemini3などのモデルで大規模なプリトレーニングの検証を完了しており、同等の計算力クラスターにおける総所有コスト（TCO）はNVIDIAのソリューションよりも約30%低かった。セミアナライシスは、OpenAIは「実際にTPUを導入していない」と指摘し、評価の情報をただ伝えただけで、NVIDIAが既存のGPUクラスターの価格を譲歩させ、OpenAIに約30%のコスト削減をもたらしたと述べている。これはTPUのコストパフォーマンスの優位性を間接的に示している。

業界の見解では、プリトレーニングのScaling法則がデータ、計算力、モデルの構成という3つの課題に直面している。高品質なインターネットデータはほぼ枯渇し、合成データのコストは1TBあたり1億ドルに達し、10万枚のカードクラスターでは故障が頻発し、より大規模なMoEの超パラメーターの調整も難しくなっている。OpenAIの停滞は、この分野が「後Scaling時代」に入った象徴的なサインとされ、各社は推論モデルや自己対戦RL、マルチモーダル後のトレーニングといった新たな突破を目指して取り組んでいる。