グーグルがAndroid Benchコードランキングをアップデート：Claude5が首位に、Geminiの正確性と効率は両方で後れ

7月9日、グーグルはAndroid Benchコード開発者ランキングを大幅に刷新し、標準化されたHarborサンドボックスフレームワークを全面導入しました。この取り組みにより、テストがセキュリティで隔離された環境に移行され、世界中の開発者が独立した評価を実施し、カスタム開発環境を構築し、データを共有するプロセスを簡略化することを目的としています。アーキテクチャのアップグレードに伴い、グーグルはGitHubを通じてこのベンチマークテストを世界中にオープンソース化し、コミュニティがカスタムAndroid開発タスクやモデル評価を提出できるようにしています。

しかし、再測定されたベンチマークランキングにおいて、グーグル自身のモデルは予想以上に低調でした。アンソロピック傘下のエースモデルであるClaude Fable5は84.5％の正確率で首位となり、OpenAIのGPT-5.5が80.2％で2位にランクインしました。一方で、グーグルのGemini3.1Proは5位にとどまりました。

Geminiはテストコストにおいて一定の優位性を持っていました（1回のイテレーションあたり約87ドル、トップモデルはすべて130ドルを超えていました）が、軽量モデルのGemini3.5Flashは、100問の評価データセットを解析する際に重大な効率的な欠点が露呈しました。1回の実行には28時間かかり、費用は165ドルにもなりました。