OpenAIはブログ記事を公開し、業界の権威的な評価基準であるSWE-Bench Proに挑戦しました。731の公開されたテストタスクの中で約30％が評価の欠陥があると述べています。SWE-Bench ProはScale AIによって開発され、大規模言語モデルやAIエージェントのプログラミング能力を評価するためのもので、実際の企業開発に非常に近い内容であり、高い詐欺防止基準を持っているため、現在ではAIソフトウェアエンジニアリング分野における業界の権威的な基準となっています。

OpenAI

OpenAIはブログ記事の中で重要なサインを指摘しています。前線のモデルがこの基準での通過率はわずか8か月で23.3％から80.3％に急上昇しました。この「進歩」の速度は異常に早く、OpenAIはこの基準がモデルの本質的なソフトウェア開発能力を効果的に評価できていない可能性があると考えています。これはモデルの能力が本当に飛躍したのではなく、評価自体にシステム的な問題があるためかもしれません。

二つの検証経路による相互検証により、約30％のタスクが「不適合」

判断を検証するために、OpenAIは二つの並行な検証経路を開始しました。データポイント分析プロセスにより、731のすべての公開タスクの27.4％に当たる200の失敗タスクがマークされました。一方で、人間によるラベリング活動により、249の失敗タスクが識別され、その割合は34.1％でした。これらの二つの経路の相互検証に基づき、OpenAIはSWE-Bench Proの約30％のタスクが欠陥があると推定しています。これには、テストが厳しすぎる、提示が不十分、テスト範囲が狭すぎる、および提示が誤解を招くという4つの問題が含まれます。

OpenAIはまた、具体的な事例も明らかにしました。ある問題では、コンテンツをMarkdownに変換する際に行頭に1つの空白を追加するよう求められますが、隠しテストでは2つの空白が必要です。このため、モデルが問題文の指示に従ってコードを記述しても、間違いとして判定されることがあります。このような「隠し要件と明記された説明の不一致」の問題は、モデルの本当の能力が誤って評価される原因となり、なぜ通過率が不合理に急上昇したのかを説明しています。

採用の建議を撤回し、AI評価体系の再構築を呼びかけ