DeepSeek-V4のリリースからわずか10時間後、北京大学DCAIチームは全量自動評価レポートを迅速に作成しました。このスピードはAIエンジニアリング界で広く注目を集め、その中心には北京大学が新たにオープンソースした評価フレームワーク「One-Eval」があります。

長期間にわたり、大規模モデルの評価はエンジニアにとって「悪夢」とされてきました。従来のプロセスでは、ベンチマークセットの選定やスクリプトの作成、フィールドの適合、実行ログの解析など、テストパイプラインの構築に多くの精力を費やすことになります。One-Evalの登場により、業界の効率性が范式レベルでの飛躍を遂げました。

従来の評価の課題：ブラックボックスと汚染

現在、大規模モデルの評価は深刻な課題に直面しています。モデルの規模と複雑さが急激に増加する中で、静的評価方式の欠点が顕著になっています。まず第一に、操作のハードルが高く、パラメータ設定が煩雑で、プログラムの許容範囲が極めて狭いのです。第二に、透明性が欠如しており、最終的なスコアはまるで「ブラックボックス」のように、モデルがどのようにスコアを出したのかを追跡することが難しいです。

業界が最も悩まされているのは「データ汚染」の現象です。モデルがトレーニング段階でテスト問題に触れている可能性があるため、ランキングの信頼性が低下し、高得点が必ずしも高い能力を示すとは限りません。これらの課題に対応するため、業界はより柔軟で透明性の高い評価ツールを強く求めています。

One-Eval：エージェント型によるインタラクティブな変革

北京大学チームが発表したOne-Evalは、「低次元攻撃」のアプローチを採用し、複雑なスクリプト操作を自然言語で駆動するエージェント型モードに変換しました。

ユーザーは対話形式でテスト意図を入力するだけで、システムが自動的に要件を認識し、適切なベンチマークツール（金融、法律、医療など専門分野）をマッチングしてバックグラウンドの設定を静かに行います。さらに、One-Evalは「グローバルステート」バスアーキテクチャを導入し、評価の全フローを追跡可能にしています。結果の厳格性を確保するために、重要な意思決定ポイントで人間の確認を待つ「人間在環」メカニズムを保持しており、完全自動化と専門的な介入のバランスを取っています。

評価競争のビジネスの裏側の論理

大規模モデルの評価は単なる技術作業ではなく、数百億ドル規模のビジネスでもあります。業界の巨頭であるScale AIの場合、そのビジネスモデルは三重の閉鎖循環に進化しています。

  • サービス料金：企業に対してコンプライアンス監査や権限管理などの基本サブスクリプションサービスを提供します。

  • 基準の定義：人間の専門家による盲測などのメカニズムを通じて、業界の信頼性を再定義し、認証を望む大規模モデル企業から高額な費用を徴収します。

  • データの補完：これは最高レベルの護り城河です。モデルの弱点を診断した後、特化した高品質な微調整データセットを販売することで、新たな収益源を創出します。

このような「診断＋薬の販売」の閉鎖循環により、評価機関は大規模モデルのブームの中で確実に利益を得る「仕立て屋」と「審判者」の役割を果たしています。北京大学のOne-Evalのオープンソース化は、この資本支配された市場に新たな技術変数を注入しました。