百度がErnie5.1を発表：事前訓練コストが94％低下、性能は世界のSearchランキング上位4位に到達

百度は2026年5月11日に、新世代の言語モデル「Ernie5.1」を正式に発表しました。このモデルは、今年1月にリリースされた2.4兆パラメータを持つErnie5.0の予訓練基盤から抽出されています。革新的な「一括弾性トレーニングフレームワーク」により、百度は一度のトレーニング実行で複数のサイズのモデルを最適化する能力を実現し、Ernie5.1の予訓練コストは同種モデルの6％にとどまっています。

5月9日時点でのArena Searchランキングでは、Ernie5.1は1223ポイントを獲得し、世界第4位、中国モデル第1位を記録しており、非常に高いリソース利用率とパフォーマンスのバランスを示しています。

構造面において、Ernie5.1は深度、幅およびアクティブなエキスパート数が調整可能なサブモデル構成を採用しています。そのパラメータ数は前バージョンの約1/3であり、単一のクエリで有効なパラメータ数も約半分に減少しています。多スキルトレーニングにおける「てこぶん効果」を克服するために、百度は4段階の後トレーニングプロセスを採用し、並列専門トレーニングコード、推論および代理エキスパートモデルを組み合わせ、戦略蒸留と強化学習を活用して、プログラミング能力と創造性が相互に干渉する業界の課題を成功裏に解決しました。さらに、再構築された強化学習インフラストラクチャにより、モデルの更新、応答生成、評価が分離して実行され、標準化された低精度計算ライブラリと併せて、大規模トレーニングの安定性を著しく向上させました。