オープンソース大規模モデルの分野において、ヨーロッパの光であるMistral AIが再び驚くべき進化速度を示しました。

現地時間3月16日、Mistral AIは正式にMistral Small4を発表しました。これはこの研究室が初めて真正の「全能型」の大規模モデルであり、最初に単一モデルでエリート級の推論能力、マルチモーダルな理解能力、そして強力なプログラミング能力を完璧に統合したものです。開発者にとってこれは、さまざまな専門モデルの間で「選択問題」をしなければならない必要がなくなることを意味します。なぜなら、新世代のSmall4は「すべてほしい」という実現を可能にしたからです。

image.png

Mistral Small4は高度なMoE（Mix of Experts）アーキテクチャを採用しています：

  • コアパラメータ: 総パラメータ数は119Bで、アクティブパラメータは6Bにとどまり、性能を保ちつつ動作効率を大幅に最適化しています。

  • 広範な視野: 256kの非常に長いコンテキストウィンドウを持ち、技術文書全体や大規模なコードベースを簡単に処理できます。

  • 柔軟なモード: 速い応答と深い推論の2つのモードをサポートしており、Apache2.0ライセンスで公開されており、誠意が感じられます。

パフォーマンス面では、Mistral Small4は前バージョンに比べて質的な飛躍を遂げました。公式データによると、遅延最適化モードではエンドツーエンドの完了時間が40％短縮されています。また、スループット最適化モードでは、Small3の3倍の要求数を1秒あたり処理できます。外部の大規模モデルとの横向き評価では、三大主要ベンチマークテストでの成績はOpenAIのGPT-OSS120Bと同等であることが確認されました。

導入コストとハードウェアの推奨:

このモデルの最大の力を引き出すために、Mistral AIは明確なハードウェアガイドラインを提示しました。最低構成要件は4×HGX H100または1×DGX B200ですが、最高の体験を得るために、4×HGX H200または2×DGX B200の組み合わせが推奨されます。

Mistral Small4のリリースにより、Mistral AI