フランスのAIスタートアップ企業Les Ministrauxは、エッジデバイス向けに設計された2つの新しい軽量モデル、Ministral3BとMinistral8Bを発表しました。パラメータ数はそれぞれ30億と80億です。これらのモデルは、指示追従ベンチマークテストで優れた性能を示し、Ministral3BはLlama38BとMistral7Bを上回り、Ministral8Bはコード能力を除くすべての分野でこれら2つのモデルを上回りました。

image.png

テストの結果、Ministral3BとMinistral8Bの性能は、Gemma2やLlama3.1などのオープンソースモデルに匹敵することが示されました。これらのモデルはどちらも最大128kのコンテキストをサポートし、100億パラメータ未満のモデルにおいて、知識、常識、推論、関数呼び出し、効率性において新たな基準を打ち立てています。Ministral8Bには、より高速で効率的なメモリ推論を実現するためのスライディングウィンドウ注意機構も搭載されています。これらは、複雑なAIエージェントワークフローの管理や、専用のタスクアシスタントの作成など、さまざまなユースケースに微調整できます。

image.png

研究者たちは、Les Ministrauxモデルについて、知識と常識、コード、数学、多言語など、さまざまな分野を網羅した複数のベンチマークテストを実施しました。事前学習モデル段階では、Ministral3BはGema22B、Llama3.23Bとの比較において最高の成績を収めました。Ministral8Bは、Llama3.18B、Mistral7Bとの比較において、コード能力を除くすべての分野で最高の性能を示しました。微調整後の指示モデル段階では、Ministral3Bはさまざまなベンチマークテストで最高の成績を収め、Ministral8BはWild benchのみGema29Bをわずかに下回りました。

image.png

image.png

Les Ministrauxモデルの登場により、ユーザーは高い計算効率と低遅延のソリューションを利用できるようになり、重要なアプリケーションにおけるオンデバイス優先推論のニーズの高まりに応えることができます。ユーザーは、これらのモデルをデバイス上の翻訳、オフラインのスマートアシスタント、自動ロボットなどのシナリオに適用できます。Ministral8Bの入出力価格は100万トークンあたり0.1ドル、Ministral3Bは100万トークンあたり0.04ドルです。

image.png

注目すべきは、Mistral社が以前、磁力リンク方式で複数のモデルをオープンソース化し、AIコミュニティから認められていたことです。しかし、同社は今年、以前のようなオープンソース化を停止したことで論争に巻き込まれました。マイクロソフトがMistral社の株式の一部を買収し、投資を行うという報道があり、Mistral社のモデルはAzure AI上でホストされることになります。Redditのユーザーは、Mistral社が公式ウェブサイトからオープンソースに関する約束を削除したことを発見しました。同社のいくつかのモデル、今回のMinistral3BとMinistral8Bも有料化されています。

詳細：https://mistral.ai/news/ministraux/