最近、NVIDIAは大規模言語モデル開発者であるMistral AIと提携を発表し、新しいオープンソースモデルの一連の開発と展開を加速することを目的としています。両社の協力協定に基づき、NVIDIAは自社の強力なプラットフォームを利用して、Mistralが最新にリリースしたモデルシリーズ「Mistral 3」をサポートします。

Mistral 3シリーズは、オープンソースで、多言語およびマルチモーダルであり、NVIDIAのスーパーコンピューティングおよびエッジプラットフォームに最適化されています。このモデルは、混合エキスパート（MoE）アーキテクチャを使用しており、特定のタスクに関連する部分のみがアクティブになるため、より効率的で正確な展開が可能です。NVIDIAは、GB200 NVL72システムとMistralのMoEアーキテクチャを組み合わせることで、企業が大型モデルをより効率的に展開・拡張でき、進んだ並列性とハードウェアの最適化を最大限に活用できると述べています。

Mistral 3モデルには410億のアクティブパラメータ、6750億の総パラメータ、256Kの大きなコンテキストウィンドウがあり、企業向けAIワークロードに対して良好なスケーラビリティ、効率性、柔軟性を提供します。また、両社はこの新しいモデルが12月2日に全面的にリリースされ、クラウド、データセンター、エッジデバイスで利用可能になると明らかにしています。

今回の提携は、以前から両社が行っていた協力関係を引き継いでおり、チャットボットやコード作業に特化したMistral NeMo 12B言語モデルを開発しました。さらに、Mistralは9つの小さな言語モデルをリリースし、開発者がさまざまなデバイス上でAIを実行できるように支援しています。これらのモデルは、NVIDIAのハードウェア、例えばSpark、RTX PC、ノートパソコン、Jetsonデバイスなどでの動作を想定して設計されています。開発者はAIフレームワークのLlama.cppやOllamaを通じてこれらのモデルにアクセスできます。

Mistral 3ファミリーは研究者や開発者に公開されており、これは「前線のAIを民主化する」取り組みの一環とされています。注目すべき点は、NVIDIAが同じ週にチップメーカーのSynopsysに20億ドルを投資したことを発表したことです。これは、同社がAIと計算分野における力を強調するものとなっています。

ポイント：

🌟 NVIDIAとMistral AIは、AIモデルの開発と展開の効率を向上させるために、オープンソースのMistral 3モデルシリーズをリリースしました。

🔍 Mistral 3シリーズは、混合エキスパートアーキテクチャを採用し、410億のアクティブパラメータと6750億の総パラメータを持ち、企業向けAIアプリケーションに適しています。

💻 同時にリリースされた9つの小さな言語モデルは、さまざまなハードウェアに対応し、AI技術の普及と応用を促進しています。