神が戦う！Mistral Large2が突然オープンソース化：1230億パラメーター、Llama3.1に匹敵

MetaがLlama 3.1という最強のオープンソースモデルを発表した翌日、Mistral AIは本日未明、主力モデルMistral Large 2を発表しました。この新製品は1230億個のパラメータを持ち、128kという超大規模なコンテキストウィンドウを備えており、この点ではLlama 3.1に匹敵します。

Mistral Large 2モデルの詳細

Mistral Large 2は128kのコンテキストウィンドウを備え、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、アラビア語、ヒンディー語、ロシア語、中国語、日本語、韓国語など数十種類の言語、そしてPython、Java、C、C++、JavaScript、Bashなど80種類以上のプログラミング言語に対応しています。

Mistral Large 2は単一ノード推論用に設計されており、主に長いコンテキストを持つアプリケーションを対象としています。1230億個のパラメータという規模により、単一ノードで大規模なスループットで動作させることができます。Mistral Large 2はMistral Research Licenseの下で公開されており、研究および非商業目的での使用を意図しています。商業利用を希望する場合は、商業ライセンスを取得するために連絡する必要があります。

全体的なパフォーマンス:

パフォーマンス面では、Mistral Large 2は評価指標において新たな基準を打ち立て、特にMMLUベンチマークテストで84.0％の精度を達成し、強力なパフォーマンスとコスト効率のバランスを示しました。

コードと推論

Codestral 22BとCodestral Mambaのトレーニング経験から、Mistral Large 2はコード処理において優れたパフォーマンスを発揮し、GPT-4o、Claude 3 Opus、Llama 3 405Bなどの最先端モデルに匹敵するレベルです。

指示遵守とアライメント

Mistral Large 2は、指示遵守と会話能力においても著しい進歩を遂げ、特に複雑で複数回にわたる会話を処理する際に柔軟性が向上しています。一部のベンチマークテストでは、長い応答を生成することでスコアが向上することがあります。しかし、多くの商業アプリケーションでは簡潔さが重要であり、短いモデル生成はインタラクション速度の向上と、よりコスト効率の高い推論に役立ちます。

言語の多様性

新しいMistral Large 2は、大量の多言語データでトレーニングされており、特に英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、オランダ語、ロシア語、中国語、日本語、韓国語、アラビア語、ヒンディー語において優れたパフォーマンスを発揮します。以下は、Mistral Large 2の多言語MMLUベンチマークにおけるパフォーマンス結果で、以前のMistral Large、Llama 3.1モデル、CohereのCommand R+と比較しています。

ツール使用と関数呼び出し

Mistral Large 2は、強化された関数呼び出しと検索スキルを備えており、並列および順次関数呼び出しを熟練して実行するようにトレーニングされているため、複雑なビジネスアプリケーションの駆動エンジンとして機能させることができます。

使用方法:

現在、ユーザーはLa Plateforme（https://console.mistral.ai/）でMistral Large 2を使用できます。名称はmistral-large-2407で、le Chatでテストできます。バージョン24.07（すべてのモデルに適用されるYY.MMバージョン管理システム）とAPI名mistral-large-2407で使用できます。instructモデルの重みは利用可能で、Hugging Face（https://huggingface.co/mistralai/Mistral-Large-Instruct-2407）にもホストされています。

La Plateformeの製品には、2つの汎用モデルMistral NemoとMistral Large、そして2つの専門モデルCodestralとEmbedが含まれます。La Plateformeの古いモデルを段階的に廃止していくにつれて、すべてのApacheモデル（Mistral 7B、Mixtral 8x7Bと8x22B、Codestral Mamba、Mathstral）は、SDK mistral-inferenceとmistral-finetuneを使用してデプロイと微調整を行うことができます。

本日から、La Plateformeでのファインチューニング機能が拡張されます。これらの機能は、Mistral Large、Mistral Nemo、Codestralで使用できるようになりました。

Mistral AIは、主要な複数のクラウドサービスプロバイダーと連携して、Mistral Large 2を世界中で利用できるようにしており、特にGoogle Cloud PlatformのVertex AIでも見つけることができます。

ハイライト:  

🌟 Mistral Large 2は128kのコンテキストウィンドウを備え、最大10種類の言語と80種類以上のプログラミング言語に対応しています。  

📈 MMLUベンチマークテストで84.0％の精度を達成し、優れたパフォーマンスとコスト効率を実現しています。  

💻 ユーザーはLa Plateformeを通じて新しいモデルにアクセスし、クラウドサービスプラットフォームで広く活用できます。