Meta AIは最近、MobileLLM-R1という軽量エッジ推論モデルのシリーズをリリースしました。このモデルシリーズは現在、Hugging Faceで利用可能です。パラメータ数は140Mから950Mまであり、効率的な数学的・プログラミング的・科学的推論に焦点を当て、10億パラメータ未満で優れた性能を達成しています。

image.png

MobileLLM-R1シリーズの中で最大のモデルはMobileLLM-R1-950Mです。このモデルは一連のアーキテクチャ最適化設計を採用しています。例えば、22層のTransformer構造、24のアテンションヘッド、および6つのグループ化されたKVヘッドが含まれます。モデルの埋め込み次元は1536で、隠れ層の次元は6144です。また、グループ化クエリアテンション（GQA）を使用して計算とメモリ要件を削減し、ブロックレベルでの重み共有技術によりパラメータ数を減らしつつ遅延を大きく増加させず、SwiGLU活性関数によって小規模モデルの表現能力を向上させています。モデルは4Kのコンテキスト長と32Kの後トレーニングモデルをサポートしています。

トレーニング効率においても、MobileLLM-R1は顕著な性能を示しています。このモデルは約4.2兆トークンでトレーニングされ、Qwen3の0.6Bモデル（36兆トークンでトレーニング）と比較してデータの約11.7%しか使用しなかったにもかかわらず、Qwen3の精度を達成または上回りました。同時に、数学的・プログラミング的・推論タスクに関する監督付きデータセットでファインチューニングされており、これによりトレーニングコストとリソース要件を削減しました。

さまざまなベンチマークテストにおいて、MobileLLM-R1-950Mは優れた性能を発揮しました。MATH500データセットでは、OLMo-1.24Bより約5倍高く、SmolLM2-1.7Bより約2倍高かったです。GSM8K、AIME、LiveCodeBenchなどの推論およびプログラミングタスクにおいて、MobileLLM-R1-950MはQwen3-0.6Bと同等またはそれを上回ったものの、後者よりもはるかに少ないトークンを使用していました。

しかし、MobileLLM-R1の焦点には限界もあります。数学的、プログラミング的、構造的推論においては強力ですが、一般的な会話、常識的推論、創造的タスクではより大きなモデルに劣っています。また、FAIR NC（非商用）ライセンスにより、本モデルの生産環境での使用は制限されています。さらに、長文（32K）は推論時のキーバイキャッシュとメモリ要件を増加させます。

全体的に見ると、MetaのMobileLLM-R1は小さな専門モデルへの傾向を示しており、大規模なトレーニング予算を必要とせずとも競争力のある推論能力を達成できます。このモデルは特に数学的、プログラミング的、科学的アプリケーションの場面で優れた性能を発揮し、エッジデバイスでの大規模言語モデルの展開に新しい基準を定めました。

プロジェクト: https://huggingface.co/facebook/MobileLLM-R1-950M

ポイント:   

🧩 ** 新モデルリリース **: Meta AIは140M〜950Mのパラメータを持つ軽量エッジ推論モデルのMobileLLM-R1シリーズをリリースしました。  

📊 ** トレーニング効率 **: MobileLLM-R1はデータの約11.7%のみで優れた性能を示し、トレーニングコストやリソース要件を大幅に削減しました。  

💡 ** 性能の優位性 **: 複数のベンチマークテストにおいて、MobileLLM-R1-950Mはいくつかの大規模オープンソースモデルを上回り、特に数学的およびプログラミングタスクにおいて優れています。