効率的なMoEアーキテクチャがエッジAIを再構築しました。Liquid AIが提供するLFM2-8B-A1Bは、LFM2シリーズの最初の混合専門家（Mixture-of-Experts、MoE）モデルであり、総パラメータ数は8.3Bですが、1トークンあたり約1.5Bのパラメータしかアクティブ化されません。このスパースなアクティベーションメカニズムは、高表現能力を維持しつつ、計算負荷を大幅に軽減し、リソース制限のあるデバイス側のシナリオに適しています。従来のクラウドベースのMoEモデルとは異なり、この設計はリアルタイムの相互作用を最適化しており、「小規模なMoEは非効率」という業界の認識を挑戦しています。

image.png

モデルはLFM2の混合骨格アーキテクチャに基づいており、18個のゲート付き短い畳み込みブロックと6個のグループクエリアテンション（GQA）ブロックを含んでいます。前2層は安定性を確保するために密に保たれ、それ以降のレイヤーはすべてスパースなMoEフードフォワードネットワークを統合しています。各レイヤーには32個のエキスパートがあり、上位4つのエキスパートのみがアクティブ化され、正規化されたシグモイドルーターに加えて自己調整バイアスが使用され、負荷バランスが実現されます。32Kのコンテキスト長をサポートし、英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、スペイン語などの多言語に対応しています。

トレーニングと性能：12Tトークンで3〜4Bクラスの能力を獲得したLFM2-8B-A1Bは、約12Tトークンの事前トレーニングにより実現され、そのデータ分布は55%が英語、25%が多言語、20%がコードです。その後、Liquid Preference Alignment（長さ正規化DPO/APO-Zero融合）を用いて後トレーニングを行い、BF16/FP8のハイブリッド精度を使用することで、トレーニング効率を3倍以上向上させました。

image.png

ベンチマークテストでは、同規模の競合製品を上回る力を示しています：

  • 知識と指示の遵守：MMLU-Pro得点は37.4（LFM2-2.6Bより11.5ポイントアップ）、IFEval77.6、Multi-IF58.2。
  • 数学能力：GSM8K84.4、GSMPlus64.8、MATH50074.2。
  • 多言語処理：MGSM72.4、MMMLU55.3。
  • プログラミングと文章作成：HumanEval+69.5、LiveCodeBench v621.0、EQ-Bench44.2。

全体的に見ると、このモデルの出力品質は3〜4Bの密モデルと同等であり、複数の会話、創造的ライティング、RAG検索強化生成、ツール呼び出しなどのタスクで優れた性能を発揮します。展開と統合：5倍の高速化、主流フレームワークへの対応。LFM2-8B-A1BはCPUとGPUでの推論速度が顕著に速く、AMD Ryzen AI9HX370やサムソンGalaxy S24 Ultraなどのデバイスで、int4量子化とint8動的アクティベーションを備えたカスタムXNNPACK MoEコアを使用して、Qwen3-1.7BやIBM Granite4.0などよりも最大5倍速いデコードスループットを達成しています。GPU側ではvLLMを統合し、FlashInferとCUDA-graphコンパイルをサポートし、単一リクエストとオンラインバッチ処理の両方で効率的な動作を実現しています。

量子化バリエーションは高性能スマートフォン/タブレット/ノートPC向けに最適化されています：Q4_0は約4.7GB、F16は約16.7GBです。対応フレームワークにはllama.cpp（lfm2moeをサポートするb6709以上のバージョンが必要）、ExecuTorch（モバイル/埋め込みCPU）およびvLLM（GPU）があります。さらに、Hugging Face上のGGUF量子化ファイルとColab微調整ノートブックが提供され、開発者が迅速に始めることが可能です。モデルはLiquid Playgroundでテスト版として公開されています。

オープンソースと影響：デバイス側AIの普及を促進する。LFM2-8B-A1BはLFM Open License v1.0（Apache2.0に基づく）によってオープンソース化されており、重みと技術詳細はすでにHugging Face（LiquidAI/LFM2-8B-A1B）にアップロードされています。このリリースは、AIの導入障壁を低下させ、エッジコンピューティングに新たな活力をもたらすだけでなく、プライバシー保護のリアルタイムチャットから埋め込み型スマートシステムまで、さまざまな分野に恩恵をもたらします。AIbaseの見解：クラウドAIコストが急騰する中、LFM2-8B-A1Bのような効率的なモデルが「AIの下向き移行」の傾向を加速させています。

プロジェクト：https://huggingface.co/LiquidAI/LFM2-8B-A1B