マイクロソフトは今日午前、公式ウェブサイトで最新バージョンのPhi-4ファミリー モデル「Phi-4-mini-flash-reasoning」をオープンソース化しました。この新しいバージョンは、Phi-4シリーズのパラメータが小さく性能が高いという利点を引き継ぎつつ、計算能力、メモリ、遅延に制限があるシナリオを専門に設計されており、単一のGPUで動作可能で、ノートPCやタブレットなどのエッジデバイスに非常に適しています。

image.png

Phi-4-mini-flash-reasoningの登場により、推論効率が大幅に向上しました。前バージョンと比較して、推論効率は10倍になり、平均遅延は2〜3倍低下しました。このような大きな性能向上により、特に高度な数学的推論において優れた結果を示し、教育や研究分野での応用に最適です。

このバージョンのコアは、マイクロソフトが独自開発したSambaYアーキテクチャです。SambaYは、マイクロソフトとスタンフォード大学が共同で開発したイノベーティブなデコーダー混合アーキテクチャです。ゲートストレージユニットを導入することで、層間の効率的な記憶共有を実現し、デコード効率を向上させながら、線形のプリフィルタイム複雑性を維持し、長文のコンテキスト性能を強化し、明示的な位置符号化を必要としません。

長文生成タスクでは、SambaYは顕著な効率向上を示しました。2K長さのプロンプトと32K長さの生成タスクを処理する際、デコードスループットは従来のPhi-4-mini-Reasoningモデルよりも10倍向上しました。また、数学的推論能力のテストでは、SambaYの性能も大きく向上しており、特に複雑な数学問題において、明確で論理的に一貫した解法ステップを生成できることを示しています。

image.png

マイクロソフトはPhonebookやRULERなどのベンチマークテストを通じて、SambaYの長文検索における性能を評価しました。32K長さのコンテキストで、SambaYはPhonebookタスクで78.13%の正確度を達成し、他のモデルよりもはるかに優れていました。これは、SambaYが長文の理解と生成能力において優れていることを証明しています。

拡張性を確認するために、マイクロソフトは大規模な事前学習実験を行い、3.8Bパラメータを持つPhi-4-mini-Flashモデルを使用し、5Tトークンのデータセット上で訓練を行いました。トレーニング中にいくつかの課題に直面しましたが、ラベルスムージングやアテンションドロップアウトなどの技術を導入することで、モデルは最終的に収束し、知識集約型タスクにおいて顕著な性能向上を達成しました。

オープンソースのURL:https://huggingface.co/microsoft/Phi-4-mini-flash-reasoning

NVIDIA API:https://build.nvidia.com/microsoft

ポイント:

🌟 マイクロソフトがPhi-4-mini-flash-reasoningをリリースし、推論効率が10倍になり、ノートPCでも動作します。

🔍 イノベーティブなSambaYアーキテクチャは、効率的な記憶共有によりデコード性能を向上させ、長文生成および数学的推論に適しています。

📈 ベンチマークテストで優れた結果を出し、Phonebookタスクで78.13%の正確度を達成し、長文の理解力が強いことが証明されています。