AI評価機関Artificial Analysisは8月24日にブログを公開し、Liquid AIと協力してスマートフォン向けのローカルAI性能ベンチマークをリリースしました。このベンチマークは、AppleのiPhone 17 Proにおけるモデルの実際のパフォーマンスに焦点を当てています。両社は明確に役割分担を行い、Artificial Analysisは知能レベルのテストを担当し、Liquid AIは推論性能のテストを担当しています。5つのベンチマークとして、関数呼び出し、指示の遵守、知識認識、難問対応、数学が選ばれました。

小規模なモデルでも高い知能を発揮

テスト対象は、4ビット量子化され、8GB以下のサイズでエッジで動作可能なモデルです。例として、Gemma 4 E2BやLFM2-2.6B-Expが挙げられます。文脈制限が16Kトークンのとき、平均得点が最も高かったのは南北方研究所のNanbeige4.2-3BとLiquid AIのLFM2.5-2.6Bです。もし応答時間が1分以内に制限すると、LFM2.5-8B-A1Bがトップとなり、その次にLFM2-2.6B-Exp、Gemma 4 E4B、Granite 4.1 8Bが続きます。

Nanbeige4.2-3BはBOSS直聘の下にある研究室が開発したもので、30億の非埋め込みパラメータながら、Looped Transformerアーキテクチャによって層を繰り返し使用することで、パラメータを増やさずに有効な計算深度を向上させています。このベンチマークにより、「エッジでの小さなモデル」の知能の上限が明らかになり、スマートフォンのローカルAI競争は単に動くことから、速く動かすことで正確に答えを出すことへと移行していることがわかります。