清华大学とメンバーアイズテクノロジーは、『自然・マシンインテリジェンス』に論文を掲載し、「能力密度（Capability Density）」という指標を提案しました。これは単位パラメータあたりの有効な知能の量を示すもので、モデルの性能は「高密度・小規模」であるべきだと指摘しています。チームは51の主流オープンソース大規模モデルを統計した結果、密度が約3.5か月ごとに倍増しており、同じタスクに必要なパラメータ数が指数関数的に減少していることがわかりました。

111.jpg

研究では、高密度＝単純な圧縮ではないと強調しています。「辞書に小さな本を入れる」ような方法では知能が損なわれるため、「データ・計算力・アルゴリズム」の協調設計が必要です。メンバーアイズテクノロジーはこれに基づき、0.5B〜2Bの「高密度」モデルシリーズを発表しました。このモデルは同等の下流タスクにおいて7B〜13Bのレベルに達しており、すでにスマートフォンの音声アシスタント、車載インタフェース、スマートホームエッジボックスでの大規模導入が行われています。推論遅延は100ms未満で、エッジ側の消費電力は45%低下しています。

メンバーアイズテクノロジーCEOの李丹氏は、「次段階として、清华大学と協力して密度向上曲線をモデル開発のKPIに組み込み、2026年に『バックパック級』の個人用大規模モデルを発表する予定です。このモデルはNPU搭載ウォッチで動作可能であり、『モデルの小型化』エコシステムの推進に寄与するでしょう」と述べました。