最近、北京清华大学の研究チームは国際雑誌『Nature Machine Intelligence』に、非常に示唆的な研究成果を発表しました。この研究では、「能力密度」という新しい概念が提案されました。この研究は従来の見解に挑戦しており、AIの大規模モデルの実力を評価する際には、単にパラメータ数（つまり「サイズ」）に注目するのではなく、各パラメータが示す知能レベル、つまり「密度」に注目すべきであると述べています。

従来、AI分野ではモデルが大きいほど能力が高いという「スケールの法則」が一般的でした。この「スケールの法則」は、過去数年間で多くの強力なAIモデルが登場するのを促進してきました。しかし、パラメータ数が増えるにつれて、モデルの訓練や使用コストも急騰し、これによりAI技術の産業化応用に制限が生じるようになりました。

脳 大規模モデル AI

北京清华大学の研究によると、AIモデルの「能力密度」を高めるには、単にモデルを圧縮するだけではなりません。研究者は、大規模モデルを無理に圧縮するのは、厚い辞書を小さなブックに入れるようなもので、結果として「知性」の損失を招くと指摘しています。したがって、研究者たちは、より高度な「データ＋計算力＋アルゴリズム」のシステムによって、「高密度」の小規模モデルを構築する必要があると強調しています。

また、この研究では、過去数年間に公開された51のオープンソースの大規模モデルにおいて、「能力密度」が指数関数的に増加していることが判明しました。約3.5か月ごとに倍増しているのです。これは、現在ある複雑なタスクをこなすために必要な「脳」が体育館ほどの大きさであるとしても、それほど遠くない将来には、リビングルームほどのサイズで十分であり、さらに3か月半後には、その「脳」のサイズがバックパックほどの小ささになることを意味しています。