イエール大学の研究チームが最近、画期的な研究成果を発表しました。AIモデルの学習効果を最大化するデータは、単純すぎるか複雑すぎるかではなく、最適な複雑さのレベル、いわゆる「カオスの縁」の状態にあることが明らかになったのです。

研究チームは、基本セルオートマトン（ECA）を用いた実験を行いました。これは、各セルの将来の状態が自身と隣接する2つのセルの状態のみに依存するという単純なシステムです。ルールは単純ですが、このシステムは単純なものから高度に複雑なものまで、多様なパターンを生み出すことができます。研究者たちはその後、これらの言語モデルの推論タスクやチェスの指し手予測などにおけるパフォーマンスを評価しました。

image.png

研究結果によると、より複雑なECAルールで訓練されたAIモデルは、後続のタスクでより優れたパフォーマンスを示しました。特に、Wolfram分類のClass IVのECAで訓練されたモデルは、最高の性能を示しました。このタイプのルールによって生成されるパターンは、完全に秩序だったものでもなく、完全にカオス的でもなく、構造化された複雑性を示しています。

研究者たちは、モデルが単純すぎるパターンに触れると、単純な解決策しか学習できないことを発見しました。対照的に、より複雑なパターンで訓練されたモデルは、単純な解決策が存在する場合でも、より複雑な処理能力を開発します。研究チームは、この学習表現の複雑さが、モデルが知識を他のタスクに移転できる鍵であると推測しています。

この発見は、GPT-3やGPT-4などの大規模言語モデルがなぜこれほど効率的であるかを説明するかもしれません。研究者たちは、これらのモデルが訓練に使用した膨大で多様なデータが、彼らの研究における複雑なECAパターンと同様の効果を生み出したと考えています。