最近、スタンフォード大学、コーネル大学、そしてウェストバージニア大学の計算機科学者と法学者が共同で、興味深い研究を発表しました。これは、いくつかのオープンソースの大規模言語モデルのテキストメモリに関するパフォーマンスを分析したものです。この研究では、5つの異なるオープンウェイトモデルの能力について詳しく調べており、これらのモデルが古典的な本の内容を繰り返すことができるかどうかを評価しています。これらの5つのモデルには、Metaが開発したものが3つ、残りの2つはマイクロソフトとEleutherAIによって作られました。

研究チームは、トレーニングに使用された大規模モデルに使われる人気の高い書籍データベースであるBooks3を利用しました。ただし、これらの書籍の中にはまだ著作権保護されているものも多く含まれています。研究者たちは、36冊の本を複数の重複する100マークのセクションに分け、最初の50マークを使用してプロンプトを生成し、次の50マークが元のテキストと同じである確率を計算しました。もし逐次的な一致確率が50%を超える場合、そのセクションは「記憶済み」とマークされます。

Facebook 元宇宙 meta

驚くべきことに、Metaが2024年に発表したLlama3.170Bモデルは、「ハリー・ポッター」第一巻の内容を42%も記憶していることが明らかになりました。一方、Metaが2023年に発表したLlama165Bモデルは、わずか4.4%しか記憶できていませんでした。この顕著な改善は学術界の注目を集めました。また、研究者たちは、Llama3.170Bが人気のある本、例えば「ホビット」やジョージ・オーウェルの「1984」のような本での記憶能力が際立っていることを発見しました。他のモデルよりもはるかに多くの内容を記憶しているのです。

この研究成果は、大規模言語モデルがテキストメモリにおいて顕著な進歩を見せていることを示しています。また、将来のAI技術がテキスト処理や理解能力において人類の認知レベルに近づく可能性への期待を高めています。