大規模モデルは出荷時点で「固定」されており、新しい知識を入力しても、対話が終わると失われるか、無理に詰め込むと古い能力を忘れてしまう——このジレンマを解決しようと、Googleは10月27日に「睡眠フレームワーク」（Sleep Framework）を発表した。関連論文のタイトルは『Language Models Need Sleep』で、モデルも人間のように睡眠によって記憶を定着させるべきだとずばり指摘している。この構想はGoogle Researchが公開したもので、狙いは業界で長く治らない「知識カットオフ日」という難病にある。

起きているときは働き、眠っているときに整理する

このフレームワークはモデルの動作を2段階に分ける。覚醒段階では、通常どおり入力を受け取り、情報をまず短期記憶に入れる。睡眠に移ると、仕事を止め、記憶の統合と自己改善に専念する。鍵は「記憶の定着」だ。パラメータ拡張、Mixture-of-Experts記憶ブロック、知識蒸留を活用して、壊れやすい短期コンテキストを長期パラメータに書き込みつつ、既存知識を上書きしない。さらに「夢を見る」段階を設け、モデル自身が合成訓練サンプルを生成・選別し、強化学習で繰り返し練習して、推論と汎化をより滑らかに磨く。従来の繰り返し微調整が引き起こす「破壊的忘却」と比べ、睡眠型統合はモデルに紛失防止ゲートを取り付けるようなものだ。

ゼロ忘却への野望

実験データは魅力的だ。このフレームワークは継続翻訳、長文脈理解、事実吸収、数学推論で多数のベースラインを上回る。最大約1,000万トークンのコンテキストを処理でき、未見言語の多段階継続学習では性能がほぼ低下しない。AIME 24/25などの数学ベンチマークでもより高い正解率を達成している。もし実用化できれば、「知識カットオフ日」を打破できる見込みだ。モデルはリリースした瞬間に時代遅れになるのではなく、使えば使うほど能力を伸ばし、しかも元の得意分野も忘れない。新しい情報を継続的に取り込む必要がある医療、金融、法務の現場では、この仕組みは定期的な再訓練よりも明らかに割に合う。