LeCunの新提案：CVの考え方で言語モデルを再構築し、性能を大幅に向上させた！

現代の人工知能分野において、ヤン・レクーンが提唱したJEPA（ジェイパ）は、大規模言語モデル（LLM）のトレーニング方法を再定義しています。このノーベル賞受賞者は、既存のLLMを批判するのではなく、自ら手を挙げて改良に取り組んでいます。従来のLLMトレーニング方法は、入力空間における再構成と生成に主に依存しており、例えば次の単語を予測する方法などがあります。このような方法は視覚分野において限界があることがすでに証明されています。

レクーンと彼のチームは、コンピュータビジョン（CV）分野の先進的な技術を活用して、言語モデルの性能を向上させることができると思っています。JEPAの中心的な考え方は、抽象的表現空間で欠損した特徴を予測することにより、効率的に世界の知識を学ぶことです。メタAIチームはすでに画像や動画処理においてJEPAを成功裏に適用しています。そして現在、彼らはこのアイデアを言語モデルの分野に拡張したいと考えています。

この空白を埋めるために、研究者であるハイ・ワン、ヤン・レクーン、ランダル・バレスティエロが共同でLLM-JEPAを開発しました。この新しいモデルでは、テキストとコードを同じ概念の異なる視点として扱い、初めてJEPAの自己教師あり学習アーキテクチャをLLMに応用することに成功しました。JEPAが埋め込み空間で学ぶ優位性を組み合わせることで、LLM-JEPAはLLMの強力な生成能力を保持しつつ、性能とロバスト性の両方で大きな成果を収めています。

実験結果によると、LLM-JEPAはLlama3、OpenELM、Gemma2などの主流モデルおよびGSM8K、Spiderなどの多様なデータセットで優れた性能を示し、伝統的なLLMトレーニング目標を大きく上回っています。また、過適合を防ぐ面でも非常にロバストであり、言語モデルの将来の発展に向けて新たな方向性を提示しています。

現在の研究は微調整の段階に集中していますが、初期のプリトレーニング結果は非常に有望です。チームは今後の作業において、LLM-JEPAがプリトレーニングプロセスでの応用をさらに探求することを計画しており、言語モデルの性能向上に新たな力を注ぎ込むことを期待しています。