Metaは、長文テキストの処理において計算負荷を増やさずに、優れた性能を維持するLlama 2-Longモデルを発表しました。

継続的プリトレーニング、位置エンコーディングの改良、データ混合戦略を採用することで、計算コストを最大40％削減することに成功しました。

長文・短文の両方のタスクにおいて優れたパフォーマンスを発揮し、GPT-3.5をも凌駕する結果を示しています。

この発表は、自然言語処理分野に新たな活力を吹き込むものと言えるでしょう。