Meta發佈了Llama2-Long模型,它處理長文本時不增加計算需求,保持卓越性能。採用持續預訓練、位置編碼改進和數據混合策略,減少計算開銷最多可達40%。在長短任務上表現卓越,甚至超越了GPT-3.5。這一發布爲自然語言處理領域注入了新的活力。