在人工智能的快速發展中，長文本上下文理解和檢索增強生成（RAG）的能力變得至關重要。Nvidia AI 的最新研究——ChatQA2模型，正是爲了應對這一挑戰而生。基於強大的Llama3模型，ChatQA2在處理大量文本輸入和提供精確、高效的響應方面取得了顯著進步。

性能突破: ChatQA2通過將上下文窗口擴展到128K tokens，並採用三階段指令調整過程，顯著提升了指令遵循能力、RAG性能和長文本理解。這一技術突破使得模型在處理長達10億tokens的數據集時，能夠保持上下文的連貫性和高召回率。

技術細節:ChatQA2的開發採用了詳盡且可復現的技術方案。模型首先通過持續預訓練，將Llama3-70B的上下文窗口從8K擴展到128K tokens。接着，應用了三個階段的指令調整過程，確保模型能夠有效處理各種任務。

評估結果:在InfiniteBench評估中，ChatQA2在長文本總結、問答、多項選擇和對話等任務上取得了與GPT-4-Turbo-2024-0409相媲美的準確性，並在RAG基準測試中超越了它。這一成績凸顯了ChatQA2在不同上下文長度和功能上的全面能力。

image.png

解決關鍵問題:ChatQA2針對RAG流程中的關鍵問題，如上下文碎片化和低召回率，通過使用最先進的長文本檢索器，提高了檢索的準確性和效率。

通過擴展上下文窗口並實施三階段指令調整過程，ChatQA2實現了與GPT-4-Turbo相當的長文本理解和RAG性能。這一模型爲各種下游任務提供了靈活的解決方案，通過先進的長文本和檢索增強生成技術，平衡了準確性和效率。

論文入口：https://arxiv.org/abs/2407.14482