北京智源人工智能研究院與中國人民大學高瓴人工智能學院聯合發佈了一款創新的人工智能模型框架——MemoRAG。該框架基於長期記憶,旨在推動檢索增強生成(RAG)技術的發展,使其能夠處理更復雜的任務,而不僅限於簡單的問答。
MemoRAG採用了一種新穎的模式,通過“基於記憶的線索生成——基於線索指引的信息獲取——基於檢索片段的內容生成”的流程,實現了在複雜場景下精準獲取信息的能力。這一技術特別適用於司法、醫療、教育和代碼等知識密集型領域的任務,展示了極高的潛力。
MemoRAG的核心優勢在於其全局記憶能力,能夠處理長達百萬詞的單上下文數據,這爲處理大量數據提供了強有力的支持。此外,MemoRAG還具備高度的可優化性和靈活性,能夠快速適應新任務並實現性能的最優化。它還能從全局記憶中生成精確的上下文線索,提高問題解答的準確性,並挖掘數據中的深層次洞見。
爲了支持MemoRAG的進一步研究與應用,項目團隊已開源了兩種記憶模型,並提供了使用指南和實驗結果。實驗顯示,MemoRAG在多個基準測試中的表現均優於基線模型。智源研究院表示,儘管MemoRAG項目仍處於初期階段,但他們期待社區的反饋,並將持續優化模型的輕量化、記憶機制的多樣性以及其在中文語料中的表現。
技術報告:https://arxiv.org/pdf/2409.05591
Repo:https://github.com/qhjqhj00/MemoRAG