大型語言模型（LLM）如GPT系列，憑藉龐大的數據集，在語言理解、推理和規劃方面展現出驚人的能力，在各種挑戰性任務中已達到與人類相當的水平。大多數研究都集中在通過在更大的數據集上訓練這些模型來進一步增強它們，目標是開發更強大的基礎模型。

然而，雖然訓練更強大的基礎模型至關重要，但研究人員認爲，賦予模型在推理階段也能持續進化的能力，即AI自我進化，對AI的發展同樣至關重要。與使用大規模數據訓練模型相比，自我進化可能只需要有限的數據或交互。

image.png

受人類大腦皮層柱狀結構的啓發，研究人員假設AI模型可以通過與其環境的迭代交互，發展出涌現的認知能力並構建內部表徵模型。

爲實現這一目標，研究人員提出模型必須具備長期記憶（LTM），用於存儲和管理處理後的現實世界交互數據。LTM不僅能夠在統計模型中表示長尾個體數據，還能通過支持跨越各種環境和代理的不同體驗來促進自我進化。

LTM是實現AI自我進化的關鍵。 類似於人類通過個人經歷和與環境的互動不斷學習和改進，AI模型的自我進化也依賴於在交互過程中積累的LTM數據。不同於人類的進化，LTM驅動的模型進化不侷限於現實世界的交互。模型可以像人類一樣與物理環境交互並接收直接反饋，這些反饋經過處理後將增強其能力，這也是具身AI的一個關鍵研究領域。 

另一方面，模型也可以在虛擬環境中進行交互並積累LTM數據，與現實世界交互相比，這具有更低的成本和更高的效率，從而更有效地增強能力。

image.png

構建LTM需要將原始數據進行提煉和結構化。 原始數據是指模型通過與外部環境的交互或在訓練過程中接收到的所有未處理數據的集合。 這些數據包含各種觀察結果和記錄，其中可能包含有價值的模式和大量冗餘或不相關的信息。

 雖然原始數據構成了模型記憶和認知的基礎，但需要對其進行進一步處理纔能有效地用於個性化或高效地執行任務。 LTM將這些原始數據提煉和結構化，使模型可以使用它們。這一過程增強了模型提供個性化響應和建議的能力。

構建LTM面臨着數據稀疏性和用戶多樣性等挑戰。 在持續更新的LTM系統中，數據稀疏性是一個常見問題，特別是對於交互歷史有限或活動零散的用戶而言，這使得模型訓練變得困難。 此外，用戶多樣性也增加了複雜性，要求模型既要適應個體模式，又要有效地跨越不同的用戶羣體進行泛化。

研究人員開發了一個名爲Omne的多代理協作框架，該框架基於LTM實現了AI自我進化。 在這個框架中，每個代理都有一個獨立的系統結構，可以自主學習和存儲一個完整的環境模型，從而構建對環境的獨立理解。 通過這種基於LTM的協作開發，AI系統可以實時適應個體行爲的變化，優化任務規劃和執行，進一步促進個性化和高效的AI自我進化。

Omne框架在GAIA基準測試中取得了第一名的成績，證明了利用LTM進行AI自我進化和解決現實世界問題的巨大潛力。 研究人員相信，推進LTM的研究對於AI技術的持續發展和實際應用至關重要，尤其是在自我進化方面。

總而言之，長期記憶是AI自我進化的關鍵，它使AI模型能夠像人類一樣從經驗中學習和改進。 構建和利用LTM需要克服數據稀疏性和用戶多樣性等挑戰。 Omne框架爲基於LTM的AI自我進化提供了一個可行的方案，其在GAIA基準測試中的成功表明了該領域的巨大潛力。

論文：https://arxiv.org/pdf/2410.15665