近日,阿里巴巴在 Github 等平臺正式開源了其全新研發的大模型搜索引擎 ZeroSearch。這款搜索引擎以強化學習框架爲基礎,能夠在無需與真實搜索引擎交互的情況下,激發大模型的搜索能力。
ZeroSearch 的核心技術是利用大模型在大規模預訓練過程中積累的豐富知識,將其轉化爲一個高效的檢索模塊。該模塊能夠根據用戶輸入的搜索查詢生成相關的內容,同時具有動態控制生成內容質量的功能,這是傳統搜索引擎所不具備的優勢。
研究團隊在多個知名問答數據集上進行了評測,包括 NQ、TriviaQA、PopQA 和 HotpotQA 等。測試結果顯示,使用 ZeroSearch 後,一個70億參數的監督微調模型,其搜索能力達到了33.06,而140億參數的模型則進一步提升至33.97,超越了谷歌搜索的32.47。這一成就表明,ZeroSearch 在搜索性能上有了顯著提升。
在訓練過程中,研究人員通過 SerpAPI 利用谷歌搜索進行了約64,000次的搜索查詢,產生的成本高達586.70美元(約合4238元人民幣)。而在使用140億參數的大模型進行模擬時,僅需70.80美元(約合511元人民幣),成本大幅降低,達到了87.93% 以上。這一結果展示了 ZeroSearch 在經濟效益上的突出表現。
ZeroSearch 不僅在搜索能力上超越了現有的谷歌搜索,同時也在使用成本上實現了顯著降低,爲人工智能搜索引擎的發展提供了新的可能性。
開源地址:https://github.com/Alibaba-nlp/ZeroSearch
劃重點:
🌟 阿里巴巴開源了 ZeroSearch 搜索引擎,採用強化學習框架。
📈 使用 ZeroSearch 的搜索能力超越谷歌搜索,達到更高的評測分數。
💰 模型訓練成本大幅降低,使用140億參數模型時成本降低至約70.80美元。