繼 DeepSeek R1之後,阿里雲通義千問團隊剛剛宣佈推出其最新的開源模型 Qwen2.5-1M,再次引發業界關注。

此次發佈的 Qwen2.5-1M 系列包含兩個開源模型:Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M。這是通義千問首次推出能夠原生支持百萬Token上下文長度的模型,並在推理速度上實現了顯著提升。

阿里雲、通義千問

Qwen2.5-1M 的核心亮點在於其原生支持百萬 Token 的超長上下文處理能力。這使得模型能夠輕鬆應對書籍、長篇報告、法律文件等超長文檔,無需進行繁瑣的分割處理。同時,該模型還支持更長時間、更深入的對話,能夠記住更長的對話歷史,實現更連貫、更自然的交互體驗。此外,Qwen2.5-1M 在理解複雜任務,如代碼理解、複雜推理、多輪對話等方面也展現出更強大的能力。

除了令人震撼的百萬Token上下文長度,Qwen2.5-1M 還帶來了另一項重大突破:閃電般快速的推理框架!通義千問團隊完全開源了基於 vLLM 的推理框架,並集成了稀疏注意力機制。這一創新性的框架使得 Qwen2.5-1M 在處理百萬 Token 輸入時,速度提升了 3倍到7倍!這意味着用戶可以更加高效地使用超長上下文模型,極大地提升了實際應用場景的效率和體驗。