今天凌晨，阿里巴巴通義千問團隊發佈了Qwen2系列開源模型。該系列模型包括5個尺寸的預訓練和指令微調模型:Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。關鍵信息顯示，這些模型的參數數量和性能較前一代 Qwen1.5有顯著提升。

對於模型的多語言能力，Qwen2系列投入了大量精力增加數據集的數量和質量，覆蓋英語和中文以外的27種其他語言。經過對比測試，大型模型（70B + 參數）在自然語言理解、編碼、數學能力等方面表現出色，Qwen2-72B 模型更在性能和參數數量方面超越前一代。

Qwen2模型不僅在基礎語言模型評估中展現出強大的能力，還在指令調優模型評估中獲得令人矚目的成績。其多語言能力在 M-MMLU 和 MGSM 等基準測試中表現出衆，展現出 Qwen2指令調優模型的強大潛力。

此次發佈的 Qwen2系列模型標誌着人工智能技術的新高度，爲全球 AI 應用和商業化提供了更廣闊的可能性。展望未來，Qwen2將進一步擴展模型規模和多模式能力，加速推動開源 AI 領域的發展。

模型信息

Qwen2系列包含5種尺寸的基礎和指令調優型號，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B、Qwen2-72B。我們在下表中說明了各型號的關鍵信息:

具體來說，之前在 Qwen1.5中，只有 Qwen1.5-32B 和 Qwen1.5-110B 採用了 Group Query Attention（GQA）。這次，我們針對所有模型大小都應用了 GQA，以便它們在模型推理中享受更快的速度和更少內存佔用的好處。對於小模型，我們更喜歡應用 tying embedding，因爲大型稀疏 embedding 佔了模型總參數的很大一部分。

在上下文長度方面，所有基礎語言模型均已在32K 個 token 的上下文長度數據上進行了預訓練，我們在 PPL 評估中觀察到高達128K 的令人滿意的外推能力。但是，對於指令調整模型，我們並不滿足於僅僅進行 PPL 評估;我們需要模型能夠正確理解長上下文並完成任務。在表中，我們列出了指令調整模型的上下文長度能力，這些能力是通過對 Needle in a Haystack任務的評估來評估的。值得注意的是，當使用 YARN 進行增強時，Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 模型都表現出令人印象深刻的能力，可以處理高達128K 個 token 的上下文長度。

我們付出了巨大的努力來增加預訓練和指令調整數據集的數量和質量，這些數據集涵蓋了英語和中文以外的多種語言，以增強其多語言能力。儘管大型語言模型具有推廣到其他語言的固有能力，但我們明確強調在我們的訓練中加入了27種其他語言:

此外，我們投入了大量精力來解決多語言評估中經常出現的代碼轉換問題。因此，我們的模型處理這種現象的能力顯著提高。使用通常會引發跨語言代碼轉換的提示進行的評估證實，相關問題顯著減少。

表現

對比測試結果顯示，大規模模型（70B+參數）的性能相比Qwen1.5有大幅提升。本次測試以大規模模型Qwen2-72B爲中心。在基礎語言模型方面，我們對比了Qwen2-72B和當前最佳的開放模型在自然語言理解、知識獲取、編程能力、數學能力、多語言能力等能力方面的性能。得益於精心挑選的數據集和優化的訓練方法，Qwen2-72B的表現優於Llama-3-70B等領先模型，在參數數量較少的情況下，其性能甚至超過了上一代Qwen1.5-110B。

在進行大量大規模預訓練之後，我們進行後訓練，以進一步增強 Qwen 的智能，使其更接近人類。此過程進一步提高了模型在編碼、數學、推理、指令遵循、多語言理解等領域的能力。此外，它使模型的輸出與人類價值觀保持一致，確保其有用、誠實且無害。我們的後訓練階段採用可擴展訓練和最少人工註釋的原則設計。具體而言，我們研究如何通過各種自動對齊策略獲得高質量、可靠、多樣化和創造性的演示數據和偏好數據，例如數學的拒絕抽樣、編碼和指令遵循的執行反饋、創意寫作的反向翻譯、角色扮演的可擴展監督等。至於訓練，我們採用了監督微調、獎勵模型訓練和在線 DPO 訓練的組合。我們還採用了一種新穎的在線合併優化器來最大限度地減少對齊稅。這些共同努力大大提高了我們模型的能力和智能，如下表所示。

我們對 Qwen2-72B-Instruct 進行了全面評估，涵蓋了各個領域的16個基準測試。Qwen2-72B-Instruct 在獲得更好的能力和與人類價值觀保持一致之間取得了平衡。具體來說，Qwen2-72B-Instruct 在所有基準測試中都明顯優於 Qwen1.5-72B-Chat，並且與 Llama-3-70B-Instruct 相比也達到了具有競爭力的性能。

在較小的模型上，我們的 Qwen2模型也優於類似甚至更大尺寸的 SOTA 模型。與剛剛發佈的 SOTA 模型相比，Qwen2-7B-Instruct 仍然在各個基準測試中表現出優勢，特別是在編碼和中文相關指標上表現出色。

強調

編碼與數學

我們一直致力於提升 Qwen 的高級功能，特別是在編碼和數學方面。在編碼方面，我們成功整合了CodeQwen1.5的代碼訓練經驗和數據，從而使 Qwen2-72B-Instruct 在各種編程語言方面取得了顯著的改進。在數學方面，通過利用廣泛且高質量的數據集，Qwen2-72B-Instruct 在解決數學問題方面體現出了更強的能力。

長上下文理解

在 Qwen2中，所有指令調整模型都在32k 長度上下文中進行了訓練，並使用YARN或Dual Chunk Attention等技術推斷到更長的上下文長度。

下圖是我們在Needle in a Haystack上的測試結果，值得注意的是，Qwen2-72B-Instruct 能夠完美處理128k 上下文中的信息提取任務，再加上其與生俱來的強大性能，在資源充足的情況下，它成爲處理長文本任務的首選。

此外，值得注意的是該系列其他型號的令人印象深刻的功能:Qwen2-7B-Instruct 幾乎完美地處理長達128k 的上下文，Qwen2-57B-A14B-Instruct 管理長達64k 的上下文，而該系列中的兩個較小的型號支持32k 的上下文。

除了長上下文模型之外，我們還開源了一個代理解決方案，用於高效處理包含多達100萬個標記的文檔。有關更多詳細信息，請參閱我們關於此主題的專門博客文章。

安全與責任

下表展示了大型模型針對四類多語言不安全查詢（非法活動、欺詐、色情、隱私暴力）產生的有害響應占比。測試數據來自Jailbreak，並翻譯成多種語言進行評估。我們發現 Llama-3無法有效處理多語言提示，因此未將其納入比較範圍。通過顯著性檢驗(P_value)，我們發現 Qwen2-72B-Instruct 模型在安全性方面的表現與 GPT-4相當，並且顯著優於 Mistral-8x22B 模型。

使用 Qwen2進行開發

目前所有模型均已在 Hugging Face 和 ModelScope 中發佈，歡迎訪問模型卡查看詳細使用方法，並進一步瞭解每個模型的特性、性能等信息。

長期以來，有很多朋友支持着 Qwen 的發展，包括微調（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化(AutoGPTQ、AutoAWQ、Neural Compressor)、部署(vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI)、API 平臺(Together、Fireworks、OpenRouter)、本地運行(MLX、Llama.cpp、Ollama、LM Studio)、Agent 和 RAG 框架(LlamaIndex、CrewAI、OpenDevin)、評估(LMSys、OpenCompass、Open LLM Leaderboard)、模型訓練(Dolphin、Openbuddy)等。關於如何將 Qwen2與第三方框架一起使用，請參考各自的文檔以及我們的官方文檔。

還有很多團隊和個人爲 Qwen 做出了貢獻，我們並沒有提及。我們衷心感謝他們的支持，並希望我們的合作能夠促進開源 AI 社區的研究和發展。

執照

這次，我們將模型的許可改爲不同的。Qwen2-72B 及其指令調優模型仍使用原有的 Qianwen License，而其他所有模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B 和 Qwen2-57B-A14B，均轉而採用Apache2.0!我們相信，我們模型對社區的進一步開放可以加速 Qwen2在全球的應用和商業化。

Qwen2的下一步是什麼?

我們正在訓練更大的 Qwen2模型，以進一步探索模型擴展以及我們最近的數據擴展。此外，我們將 Qwen2語言模型擴展爲多模式，能夠理解視覺和音頻信息。在不久的將來，我們將繼續開源新模型以加速開源 AI。敬請期待!

引用

我們即將發佈 Qwen2的技術報告。歡迎引用!

@article{qwen2，

附錄

基礎語言模型評估

基礎模型的評測主要關注自然語言理解、一般問答、編碼、數學、科學知識、推理、多語言能力等模型性能。

評估的數據集包括:

英語任務:MMLU（5次）、MMLU-Pro(5次)、GPQA(5次)、Theorem QA(5次)、BBH(3次)、HellaSwag(10次)、Winogrande(5次)、TruthfulQA(0次)、ARC-C(25次)

編碼任務:EvalPlus（0-shot）(HumanEval、MBPP、HumanEval+、MBPP+)、MultiPL-E(0-shot)(Python、C++、JAVA、PHP、TypeScript、C#、Bash、JavaScript)

數學任務:GSM8K （4次）、MATH (4次)

中文任務:C-Eval（5-shot）、CMMLU (5-shot)

多語言任務:多考試（M3Exam5次、IndoMMLU3次、ruMMLU5次、mMMLU5次）、多理解(BELEBELE5次、XCOPA5次、XWinograd5次、XStoryCloze0次、PAWS-X5次)、多數學(MGSM8次)、多翻譯(Flores-1015次)

Qwen2-72B 性能

Qwen2-57B-A14B

Qwen2-7B

Qwen2-0.5B 和 Qwen2-1.5B

指令調整模型評估

Qwen2-72B-指導

Qwen2-57B-A14B-指導

Qwen2-7B-指導

Qwen2-0.5B-Instruct 和 Qwen2-1.5B-Instruct

指令調整模型的多語言能力

我們在幾個跨語言開放基準以及人工評估中將 Qwen2指令調整模型與其他最近的 LLM 進行了比較。對於基準，我們在2個評估數據集上展示了結果:

• Okapi 的M-MMLU:多語言常識評估（我們用 ar、de、es、fr、it、nl、ru、uk、vi、zh 的子集進行評估）
• MGSM:對德語、英語、西班牙語、法語、日語、俄語、泰國語、中文和巴西語等語言進行數學評估

結果根據每個基準測試的語言平均得出，如下所示:

對於人工評估，我們使用內部評估集將 Qwen2-72B-Instruct 與 GPT3.5、GPT4和 Claude-3-Opus 進行比較，其中包括10種語言 ar、es、fr、ko、th、vi、pt、id、ja 和 ru（分數範圍從1~5）:

按任務類型分組，結果如下:

這些結果證明了 Qwen2指令調整模型強大的多語言能力。