騰訊今日發佈開源MOE大語言模型Hunyuan-large,總參數量達398B,激活參數量52B。公開測評結果顯示,騰訊混元Large在CMMLU、MMLU、CEva1、MATH等多學科綜合評測集以及中英文NLP任務、代碼和數學等9大維度全面領先,超過Llama3.1、Mixtral等一流的開源大模型。

QQ20241105-173053.png

據瞭解,該模型在技術創新上可實現高質量合成數據,通過使用合成數據增強訓練,有效應對自然數據的不足。在上下文處理能力方面,預訓練模型支持高達256K的文本序列,顯著增強了處理長上下文任務的能力。

QQ20241105-173103.png

同時,騰訊混元宣佈,爲填補行業真實長文評測集不足,騰訊混元即將開源企鵝卷軸評測集助力業界應用研究。自研企鵝卷軸(PenguinScrolls)基於公開金融、法律、學術論文等多種自然長文本,長度範圍達1K-128K,覆蓋各種深度閱讀理解、長文推理任務。

騰訊混元Large大語言模型的發佈和企鵝卷軸評測集的開源,將爲業界提供更強大的語言模型和評測工具,推動自然語言處理和人工智能領域的發展。

官網地址:https://llm.hunyuan.tencent.com