AI21Labs 近日發佈了其最新的 Jamba1.6系列大型語言模型，這款模型被稱爲當前市場上最強大、最高效的長文本處理模型。與傳統的 Transformer 模型相比，Jamba 模型在處理長上下文時展現出了更高的速度和質量，其推理速度比同類模型快了2.5倍，標誌着一種新的技術突破。

Jamba1.6系列包括 Jamba Mini（12億參數）和 Jamba Large(94億參數)，並且專門針對商業應用進行了優化，具備函數調用、結構化輸出(如 JSON)和基於現實的生成能力。這些模型的應用範圍廣泛，從企業級的智能助手到學術研究，均能發揮重要作用。

這款模型採用了名爲 Jamba Open Model License 的開源許可協議，允許用戶在遵循相關條款的前提下進行研究和商業使用。此外，Jamba1.6系列的知識截止日期爲2024年3月5日，支持多種語言，包括英語、西班牙語、法語、葡萄牙語、意大利語、荷蘭語、德語、阿拉伯語和希伯來語，確保其適應全球用戶的需求。

在性能評測方面，Jamba Large1.6在多個基準測試中均表現優異。在 Arena Hard、CRAG 和 FinanceBench 等標準測試中，其分數均超過同類競爭對手，顯示出其卓越的語言理解和生成能力。特別是在處理長文本方面，Jamba 模型的表現尤爲突出。

爲確保高效的推理，使用 Jamba 模型的用戶需先安裝相關的 Python 庫，並且需要 CUDA 設備以支持模型的運行。用戶可以通過 vLLM 或 transformers 框架來運行該模型。在大規模 GPU 的支持下，Jamba Large1.6可以處理長達256K 的上下文，這在之前的模型中是無法實現的。

模型：https://huggingface.co/ai21labs/AI21-Jamba-Large-1.6

劃重點:

🌟 Jamba1.6模型在長文本處理上速度更快、質量更高，支持多種語言。  

🚀 開源許可協議允許研究和商業使用，促進技術共享。  

💡 在多項基準測試中表現優異，超越同類競爭產品。