超越Gemma2！​IBM發佈Granite3.1模型：支持128K上下文長度

IBM 正式發佈了其新一代開源大語言模型 Granite3.1，力圖在企業級 AI 領域佔據領先地位。這一系列模型具備128K 的擴展上下文長度、嵌入模型、內置的幻覺檢測功能以及性能的顯著提升。

IBM 聲稱，Granite8B Instruct 模型在相同規模的開源競爭對手中表現最佳，包括 Meta 的 Llama3.1、Qwen2.5和谷歌的 Gemma2。

Granite3.1模型的發佈是在 IBM 快速迭代 Granite 系列的背景下進行的，早在10月份就推出了 Granite3.0。IBM 透露，其與生成 AI 相關的業務收入已達到20億美元。新版本的核心理念是將更多功能集成到更小的模型中，以便企業用戶能夠更輕鬆地運行和更具成本效益。

IBM 研究部副總裁大衛・考克斯（David Cox）表示，Granite 模型廣泛應用於 IBM 內部產品、諮詢服務以及客戶服務，同時也以開源形式發佈，因此需要在各個方面都達到高水平。模型的性能評估不僅僅依賴於速度，還包括效率，幫助用戶在獲取結果時節省時間。

在上下文長度方面，Granite3.1的提升尤爲明顯，從初版的4K 擴展至128K，這對企業 AI 用戶尤爲重要，尤其是在檢索增強生成（RAG）和智能代理 AI 方面。延長的上下文長度允許模型處理更長的文檔、日誌和對話，使其更好地理解和響應複雜查詢。

IBM 還推出了一系列嵌入模型，以加快數據轉換爲向量的過程。其中 Granite-Embedding-30M-English 模型的查詢時間爲0.16秒，速度優於競爭對手的產品。爲了實現 Granite3.1的性能提升，IBM 在多階段訓練流程和高質量訓練數據的使用上進行了創新。

在幻覺檢測方面，Granite3.1模型將幻覺保護集成到了模型內部，能夠自我檢測並減少錯誤輸出。這種內置檢測功能優化了整體效率，減少了推理調用次數。

當前，Granite3.1模型已向企業用戶免費開放，並通過 IBM 的 Watsonx 企業 AI 服務提供。未來，IBM 計劃保持快速更新的節奏，Granite3.2將於2025年初推出多模態功能。

官方博客:https://www.ibm.com/new/announcements/ibm-granite-3-1-powerful-performance-long-context-and-more

劃重點:  

🌟 IBM 推出 Granite3.1模型，旨在開源大語言模型市場佔據領先地位。  

💡 新模型支持128K 上下文長度，顯著提升了處理能力與效率。  

🚀 幻覺檢測功能被集成到模型中，優化了整體性能和準確性。