阿聯酋政府支持的技術創新研究所（TII）近日宣佈推出其新一代開源小型語言模型(SLM)——Falcon3系列。這一系列包括四個不同規模的模型:1B、3B、7B和10B，並提供基礎版與指令版兩種變體，旨在爲開發人員、研究人員和企業提供一種高效且成本低廉的AI解決方案。這些模型的推出，標誌着AI功能的進一步民主化，能夠在輕量級的單GPU基礎設施上運行，滿足對計算資源有限的設備和應用場景的需求。

QQ20241218-092217.png

圖源備註:圖片由AI生成，圖片授權服務商Midjourney

Falcon3的表現已在Hugging Face排行榜上脫穎而出，超越了與之尺寸相同的開源模型，如Meta的Llama和Qwen-2.5。特別是7B和10B版本在推理速度、語言理解、指令執行以及代碼和數學任務等方面，展現了領先的技術優勢，甚至在多個基準測試中超越了谷歌、Meta和阿里巴巴等競爭對手。

與傳統的大型語言模型（LLM）相比，SLM模型因其較少的參數和更簡潔的設計，具備高效性和低成本優勢，尤其適合在客戶服務、醫療保健、物聯網等領域中應用。根據市場研究公司Valuates Reports的數據，SLM市場預計將在未來五年實現18%的年均增長。

Falcon3系列的訓練數據規模達到了14萬億tokens，是其前身Falcon2的兩倍多。該系列採用了僅解碼器架構和分組查詢注意機制，最大限度地減少了內存使用，同時提升了推理效率。Falcon3支持英語、法語、西班牙語和葡萄牙語等四種語言，並配備了32K的上下文窗口，能夠處理長輸入文本，滿足各類行業的需求。

TII表示，Falcon3的基礎模型適合通用任務，指令版則專爲對話任務如客戶服務和虛擬助手優化。該系列的推出將進一步推動邊緣計算和隱私敏感應用的發展，支持如個性化推薦、數據分析、醫療診斷和供應鏈優化等場景。

所有Falcon3模型都遵循TII Falcon License2.0發佈，這是一個基於Apache2.0的寬鬆許可證，支持負責任的AI開發和部署。爲了幫助開發者和研究人員上手，TII還推出了Falcon Playground測試環境，用戶可以在集成這些模型之前進行試用。