在AI領域,一股新的力量正在崛起。阿布扎比技術創新研究所(TII)宣佈開源他們的全新大模型Falcon2,一個擁有110億參數的模型,它以出色的性能和多語言能力,引起了全球的關注。

Falcon2有兩個版本,一個基礎版,易於部署,能夠生成文本、代碼和總結;另一個是帶有視覺轉換功能的VLM模型,能夠將圖片信息轉換成文本,這在開源大模型中極爲罕見。在多個維權測試排行榜中,Falcon211B的性能超越了Meta的Llama38B,與Google的Gemma7B並列第一,這證明了其卓越的性能。

人工智能大腦,大模型

圖源備註:圖片由AI生成,圖片授權服務商Midjourney

Falcon211B的多語言能力,讓它能夠輕鬆處理包括英語、法語、西班牙語、德語、葡萄牙語在內的多種語言任務,增強了其在不同場景下的應用潛力。作爲視覺大模型的Falcon211B VLM,在醫療保健、金融、電商、教育和法律等行業具有廣泛的應用潛力,能夠識別和解讀環境中的圖像和視覺內容。

Falcon211B在其構建的開源數據集RefinedWeb上,使用了超過5.5萬億的Tokens數據進行了預訓練。這個數據集是高質量、經過過濾和去重的,TII通過精選語料對其進行了增強,並採用了四階段的訓練策略,以提高模型的上下文理解能力。

image.png

值得一提的是,Falcon2是一款性能強大且消耗低的大模型,僅需一個GPU即可高效運行,這使得它高度可擴展,易於部署,甚至可以集成到筆記本電腦等輕量級設備中。這爲中小企業和個人開發者提供了極大的便利,並允許進行商業化使用。

TII的人工智能跨中心部門執行主任及代理首席研究員Dr. Hakim Hacid表示,隨着生成式AI技術的演進,開發者認識到小型模型帶來的優勢,包括減少計算資源需求、滿足可持續性標準以及提供增強的靈活性。

早在2023年5月,TII首次開源了Falcon-40B大模型,在huggingface的開源大語言模型排行榜中位列第一名,擊敗了一系列著名開源模型。Falcon-40B在1萬億tokens數據集上進行訓練,可用於文本問答、總結摘要、自動生成代碼、語言翻譯等,支持特定業務場景微調。

TII成立於2020年,是阿布扎比高等教育和科技部旗下的研究機構,目標是推動科學研究、開發前沿技術並將其商業化,以促進阿布扎比和阿聯酋的經濟發展。TII目前擁有來自74個國家的800多名研究專家,發表了700多篇論文和25多項專利,是世界領先的科學研究機構之一。

Falcon2的開源,不僅是TII對技術共享的承諾,也是對未來AI發展的一次大膽探索。開源的Falcon2將帶來計算資源需求的減少、可持續性標準的滿足,以及靈活性的增強,完美融入邊緣AI基礎設施的新興趨勢。

模型地址:https://huggingface.co/tiiuae/falcon-11B