百度正式發佈了文心大模型4.5系列模型,並且將其完全開源。用戶可以通過文心一言(https://yiyan.baidu.com)立即體驗這一最新的開源技術。
這一系列模型涵蓋了多種參數配置,包括激活參數爲47B 和3B 的混合專家(MoE)模型,以及稠密型模型0.3B 參數的設計,合計達到了十款不同的模型。
在訓練和推理方面,文心4.5系列模型使用了飛槳深度學習框架,達到47% 的模型 FLOPs 利用率。實驗結果顯示,該系列模型在多項文本和多模態基準測試中表現優異,尤其是在指令遵循、世界知識記憶、視覺理解和多模態推理等任務上,取得了 SOTA(state-of-the-art)水平的成績。
文心4.5系列模型的權重根據 Apache2.0協議開源,允許進行學術研究和產業應用。此外,飛槳還提供了開源的產業級開發套件,兼容多種硬件,降低了後訓練和部署的門檻。
爲了便於開發者使用,文心4.5系列還提供了一站式使用指南,包括如何快速掌握模型的精調和對齊。開發者可以通過 ERNIEKit 和 FastDeploy 等工具,輕鬆實現模型的訓練和部署。FastDeploy 支持多種硬件平臺,提供高性能、低門檻的推理部署體驗。
此次開源不僅包括了模型的預訓練權重和推理代碼,還在多個平臺上提供了下載和部署服務。用戶可以在飛槳星河社區和 HuggingFace 等知名平臺上找到並使用這些模型。值得注意的是,百度還推出了開放模型的 API 服務,用戶可在百度智能雲的千帆大模型平臺上進行調用和使用。這意味着,無論是研究人員還是開發者,都能更方便地接觸到最新的 AI 技術。
文心4.5系列模型的開源包含了預訓練權重和推理代碼,所有項目已被上傳至:
Hugging Face(https://huggingface.co/baidu)、
GitHub(https://github.com/PaddlePaddle/ERNIE)
飛槳星河社區(https://aistudio.baidu.com/overview)。
如果需要深入瞭解技術細節,用戶可下載技術報告(https://yiyan.baidu.com/blog/publication)進行查閱。
劃重點:
🌟 文心4.5系列模型於6月30日正式開源,提供10款不同版本的模型。
📈 模型採用創新的多模態異構架構,提升多模態理解能力。
🛠️ 開發者可通過 ERNIEKit 和 FastDeploy 工具,快速進行模型的訓練和部署。