Salesforce推出了一套名爲 xGen-MM 的開源多模態 AI 模型，這套模型可以同時理解和生成文本、圖像等多種數據類型，可能會徹底改變我們對 AI 的研究和應用方式。

Salesforce AI 研究團隊在 arXiv 上發佈了一篇論文，詳細介紹了 xGen-MM 框架。這個框架不僅包含了預訓練模型，還有數據集和微調代碼。值得一提的是，這個最大模型有40億個參數，性能在多個基準測試中表現不俗，與同類開源模型相比毫不遜色。

image.png

這次開源的舉動，與目前很多科技巨頭選擇將高級 AI 模型保密的趨勢截然不同。Salesforce 表示，他們希望通過開放模型和數據集，來促進更廣泛的研究和開發。其實，這樣的決定也是爲了讓更多的研究人員和開發者有機會參與到多模態 AI 技術的進步中來。

xGen-MM 的一大創新在於它能夠處理 “交錯數據”，也就是說，它可以同時處理多個圖像和文本。這種能力讓模型能夠執行更復雜的任務，比如同時回答關於多張圖像的問題，真的是相當牛!這樣的應用場景可能在醫療診斷、自動駕駛等領域會大有用武之地。

此次發佈還包括了多種優化版本的模型，比如基礎預訓練模型、一個爲遵循指令而調優的模型，以及一個旨在減少有害輸出的 “安全調優” 模型。這種多樣化的選擇，反映了 AI 社區對能力與安全倫理的平衡日益重視。

不過，隨着強大模型的發佈，也引發了人們對更先進 AI 系統潛在風險和社會影響的討論。儘管 Salesforce 已經做了安全調優來降低風險，但如何平衡創新與安全，仍然是個值得深思的問題。

Salesforce 的這一開源發佈，給研究人員提供了寶貴的工具，以更好地理解和改進這些強大的技術。同時，這也爲 AI 領域的透明度樹立了一個新的標杆，可能會推動其他科技巨頭更加開放他們的研究。

模型入口:https://huggingface.co/collections/Salesforce/xgen-mm-1-models-662971d6cecbf3a7f80ecc2e

劃重點:

🌟 xGen-MM 是 Salesforce 推出的一套開源多模態 AI 模型，支持文本和圖像的綜合理解與生成。

🔍 模型具有處理交錯數據的能力，能夠同時回答關於多張圖像的問題，應用前景廣闊。

🔒 該發佈包括多種優化版本，關注安全性與倫理問題，爲研究者提供豐富的資源。