智源研究院推出新一代無編碼器視覺語言多模態大模型EVE

AIbase

發布於AI新聞資訊 · 1 分鐘閱讀 · Jul 19, 2025

近期，多模態大模型的研究和應用取得了顯著進展。國外公司如OpenAI、Google、Microsoft等推出了一系列先進的模型，國內也有智譜AI、階躍星辰等機構在該領域取得了突破。這些模型通常依賴視覺編碼器來提取視覺特徵並與大語言模型結合，但存在訓練分離導致的視覺歸納偏置問題，限制了多模態大模型的部署效率和性能。

爲解決這些問題，智源研究院聯合大連理工大學、北京大學等高校推出了新一代無編碼器的視覺語言模型EVE。EVE通過精細化訓練策略和額外的視覺監督，將視覺-語言表徵、對齊和推理整合到統一的純解碼器架構中。使用公開數據，EVE在多個視覺-語言基準測試中表現優異，接近甚至優於基於編碼器的主流多模態方法。

微信截圖_20240717134628.png

EVE的主要特點包括:

原生視覺語言模型:去除視覺編碼器，處理任意圖像長寬比，顯著優於同類型Fuyu-8B模型。
數據和訓練代價少:預訓練使用OpenImages、SAM和LAION等公開數據，訓練時間較短。
透明和高效的探索:爲純解碼器的原生多模態架構提供了高效、透明的發展路徑。

模型結構:

Patch Embedding Layer:通過單層卷積層和平均池化層獲取圖像2D特徵圖，增強局部特徵和全局信息。
Patch Aligning Layer:整合多層網絡視覺特徵，實現與視覺編碼器輸出的細粒度對齊。

訓練策略:

大語言模型引導的預訓練階段:建立視覺和語言之間的初步聯繫。
生成式預訓練階段:提高模型對視覺-語言內容的理解能力。
監督式的微調階段:規範模型遵循語言指令和學習對話模式的能力。

定量分析:EVE在多個視覺語言基準測試中表現優異，與多種主流的基於編碼器的視覺語言模型相當。儘管在準確響應特定指令方面存在挑戰，但通過高效的訓練策略，EVE實現了與帶編碼器基礎的視覺語言模型相當的性能。

EVE展示了無編碼器原生視覺語言模型的潛力，未來可能通過進一步的性能提升、無編碼器架構的優化和原生多模態的構建，繼續推動多模態模型的發展。

論文地址: https://arxiv.org/abs/2406.11832

項目代碼: https://github.com/baaivision/EVE

模型地址: https://huggingface.co/BAAI/EVE-7B-HD-v1.0

螞蟻集團聯合新京報發佈大模型產品“貝殼財經·智引ESG”

螞蟻集團與新京報、貝殼財經合作，研發了“貝殼財經·智引ESG”大模型產品，旨在精準解析A股上市公司ESG報告。這款產品能夠實時解答用戶關於ESG的疑問，提供深度分析，利用螞蟻集團AI產業助理支小助的AI技術支持，結合agentUniverse多智能體框架，模仿專家知識，爲ESG高關注領域提供專業分析。貝殼財經提供專業資料及分析方法論，強化了產品的專業性。用戶可通過提問獲取對ESG報告的專業理解，產品還集成ESG相關知識，包括政策、行業標準、市場動態，全方位評估優化上市公司ESG。體驗通道提供，AI服務滲透至日常，方便快捷。此外，產品也開放給產業端定製AI工具，賦能各行業革新與效率提升。

報告：預計在2024年下半年將迎來AI PC熱潮

2024年第二季度全球PC市場回暖，出貨量同比增長3.1%，達到6250萬臺，復甦勢頭明顯。AI PC成焦點，預計下半年市場將升溫。蘋果計劃推出搭載M4芯片的新MacBook以提振業績，而基於ARM架構的AI筆記本電腦在2027年有望佔據超過25%的市場份額，成爲ARM PC市場驅動力。聯想在海外市場表現出色，佔據23.6%份額，惠普、戴爾及蘋果的市場份額則分別爲21%、16%和8.5%。Windows on Arm系統在第二季度末表現出強勁增長，加速了AI筆記本電腦在下半年的市場擴張。儘管AI PC目前價格較高，但分析師預測企業市場將領先於普通消費者市場，隨着更多AI應用的開發和採用，AI PC普及將加速。總體而言，預計2024年全球PC出貨量同比將增長約3%。

美圖奇想大模型宣佈爲三星提供“文生圖壁紙”和“塗鴉生圖”功能

在7月17日的三星手機新品發佈會上，美圖公司與三星宣佈深化合作，美圖的AI奇想大模型將爲三星Galaxy摺疊屏手機Galaxy Z Fold6和Z Flip6用戶帶來“文生圖壁紙”和“塗鴉生圖”功能。通過關鍵詞設定，用戶可生成融合藝術美學創意壁紙或使用S Pen塗鴉轉化爲藝術作品，美圖影像研究所強調其AI模型在光影、色彩和構圖上達到專業水準。特別是“塗鴉生圖”功能，通過AI精準識別塗鴉內容。AI與智能手機的結合，正在革新圖像市場，降低專業圖像編輯門檻，爲用戶創造更多個性化藝術體驗，推動手機圖像領域創新發展。

阿里新AI技術框架 Animate3D：可將任何3D模型動畫化

文章介紹了名爲Animate3D的創新性框架，該框架專爲靜態3D模型的動畫製作設計。結合MV-VDM和4D-SDS技術，在MV-Video大規模數據集上訓練，Animate3D通過時空注意力模塊增強空間與時間一致性。此框架使用多視圖渲染靜態模型作爲條件，保持其在動畫中的身份，實現從多視圖視頻的直接動作重建到細節細化的兩階段動畫化流程。驗證實驗顯示其在性能上優於現有方法，公開發布數據、代碼和模型。這項技術對於AR/VR、遊戲和電影產業具有重大意義，不僅能加速創意內容生產，還將推動3D內容的廣泛應用，促進創意產業的創新發展。

AI大模型數字比較出錯引發討論月之暗面迴應9.11大於9.9:有助瞭解能力邊界

近日，多家人工智能大模型在進行簡單數字比較時出現錯誤引發廣泛關注。包括字節豆包、GPT4o、月之暗面Kimi、階躍星辰躍問、百川智能百小應等在內的多個知名AI模型，在回答"9.11和9.9哪個更大"這樣的基礎問題時均給出了錯誤答案。此外，此前有用戶發現多個大模型在回答"strawberry"一詞中有幾個"r"時也出現了錯誤。