近日，上海 AI 實驗室宣佈推出書生·萬象InternVL2.5模型。這款開源多模態大型語言模型以其卓越的性能，成爲首個在多模態理解基準(MMMU)上超過70%準確率的開源模型，與商業模型如GPT-4o和Claude-3.5-Sonnet等的性能相媲美。

InternVL2.5模型通過鏈式思考（CoT）推理技術實現了3.7個百分點的提升，展現了強大的測試時間可擴展性潛力。該模型基於InternVL2.0進一步發展，通過增強訓練和測試策略以及提高數據質量來進一步提升性能。在視覺編碼器、語言模型、數據集大小和測試時間配置等方面進行了深入研究，以探索模型規模與性能之間的關係。

微信截圖_20241210081428.png

InternVL2.5在多項基準測試中展現了競爭性的性能，特別是在多學科推理、文檔理解、多圖像/視頻理解、現實世界理解、多模態幻覺檢測、視覺地面化、多語言能力以及純語言處理等領域。這一成果不僅爲開放源代碼社區提供了一個新標準，用於開發和應用多模態AI系統，也爲人工智能領域的研究和應用開闢了新的可能性。

InternVL2.5保留了其前身InternVL1.5和InternVL2.0的相同模型架構，遵循“ViT-MLP-LLM”範式，並實現了將新的增量預訓練的InternViT-6B或InternViT-300M與各種不同大小和類型的預先訓練的LLMs集成在一起，使用隨機初始化的兩層MLP投影器。爲了增強高分辨率處理的可擴展性，研究團隊應用了一個像素無序操作，將視覺令牌的數量減少到原始數量的一半。

模型的開源性質意味着研究人員和開發者可以自由訪問和使用InternVL2.5，這將極大地促進多模態AI技術的發展和創新。

模型鏈接:

https://www.modelscope.cn/collections/InternVL-25-fbde6e47302942