新一代開源視覺編碼器 OpenVision 發佈：超越 CLIP 與 SigLIP 的強大選擇

加州大學聖克魯茲分校近日宣佈推出 OpenVision，這是一個全新的視覺編碼器系列，旨在爲 OpenAI 的 CLIP 和谷歌的 SigLIP 等模型提供替代方案。OpenVision 的發佈爲開發者和企業帶來了更多靈活性和選擇，使得圖像處理和理解變得更加高效。

什麼是視覺編碼器?

視覺編碼器是一種人工智能模型，它將視覺材料（通常是上傳的靜態圖像）轉化爲可被其他非視覺模型(如大型語言模型)理解的數值數據。視覺編碼器是連接圖像和文本理解的重要橋樑，使得大型語言模型能夠識別圖像中的主題、顏色、位置等特徵，從而進行更復雜的推理和交互。

OpenVision 的功能特點

1. ** 多樣的模型選擇 **  

   OpenVision 提供了26種不同的模型，參數規模從590萬到6.32億不等。這樣的多樣性使得開發者可以根據具體的應用場景選擇合適的模型，無論是在建築工地識別圖像，還是爲用戶的家用電器提供故障排除指導。

2. ** 靈活的部署架構 **  

   OpenVision 的設計適應了多種使用場景。較大的模型適合服務器級負載，要求高準確率和詳細的視覺理解，而較小的變體則優化爲邊緣計算，適合計算和內存有限的環境。同時，模型支持自適應補丁大小（8×8和16×16），可在細節分辨率和計算負載之間進行靈活權衡。

3. ** 出色的多模態基準測試表現 **  

   在一系列基準測試中，OpenVision 在多種視覺 - 語言任務上表現優異。儘管 OpenVision 的評估仍包括傳統的 CLIP 基準（如 ImageNet 和 MSCOCO），但研究團隊強調不應僅依賴這些指標來評估模型性能。他們建議採用更廣泛的基準覆蓋和開放評估協議，以更好地反映真實世界的多模態應用。

4. ** 高效的漸進式訓練策略 **  

   OpenVision 採用了一種漸進式分辨率訓練策略，模型在低分辨率圖像上開始訓練，並逐步微調到更高的分辨率。這種方法提高了訓練效率，通常比 CLIP 和 SigLIP 快2到3倍，且不損失下游性能。

5. ** 優化輕量級系統和邊緣計算應用 **  

   OpenVision 也旨在與小型語言模型有效結合。在一項實驗中，視覺編碼器與一個150萬參數的 Smol-LM 模型結合，構建了一個整體參數低於250萬的多模態模型，儘管模型體積小，但在視覺問答、文檔理解等任務上依然保持了良好的準確性。

企業應用的重要性

OpenVision 的全面開源和模塊化開發方法對企業技術決策者具有戰略意義。它不僅爲大型語言模型的開發和部署提供了即插即用的高性能視覺能力，還確保了企業的專有數據不會泄露。此外，OpenVision 的透明架構使得安全團隊能夠監測和評估模型潛在的脆弱性。

OpenVision 模型庫現已在 PyTorch 和 JAX 實現，並在 Hugging Face 上提供下載，訓練配方也已公開。通過提供透明、高效和可擴展的替代方案，OpenVision 爲研究人員和開發者提供了一個靈活的基礎，以推動視覺 - 語言應用的發展。

項目：https://ucsc-vlaa.github.io/OpenVision/