蘋果AI/ML團隊與哥倫比亞大學合作開發的多模態大模型“雪貂”（Ferret）成功挑戰谷歌人機驗證碼，能識別交通信號燈並提高大模型在“看說答”任務中的準確度。Ferret的創新在於融合引用和定位的空間理解能力，同時理解語義和目標，不同於傳統多模態模型。使用混合區域表示方法，結合離散座標和連續特徵，模型在多任務評估中表現出色，特別在指代和視覺grounding任務上。這一突破是由中國團隊取得，凸顯了中國在多模態大模型研究中的實力，爲圖像理解和多模態任務提供新方向。Ferret的成就有望在人機交互和智能搜索等領域取得重要突破。