浙江大学紫金港学院の卒業生がマイクロソフト研究所と協力し、GPT-4Vに挑戦するマルチモーダルモデル「LLaVA」を発表しました。
LLaVAは11個のテストデータセットにおいて優れた性能を示し、6,000以上のスターを獲得しました。モデルの総合的な能力は高く、GPT-4Vを85%上回る結果となっています。
LLaVAのオープンソースコード、モデル、およびトレーニングデータは現在利用可能です。

浙江大学紫金港学院の卒業生がマイクロソフト研究所と協力し、GPT-4Vに挑戦するマルチモーダルモデル「LLaVA」を発表しました。
LLaVAは11個のテストデータセットにおいて優れた性能を示し、6,000以上のスターを獲得しました。モデルの総合的な能力は高く、GPT-4Vを85%上回る結果となっています。
LLaVAのオープンソースコード、モデル、およびトレーニングデータは現在利用可能です。
GoogleがEmbeddingGemma2を発表。初のネイティブマルチモーダルなオープンソース埋め込みモデルで、740Mパラメータ。テキスト・コード・画像・動画・音声を同一意味空間に統合し、クロスモーダル検索を端末上で軽量実行可能に。最大の特徴は小型・オフライン対応で、完全版のメモリ使用量は600MB未満。スマホ、ノートPC、ブラウザで直接動作する。....
9月22日に杭州市で雲栖カンファレンスが開幕し、アリババは大規模モデルの進展を発表しました。Qwen4はすでにトレーニングを開始しており、今後パラメータ数を5兆から10兆に拡大する予定です。再帰的自己改善はトレーニング、推論およびチップ設計と連携して実施されています。マルチモーダル行列がアップグレードされ、11月には新世代のビデオ生成モデルが公開される予定です。劉大一恒氏は、ScalingがASIへの重要な道筋であると述べました。
アリババのQwenチームがナチュラルなマルチモーダルモデル「Qwen3.8-Omni-Flash」を発表しました。このモデルはテキスト、画像、音声、動画の4種類の入力をサポートし、コンテキストウィンドウが100万トークンに達しています。29のベンチマークで前バージョンと比較して平均で25%以上の向上が見られます。最大の変化は処理方法において、音声や画像認識を単純に結合するのではなく、モデルレベルでマルチモーダル理解とAIスマートエージェントの能力をネイティブに統合した点です。
千問は18日、新世代ネイティブ全モーダルモデルQwen3.8-Omni-Flashを公開。テキスト・画像・音声・動画入力と1M長文脈に対応し、千問AIプラットフォームで体験可能。プログラミングやGUI操作等の汎用Agentic能力に加え、動画編集・MV制作・映像解説・音声動画の要約変換など音声/動画のAgentic応用を強化。累計30項目の評価を完了。....
DeepSeekはV4シリーズ初の実験的マルチモーダルモデルV4-Flash-Vision-Expを公開。V4-Flashアーキテクチャに視覚モジュールを融合し、従来のテキスト能力に加え高度な画像理解・分析を実現。総パラメータ数3050億で、視覚と言語構造を統合し、画像を精確に解釈しマルチモーダル融合が可能。....