Salesforce AI研究、新たなマルチモーダルモデルBLIP-3-Videoを発表：低コストで動画理解を実現

最近、Salesforce AI研究チームは、全く新しいマルチモーダル言語モデルであるBLIP-3-Videoを発表しました。ビデオコンテンツの急増に伴い、ビデオデータを効率的に処理する方法が喫緊の課題となっています。このモデルは、ビデオ理解の効率と効果を向上させることを目的としており、自動運転からエンターテインメントまで、幅広い業界で活用できます。

従来のビデオ理解モデルは、多くの場合、ビデオをフレーム単位で処理し、大量の視覚情報を生成していました。このプロセスは、膨大な計算資源を消費するだけでなく、長尺ビデオの処理能力を大幅に制限していました。ビデオデータ量の増加に伴い、この方法はますます非効率になっているため、ビデオの重要な情報を捉えながら計算負担を軽減するソリューションを見つけることが非常に重要です。

この点において、BLIP-3-Videoは非常に優れた性能を発揮します。このモデルは「時系列エンコーダー」を導入することで、ビデオに必要な視覚情報の数を16～32個の視覚トークンに削減することに成功しました。この革新的な設計により、計算効率が大幅に向上し、モデルはより低いコストで複雑なビデオタスクを実行できるようになりました。この時系列エンコーダーは、学習可能な時空間アテンションプーリングメカニズムを採用しており、各フレームから最も重要な情報を抽出し、それをコンパクトな視覚トークンの集合に統合します。

BLIP-3-Videoの性能も非常に優れています。他の大規模モデルとの比較により、このモデルはビデオ質問応答タスクにおいて、最先端モデルと同等の精度を達成していることがわかりました。例えば、Tarsier-34Bモデルは8フレームのビデオを処理するのに4608個のトークンを必要とするのに対し、BLIP-3-Videoはわずか32個のトークンで、MSVD-QAベンチマークスコアで77.7％を実現しています。これは、BLIP-3-Videoが高性能を維持しながら、リソース消費を大幅に削減していることを示しています。

さらに、BLIP-3-Videoは、多肢選択式質問応答タスクでも優れた性能を示しています。NExT-QAデータセットでは77.1％の高得点を、TGIF-QAデータセットでも77.1％の精度を達成しました。これらのデータは、BLIP-3-Videoが複雑なビデオ問題を処理する際の効率の高さを示しています。

BLIP-3-Videoは、革新的な時系列エンコーダーによって、ビデオ処理分野に新たな可能性を切り開きました。このモデルの発表は、ビデオ理解の効率を向上させるだけでなく、将来のビデオアプリケーションに多くの可能性をもたらします。

プロジェクト入口:https://www.salesforceairesearch.com/opensource/xGen-MM-Vid/index.html

重要なポイント:

- 🚀 ** 新モデル発表 **:Salesforce AI研究チームがBLIP-3-Videoを発表。マルチモーダル言語モデルで、ビデオ処理に特化。

- ⚡ ** 高効率処理 **:時系列エンコーダーを採用し、必要な視覚トークンの数を大幅に削減、計算効率を大幅に向上。

- 📈 ** 優れた性能 **:ビデオ質問応答タスクで優れた性能を発揮し、高い精度を維持しながらリソース消費を削減。