昆仑万維がSkyReels-V2をオープンソース化：無限の長さの映画生成モデル

昆仑万維SkyReelsチームは、世界初の拡散強制（Diffusion-forcing）フレームワークを用いた無限長の映画生成モデルであるSkyReels-V2を正式に発表し、オープンソース化しました。このモデルは、マルチモーダル大規模言語モデル（MLLM）、多段階事前学習、強化学習、そして拡散強制フレームワークを組み合わせることで協調的な最適化を実現し、動画生成技術が新たな段階に入ったことを示しています。

SkyReels-V2の発表は、プロンプトの遵守、視覚的品質、動きのダイナミクス、動画の長さの調整といった、既存の動画生成技術が抱える大きな課題を解決することを目的としています。このモデルは技術的なブレークスルーを実現しただけでなく、ストーリー生成、画像から動画への生成、運鏡エキスパート、複数主体の一貫性のある動画生成（SkyReels-A2）など、様々なアプリケーションシナリオを提供します。SkyReels-V2は現在、30秒、40秒の動画生成に対応しており、高品質な動き、一貫性、高忠実度の動画を生成する能力を備えています。

微信截图_20250421110023.png

SkyReels-V2の中核となる技術革新は以下の通りです。

包括的な映画レベルの動画理解モデルSkyCaptioner-V1：構造化された動画表現方法と、マルチモーダルLLMによる一般的な説明と専門家モデルによる詳細なショット言語を組み合わせることで、ショット言語の理解能力を大幅に向上させました。このモデルは動画データを効率的に理解し、元の構造情報に沿った多様な説明を生成することができます。
動きに対する嗜好の最適化：強化学習によるトレーニングと、手動によるアノテーションと合成歪みデータを使用することで、動きの歪み、不自然さなどの問題を解決しました。SkyReels-V2は動きのダイナミクスにおいて優れた性能を発揮し、滑らかでリアルな動画コンテンツを生成することができます。
効率的な拡散強制フレームワーク：事前学習済みの拡散モデルを微調整することで、拡散強制モデルに変換し、生成効率を大幅に向上させました。この方法はトレーニングコストを削減するだけでなく、長尺動画の効率的な生成も実現します。
漸進的な解像度事前学習と多段階後学習最適化：汎用データセット、自己収集メディア、アートリソースライブラリからの億単位のデータを統合し、多段階最適化手法により、リソースが限られた状況下でも、様々な側面での性能を段階的に向上させ、映画レベルの動画生成を実現しています。

性能評価において、SkyReels-V2はSkyReels-BenchとV-Benchで優れた結果を示しました。SkyReels-Benchには1020個のテキストプロンプトが含まれており、指示の遵守、動きの品質、一貫性、視覚的品質という4つの重要な次元を体系的に評価しています。SkyReels-Benchによる評価では、SkyReels-V2は指示の遵守において顕著な進歩を遂げ、同時に動きの品質を維持しながら動画の一貫性を損なうことはありませんでした。V-Bench1.0の自動評価では、SkyReels-V2は総合スコア（83.9％）と品質スコア（84.7％）の両方で、HunyuanVideo-13BやWan2.1-14Bなどの全ての比較モデルを上回りました。

SkyReels-V2のアプリケーションシナリオは多岐に渡ります。

ストーリー生成：スライドウィンドウ方式により、モデルは新しいフレームを生成する際に、以前に生成されたフレームとテキストプロンプトを参照し、時間的な拡張をサポートすることで、一貫性のあるナレーションを持つ長尺動画を生成します。
画像から動画への合成：事前学習済みのテキストから動画への（T2V）拡散モデルの微調整と、拡散強制モデルとフレーム条件の組み合わせという2つの画像から動画への（I2V）生成方法を提供します。
カメラディレクション機能：厳選されたサンプルを使用することで、基本的なカメラワークとその一般的な組み合わせのバランスのとれた表現を確保し、撮影効果を大幅に向上させます。
要素から動画への生成：SkyReels-V2基盤モデルに基づいて、SkyReels-A2ソリューションを開発しました。これにより、任意の視覚要素をテキストプロンプトによって導かれる一貫性のある動画に組み合わせることができます。

昆侖万維SkyReelsチームは、動画生成技術の開発を継続し、SkyCaptioner-V1とSkyReels-V2シリーズモデルを完全にオープンソース化することで、学術界と産業界の更なる研究と応用を促進すると述べています。チームはまた、SkyReels-V2の性能を継続的に最適化し、より多くのアプリケーションシナリオを探求し、計算コストをさらに削減することで、クリエイティブコンテンツ制作や仮想シミュレーション分野へのより広範な適用を目指しています。