Metaは最近、画期的なMovie Genを発表しました。これは「メタバース版Sora」と称されるAI動画生成モデルで、高品質な動画をワンクリックで作成できるだけでなく、動画への音声吹き込み、編集、さらには個人の写真を個性的な動画に変換することも可能です。

image.png

92ページに及ぶ技術レポートが同時に公開されたことで、Movie Genの強力な機能と先進的なアーキテクチャは業界で大きな注目を集めています。

Movie Gen Video：高精細動画生成の革新

Movie Genは、Movie Gen VideoとMovie Gen Audioという2つの主要なモデルで構成されています。Movie Gen Videoは、300億パラメーターを持つTransformerモデルで、テキストプロンプトに基づいて、1080P解像度、16秒の長さ、毎秒16フレームの高精細動画を生成できます。

image.png

主な機能：

テキストから動画生成：簡単なテキスト入力で高品質なカスタム動画を作成

動画編集：既存動画のスタイルと内容を正確に修正

パーソナライズされた動画：個人の写真をダイナミックな動画に変換

音声生成：動画に音声吹き込み、効果音、背景音楽を追加

このモデルはLlama3のアーキテクチャ設計を参考に、「フローマッチング」技術を採用しており、従来の拡散モデルを上回る動画の精度とディテールを実現しています。

デモ動画を見ると、Movie Genで生成された動画は、画質、光の加減、動作の滑らかさにおいて非常に高いレベルに達しています。人物の顔は安定しており、動物の毛並みはリアルで、背景のディテールも豊富で驚くべきクオリティです。音声生成も同様に優れており、シーンの雰囲気に合った背景音楽を作成できるだけでなく、動画の動作ノードにも正確にマッチングします。

Movie Gen Audio：同期音声生成のブレークスルー

Movie Gen Audioは130億パラメーターのモデルで、48kHzの高品質な音声と音楽を動画に生成できます。動画と同期した効果音の生成だけでなく、シーンの雰囲気に合った背景音楽の作成、さらには数分間にわたる連続したオーディオ制作も可能です。

パーソナライズされた動画：唯一無二のコンテンツを作成

機能面において、Movie Genは驚くべき多様性と柔軟性を示しています。ユーザーは簡単なテキスト入力でカスタム動画を生成し、既存動画のスタイルや内容を編集したり、個人の写真をアップロードして独自のパーソナライズされた動画を作成することもできます。これらの機能により、Movie Genは現在最も先進的なメディア基礎モデルの一つとなっています。

Metaが公開したデモ動画は印象的です。雷雨の激しい山岳風景から、ビーチで凧揚げをする少女、ピンクのサングラスをかけたナマケモノまで、Movie Genで生成された動画は、画質、光の加減、動作の滑らかさにおいて非常に高いレベルに達しています。

さらに驚くべきことに、普通の写真を動的な動画に変換することもできます。例えば、ザッカーバーグの写真をフィットネス動画に変換するなどです。

QQ20241005-114628.png

技術面では、Movie Genは複数の革新的な技術を採用しています：

Llama3ベースのTransformerアーキテクチャ

フローマッチング訓練方法による動画品質の向上

多段階訓練プロセスによる性能最適化

Llama3支援によるプロンプト書き換えによる生成品質の向上

革新的な動画編集と音声拡張技術

Movie Genはまだ「将来的な」段階にあり、一般公開は来年以降になると予想されますが、その発表は業界に大きな反響を呼んでいます。ある評論家は、Metaのこの動きはOpenAIに先駆けてSoraに類似した製品を発表しただけでなく、他の企業が次世代AI動画技術の開発を加速させる可能性もあると指摘しています。

参考文献：https://x.com/AIatMeta/status/1842188252541043075

公式サイト：https://ai.meta.com/research/movie-gen/