Rhymes AIは、画期的なテキスト・画像から動画生成モデルであるAllegro-TI2Vを最近発表しました。この革新的な技術は、デジタルコンテンツ制作に全く新しい地平を開きます。生成AIの最新成果であるAllegro-TI2Vは、クリエイターに前例のないビジュアルストーリーテリングツールを提供し、クリエイティブ分野におけるAI技術の可能性を大きく示しています。

QQ20241129-143110.png

Allegro-TI2Vは、複数の技術仕様において優れた性能を発揮します。最大79.2Kのコンテキスト長に対応し、これは88フレームの動画に相当します。出力解像度は720×1280ピクセル、動画生成速度は毎秒15フレームで、ユーザーは必要に応じて30FPSに補間することもできます。このモデルのアーキテクチャは非常に複雑で、1.75億パラメータのVideoVAEと28億パラメータのVideoDiTモデルを含み、ユーザーが入力したテキストプロンプトと初期画像の本質を正確に捉えることができます。さらに、Allegro-TI2Vは多精度モード（FP32、BF16、FP16）に対応しており、BF16モードでは動画生成にわずか9.3GBのGPUメモリしか必要とせず、ハードウェア要件を大幅に削減します。

Allegro-TI2Vの革新的な点は、2つの新しい生成モードを導入したことです。継続動画生成: テキストプロンプトと最初のフレームに基づいて、連続した動画コンテンツを作成します。このモードにより、クリエイターは設定されたテーマとスタイルに沿った動画を簡単に生成できます。中間動画生成: 動画の最初と最後のフレームが与えられた場合、自然な遷移の中間フレームを生成し、従来の動画編集の時間と空間の制限を打破します。

これらの革新的なモードにより、Allegro-TI2Vはクリエイターにより効率的で柔軟な動画制作方法を提供し、制作効率と品質を大幅に向上させます。

Rhymes AIはApache2.0ライセンスの下でAllegro-TI2Vを公開しており、研究者、開発者、コンテンツクリエイターがより簡単にこの技術にアクセスして使用できるようになっています。Python3.10+、PyTorch2.4+、CUDA12.4+をインストールするだけで、簡単に使い始めることができ、この高度な技術をすぐに体験できます。

QQ20241129-143210.png

Allegro-TI2Vの応用範囲は非常に広く、映画制作、ゲーム開発からデジタルアート、クリエイティブなプロトタイプまで、その強力な生成能力を十分に発揮できます。開発者提供のデータによると、単一のH100GPUで約20分で6秒の動画を生成でき、8台のH100GPUを使用すると、生成時間は3分に短縮され、動画コンテンツ制作の効率が大幅に向上します。

使用アドレス：https://huggingface.co/rhymes-ai/Allegro-TI2V

製品アドレス：https://rhymes.ai/blog-details/allegro-advanced-video-generation-model