スマホで気軽に撮影した動画が、ワンタッチでアニメ風の映像に早変わりするのを想像してみてください。夢ではありません。Diffutoon（ディフチューン）が実現する奇跡です。

アリババと華東師範大学が共同開発したAIツール、Diffutoonは、その独自の機能で、動画制作をかつてないほど簡単で楽しくします。

動画は公式プロジェクトページより

主な機能：

アニメ風変換：リアルな動画を様々なアニメ風に変換し、現実と二次元をシームレスに繋ぎます。

内容の一貫性：動画の内容の連続性を維持し、画面のちらつきや歪みを防ぎ、各フレームを滑らかに自然に表現します。

高解像度出力：高解像度、長時間の動画生成に対応し、プロの制作ニーズを満たします。

スマート編集：ユーザーのテキスト指示に基づいて、動画の内容を編集します（色の変更やエフェクトの追加など）。

ディテールの保持：光、髪、ポーズなどのディテールを精細に維持しながら、アニメ風の視覚体験を実現します。

低解像度最適化：入力動画の解像度が低い場合でも、高品質なアニメ風動画を出力できます。

Diffutoonの中核は、最先端のAI画像生成技術である拡散モデルです。このモデルは大量の画像データから学習し、新しい画像や動画を生成します。Diffutoonはこれを最適化し、単一の画像だけでなく、動画の漫画化処理も可能にしました。

Diffutoonはまず動画の各フレームを分析し、人物の動きやポーズなどの重要な情報を捉え、それらの情報を維持したまま、画風を漫画アニメに変換します。まるで魔法をかけるように、動画の画面は元の動きや構造を保ちながら、アニメの衣装をまといます。

image.png

「フラッシュアテンション」などの効率的な技術を採用することで、Diffutoonは処理速度を大幅に向上させました。スマホで撮影した高解像度の動画でも、素早くアニメ効果に変換できます。

Diffutoonの用途は非常に広く、アニメ制作、ゲーム開発から広告素材制作まで、幅広く活躍します。特にショートビデオクリエイターにとって、創造性を高める強力なツールであり、コンテンツ制作をより多様化します。

複雑なシーンや高速な動きのある動画の処理については、まだ改善の余地がありますが、Diffutoonの可能性は無視できません。技術の進歩に伴い、Diffutoonが動画制作に革命的な変化をもたらすと確信しています。

プロジェクトページ:https://top.aibase.com/tool/diffutoon

コード:https://github.com/modelscope/DiffSynth-Studio

論文:https://arxiv.org/abs/2401.16224