最近、快手可灵チームがオープンソース化した人物動画生成フレームワークLivePortraitが、人工知能分野で大きな話題となっています。この革新的なツールは、静止画一枚だけで生き生きとした動画を生成でき、AI技術が動画生成分野に秘めた可能性を大きく示しています。

LivePortraitは公開されるとすぐに、オープンソースコミュニティで大きな注目を集めました。短期間でGitHub上で7.5Kのスターを獲得し、現在最もホットなAIプロジェクトの一つとなっています。さらに、Hugging Faceの最高戦略責任者であるThomas Wolf氏も実際に使用し、Hugging Faceプラットフォームの全アプリケーションの中でトレンドランキング1位を獲得しました。

image.png

LivePortraitの最大の強みは、驚くべき表情の「移し替え」能力です。静止画の人物がまばたきしたり、微笑んだり、顔を向けたりするだけでなく、ある人の表情や動きを別の人に移し替えることもでき、スタイルに制限はありません。写実的、油絵、彫刻、3Dレンダリングなど、様々なスタイルに適用できます。

このツールの応用範囲は非常に広いです。一人写真から家族写真まで、人物からペットまで、LivePortraitは生き生きとした動画効果を実現できます。さらに驚くべきことに、動画の表情を精密に制御することもできます。例えば、口角の上がり具合や目の大きさなどを調整でき、クリエイターに前例のない表情制御能力を提供します。

技術面では、LivePortraitは暗黙的キーポイントに基づいた革新的なフレームワークを採用しており、現在の主流である拡散モデルベースの方法とは異なります。2段階のトレーニングプロセスにより、モデルの汎化能力、表現力、テクスチャ品質を大幅に向上させています。第一段階はフレームワークの改良に焦点を当てており、高品質データの整理、混合トレーニング、ネットワークアーキテクチャのアップグレードなどが含まれます。第二段階では、適合モジュールとリダイレクトモジュールのトレーニングを通じて、顔の表情の細部の処理精度を高めています。

既存の方法と比較して、LivePortraitは生成品質と駆動精度において優れた性能を発揮し、特に微妙な表情の捉え方と元のテクスチャの維持において優れています。拡散モデルベースの方法に劣る点もありますが、LivePortraitの推論効率は非常に高く、RTX 4090 GPUでは1フレームの生成速度が12.8ミリ秒に達し、既存の拡散モデルベースの方法を大きく上回っています。

LivePortraitの登場は、AI技術が動画生成分野で最新の進歩を遂げたことを示すだけでなく、クリエイティブ産業に新たな可能性をもたらしました。このような技術の進歩に伴い、近い将来、さらに驚くべきAI動画生成アプリケーションが登場し、コンテンツクリエイターや一般ユーザーにより豊かで便利な創作ツールを提供してくれると期待できます。

プロジェクトアドレス:https://top.aibase.com/tool/liveportrait

LivePortrait体験アドレス:

https://huggingface.co/spaces/KwaiVGI/LivePortrait