最近、清華系出身の生数科技が、驚くべき新機能を発表しました。たった一枚の写真から、様々な背景の動画を簡単に生成できる、まるで「動画魔法」のような機能です。

この機能は「主体参照」機能と呼ばれ、最大の特徴は、人物、動物、架空のキャラクターなど、動画内のあらゆる主体が、異なるシーンでも同じ姿で保たれる点にあります。

主な特徴は以下の通りです:

単一キャラクターの顔、半身、全身の一貫性を制御可能

主体の顔の一貫性を重視する場合は、単一主体の顔の鮮明な画像を切り取ってください。

主体の半身の一貫性(顔+上半身の服装)を重視する場合は、単一主体の鮮明な半身画像を切り取ってください。

主体の全身の一貫性(全身の特徴)を重視する場合は、単一主体の鮮明な全身画像を切り取ってください。

生数科技のCEOである唐家渝氏は、従来の動画生成方法は細部が安定せず、内容が崩れることが多かったと述べています。この新技術は、クリエイターにより多くの自由度と制御力をもたらします。

例えば、AIbaseが以前に生成した少女の画像を別のシーンに変更したい場合、「参照動画」オプションをクリックし、画像をアップロードして主体を選択した後、シーンを簡単に説明することができます。

QQ20240911-144550.jpg

例えば:

少女がヘルメットをかぶり、空を自由に飛んでいる

そして、このような動画が生成されました:

人物の顔だけを参考にしたい場合、服装などの特徴は参考にせず、主体を選択する際に、頭部だけを選択すれば良いのです。

QQ20240911-144928.jpg

その後、AIbaseは簡単な説明だけで、少女を簡単に草原に配置しました。最後に手が少し不自然ですが、全体的な効果は非常に素晴らしいです。

もちろん、この機能は、真人やペットの画像にも問題なく使用できます。例えば、女性の美しい写真があれば、背景を簡単に説明するだけで、以下のような鮮やかな動画を生成できます。

人物、アニメキャラクター、ペット以外にも、Viduの主体参照は商品にも対応しています。ここでは、AIbaseが以前に生成したダイヤモンドリングの画像でテストしてみました。

全体的な映像の流れはスムーズですが、少しぼやけています。専門的な指示を追加すれば、効果がさらに向上するでしょう。

注意すべき点として、この機能は現在、単一主体の生成のみをサポートしています。画像に複数の人物や物が含まれている場合、システムは主体を選択して処理するよう求めます。そのため、複数のオブジェクトを同時に処理することはできませんが、各主体の動画における表現の一貫性を確保できます。

興味のある方は、こちらから体験してみてください:https://top.aibase.com/tool/vidu