AI動画生成分野で重要なアップグレードが行われました。a16zが投資している3DとAI動画会社のLuma AIは、最近新しいモデル「Ray3Modify」をリリースしました。このモデルは、元の俳優のパフォーマンスの本質を維持しながら、既存の実写動画を高忠実度でAIで編集することを初めて実現しました。キャラクターの外見を変更したり、衣装を交換したり、シーンを変化させたり、滑らかなトランジションのカットを生成したりすることができ、俳優の動作のテンポ、目線の方向、感情表現などが完全に保持されます。

この突破はクリエイティブスタジオのコアな課題に直接的です。従来のAI動画ツールは驚くべき画面を生成できますが、細部の制御が難しいため、俳優の本物のパフォーマンスが後処理で失われます。一方、Ray3Modifyはキャラクター参照画像（character reference image）と開始・終了のキーフレーム（start/end frames）を導入することで、「パフォーマンスを変えずに、表現を変える」ことができる正確な編集を実現しています。

image.png

具体的には、ユーザーは実写動画とターゲットキャラクターのイメージ参照（例えばアニメキャラクターや歴史的人物、ブランドのバーチャルアンバサダーなど）を提供するだけで、Ray3Modifyは俳優の外見を新規キャラクターにシームレスに変換し、そのオリジナルのパフォーマンス（微妙な表情の変化、身体言語、感情的な緊張感）を忠実に保持します。また、開始および終了フレームを設定することで、クリエイターはAIに制御可能なトランジションカットを生成させ、キャラクターの歩行、回転、表情の段階的な変化などの連続的な動きを実現し、シーン間のストーリーがスムーズになるようにすることができます。

「生成型ビデオは非常に表現力がありますが、制御が難しいのが常です」と、Luma AIの共同創設者兼CEOであるAmit Jain氏は述べています。「Ray3Modifyは現実世界とAIの創造性を融合させ、クリエイターに完全な制御権をもたらします。今では、チームが普通のカメラで一度だけパフォーマンスを撮影すれば、AIを使ってどんな想像できるシーンにも置き換えることができます。衣装の変更や場所の変更、甚至は『再撮影』を行っても、セットを再構築したり俳優を再集めたりする必要はありません。」

このモデルは現在、LumaのDream Machineプラットフォームに統合されており、プロのクリエイター向けに公開されています。RunwayやKlingなどの企業との有力な競合者として、Lumaの今回のアップデートは、制御可能な生成動画分野での技術的優位性をさらに強固にしています。

今回のリリースは、同社の強い資金サポートによって可能になりました。2024年11月に、Lumaは9億ドル規模の巨額資金調達を完了しており、これはサウド・アラビアの国家主権財産基金に所属するAI企業であるHumainが主導し、a16z、Amplify Partners、Matrix Partnersなどの既存株主が引き続き出資しました。また、LumaはHumainとサウド・アラビアで2GW規模のAI計算クラスターを建設する計画があると伝えられています。これにより、将来の高負荷の動画生成作業に対するインフラストラクチャーが確保される予定です。

AIが単なる「コンテンツ生成」ではなく、「パフォーマンスの強化」を行うようになれば、映画、広告、ゲームなどの業界のワークフローが根本的に再構築されるかもしれません。真実の人のパフォーマンスとAIの創造力が、同じフレームに完璧に共存する時が来たのです。