映画のクールな特殊効果を覚えていますか？物が空中に消えたり、シーンが瞬時に変わったり…ワクワクしませんか？今、Google DeepMindチームが「Generative Omnimatte」というAIモデルを開発し、これらの特殊効果が映画だけのものじゃなくなりました！このAIは、熟練の編集者のようなもので、ビデオを複数のレイヤーに分解します。各レイヤーには、物体とその影、反射などが完全に含まれています。

image.png

従来のビデオ抠图技術は、通常、グリーンバック撮影や正確な深度情報に依存しており、操作が非常に複雑でした。しかし、このAIモデルはこれらの制限から完全に解放されています。追加の情報なしで、ビデオ内の人物、物体、背景を完璧に分離し、隠れている部分も「想像」して補完します。その効果は驚くべきものです！

このAIモデルの中核は、「Casper」と呼ばれるビデオ削除モデルです。まるで魔法の消しゴムのように、指定したビデオ内の物体を正確に消去し、その影や反射も一緒に消えますが、背景はそのまま残ります。

さらに重要なのは、ユーザーのニーズに合わせて、物体と背景を再構成し、様々なクリエイティブな効果を実現できることです。例えば、人物をあるシーンから別のシーンに「瞬間移動」させたり、物体の速度を変えたり、時間を逆戻りさせたりすることも可能です！

この素晴らしいツールがあれば、ビデオ編集が非常に簡単になります。どんな特殊効果でも簡単に追加でき、技術的な問題を心配する必要はありません。誰でも編集マスターになれるのです！例えば、友達を家から海辺に「瞬間移動」させたい場合、Casperを使って友達を切り抜き、海辺の背景に配置するだけです。簡単ですね？友達を逆走させたり、複製して一緒に踊らせたりすることもできます。想像するだけで楽しくなりますね！

もちろん、Generative Omnimatteはまだ開発段階であり、いくつかの小さなバグが残っています。例えば、ビデオの中に非常に似た物体があると、AIが区別できず、混同してしまう可能性があります。また、物体が変形した場合（例えば、曲がった棒など）、AIはどのように処理すべきか分かりません。しかし、Google DeepMindチームはすぐにこれらの問題を解決し、Generative Omnimatteをさらに完璧なものにするでしょう！

プロジェクトアドレス：https://gen-omnimatte.github.io/

論文アドレス：https://arxiv.org/pdf/2411.16683