スタンフォード大学は、遮蔽された人体を高忠実度にレンダリングすることを目的としたOccFusionという新しい手法を発表しました。言い換えれば、人体の一部が他の物体に隠れていても、OccFusionは最終的に人体全体をレンダリングすることができます。

image.png

製品入口：https://top.aibase.com/tool/occfusion

従来の人体レンダリング手法は、ビデオ内の人体の各部分が完全に可視であることを一般的に必要としていました。しかし、現実世界では遮蔽は一般的であり、人体が部分的にしか見えないという結果になります。OccFusionは、効率的な3Dガウス分割と事前学習済みの2D拡散モデルによる教師あり学習を組み合わせることで、効率的で高忠実度の人体レンダリングを実現します。

この手法は、初期化、最適化、細化の3つの段階で構成されています。初期化段階では、部分的にしか見えないマスクから完全な人体マスクを生成します。最適化段階では、条件付きスコア蒸留サンプリングによって人体ガウスを最適化します。最後に、細化段階では、コンテキストパッチによりレンダリング品質をさらに向上させます。

OccFusionは、ZJU-MoCapと、課題の多いOcMotionシーケンスで評価され、優れた性能を示し、遮蔽された人体レンダリングにおいて最先端のレベルに達しました。トレーニング全体は、単一のTitan RTX GPUでわずか10分かかります。

要点：

 🌟 OccFusionは、遮蔽された人体を高忠実度にレンダリングすることを目的とした新しい手法です。

🌟 この手法は、初期化、最適化、細化の3つの段階で構成され、効率的な3Dガウス分割と2D拡散モデルによる教師あり学習によって実現されています。

🌟 ZJU-MoCapとOcMotionシーケンスで評価され、OccFusionは優れた性能を示し、遮蔽された人体レンダリングにおいて最先端のレベルに達しました。