最近、ある黒技術が私たちの3Dワールド構築に対する認識を根本的に覆しました！プリンストン大学、コロンビア大学、そして「Cyberever AI」という会社が共同で、「3DTown」というフレームワークを発表しました。名前からわかるように、これはあなたに3Dタウンを構築するためのものです！最も驚くべき点は何でしょうか？それは、単に一枚の俯瞰図だけで、現実的で連続的な3Dタウンシーンを生成できることです！さらに、これはトレーニング不要（training-free）のフレームワークなので、大量の3Dデータを収集して学習させる必要はありません。そのまま使うことができます！

image.png

論文リンク: https://arxiv.org/pdf/2505.15765

プロジェクトリンク: https://eric-ai-lab.github.io/3dtown.github.io/

従来の3Dモデリング？それは過去の“肉体労働”です！

あなたは高品質な3Dシーンを作るのは大企業や大規模チームだけができる“高額ゲーム”だと感じたことはありませんか？確かにその通りです:

機材は泣きたいほど高い: 3Dスキャナの価格は数十万円から数百万円に達し、一般の人には手が出ません。

データ量は爆発的: 多視点、多角度でのデータ収集が必要で、そうでなければモデルに多くの「盲点」が生じます。

手作業でのモデリングは死ぬほど大変: 時間と労力を要し、細部一つ一つに苦労させられます。

そのため、多くの人は3Dに手を出すことができませんでした。近年AIは3Dオブジェクト生成において大きな進展を遂げていますが、複雑なシーン全体に拡張するのはまさに「歩みが遅い」状態で、しばしば「失敗」が起こります:

幾何構造の不整合: 生成された建物が斜めになっていて、全体として自然に見えない。

配置が空想的: 入力画像とは全く合わず、想像力が過剰に働いている。

メッシュの質が悪い: モデルの詳細が粗く、テクスチャも微妙。

image.png

3DTown:「一枚の図で街を作る」魔法使い！

現在、3DTown はこれらの課題を解決します！その核心理念は、最小限の入力（一枚の俯瞰図）で最高品質の3Dシーンを生成することです。

想像してみてください。あなたがインターネットで雪景色の街の俯瞰図を探したり、自分でオランダ風の街並みのスケッチを描いて3DTownに渡せば、それがリアルな3Dモデルに変わります！

それはどのようにこの「魔法」を実現しているのでしょうか？その秘密は二つの「ブラックテクノロジー」にあります:

領域生成: 総体を部分に分け、それぞれを丁寧に処理！

あなたは一度にAIに複雑な3Dシーンを生成させることを試みたことがありますか？それは難しさの極みです。3DTownは非常に賢明で、「総体を部分に分ける」戦略を取ります。

それは、入力した俯瞰図をオーバーラップする領域に分解し、それぞれの領域に対して個別に3D生成を行います。

これにより、大きなパズルを小さなパズルに分解して、AIがそれぞれの部分に集中して取り組めるようになります。その利点は明らかです:

解像度と詳細度の向上: 各領域が独立しているため、AIは高解像度の幾何構造とテクスチャを集中して生成できます。

画像から3Dへの正確な対応: 局所的な領域ごとに生成することで、AIが画像の詳細をより正確に理解し、生成される3Dモデルも入力画像に忠実に反映されます。

空間感知3D修復: 「隙間」を完璧に埋める！

「総体を部分に分ける」方法は優れているものの、新しい問題が生じます。独立して生成された領域どうしがどのようにして完全に一体化し、隙間なく連続した全体となるのでしょうか？

これが3DTownのもう一つの「ブラックテクノロジー」——空間感知3D修復（spatial-aware3D inpainting）です。

まず、AIに画像から粗い3D構造を推測させます。これはAIに「ラフスケッチ」を与えることと同じで、どこが建物でどこが道なのかを教えてあげるのです。

次に、マスク補正流（masked rectified flow）を使用して、欠損している幾何構造を補填しながら全体の連続性を保ちます。

このプロセスは、専門的な「3D職人」がAIが積み上げた各「ブロック」を隙間なく埋めるのに似ています。さらに、全体の構造が変わらないように調整されるのです。

トレーニング不要、結果は他を圧倒！

最も驚くべきは、3DTownが**「トレーニング不要」**のフレームワークだということです！

それは事前にトレーニングされた3Dオブジェクト生成器（例えばTrellis）を利用して、独自の領域生成と空間修復戦略を組み合わせて複雑な3Dシーンを合成しています。

これは、一流シェフが自分で農作物や家畜を育てる代わりに市場で最高級の食材を買ってきて、その卓越した腕でミシュラン級の料理を作るようなものです！

実験結果も3DTownの強さを証明しています。現在の最先端のImage-to-3D生成モデルを大幅に上回っています:

幾何学的品質: 人間評価とGPT-4oの評価でも、3DTown生成の3Dモデルは幾何学的構造がより精巧で現実に近いことが示されています！

幾何学的品質スコアは、Trellisよりも37%高く、TripoSGよりも55%高い。

配置の一貫性: 入力画像との配置が完璧に一致しており、歪んだりしていない。

配置の一貫性では、Trellisと比べて人間の好みスコアが40%高い。GPT-4o評価では87.9%に達し、Hunyuan3D-2はわずか12.1%。

テクスチャの忠実さ: モデル表面のテクスチャは現実世界のように本格的で一致しています。

雪景色の街、砂漠の町、オランダ風の町など、どんな種類の3DTownでも、高度に連続的で現実的な3Dシーンを生成できます！他のモデルはしばしば構造が単純化されたり、配置が歪んだり、オブジェクトが重複するなどの問題が生じます。

3DTownの「成功の秘訣」: 分解と接着の芸術！

この技術の成功は、**「空間分解」と「事前知識に基づく修復」**という戦略が2D画像を高品質の3Dシーンに昇華させる際の重要性を再び証明しています。

領域分解により、AIは各局所領域で事前トレーニングされた能力を最大限に発揮できます。全体の複雑なシーン全体に取り組むことで生じる「力不足」を避けられるのです。

ランドマークのガイドラインはAIに「安定剤」を与え、全体の構造や重要な物体の連続性を確保します。これにより「方向が狂う」ことを防ぎます。

この技術はゲーム開発、映画制作、メタバース構築、さらにはロボットシミュレーショントレーニングなど、多くの分野で巨大な可能性を秘めています。想像してみてください、未来には一枚のスケッチだけで探索可能な3Dワールドをすぐに生成できるようになったら、どれだけ効率が上がるでしょう！

最後に、小さな「つぶやき」と未来の展望

もちろん、新しい技術には完璧なものはありません。3DTownにもいくつかの制約があります:

事前にトレーニングされた3D生成器は単一のオブジェクトに基づいており、一部の領域生成時に「錯覚」が生じることがあります。例えば、反復するファサードや現実的でない屋根の形状が見られることがあります。

初期の粗い3D構造の推定には時々「欠陥」があり、生成された表面に穴が開いたり、平坦になりすぎることがあります。

しかし、これらは将来改善できる方向であり、複数の視点データの結合、セマンティックな事前知識の導入、またはシーンレベルでの微調整などが行われるべきです。

3DTownの登場は、3Dコンテンツ生成分野における一大マイルストーンです。巧妙で効率的かつトレーニング不要な方法で、私達に2Dから複雑な3Dシーンを迅速に構築する扉を開きました。未来では、私たち一人ひとりが3Dワールドの「創造神」となり、一枚の図で自分だけの「理想の街」を作ることができるかもしれません！