京东探索研究院は近日、自社開発のJoyAI-Image-Edit画像モデルを正式にオープンソース化したことを発表しました。これにより、AIによる画像編集技術が従来の平面処理から3次元空間モデリングへの新たな段階へと進化しました。業界で初めて「空間知能」に重点を置いたオープンソースモデルとして、AIに物理的な空間を真正に理解し、再構築する能力をもたらします。

image.png

三次元空間の深くモデリング

このモデルは現実世界の物理法則に深く適合しており、カメラの認識から物体の移動に至るまで、さまざまな次元において詳細なモデリングを行います。これにより、開発者は直接推論コードを呼び出し、シーンの幾何学的整合性を保ちながら正確な空間編集が可能です。

JoyAI-Image-Editは、オープンソース界において長年解決されていなかった空間理解の課題を克服し、非常に高い識別度を持っています。その核心的な特徴は、自然言語の指示に応じて、カメラのヨー角、ピッチ角、ズーム比を柔軟に調整できる点です。

多様なアプリケーションへの支援

さらに、このモデルは連続した視点の移動をサポートし、論理的につながったウォークスルーのシーケンスを生成できます。全体の構造を安定させつつ、特定のオブジェクトを拡大・縮小したり、移動させたりすることも可能で、光と影、遮蔽の関係を自然に保つことができます。

空間的な能力だけでなく、このモデルはオブジェクトの追加・削除やスタイル移行など15種類の一般的な編集要件を全面的にサポートしています。現在、このモデルは电商生産、クリエイティブデザイン、 embodied intelligence（身体を持つ知能）などの最先端分野で広く応用されており、業界に重要な基盤技術を提供しています。