Meta AIは、Segment Anythingシリーズの最新モデルであるSAM3Dをリリースしました。SAM3Dには「SAM3D Objects」と「SAM3D Body」の2つの重みが用意されており、前者は一般的な物体/シーン向け、後者は人間の画像再構築に特化しています。いずれも1枚の2D画像だけでテクスチャ、素材、幾何学的に整合性のある3Dアセットを出力でき、現存するNeRFやGaussian Splattingの手法よりも実世界の画像において顕著に優れています。

QQ20251120-105802.jpg

SAM3Dのコアは「空間位置-意味」の統合符号化を採用しており、各ピクセルに対して3D座標と表面法線を予測します。これにより、物理的な正確性を持つモデルとなり、AR/VR、ロボット、映画後処理などに直接利用できます。Metaは同時に重み、推論コード、評価基準をオープンソース化し、Facebook Marketplaceでは「View in Room（部屋で見る）」機能を導入しています。ユーザーは商品の3Dモデルを自宅の部屋に投影して事前に確認できます。

公式テストによると、SAM3D Objectsは公開データセットでのChamfer Distanceが28%低下し、法線の整合性は19%向上しています。また、SAM3D BodyはAGORA-3DベンチマークでのMPJPE指標が現在の最良の単一画像方法よりも14%優れており、Mixamoの骨格駆動をワンクリックでバインドすることも可能です。

Metaは、このモデルがQuest3およびHorizon Worldsのクリエイティブツールに統合されていることを明らかにしました。開発者はEditsとVibesアプリを通じてAPIを呼び出し、モデルごとに0.02ドルの料金で使用できます。2026年Q1にはリアルタイムのモバイル端末での推論SDKがリリースされる予定です。

プロジェクトのアドレス：https://ai.meta.com/blog/sam-3d/