アップルの研究チームは、香港大学と協力して、「LGMT」という新しいレンダリングフレームワークを発表しました。このフレームワークの正式名称は「Less Gaussians, Texture More」で、4K超高画質のレンダリングのボトルネックを突破することを目的としています。

LGMTフレームワークのコアとなるイノベーションは、3Dシーンのジオメトリック構造と表面テクスチャを分離することにより、ジオメトリック構造の複雑さを簡略化し、テクスチャ層を重ねることで高品質なビジュアル効果を実現することです。従来の「フォワード3Dガウススプレッド」技術は2D画像を高速に3Dシーンに変換できるものの、高解像度処理においてピクセル数が増えるにつれて計算要求が指数関数的に増加し、デバイスが負荷を抱えることになります。

image.png

この問題を解決するために、LGMTは2段階の戦略を取ります。まず、モデルは低解像度画像からシーン構造を学習し、2Kまたは4Kレンダリング時にジオメトリックフレームワークを完璧に再現します。次に、第2のネットワークは細部処理に専念し、高解像度のテクスチャをジオメトリック構造に正確にマッピングします。このような分業により、高性能計算への全フローコストを回避することができます。

image.png

一般ユーザーにとって、この技術はアップルのVision Proヘッドセットの使用体験を大幅に向上させます。Vision Proの両眼画面の合計ピクセル数は約2300万ピクセルで、片目のピクセル数は4Kテレビを上回ります。現在のレンダリング技術では、このような高い解像度下でパフォーマンスのボトルネックが発生し、画面が遅延したりぼやけたりすることがあります。LGMTの導入により、この計算能力のボトルネックが解消され、より滑らかで没入感のある体験が提供されることが期待されます。

実際のデモでは、LGMTフレームワークに接続した後、生成された3Dシーンはテクスチャの詳細性や文字の明確さにおいて顕著な改善が見られ、画面効果は本物に近づいています。これは、将来ユーザーがヘッドセットを通じて仮想環境を見た際に、より現実的で明確な視覚体験を得られることを意味しています。

ポイント：

🌟 アップルと香港大学が共同でLGMTレンダリングフレームワークをリリースし、4K画質の向上を目指しています。

🚀 LGMTはジオメトリック構造と表面テクスチャを分離することで、レンダリング効率を最適化し、計算能力の要件を下げています。

👓 この技術により、アップルVision Proのユーザー体験が向上し、よりスムーズで没入感のあるビジュアル体験が実現されます。