蘋果研究團隊與香港大學合作發佈了一項名爲 LGTM 的新渲染框架。這一框架的全稱爲 “Less Gaussians， Texture More”，旨在突破4K 超高清畫質的渲染瓶頸。

LGTM 框架的核心創新在於將3D 場景的幾何結構與表面紋理進行解耦，從而簡化幾何形狀的複雜性，同時通過疊加紋理層實現高質量的視覺效果。傳統的 “前饋3D 高斯潑濺” 技術雖然可以將2D 圖像快速轉換爲3D 場景，但在高分辨率處理時，隨着像素數量的增加，計算需求呈指數增長，使得設備難以承載。

image.png

爲了解決這一問題，LGTM 採取了兩步走的策略。首先，模型從低分辨率圖像中學習場景結構，確保在2K 或4K 渲染時幾何框架的完美呈現。接着，第二個網絡專注於細節處理，將高分辨率的紋理精確映射到幾何結構上。這樣的分工有效避免了對高算力的全鏈路消耗。

image.png

對普通用戶而言，這項技術將顯著提升蘋果 Vision Pro 頭顯的使用體驗。Vision Pro 的雙眼屏幕合計擁有約2300萬像素，單眼的像素量超過4K 電視，現有渲染技術在如此高的分辨率下容易造成性能瓶頸，從而導致畫面卡頓或模糊。LGTM 的推出有望解決這一算力瓶頸，提供更加流暢和沉浸的體驗。

實際演示中，接入 LGTM 框架後，生成的3D 場景在紋理細節和文字清晰度方面都有顯著提升，畫面效果接近真實。這意味着未來用戶在使用頭顯查看虛擬環境時，將獲得更加真實和清晰的視覺體驗。

劃重點:

🌟 蘋果與香港大學聯合推出 LGTM 渲染框架，旨在提升4K 畫質。

🚀 LGTM 通過解耦幾何結構與表面紋理，優化渲染效率，降低算力需求。

👓 該技術將提升蘋果 Vision Pro 的用戶體驗，實現更流暢的沉浸式視覺效果。