拒絕算力焦慮!蘋果 LGTM 框架問世:讓4K 級3D 渲染在 Vision Pro 上起飛

近日，蘋果公司研究團隊聯合香港大學發表了名爲《少用高斯函數，多用紋理:4K 前饋紋理飛濺》（Less Gaussians， More Textures:4K Feedforward Texture Splatting）的最新研究成果，推出了一項名爲 LGTM 的全新技術框架。該技術旨在解決當前3D 高斯噴濺（3D Gaussian Splatting）在高分辨率下的計算瓶頸，爲 Apple Vision Pro 等高像素顯示設備的圖形渲染開闢了新路徑。

技術突破:幾何與分辨率的“解耦”

目前主流的前饋3D 高斯噴濺技術雖然能快速將2D 圖像轉換爲3D 場景，但隨着渲染分辨率的提升，計算需求呈二次方爆炸式增長，導致4K 級別的實時渲染難以實現。

LGTM 框架的核心創新在於將幾何複雜性與渲染分辨率解耦。它不再盲目增加高斯函數的數量，而是通過以下兩步法提升畫質:

1. 幾何學習: 模型先從低分辨率圖像中學習場景的基礎結構，並與高分辨率真實圖像（GT）對比，確保幾何骨架在2K/4K 下無縫隙或瑕疵。

2. 紋理疊加: 引入專門的外觀網絡，將高分辨率圖像中的精細細節轉化爲紋理，疊加在簡單的幾何形狀之上。

賦能 Apple Vision Pro

Apple Vision Pro 的雙眼顯示屏擁有約2300萬像素，單眼分辨率超過4K。傳統的SPLAT等前饋模型在處理如此高密度的像素時往往性能受限。而 LGTM 能夠升級現有系統（如 NoPoSplat、DepthSplat 等），使設備在保持低計算負載的同時，生成紋理更清晰、文本更銳利且更接近真實場景的沉浸式環境。

通過項目演示頁面可以觀察到，相比傳統方法，LGTM 顯著提升了前饋3D 重建的視覺上限，這預示着未來的 visionOS 用戶有望在實時生成的虛擬空間中獲得前所未有的逼真體驗。