在虛擬現實和流媒體領域，英偉達攜手馬里蘭大學帶來了一項突破性進展。這個被命名爲QUEEN的AI模型，不僅能讓觀衆在體育賽事中隨心所欲地切換觀賽視角，更能將每幀3D場景壓縮至僅0.7MB大小，同時保持驚人的350幀每秒渲染速度。

這項技術的關鍵在於其獨特的處理方式。傳統的3D場景重建往往面臨着存儲空間過大或畫質不佳的兩難困境，而QUEEN巧妙地解決了這一問題。它採用智能算法專注於捕捉畫面中發生變化的部分，對於保持靜態的場景元素則進行重複利用，大大提升了計算效率。

image.png

英偉達研究主管沙利尼·德梅洛道出了QUEEN的核心優勢:"我們創造了一個完美平衡壓縮率、視覺質量、編碼時間和渲染速度的解決方案。"這種平衡使得近乎實時的自由視點視頻傳輸成爲可能。

在技術層面，QUEEN採用了創新的3D高斯飛濺框架，通過學習連續幀之間的高斯屬性殘差來實現高質量重建。研究團隊還開發了量化稀疏框架，結合了專門的latent-decoder和門控模塊，進一步優化了數據存儲效率。

這項技術的應用前景令人期待:體育愛好者可以在比賽直播中自由選擇觀賽角度，音樂會觀衆能夠獲得身臨其境的虛擬現實體驗，遠程教學時學習者也可以選擇最適合自己的視角來學習烹飪或手工藝等技能。在工業領域，它更可以助力倉庫的遠程操作管理。

如此快速的渲染速度配合出色的視覺效果，QUEEN正在重新定義流媒體體驗的未來。這不僅是技術的進步，更是爲數字內容創作者和消費者開啓了一個充滿可能性的新時代。