蘋果研究團隊與香港大學合作發布了一項名為 LGTM 的新渲染框架。這一框架的全稱為 “Less Gaussians, Texture More”,旨在突破4K 超高清畫質的渲染瓶頸。
LGTM 框架的核心創新在于將3D 場景的幾何結構與表面紋理進行解耦,從而簡化幾何形狀的復雜性,同時通過疊加紋理層實現高質量的視覺效果。傳統的 “前饋3D 高斯潑濺” 技術雖然可以將2D 圖像快速轉換為3D 場景,但在高分辨率處理時,隨著像素數量的增加,計算需求呈指數增長,使得設備難以承載。
為了解決這一問題,LGTM 采取了兩步走的策略。首先,模型從低分辨率圖像中學習場景結構,確保在2K 或4K 渲染時幾何框架的完美呈現。接著,第二個網絡專注于細節處理,將高分辨率的紋理精確映射到幾何結構上。這樣的分工有效避免了對高算力的全鏈路消耗。
對普通用戶而言,這項技術將顯著提升蘋果 Vision Pro 頭顯的使用體驗。Vision Pro 的雙眼屏幕合計擁有約2300萬像素,單眼的像素量超過4K 電視,現有渲染技術在如此高的分辨率下容易造成性能瓶頸,從而導致畫面卡頓或模糊。LGTM 的推出有望解決這一算力瓶頸,提供更加流暢和沉浸的體驗。
實際演示中,接入 LGTM 框架后,生成的3D 場景在紋理細節和文字清晰度方面都有顯著提升,畫面效果接近真實。這意味著未來用戶在使用頭顯查看虛擬環境時,將獲得更加真實和清晰的視覺體驗。
劃重點:











