神經網絡渲染器提高了光線追蹤圖像質量,使用可在采樣光線之間生成更高質量像素的 AI 網絡取代需要人工設計的降噪器。
AI 不斷提高 PC 游戲品質的上限。
具有光線重建功能的 DLSS 3.5 可以為密集型光線追蹤的游戲和應用創建更高質量的光線追蹤畫面。這種增強型 AI 賦能的神經網絡渲染器是一項突破性功能,它利用經 NVIDIA 超級計算機訓練的 AI 網絡取代需要人工設計的降噪器,從而顯著提升所有 NVIDIA RTX GPU 的光線追蹤圖像質量。該功能可提升光線反射、全局光照和陰影等光照效果,打造更加真實,身臨其境的游戲體驗。
一束光線,一項突破
光線追蹤作為一種渲染技術,可通過渲染精準物理關系的反射、折射、陰影和間接光照,實現對場景及其中物體光照效果的逼真模擬。光線追蹤通過追蹤觀景式相機(決定場景中的視線)的光線路徑來生成計算機圖形圖像。該路徑會穿過 2D 視平面進入 3D 場景,然后返回光源。例如,如果光線照射到鏡子上,就會生成反射。
而光線追蹤相當于打造現實世界中被光束照亮的物體的數字版本,創造出光從觀察者的眼睛到與光相互作用的物體的路徑。這就是光線追蹤。
以這種方式模擬光線——為屏幕上的每個像素發射光線——需要大量的計算,即使是對于離線渲染器來說也是如此無論是計算幾分鐘或幾小時內的場景。而另一種方法則是讓光線樣本向場景中的各個點發射少量光線,以獲得場景光照、反射率和陰影的代表性樣本。
然而,這種方式存在局限性。輸出的是帶有間隙和噪聲的斑點圖像,足以確定光線追蹤時場景的外觀如何展現。為了填充未計算光線追蹤的缺失像素,人工設計的降噪器使用兩種不同的方法:在多幀中依時累積像素,或對其進行空間插值以將相鄰像素混合在一起。通過此過程,帶噪聲的原始輸出會被轉換為光線追蹤圖像。經此流程,含噪點的原始輸出結果會被轉換成光線追蹤圖像。
這會增加開發過程的復雜性和成本,并且在大量采用光線追蹤技術的游戲中會降低幀率。其原因在于此類游戲會同時運行多個降噪器以實現不同的光照效果。
DLSS 3.5 光線重建技術引入了經 NVIDIA 超級計算機訓練且由 AI 驅動的神經網絡,可在采樣光線之間生成更高質量的像素。該技術可識別不同的光線追蹤效果,從而可使用時間和空間數據做出更明智的決策,并保留高頻信息以實現更高質量的升級。光線重建還可以從訓練數據中識別光照模式(例如全局光照或環境光遮蔽),并在游戲中重現該效果。
“傳送門 (Portal)”RTX 版是光線重建在實際應用中的優秀示例。關閉 DLSS 后,降噪器很難重建轉動的風扇旁邊的動態陰影。
啟用 DLSS 3.5 和光線重建后,降噪器會在 AI 上進行訓練,識別與陰影相關的某些模式并保持圖像穩定,積累準確的像素,同時混合相鄰像素以生成高質量的反射。
深度學習,沉浸游戲
光線重建只是性能倍增的 DLSS 所使用的 AI 突破性圖形技術的其中之一。作為 DLSS 的基礎,超分辨率功能會對多個分辨率較低的圖像進行采樣,并使用先前幀的運動數據和反饋來重建原生質量的圖像。這能實現在不犧牲游戲性能的情況下獲得高質量圖像。
DLSS 3 引入了“幀生成”功能,通過使用 AI 分析前后幀的數據來預測下一個生成的幀應該是什么樣子,從而提高性能。然后,這些生成的幀會被插入到已渲染的幀之間。將 DLSS 生成的幀與 DLSS 超分辨率相結合,可使 DLSS 3 在 AI 助力下重建所顯示像素數的八分之七。與不使用 DLSS 相比,其幀率最高可提升至原來的 4 倍。
由于 DLSS 幀生成是在 GPU 上進行后處理(在主渲染后應用)的,因此即使游戲受到 CPU 的瓶頸限制,它也能提高幀率。
生成式 AI 正改變各類游戲、視頻會議和互動體驗。
審核編輯:劉清
-
神經網絡
+關注
關注
42文章
4762瀏覽量
100537 -
NVIDIA
+關注
關注
14文章
4940瀏覽量
102815 -
超級計算機
+關注
關注
2文章
460瀏覽量
41923 -
GPU芯片
+關注
關注
1文章
303瀏覽量
5781 -
AI驅動
+關注
關注
0文章
56瀏覽量
4123
原文標題:光線追蹤畫質增強:解碼 AI 驅動的 DLSS 3.5 光線重建
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論