說到DLSS,相信不少游戲玩家應該并不陌生,一部分人會戲稱它為“大力水手”,需顯卡上專用的AI處理器Tensor Core提供支持。
它通過降低游戲內的渲染分辨率,再通過人工智能算法模型和AI加速硬件單元(Tensor Core)填充高分辨率畫面并輸出,從而在保障畫質的同時,提升游戲幀率,恰好能夠緩解實時光線追蹤對顯卡造成的負擔,與RTX 20系列顯卡同步誕生,并且持續迭代升級。
去年,英偉達發布了RTX40系列顯卡,DLSS更新到了3.0版本,在超分辨率的基礎上增加了幀生成,讓游戲幀率獲得了成倍提升,可以說是效果拔群了。
在最近舉行的Gamescom 2023上,英偉達繼續發力,帶來了全新的DLSS 3.5,這次的重點不在幀率的提升,而是要提升畫面質量。DLSS 3.5引入了光線重建技術(Ray Reconstruction,簡稱RR),其目的就是為了解決在光線追蹤的游戲中,人工設計的降噪器導致畫面質量下降的問題。
在光線追蹤時,對屏幕上的每個像素發射光線對計算的要求過高,所以會對光線進行采樣,向場景中的各個點發射少量光線,作為場景照明、反射率和陰影的代表性樣本,而輸出的就是帶有間隙和噪點的畫面,也就是光線追蹤是場景大概得一個樣子。
但這樣肯定是無法作為畫面輸出的,為了填補未計算光線追蹤的缺失像素,這時就要用到降噪器,一般會采用兩種辦法,在多幀中依時累積像素,或對其進行空間插值以將相鄰像素混合在一起。通過這一過程后,帶有噪點的原始輸出就被轉化為光線追蹤圖像。
這一方法雖然能夠消除噪點,但所謂的人工設計的降噪器是需要開發者去完成的,這無疑增加了開發過程的復雜度和成本,而且為了盡可能保障畫面質量,多個降噪器需要同時工作,這會影響游戲性能,導致幀率降低。
而且通過累積多幀的像素以增加細節,需要借取過去的光線,仍存在引入鬼影、消除動態效果并降低其他效果的風險。
全新的光線重建技術便是來替代降噪器的,它是進階版AI驅動的神經渲染器的一部分,通過將需要人工設計的降噪器替換為 NVIDIA 超級計算機訓練的AI網絡(在采樣光線之間生成更高質量的像素),為所有 GeForce RTX GPU提升光線追蹤圖像質量。
相比與DLSS 3,DLSS 3.5訓練的數據量達到了其5倍,可識別不同的光線追蹤效果,從而可使用時間和空間數據做出更明智的決策,并保留高頻信息以實現更高質量的升級。
而且光線重建使用離線渲染圖像進行訓練,這需要比實時游戲所需的更多的計算能力,光線重建可以從訓練數據中識別光照模式,例如全局光照或環境光遮蔽的光照模式,并在玩家玩游戲時在游戲中重新創建這些模式。
在筆者看來,光線重建技術就是通過前期大量的AI模型訓練,對光線追蹤過程中可能遇到的問題進行了深度的“預習”,所以在遇到這些問題時能夠更加游刃有余的進行處理,而且具有一定的普適性,能夠應用在不同的游戲中,并且最終效果比需要人工設計的降噪器更出色。
從官方給出的對比來看,以《賽博朋克2077》為例,DLSS 3.5準確的生成了光照,讓車燈的光束出現了正確的位置,并且能看到光線在車前路邊反射,相比之下未開啟DLSS的在光線處理上則出現了一些問題。
另外一個場景中,在DLSS 3.5的加持下,整體畫質有著明顯提升,地面反射出的細節也更清晰。
除了游戲外,在創意設計這塊同樣可以發揮非常好的作用,能獲得更好的預覽內容。
DLSS 3.5會在今年秋季正式上線,包括9月份發布的《賽博朋克 2077》(Cyberpunk 2077 )和《賽博朋克 2077:往日之影》,10月27日的《心靈殺手 2》,以及《傳送門》RTX版、Chaos Vantage、D5 渲染器和 NVIDIA Omniverse都會在秋季支持DLSS 3.5。
寫在最后
從超分辨率到幀生成,再到最新的光線重建,英偉達依靠著AI技術優化游戲幀率,提升畫面質量,幫助廣大游戲玩家不斷地提升游戲體驗,同時也深刻影響著游戲行業,在這一領域領先著其它廠商,你可以說RTX 40系列顯卡定價高,但無法否認它確實提供著最先進的技術。
而這只是英偉達在AI領域布局的一小小部分,今年最火的生成式AI,其背后的大模型訓練都需要大量的英偉達專業顯卡做支撐,它無疑已經成為了AIGC產業背后核心硬件、軟件技術的重要提供者,英偉達和AI的故事還很長很長。
“掌”握科技鮮聞 (微信搜索techsina或掃描左側二維碼關注)