深度学习超级采样:NVIDIA DLSS技术解析
深度学习超级采样:NVIDIA DLSS技术解析
DLSS(Deep Learning Super Sampling)是NVIDIA为旗下显卡带来的一项图像补充技术,通过AI神经网络对游戏画面的深度学习,让显卡的智能单元实时将低分辨率画面补足为高分辨率画面,同时在渲染质量上不输原生分辨率,用低性能负载换来高质量的画面效果。
DLSS(Deep Learning Super Sampling)名为深度学习超采样,是NVIDIA(英伟达)为旗下显卡带来的一项图像补充技术,目的是为PC游戏带来精致画面的同时,尽可能的降低硬件功耗。2018年9月,NVIDIA(英伟达)推出RTX20系列显卡时,首次以DLSS作为卖点来进行宣传。
该项技术通过AI神经网络对游戏画面的深度学习,让显卡的智能单元(Tensor Core)实时将游戏里的低分辨率画面补足为高分辨率画面,同时在渲染质量上不输原生分辨率,用低性能负载换来高质量的画面效果。这项技术在Turing(图灵)架构中首次引入,利用NVIDIA神经图形框架NGX,在超级计算机中以极低的帧率和每像素64个样本对数万张高分辨率的精美图像进行离线渲染,训练出一个深度学习神经网络。基于无数个小时的训练所获得的数据,网络就可以将分辨率较低的图像作为输入,构建高分辨率的精美图像,这便是DLSS的原理。
如今,“好画质就要牺牲性能”的绝对说法被DLSS技术终结。原生分辨率与DLSS分辨率之间极小的画面差异与巨幅的帧数提升,让广大玩家直呼DLSS为“黑科技”。2019年12月,NVIDIA低调更新DLSS 2.0,并在《飞向月球》和《德军总部:新血液》两款游戏中实装,较高的运行效能获得了玩家和媒体的一致认可。
2020年4月,有了信心的NVIDIA(英伟达)正式对外宣布DLSS 2.0,并公布了3项新特性。
首先,DLSS 2.0让游戏渲染画面通过深度学习,能实现四倍超采样的输出画质。也就是说,当你开启DLSS 2.0使用4K分辨率画面时,游戏引擎只需要渲染1080P的画面,从而实现两倍左右的帧率提升。
再者,DLSS 1.0时期的训练数据需要按游戏来区分,每个支持DLSS的游戏都有专门的神经网络。NVIDIA在DLSS 2.0改进了算法和训练数据,让所有的引擎、场景、游戏以及不同的渲染方式,都通过一个通用的神经网络实现训练学习,输出超采样高质量画面,使神经网络的通用性极大增强。
最后,DLSS 2.0的神经网络推理速度提升到了上一代的2倍,加上支持4倍超采样,实际渲染性能对比前代称得上是暴涨。在游戏里得到的直观体验就是,开启DLSS和关闭DLSS的画面肉眼难以区分差别,但运行帧数却有着天壤之别。
如今,DLSS已适用于大多数新推出的3A游戏,成为玩家以高画质流畅体验4K甚至8K游戏的有效手段。同时,以高超的AI神经网络算法来提升游戏运行效能的做法很可能会成为游戏界的未来。无独有偶,NVIDIA的老对手AMD也官宣了名为FidelityFX的开源工具包,其中一个重要功能就是优化着色器算法,以低性能换取更好的游戏画面。