Facebook 利用神经网络开发了一个系统,能够通过低分辨率图像输入来获得适合实时渲染的高分辨率输出。这可能会成为未来几代高分辨率 VR 体验开发不可或缺的方法。
研究人员在最近发表的一篇题为《实时渲染的神经超采样》的论文中介绍了这一研究成果,称这是“第一个学习到的超采样方法,它能以很高的时空保真度对渲染内容进行 16 倍的超采样,性能大大优于之前的工作”,不仅可以恢复清晰的细节,还能节省计算开销。
“为了降低高分辨率显示器的渲染成本,我们的方法是从像素比所需输出低 16 倍的输入图像开始工作的。例如,如果目标显示的分辨率是 3840×2160,那么我们的网络从游戏引擎渲染的 960×540 的输入图像开始,并将其采样到目标显示的分辨率,作为实时的后处理。”论文写道。
这听起来有点熟悉,因为它与 Nvidia 的深度学习超级采样(DLSS)概念相似,后者目前只在其 RTX GPU 上可用。
但 Facebook 的研究人员说,像 DLSS 这样的方法要么是“在上采样图像中引入了明显的视觉产物,尤其是在上采样比率高于 2×2 的情况下,要么是依赖于所有平台都无法使用的专有技术和/或硬件。”
此外,Facebook 的神经超分析方法据说可以很容易地集成到现代游戏引擎中,不需要特殊的硬件或软件,比如专有的驱动程序(如 DLSS)。它还被设计为与更广泛的软件平台、加速硬件和显示器兼容。
“这项工作为高分辨率 VR 的未来指明了方向,这不仅关乎显示器,还关乎实际驱动它们所需的算法。”研究人员总结道。
这种方法与凹点渲染等技术相结合,可能会带来开发者所追求的跨越,并真正赋予 VR 体验在视觉领域不可否认的优势。VR 游戏经常因其低质量的图像而被诟病,当我们进入一个逼真的虚拟现实时代时,当前和以往的很多东西都将过时。
【数字叙事 黎雾】