通过毕加索的画作等风格化镜头来看现实世界会是怎样的效果和怎样的感觉？康奈尔大学开发的一种生成风格化神经辐射场 (SNeRF) 的解决方案能够快速创建用于各种虚拟环境的动态 3D 场景，从而带给你这样的体验。
由 Thu Nguyen-Phuoc、Feng Liu 和 Lei Xiao 组成的研究团队最近发表的论文介绍了这一方案。该方案不仅可以快速创建虚拟对象，还可以利用真实世界环境作为虚拟世界的一部分进行 3D 对象检测。值得注意的是，他们还能够在同一视点通过不同的视角方向观察同一物体，也就是所谓的跨视角一致性。在 VR 中观看时，这会产生身临其境的 3D 效果。
通过交替使用 NeRF 和风格化优化步骤，研究团队能够获取图像并将其用作参考风格，然后以适应该图像风格化的方式重新创建真实世界的环境、对象或人，从而加快创作进程。研究团队介绍说：
我们引入了一种新的训练方法，通过交替进行 NeRF 和风格化优化步骤来解决这个问题。这种方法使我们能够充分利用硬件内存容量，以更高的分辨率生成图像，并采用更具表现力的图像风格转换方法。我们的实验表明，我们的方法为广泛的内容（包括室内、室外和动态场景）生成风格化的 NeRF，并合成具有跨视图一致性的高质量新视图。
由于 NeRF 的内存限制，研究人员还必须解决另一个问题，即如何以更接近实时的速度渲染更多高清 3D 图像。解决方案是创建一个渲染视图循环，使每次迭代可以更一致地以样式化点为目标，然后以更详细的信息重建图像。
该技术还改进了化身。研究团队使用 SNeRF 风格化方法创建了一个在对话中更具表现力的化身。结果是动态 4D 化身，可以真实地传达愤怒、恐惧、兴奋和困惑等情绪，而无需使用表情符号或按下 VR 控制器上的按钮。
研究工作仍目前在继续，现在该团队已经能够使用影响环境和化身的隐式神经表示来开发 3D 场景风格化方法。此外，使用交替风格化的方法使他们能够充分利用硬件内存能力来对静态和动态 3D 场景进行风格化，从而使团队能够生成更高分辨率的图像，并在 VR 中采用更具表现力的图像样式传输方法。【编译自 vrscout.com】
