NeRF代表神经辐射场，是一种基于深度学习的三维场景重建和视图合成技术。为了准确地构建三维表示，通常需要多张场景的图像或视图。 NeRF包括一组从不同视点拍摄的场景图片。 NeRF已经激发了扩展和改进，例如NeRF-W，旨在使其更加高效、准确，并适用于各种场景，包括动态场景和实时应用。其变种对计算机视觉、计算机图形和三维场景重建领域都产生了重要影响。
然而，如果只有一张图片并且想要融入3D先验知识，就需要改善三维重建的质量。目前的技术限制了视野范围，这极大地限制了其在面对真实世界的360度全景场景和大尺寸情况下的可扩展性。研究人员提出了一种名为PERF的360度全景新视图合成框架。其中PERF代表全景神经辐射场。他们的框架通过单个全景图来训练一个全景神经辐射场。
全景图是通过捕捉多张图像，通常是连续的，然后将它们拼接在一起形成一个无缝的广角景观、城市景观或其他场景的表示。团队提出了一种协同RGBD修复方法，用于完成可见区域的RGB图像和深度图的修复。他们还训练了一个单目深度估计器，用于生成从输入全景图中不可见的新奇外观和三维形状。
从单个全景图中训练一个全景神经辐射场（NeRF）是一个具有挑战性的问题，原因是缺乏三维信息、大尺寸对象遮挡、重建和生成的耦合问题以及在填充期间可见区域和不可见区域之间的几何冲突。为了解决这些问题，PERF包括三个步骤：1）获得带深度监督的单视角NeRF训练；2）协同RGBD修复感兴趣区域；3）使用渐进式填充和抹除生成。
为了优化感兴趣区域的深度图预测并使其与整体全景场景一致，他们提出了填充和抹除方法，该方法通过从随机视角填充不可见区域并从其他参考视图中观察到的冲突几何区域进行抹除，以获得更好的三维场景完成。
研究人员在Replica和PERF-in-the-wild数据集上进行了实验。他们证明了PERF实现了最新的单视角全景神经辐射场技术。他们表示PERF可以应用于全景到三维、文本到三维和三维场景风格化任务，以获得令人惊叹的结果和几个有前景的应用。
PERF显著提高了单镜头NeRF的性能，但严重依赖深度估计器和稳定扩散的准确性。因此，团队表示未来的工作将包括改进深度估计器和稳定扩散模型的准确性。