如何改进神经辐射场（NeRFs）以处理尺度变化并减少场景重建中的锯齿伪影？卡内基梅隆大学和Meta的一篇新研究论文通过提出金字塔神经辐射场（PyNeRF）来解决这个问题。它通过在不同的空间网格分辨率上训练模型头部，从而帮助减少在不同相机距离下重建场景时可能发生的视觉畸变。PyNeRF在不显著影响性能的情况下实现了这些改进，使其成为在加速NeRFs的同时保持高质量场景重建的有效解决方案。
受到NeRF的启发，该研究探索了基于网格的方法（NSVF、Plenoxels、DVGO、TensoRF、K-Planes、Instant-NGP），旨在使用体素网格和张量近似来增强渲染速度和内存效率。PyNeRF在不同尺度上结合了速度优势与质量保证，超越了Instant-NGP、Nerfacto等快速渲染方法，并在渲染质量和训练速度上表现出色。
近期在神经体积渲染方面的进展，特别是NeRFs，为实现逼真的视图合成提供了进展。然而，NeRFs由于其MLP表示和假设而导致速度较慢，容易出现锯齿现象。基于网格的方法如Mip-NeRF加速训练，但缺乏与位置编码的兼容性——PyNeRF受到分治NeRF扩展和经典技术的启发。PyNeRF的金字塔模型沿着光线采样，并采用分区方法来提高渲染质量，同时保持加速的NeRF实现的速度，为高效和高质量的新视图合成提供了一种多功能解决方案。
研究建议修改基于网格的模型，并在不同的空间网格分辨率下训练模型头部以渲染较大的体积样本。使用SUDS作为基础模型，他们逐步在更高的分辨率上进行训练。文中还讨论了各种基于网格加速方法，将学到的特征存储在体素网格或哈希表等结构中。研究人员对其方法进行了与LaplacianPyNeRF和其他插值方法的评估，考察了重用特征网格和使用2D像素区域的影响。其主要贡献是一种多功能的分区方法，可以提高可视保真度，同时在任何现有的网格渲染方法中保持渲染速度。
PyNeRF在合成和真实场景中大大提高了渲染质量，将误差率降低了20-90%，对性能的影响很小。与Mip-NeRF相比，它在训练速度上提高了60倍，并减少了20%的误差。PyNeRF在2小时内达到了SUDS的质量，各项指标优于基准，而SUDS需要4小时。对合成和多尺度Blender数据集的评估结果显示，与快速渲染方法相比，PyNeRF在合成和Multi-scale Blender数据集上展现出卓越的结果。通过对Argoverse 2 Sensor数据集的评估，验证了PyNeRF在众多视频帧中的高质量重建。
总而言之，PyNeRF在快速体积渲染器中改进了抗锯齿特性，展示出在各种数据集上的卓越成果。该方法倡导分享真实场景捕捉，以进一步研究神经体积渲染。然而，它也注意到高质量神经表示的潜在安全和隐私风险。
未来研究可以通过分享更多的真实场景捕捉和探索替代的映射函数来为层次结构分配积分体积。一个有价值的研究方向是在模型训练期间使用语义信息进行隐私过滤。有趣的未来研究方向包括进一步探索架构以提高在快速NeRF方法中可视保真度同时保持渲染速度。潜在的研究领域涉及将金字塔方法应用于其他加速的NeRF实现，并评估其性能。