如何有效地完成3D捕获的缺失部分？这篇来自Google Research和UC Berkeley的研究论文介绍了“NeRFiller”，一种新颖的3D修补方法，解决了由于重建失败或缺乏观察而经常缺失的不完整的3D场景或物体的重建问题。该方法通过参考示例控制修补过程，从而实现精确和可定制的场景修补。NeRFiller是一种3D生成修补方法，可以增强3D捕获中的场景或物体，是改善3D重建的有效解决方案。
该研究探讨了从传统的2D修补到像LaMa这样的大规模修补技术的不同方法，涉及概率和潜在扩散模型，考虑到涉及文本或图像的3D生成方法。强调了对象去除设置的相关性，并对3D修补的各种基准和数据集进行了评估。虽然涉及视频和场景编辑的相关作品，但重点主要是现有3D场景的场景完成。
该研究解决了3D场景补全和修补的挑战，强调了3D感知和多视角一致性方法的重要性。区分了场景补全和对象去除，重点是在3D场景中生成新的内容。讨论了2D生成修补模型在3D一致图像方面的限制。所提出的NeRFiller方法利用了从文本到图像扩散模型中的网格先验现象，以增强修补中的多视角一致性。还讨论了生成3D场景和对象去除方法的相关作品。
NeRFiller是一种利用生成的2D扩散模型作为修补的方法，用于完成3D场景中的缺失区域。它解决了各种修补估计和2D模型中缺乏3D一致性的挑战。NeRFiller引入了用于显著修补结果的整合机制，并鼓励3D特性。它利用迭代的3D场景优化，将网格修补扩展到大型图像集合。对比了Masked NeRF和LaMask等基准，证明了NeRFiller的有效性。评估包括比较、新视图度量、图像质量和几何度量。
NeRFiller在3D场景完成方面表现出色，填补了缺失区域并去除了不需要的遮挡物，在3D一致性和合理性方面表现出色。与对象去除基准相比，NeRFiller在完成缺失区域方面表现优异。评估指标包括NeRF、新视图、MUSIQ图像质量和几何度量，展示了它在生成连贯和逼真的3D场景方面的有效性。
总之，NeRFiller是一款强大的3D修补工具，可以准确完成3D场景中的缺失部分。它填充间隙并去除非理想元素的能力优于对象去除基准。引入联合多视角修补进一步增强其一致性，通过在多个图像上平均噪声预测。通过与最先进的基准进行比较，NeRFiller表现出了完成用户指定的3D场景的有效性。它为根据用户定义的规范修补3D捕获中的缺失区域提供了有价值的框架。