对于图像的处理一直存在持久的兴趣，因为它在内容创作中有着广泛的应用。其中最广泛研究的处理之一是对象的移除和插入，通常被称为图像修复任务。虽然当前的修复模型能够生成与周围图像无缝融合的视觉上令人信服的内容，但它们的适用性传统上仅限于单个2D图像输入。然而，一些研究人员正在尝试将这些模型的应用推进到对完整3D场景的处理。
神经辐射场（NeRFs）的出现使将真实的2D照片转换为逼真的3D表示更加容易。随着算法的不断改进和计算需求的降低，这些3D表示可能会变得普遍。因此，该研究旨在实现对3D NeRF的类似处理，如同对2D图像的处理一样，并特别关注修复功能。
修复3D对象存在独特的挑战，包括3D数据的稀缺性以及必须同时考虑3D几何和外观。使用NeRF作为场景表示引入了额外的复杂性。神经表示的隐式性质使得基于几何理解直接修改底层数据结构变得不切实际。此外，由于NeRF是从图像训练的，对多个视角的一致性的保持带来了挑战。对各个组成图像的独立修复可能导致视角不一致和视觉上不真实的输出。
已经尝试了各种方法来解决这些挑战。例如，一些方法旨在事后解决不一致性，如NeRF-In，通过像素损失结合视角，或者SPIn-NeRF，利用感知损失。然而，当修复的视角存在显著的感知差异或涉及复杂外观时，这些方法可能会遇到困难。
另外，还探索了单参考修复方法，通过仅使用一个修复的视角避免视角不一致。然而，这种方法引入了一些挑战，包括非参考视角的视觉质量降低、缺乏视角相关效果以及不连续问题。
考虑到上述限制，已经开发了一种新方法，实现了对3D对象的修复。
系统的输入是N个来自不同视角的图像，以及它们的相应摄像机变换矩阵和蒙版，用于标记不需要的区域。此外，还需要一个与输入图像相关的修复参考视角，该视角提供了用户期望从3D场景的修复中获取的信息。这个参考视角可以是一个简单的替代蒙版的对象的文本描述。
在上述示例中，可以通过使用单图像文本条件修复器来获得“橡皮鸭”或“花盆”参考。这样，任何用户都可以控制和驱动生成具有所需编辑的3D场景。
通过专注于视角相关效果（VDEs）的模块，作者试图考虑场景中的视角相关变化（例如镜面反射和非朗伯效应）。出于这个原因，他们通过将VDEs添加到非参考视角的蒙版区域，通过校正参考颜色以匹配其他视角的周围环境，来修复蒙版区域。
此外，他们引入了单目深度估计器，根据参考图像的深度来引导修复区域的几何形状。由于不是所有蒙版目标像素在参考图像中都是可见的，因此设计了一种方法来通过额外的修复来监督这些未遮挡的像素。
下面是所提出方法的新视角渲染与最先进的SPIn-NeRF-Lama的视觉比较。
这是一个关于参考引导可控补全神经辐射场的新型AI框架的摘要。如果您对此感兴趣并且想要了解更多信息，请随时参考下面引用的链接。