将视频分成许多层，每个层都有自己的阿尔法混合，并将这些层重新组合成原始视频，这就是被称为“视频抠图”的挑战。由于可以在合成之前交换或单独处理层，因此在视频编辑行业中具有许多用途，并且已经研究了几十年。需要仅关注兴趣物体的掩膜的应用包括视频制作中的描边和在线会议中的背景模糊。然而，通常希望能够生成包含不仅兴趣物体而且其相关效果（包括阴影和反射）的视频抠图。这可以提高最终剪辑影片的逼真度，同时减少对繁琐的手动分割次要效果的需求。
在对象去除等应用中，重建干净的背景是首选，而能够消除前景对象的相关影响有助于实现这一目标。尽管具有这些优势，但是由于该问题的不适定性，与标准抠图问题相比，研究较少。
Omnimatte是迄今为止解决此问题最有希望的努力。 Omnimattes是记录前景移动物体及其产生效果的RGBA层。 Omnimatte使用同伦来建模背景，这意味着它只能在背景是平面的视频或仅存在旋转运动的视频中有效。
D2NeRF通过分别使用两个辐射场对场景的动态和静态组件进行建模，努力解决这个问题。所有处理都在三个维度中进行，该系统可以处理具有大量摄像机运动的复杂场景。此外，不需要输入掩膜，使其完全是自主的。如何将定义在视频上的2D指导（如粗糙的掩膜）与之结合尚不清楚，但它确实可以有效地将所有移动物体分割出静态背景。
马里兰大学和Meta的最新研究提出了一种方法，通过使用三维背景模型和二维前景层结合了两者的优点。
难以在三维中创建的物体，动作和效果都可以通过轻量级的二维前景层来表示。同时，三维背景建模允许处理具有复杂几何形状和非旋转摄像机运动的背景，这为处理比2D方法更多样的电影铺平了道路。研究人员将这种技术称为OmnimatteRF。
实验结果表明，它在广泛的视频范围内表现出强大的性能，而无需为每个视频进行个别参数修改。 D2NeRF已经生成了一个使用Kubrics渲染的由5个视频组成的数据集，以客观分析3D环境中的背景分离。这些数据集是相对简单的内部设置，其中一些移动物体创建了实心阴影。此外，该团队还根据开源的Blender电影生成了五个视频，这些电影具有复杂的动画和照明条件，以获得更困难和逼真的场景。与过去的研究相比，两个数据集都展示了更好的性能。
如果某个部分始终位于阴影中，则背景模型将无法准确恢复该部分的颜色。由于动画层具有阿尔法通道，因此应该可以仅记录附加阴影而保留背景的原始颜色。不幸的是，目前的上下文中对此问题的边界不清晰，使得很难找到可行的解决方案。