NVFi致力于解决理解和预测3D场景在时间上演变的复杂挑战，这对增强现实、游戏和电影制作等应用至关重要。虽然人类轻而易举地理解此类场景的物理学和几何学，但现有的计算模型难以从多视点视频中明确学习这些属性。核心问题在于现有方法（包括神经辐射场及其衍生品）不能根据学习到的物理规律提取和预测未来的运动。 NVFi的雄心是通过纯粹从多视点视频帧中派生出的分解速度场，来填补这一差距，这在以前的框架中尚未研究过。
3D场景的动态性给计算带来了深远的挑战。虽然神经辐射场的最新进展在插值观察时间范围内的视图方面表现出了非凡的能力，但它们无法学习到显式的物理特征，如物体速度。这种限制阻碍了它们准确预测未来运动模式的能力。目前的研究将物理学与神经表示结合起来，在重建场景几何、外观、速度和黏度场方面表现出了希望。然而，这些学习的物理属性通常与特定场景元素交织在一起，或者需要补充的前景分割掩码，限制了它们在场景之间的可转移性。 NVFi的开创性目标是解开和理解整个3D场景内的速度场，进一步扩展训练观察之外的预测能力。
香港理工大学的研究人员引入了一个全面的框架NVFi，包括三个基本组成部分。首先，关键帧动态辐射场促进了对3D空间中每个点的时间相关体积密度和外观的学习。其次，帧间速度场捕获了每个点的时间相关3D速度。最后，由物理知识约束增强的关键帧和帧间元素的联合优化策略组织了训练过程。该框架采用现有的时间相关NeRF架构进行动态辐射场建模时具有灵活性，同时使用相对简单的神经网络（如MLP）进行速度场建模。其核心创新在于第三个组件，联合优化策略和特定的损失函数使得无需额外的物体特定信息或掩码，能够精确学习到分解速度场。
NVFi的创新之处在于它能够纯粹从多视角视频帧中对3D场景的动态进行建模，消除了对特定对象数据或掩码的需求。它精心关注于分解速度场，这是掌控场景运动动力学的关键，它为众多应用提供了关键。在多个数据集上，NVFi展示了它在推断未来帧、语义场景分解和不同场景之间速度传递方面的能力。这些实验验证证实了NVFi在各种实际应用场景中的适应性和优越性能表现。
主要贡献和要点：
- 引入NVFi，一种新颖的从多视角视频中建模动态3D场景的框架，无需先验对象信息。
- 设计和实现了一个神经速度场，并结合联合优化策略进行有效的网络训练。
- 成功展示了NVFi在各种数据集上的能力，展示了在未来帧预测、语义场景分解和场景间速度传递方面的优越性能。