Press "Enter" to skip to content

这篇AI论文提出了一种不需要已知摄像机参数的COLMAP-Free 3D高斯飞溅(CF3DGS)方法,用于新视角合成

神经渲染的进展在重建场景和生成新视点方面取得了显着突破。然而,其有效性很大程度上取决于相机姿态的精确预计算。为了减少这个问题,许多努力已经被做出来,以无需预计算相机姿态来训练神经辐射场(NeRFs)。然而,NeRFs的隐式表示使得同时优化3D结构和相机姿态变得困难。

来自UC San Diego、NVIDIA和UC Berkeley的研究人员引入了COLMAP-Free 3D Gaussian Splatting(CF-3DGS),它增强了两个关键要素:从视频中的时间连续性和显式的点云表示。CF-3DGS不是一次优化所有帧,而是以连续的形式构建场景的3D高斯,随着摄像机的移动,逐个“增长”一个结构。CF-3DGS为每个帧提取一个局部3D高斯集,并维护整个场景的全局3D高斯集。

https://arxiv.org/abs/2312.07504

使用不同的3D场景表示来生成真实的图像,包括平面、网格、点云和多平面图像。由于其出色的逼真渲染能力,NeRFs(神经辐射场)在该领域中备受关注。3DGS(三维高斯喷溅)方法利用纯显式表示和差分点基喷溅方法实现对视图的实时渲染。

CF-3DGS合成未知相机参数的视图。它同时优化3D高斯喷溅(3DGS)和相机姿态。它使用局部3DGS方法从附近帧中估计相对相机姿态,使用全局3DGS过程从未观察到的视图中逐步扩展3D高斯。CF-3DGS利用显式的点云来表示场景,并利用视频流中的连续性。它按顺序处理输入帧,逐步扩展3D高斯以重建场景。这种方法实现了快速训练和推理速度。

https://arxiv.org/abs/2312.07504

CF-3DGS方法在姿态估计和新视图合成的稳健性方面优于先前最先进的方法。该方法在CO3D视频上进行验证,这些视频呈现了更复杂和具有挑战性的相机移动,并且在视图合成质量方面胜过了Nope-NeRF方法。该方法在CO3D V2数据集上的相机姿态估计的所有指标上一直超过Nope-NeRFe,表明它在估计相机姿态方面的稳健性和准确性,尤其是在具有复杂相机移动的场景中。

综上所述,CF-3DGS是一种有效且稳健的方法,利用视频的时间连续性和显式点云表示合成视图,无需进行结构运动(SfM)预处理。它同时优化相机姿态和3DGS,主要适用于视频流或有序图像集合。它还具有未来扩展的潜力,以适应无序图像集合。

Leave a Reply

Your email address will not be published. Required fields are marked *