Press "Enter" to skip to content

如何测量神经辐射场的不确定性?介绍BayesRays:一种为NeRFs提供的革命性后处理框架

如何测量神经辐射场的不确定性?介绍BayesRays:一种为NeRFs提供的革命性后处理框架 四海 第1张如何测量神经辐射场的不确定性?介绍BayesRays:一种为NeRFs提供的革命性后处理框架 四海 第2张

创建3D模型可以比2D图像提供更沉浸式和逼真的场景表现。它们允许观众从不同角度探索和与场景进行交互,提供对空间布局和信息深度的更好理解。

这对虚拟现实(VR)和增强现实(AR)应用非常重要。它们可以将数字信息叠加到真实世界上(AR),或创建完全虚拟的环境(VR),提升游戏、教育、培训和各种行业的用户体验。

神经辐射场(NeRFs)是一种用于3D场景重建和渲染的计算机视觉技术。NeRF将场景视为一个3D体积,其中体积中的每个点都有相应的颜色(辐射)和密度。神经网络通过基于不同视角拍摄的2D图像预测每个点的颜色和密度。

NeRFs具有多个应用,例如视图合成和深度估计,但从多视图图像中学习具有固有的不确定性。目前用于量化不确定性的方法要么是启发式的,要么是计算开销很大的。Google DeepMind、Adobe Research和多伦多大学的研究人员引入了一种名为BayesRays的新技术。

它由一个框架组成,用于评估任何预训练的NeRF的不确定性,而无需修改训练过程。通过使用空间扰动和贝叶斯拉普拉斯近似添加体积不确定性场,他们能够克服NeRFs的局限性。贝叶斯拉普拉斯近似是一种用简单的多变量高斯分布近似复杂概率分布的数学方法。

他们计算出的不确定性在统计学上是有意义的,并且可以渲染为额外的颜色通道。他们的方法在关键指标(如与重建深度误差的相关性)上也优于先前的工作。他们使用了一种即插即用的概率方法来量化任何预训练的NeRF的不确定性,而不受其架构的影响。他们的工作提供了一种实时去除预训练NeRFs中伪影的阈值。

他们表示,他们构建他们的方法的灵感来自使用体积场对3D场景建模。体积变形场通常用于操作隐式表示的对象。他们的工作也类似于摄影测量学,其中重建不确定性通常通过在已识别的空间位置上放置高斯分布来建模。

最后,他们表示他们的算法仅限于量化NeRFs的不确定性,并且不能简单地转化为其他框架。然而,他们未来的工作涉及针对更近期的空间表示(如3D高斯喷洒)制定类似基于变形的拉普拉斯近似的方法。

Leave a Reply

Your email address will not be published. Required fields are marked *