在计算机视觉和机器人技术中，使用相机进行同时定位与地图构建（SLAM）是一个关键的主题，旨在使自主系统能够导航并理解其环境。传统SLAM系统主要强调几何映射，可以产生精确但审美基础的环境表示。然而，最近神经渲染的进步表明，可以将逼真的图像重建融入SLAM过程中，从而提高机器人系统的感知能力。
现有方法在很大程度上依赖于隐式表示，使其计算要求高，并且不适用于资源受限的设备上部署，尽管神经渲染与SLAM的融合产生了有希望的结果。例如，ESLAM使用多尺度紧凑的张量组件，而Nice-SLAM使用分层网格来保存反映环境的可学习特征。随后，它们合作估计相机位置并通过减少多条射线样本的重建损失来增加特征。优化过程非常耗时。因此，为了确保有效的收敛，它们必须集成来自多个源的相关深度信息，例如RGB-D相机、密集光流估计器或单目深度估计器。此外，由于多层感知器（MLP）解码隐式特征，通常需要精确指定边界区域以规范射线采样以取得最佳结果。这限制了系统的潜力扩展。这些限制表明，在使用便携式平台进行SLAM实时探索和未知区域的建图能力中，无法实现其中一个主要目标。
在本文中，香港科技大学和中山大学的研究团队提出了Photo-SLAM。这个新颖的框架在解决目前方法的可扩展性和计算资源限制的同时，执行在线逼真的建图和精确的定位。研究团队跟踪一张点云的超基本地图，其中包括旋转、缩放、密度、球谐系数和ORB特征。通过在原始图片和渲染图片之间反向传播损失，超基本地图使系统能够学习相应的映射并使用因子图求解器优化跟踪。而不是使用射线采样，采用三维高斯喷洒来生成图像。虽然引入三维高斯喷洒渲染器可以降低视角重建的成本，但在在线增量建图中无法产生高保真度的渲染，特别是在单目情况下。此外，研究团队提出了一种基于几何的加密技术和基于高斯金字塔（GP）的学习方法，以实现无需依赖密集深度信息的高质量建图。
重要的是，GP学习使得多级特征逐渐获取变得更加容易，显著提高了系统的建图性能。研究团队在其漫长的试验中使用了各种由RGB-D、立体和单目相机拍摄的数据集来评估他们提出的方法的有效性。实验结果清楚地表明，PhotoSLAM在渲染速度、逼真地图质量和定位效率方面达到了最先进的性能。此外，Photo-SLAM系统在嵌入式设备上的实时操作展示了它在有用的机器人应用中的潜力。图1和图2显示了Photo-SLAM的操作概述。
本作品的主要成果如下：
• 研究团队基于超原生地图和同时定位技术创建了首个逼真的测绘系统。这个新的框架适用于室内和室外的单目、双目和RGB-D相机。
• 研究团队提出了使用高斯金字塔学习的方法，使得模型能够有效快速地学习多层次的特征，从而实现高保真度的测绘。该系统即使在嵌入式系统上也能以实时速度运行，并通过完全的C++和CUDA实现实现了最先进的性能。代码将公开提供。