四海吧 Posts

在计算机视觉和机器人技术中，使用相机进行同时定位与地图构建（SLAM）是一个关键的主题，旨在使自主系统能够导航并理解其环境。传统SLAM系统主要强调几何映射，可以产生精确但审美基础的环境表示。然而，最近神经渲染的进步表明，可以将逼真的图像重建融入SLAM过程中，从而提高机器人系统的感知能力。 现有方法在很大程度上依赖于隐式表示，使其计算要求高，并且不适用于资源受限的设备上部署，尽管神经渲染与SLAM的融合产生了有希望的结果。例如，ESLAM使用多尺度紧凑的张量组件，而Nice-SLAM使用分层网格来保存反映环境的可学习特征。随后，它们合作估计相机位置并通过减少多条射线样本的重建损失来增加特征。优化过程非常耗时。因此，为了确保有效的收敛，它们必须集成来自多个源的相关深度信息，例如RGB-D相机、密集光流估计器或单目深度估计器。此外，由于多层感知器（MLP）解码隐式特征，通常需要精确指定边界区域以规范射线采样以取得最佳结果。这限制了系统的潜力扩展。这些限制表明，在使用便携式平台进行SLAM实时探索和未知区域的建图能力中，无法实现其中一个主要目标。 在本文中，香港科技大学和中山大学的研究团队提出了Photo-SLAM。这个新颖的框架在解决目前方法的可扩展性和计算资源限制的同时，执行在线逼真的建图和精确的定位。研究团队跟踪一张点云的超基本地图，其中包括旋转、缩放、密度、球谐系数和ORB特征。通过在原始图片和渲染图片之间反向传播损失，超基本地图使系统能够学习相应的映射并使用因子图求解器优化跟踪。而不是使用射线采样，采用三维高斯喷洒来生成图像。虽然引入三维高斯喷洒渲染器可以降低视角重建的成本，但在在线增量建图中无法产生高保真度的渲染，特别是在单目情况下。此外，研究团队提出了一种基于几何的加密技术和基于高斯金字塔（GP）的学习方法，以实现无需依赖密集深度信息的高质量建图。 图1：Photo-SLAM是一种革命性的实时框架，支持RGB-D、立体和单目相机进行同时定位和逼真地图构建。它的渲染速度高达每秒1000帧，可以重建高保真度的场景视图。 重要的是，GP学习使得多级特征逐渐获取变得更加容易，显著提高了系统的建图性能。研究团队在其漫长的试验中使用了各种由RGB-D、立体和单目相机拍摄的数据集来评估他们提出的方法的有效性。实验结果清楚地表明，PhotoSLAM在渲染速度、逼真地图质量和定位效率方面达到了最先进的性能。此外，Photo-SLAM系统在嵌入式设备上的实时操作展示了它在有用的机器人应用中的潜力。图1和图2显示了Photo-SLAM的操作概述。 图2：显示了Photo-SLAM的四个关键组成部分，它维护一个具有超基本元素的地图，包括定位、显式几何映射、隐式逼真映射和闭环组件。 本作品的主要成果如下： • 研究团队基于超原生地图和同时定位技术创建了首个逼真的测绘系统。这个新的框架适用于室内和室外的单目、双目和RGB-D相机。 • 研究团队提出了使用高斯金字塔学习的方法，使得模型能够有效快速地学习多层次的特征，从而实现高保真度的测绘。该系统即使在嵌入式系统上也能以实时速度运行，并通过完全的C++和CUDA实现实现了最先进的性能。代码将公开提供。

扩散模型用于从复杂的数据分布中生成高质量的样本。鉴别性扩散模型旨在利用扩散模型的原理来进行分类或回归等任务，其中目标是预测给定输入数据的标签或输出。通过利用扩散模型的原理，鉴别性扩散模型具有处理不确定性、对噪声的稳健性和捕捉数据之间复杂依赖关系的潜力等优势。 生成模型可以通过量化新数据点与学习到的数据分布的偏差来识别异常或异常值。它们可以区分正常和异常数据实例，有助于异常检测任务。在传统上，这些生成和鉴别模型被视为相互竞争的选择。卡内基梅隆大学的研究人员在推理阶段将这两个模型耦合起来，以利用生成反演的迭代推理和鉴别模型的拟合能力的好处。 该团队构建了一种基于扩散的测试时间适应（TTA）模型，通过使用图像分类器、分割器和深度预测器的输出来调节图像扩散模型的条件并最大化图像扩散，从而使其适应各个未标记图像。他们的模型类似于编码器解码器架构。一个预训练的鉴别模型将图像编码为假设，如对象类别标签、分割地图或深度地图。这被用作预训练的生成模型的条件生成图像。 扩散-TTA能够有效地适应图像分类器在ImageNet及其变体等已建立基准上的内部和外部分布示例。他们使用图像重构损失对模型进行微调。通过将扩散似然梯度反向传播到鉴别模型权重，对测试集中的每个实例进行适应性处理。他们表明他们的模型优于以前的最先进TTA方法，并且在多个鉴别性和生成性扩散模型变体中都有效。 研究人员还对各种设计选择进行了剖析分析，并研究了扩散-TTA与扩散时间步长、每个时间步长样本数和批量大小等超参数的变化情况。他们还学习了适应不同模型参数的效果。 研究人员表示，扩散-TTA始终优于扩散分类器。他们猜测鉴别模型不会过度拟合生成损失，因为（预训练的）鉴别模型的权重初始化防止其收敛到这个平凡解决方案。 总之，以前已经使用生成模型对图像分类器和分割进行测试时间适应；通过在联合鉴别任务损失和自监督图像重构损失下共同训练扩散-TTA模型，用户可以获得高效的结果。