Month: November 2023

在人工智能（AI）的快速发展领域中，深度学习变得越来越受欢迎，并且进入到每个行业，使生活变得更加便利。SLAM（Simultaneous Localization and Mapping，同时定位与地图构建）是AI中的一个重要组成部分，它在机器人、无人驾驶汽车和增强现实系统中得到了革命性的进展。 SLAM涉及重建周围环境并同时估计移动相机的轨迹。SLAM具有一些令人难以置信的算法，能够精确估计相机轨迹并产生出色的几何重建。然而，仅凭几何表示无法为需要场景理解的更复杂任务提供重要的语义信息。 目前使用的语义SLAM系统对场景中物体的特定细节推理（例如数量、大小、形状或相对姿态）是一个挑战。在最近的研究中，伦敦大学学院（University College London）计算机科学系的研究团队引入了最新的面向对象SLAM系统，名为DSP-SLAM。 DSP-SLAM旨在构建一个全面而精确的联合地图；前景物体由密集的3D模型表示，而背景则由稀疏的地标点表示。该系统甚至可以很好地配合单目、双目或双目+LiDAR输入模态。 团队表示，DSP-SLAM的主要功能是接收由基于特征的SLAM系统产生的3D点云作为输入，并通过密集重建已经被识别的物体来增强其稀疏地图的能力。使用语义实例分割来检测物体，并使用类别特定的深度形状嵌入作为先验来估计这些物体的形状和姿态。 团队表示，DSP感知束调整是该系统的主要特点，因为它用于创建姿态图，实现相机姿态、物体位置和特征点的联合优化。通过使用这种策略，系统可以改进和优化场景的表示，同时考虑背景地标和前景物体。 该系统在多种输入模态（如单目、双目和双目+LiDAR）下以每秒10帧的速度运行，展示了令人印象深刻的性能。已经在多个数据集上对DSP-SLAM进行了测试，包括来自KITTI轨迹数据集的双目+LiDAR序列和来自Freiburg和Redwood-OS数据集的单目-RGB序列，以验证其功能。结果显示，即使在观测不完整的情况下，该系统能够产生出色的完整物体重建并保持一致的全局地图。 研究人员总结了主要贡献如下： DSP-SLAM将面向对象SLAM的语义映射丰富性与基于特征的相机跟踪的准确性相结合，通过使用稀疏特征点重建背景，与先前只表示物体的方法形成对比。 DSP-SLAM在定量和定性方面都优于依赖于密集深度图像的方法，因为它使用仅RGB单目流而不是Node-SLAM，并且可以通过仅使用50个3D点来准确估计物体的形状。 DSP-SLAM在对象形状和姿态估计方面，在定量和定性方面都优于基于先验的自动标记技术。 KITTI轨迹数据集的实验结果显示，使用DSP-SLAM的联合束调整在轨迹估计方面优于ORB-SLAM2，尤其是在使用双目+LiDAR输入时。

来自麻省理工学院和Meta AI的研究人员开发了一种物体重新定向控制器，可以利用单个深度摄像机实时重新定向各种形状的物体。这项开发所解决的挑战是需要一个多功能且高效的物体操纵系统，能够适应新条件，而无需保持不同物体之间关键点的一致姿态。该平台还可以拓展至其他熟练操纵任务，未来研究还在进一步改进方面存在机会。 目前用于物体重新定向研究的方法存在一些局限性，例如侧重特定物体、操纵范围有限且操纵速度慢、依赖昂贵的传感器以及只能产生模拟结果。这些方法必须有效地解决从模拟环境到真实环境的转移挑战。成功率通常由误差阈值决定，而该阈值因任务而异。学生视觉策略网络已经经过训练，以解决这些局限性，并且已经证明在数据集之间存在最小的泛化差距。 本研究提出了一种提高机器手灵活性的方法，解决了手中物体重新定向的挑战。以往的方法会施加限制，并需要昂贵的传感器，从而限制了它们的多功能性。为了克服这些限制，通过强化学习在模拟环境中训练了一个控制器，并成功地实现了对新形状的真实世界泛化。还讨论了使用视觉输入训练控制器和实现有效的模拟到真实环境转换的挑战。 所提出的方法涉及利用强化学习在模拟环境中训练基于视觉的物体重新定向控制器，然后直接在真实世界中进行零样本转移。训练使用具有增强容量的卷积网络和门控循环单元，在Isaac Gym物理模拟器的桌面设置中进行。奖励函数包括成功标准和额外的形状术语。为了评估该方法的有效性，进行了在3D打印和真实世界物体上的测试，并基于误差分布和成功率对比模拟和真实世界的结果，以定义的阈值进行评估。 在真实世界上，单个在模拟中训练的控制器成功地重新定向了150个物体，并在三指和修改后的四指D’Claw操纵器上实现了实时性能，使用了标准工作站以12 Hz的速度。采用OptiTrack运动捕捉系统进行的评估展示了其准确的物体重新定向能力，并且能够推广到新的物体形状上。通过对误差分布和成功率在定义的阈值内的分析，证明了该系统在解决模拟到真实世界转换的挑战和潜在精度改进方面的有效性，而无需额外假设。 总之，该研究成功地通过强化学习开发了一个能够在真实世界中有效重新定向物体的实时控制器。尽管系统的中位重新定向时间约为七秒，但它引发了关于在重新定向任务中形状信息的重要性的问题。它强调了从模拟结果到真实世界的转移挑战。尽管存在这些挑战，该控制器在手中灵巧操纵方面具有潜在应用，特别是在不太结构化的环境中，并强调了在不做额外假设的情况下需要精度改进的需求。 未来研究的一个潜在方向是探索如何将形状特征纳入控制器，特别是在精细操纵和对新形状的泛化方面，这可能会提高控制器性能。值得探索通过视觉输入进行训练的可能性，这可以解决当前依赖于完整状态信息模拟的强化学习控制器的局限性。最后，与先前作品的比较研究可以帮助将研究结果置于现有文献中的背景中，并且还需要进一步研究使用开源硬件进行灵巧操纵的问题。