Month: December 2023

可以不使用GPU加速实时绘制大规模场景吗？这篇AI论文介绍了基于先进LiDAR定位和网格生成的‘ImMesh’

Published December 3, 2023 by 四海吧

提供与实际世界相匹配的虚拟环境，包括元宇宙、VR/AR、视频游戏和物理模拟器等3D应用程序的广泛兴起改善了人类的生活方式并提高了生产效率。这些程序基于三角形网格，代替了实际环境的复杂几何。目前大多数的3D应用程序都依赖于三角形网格，这些网格是由顶点和三角形面组成的，作为对象建模的基本工具。由于它能够简化和加速渲染和光线追踪，三角化网格在传感器模拟、密集映射和测量、刚体动力学、碰撞检测等方面也非常有用。然而，目前的网格主要是由天才的3D建模师使用CAD软件制作的，这限制了大规模制作大场景网格的能力。因此，在3D重建领域，一个显著的问题是开发一种能够进行实时场景重建的高效网格方法，特别是对于大场景。计算机、机器人和3D视觉中最困难的挑战之一是从传感器测量中实时重建大场景的网格。这涉及在附近的三角形面之间重新创建场景表面，并通过边缘连接。精确构建几何框架对于这个困难的挑战至关重要，重建真实世界表面上的三角形面也是如此。为了实现实时网格重建和同时定位的目标，香港大学和南方科技大学最近进行的一项研究提出了一种名为ImMesh的SLAM框架。ImMesh是一个精心开发的系统，它依赖于四个相互依赖的模块共同提供精确和高效的结果。ImMesh使用LiDAR传感器同时实现网格重建和定位。ImMesh包含一个建立在他们早期工作VoxelMap之上的创新网格重建算法。具体而言，所提出的网格化模块使用体素将三维空间分割，快速识别包含新扫描数据点的体素。高效网格化的下一步是降维，将体素级的三维网格问题转化为二维问题。最后一阶段使用体素级的网格推拉和推送程序来逐步重建三角形面。该团队声称，这是使用传统CPU在线重新创建大规模场景三角网格的初次发表的努力。研究人员通过使用合成和真实数据对ImMesh的运行性能和网格化精确性进行了全面测试，并将结果与已知基准进行了比较。他们首先展示了在数据收集过程中网格正在快速重建的实时视频演示，以确保整体性能。之后，他们利用四个不同情景下由四个单独的LiDAR传感器获取的公共数据集对ImMesh进行了全面测试，验证了系统的实时能力。最后，他们将ImMesh在实验3中的网格化性能与现有的网格化基准进行了比较，以建立一个基准。根据结果，ImMesh在维持最佳运行时性能的同时实现了高度的网格化精确性。他们还演示了如何将ImMesh用于LiDAR点云增强；这种方法在规则模式下产生了密集的、具有更大视野（FoV）的强化点，比原始LiDAR扫描结果更细密。在应用2中，他们通过将他们的工作与R3LIVE++和ImMesh相结合，实现了场景纹理重建无损。该团队强调他们的工作在空间分辨率方面并不容易扩展，这是一个重要的缺点。由于固定的顶点密度，ImMesh在处理大而平坦的表面时倾向于以许多小的面元来低效地重建网格。所提出的系统还没有循环校正机制，这是第二个局限性。这意味着由于在重访区域中的累计定位错误，可能会出现逐渐偏离的问题。如果出现重访问题，重建结果可能不一致。利用最近使用LiDAR点云进行循环识别的工作将有助于研究人员在这项工作中克服这个问题。通过利用这种循环检测方法，就有可能实时识别循环并进行循环校正，以减少偏移的影响并提高重建结果的可靠性。