Press "Enter" to skip to content

微软和苏黎世联邦理工学院的研究人员推出了LightGlue

微软和苏黎世联邦理工学院的研究人员推出了LightGlue 四海 第1张

在计算机视觉领域中,图像之间的匹配对于相机跟踪和三维建图等应用起着至关重要的作用。但是这些方法存在局限性,这就是一个名为LightGlue的新型深度网络发挥作用的地方。

LightGlue是苏黎世联邦理工学院和微软合作研究努力的成果,它利用了一种结合了图像匹配和异常值拒绝的深度网络。它采用了Transformer模型,通过利用大量数据集来学习匹配具有挑战性的图像对。这种创新的方法在室内和室外环境下展现出了卓越的稳健性。

LightGlue在挑战条件下的视觉定位方面表现出色,并在诸如航空匹配、物体姿态估计和鱼类再识别等任务中展示出有希望的性能。这种新方法旨在解决“SuperGlue”存在的计算效率低和对大量计算资源的需求的限制。

为了解决这个问题,团队开发了LightGlue作为更准确、高效和易于训练的替代方案。通过精心的架构修改和限制资源训练高性能深度匹配的方法,团队在几个GPU天内实现了最先进的准确性。

LightGlue还提供了一个帕累托最优解。这意味着它可以在效率和准确性之间取得理想的平衡。与以前的方法不同,LightGlue适应了每个图像对的难度。这是通过在每个计算块之后预测对应关系并评估进一步计算的置信度来实现的,无法匹配的点会被早期丢弃。

这使得它可以将计算工作集中在感兴趣的区域,并提高效率。到目前为止,实验结果展示了LightGlue在现有稀疏和稠密匹配方面的优势。它还可以提供基于局部特征的匹配,同时显著减少运行时间。

LightGlue的开发可以为对延迟敏感的应用程序(如同时定位和建图或SLAM)提供强大的深度匹配能力。它还可以从众包数据中重建更大规模的场景。

令人兴奋的是,LightGlue模型和训练代码将以宽松许可证的形式公开提供。这一发布不仅为研究人员和实践者提供了使用LightGlue能力的机会,还鼓励为推动需要高效准确图像匹配的计算机视觉应用做出贡献。

 

Leave a Reply

Your email address will not be published. Required fields are marked *