Press "Enter" to skip to content

“遇见 GO To Any Thing(GOAT):一种通用导航系统,可以在完全未知的环境中,以图像、语言或类别的方式查找任何指定对象”

来自伊利诺伊大学厄巴纳-香槟分校、卡内基梅隆大学、乔治亚理工学院、加州大学伯克利分校、Meta人工智能研究机构和Mistral人工智能团队的研究人员合作开发了一种名为GO To Any Thing(GOAT)的通用导航系统。这个系统是为家庭和仓库环境中延长自主运行时间而设计的。GOAT是一个多模态系统,可以从类别标签、目标图像和语言描述中解释目标。它是一个终身系统,受益于过去的经验。GOAT适用于各种机器人实体。

GOAT是一个用于移动机器人的多功能导航系统,能够利用类别标签、目标图像和语言描述在各种环境下进行自主导航。GOAT利用深度估计和语义分割创建一个3D语义体素地图,用于准确的对象实例检测和记忆存储。语义地图有助于空间表示、跟踪对象实例、障碍物和已探索区域。

GOAT是一个受到动物和人类导航洞察力启发的移动机器人系统。GOAT是一个通用导航系统,能够在各种环境中自主运行,根据人类输入执行任务。GOAT是多模态、终身学习和平台无关的,使用类别标签、目标图像和语言描述进行目标规定。该研究评估了GOAT在到达未见过的多模态对象实例方面的性能,并强调了它在以前方法中基于SuperGLUE的图像关键点匹配优于CLIP特征匹配的优越性。

GOAT是一个通用导航系统,采用模块化设计和实例感知的语义记忆,用于基于图像和语言描述的多模态导航。该计划是通用的、适应终身学习的,并通过在家庭中进行大规模真实世界实验来展示其功能。利用“路径长度加权成功率”等指标对GOAT的性能进行评估,而无需预先计算地图。代理程序使用全局和局部策略,使用快速行进方法进行路径规划和点导航控制器以达到路径上的航点。

在九个家庭的实验试验中,GOAT作为一种通用导航系统取得了83%的成功率,超过以前的方法32%。它的成功率从第一个目标的60%提高到经过探索后的90%,展示了其适应性。GOAT无缝处理下游任务,如拾取和放置以及社交导航。定性实验展示了GOAT在波士顿动力Spot和Hello Robot Stretch机器人上的部署。在真实世界家庭中对Spot进行的大规模定量实验展示了GOAT相对于三个基准的卓越性能,在匹配实例和有效导航方面表现出色。

出色的多模态和平台无关设计使得可以通过各种方式进行目标规定,包括类别标签、目标图像和语言描述。模块化的架构和实例感知的语义记忆可以区分同一类别的实例,以实现有效的导航。在没有预先计算地图的大规模实验中进行评估,GOAT展示了其多样性,并将其能力扩展到拾取和放置、社交导航等任务。

GOAT的未来轨迹包括在各种环境和场景中全面探索其性能,以评估其广泛性和稳健性。研究将致力于提高匹配阈值,以应对勘探过程中的挑战。根据目标类别对实例进行子采样将进一步探索以提高性能。GOAT的持续发展包括优化全局和局部策略,并可能整合额外的技术以实现更高效的导航。广泛的真实世界评估将涵盖不同的机器人和任务,以验证GOAT的多功能性。进一步探索可以将GOAT的适用范围扩展到物体识别、操纵和交互等领域。

Leave a Reply

Your email address will not be published. Required fields are marked *