来自卡内基梅隆大学和Google DeepMind的研究人员合作开发了RoboTool，这是一个利用大型语言模型（LLM）的系统，赋予机器人在涉及隐性物理约束和长期规划的任务中创造性地使用工具的能力。该系统包括四个关键组成部分：
- 用于解释自然语言的分析器
- 用于生成策略的规划器
- 用于计算参数的计算器
- 用于将计划转化为可执行的Python代码的编码器
使用GPT-4，RoboTool旨在为复杂的机器人任务提供比传统的任务与动作规划方法更灵活、高效和用户友好的解决方案。
该研究解决了机器人创造性使用工具的挑战，类似于动物在使用工具方面展示智能的方式。它强调机器人不仅要为其预定目的使用工具，还要以创造性和非常规的方式使用工具，以提供灵活的解决方案。传统的任务与动作规划（TAMP）方法需要在处理具有隐性约束的任务时进行修订，并且往往计算代价高昂。大型语言模型（LLM）在编码有益于机器人任务的知识方面显示出潜力。
该研究引入了一个用于评估创造性工具使用能力的基准，包括工具选择、顺序工具使用和制造。所提出的RoboTool在模拟和真实环境中进行评估，展示了在没有创造性工具使用的情况下将会具有挑战性的任务处理能力。该系统的成功率超过了基准方法，展示了其在解决具有隐性约束的复杂、长期规划任务方面的效果。
通过计算3种类型的错误进行评估：
- 工具使用错误，指示是否使用了正确的工具
- 逻辑错误，关注规划错误，如按错误的顺序使用工具或忽略提供的约束
- 数值错误，包括计算错误的目标位置或添加错误的偏移量
没有分析器的RoboTool显示出使用分析器的工具使用错误较大，没有计算器的RoboTool在与RoboTool相比的情况下有较大的数值错误，展示了它们在模型中的作用。
该研究展示了RoboTool在各种任务中的成就，例如在沙发之间穿越间隙、到达放置在机器人工作区域外的物体以及创造性地使用工具超出其传统功能。该系统利用LLMs对对象属性和人类常识的知识来识别关键概念和推理三维物理世界。在与机械臂和四足机器人的实验中，RoboTool展示了创造性的工具使用行为，包括即兴创作、顺序工具使用和工具制造。尽管在模拟中实现了与或超过基准方法相当的成功率，但其在真实环境中的表现受到感知错误和执行错误的轻微影响。
总之，由LLMs驱动的RoboTool是一个具有创造性的机器人工具用户，能够解决长期规划问题并具有隐性物理约束。该系统能够识别关键概念、生成创造性计划、计算参数和生成可执行代码，有助于其在处理需要创造性工具使用的复杂机器人任务方面取得成功。