“DribbleBot” 可以利用强化学习在沙、砾石、泥土和雪等不同地形上操纵足球，以适应不同的球的动态
如果你曾经和机器人一起踢过足球，那么这种感觉是很熟悉的。阳光照在你的脸上，草的气息弥漫在空气中。你四周看看，一只四腿机器人正在向你奔跑，带着决心运球。
虽然这只机器人不像梅西那样拥有超凡的球技，但它是一个令人印象深刻的野外运球系统。麻省理工学院不太可能的人工智能实验室（Improbable Artificial Intelligence Lab）的研究人员，已经开发出了一种有腿的机器人系统，可以在与人类相同的条件下运球。这个机器人使用了一种混合的机载感知和计算来穿越不同的自然地形，如沙子、砾石、泥土和雪，并适应它们对球运动的影响。就像每一个忠诚的运动员一样，“DribbleBot”在摔倒后也能爬起来恢复球。
编程机器人踢足球已经是一个活跃的研究领域了一段时间。然而，该团队希望自动学习在运球过程中如何驱动腿部，以便发现对于响应于不同地形（如雪、砾石、沙子、草和路面）的难以脚本化的技能。这时候，就需要模拟技术。
在模拟技术中，机器人、球和地形都在模拟中——这是自然世界的数字孪生。你可以把机器人和其他资产加载进去，设置物理参数，然后它就会从那里开始前向模拟动力学。在实时模拟中，平行模拟了四千个机器人版本，使数据收集的速度比仅使用一个机器人快了4000倍。这是非常多的数据。
机器人开始时并不知道如何运球——只有在它运球时才会得到奖励，或者在搞砸时受到负面强化。所以，它本质上是在尝试弄清楚应该如何用腿施加什么力量的序列。麻省理工学院博士生Gabe Margolis和Improbable AI实验室的研究助理Yandong Ji共同领导了这项工作，并表示：“这种强化学习方法的一个方面是，我们必须设计一个好的奖励，以促进机器人学习成功的运球行为。一旦我们设计好了奖励，那么机器人就可以练习了：在实时模拟中，需要几天时间，在模拟器中则需要数百天时间。随着时间的推移，机器人会越来越擅长于操纵足球，以匹配所需的速度。”
该机器人还可以在陌生的地形上导航，通过团队构建的恢复控制器从跌倒中恢复过来，并切换回运球控制器继续追求球，帮助它处理分布之外的干扰和地形。
“如果你今天四周看看，大多数机器人都是轮式的。但是，想象一下有一种灾难情景，如洪水或地震，我们希望机器人在搜救过程中协助人类。我们需要让机器人在不平坦的地形上行走，而轮式机器人无法穿越这些地形，”麻省理工学院教授、CSAIL首席研究员和Improbable AI实验室主任Pulkit Agrawal说，“研究有腿机器人的整个目的是去那些当前机器人系统无法到达的地形。我们开发有腿机器人的算法的目标是在具有挑战性和复杂地形上提供自主性，这些地形目前是机器人系统无法到达的。”
对机器人四足和足球的兴趣深深植根于加拿大教授Alan Mackworth在1992年的VI-92会议上发表的一篇题为“On Seeing Robots”的论文。随后，日本研究者组织了一个名为“人工智能的大挑战”的研讨会，讨论使用足球来促进科学和技术的发展。该项目于一年后启动，全球热情迅速蔓延。不久之后，“RoboCup”诞生了。
与仅仅走路相比，运球对DribbleBot的运动和可以穿越的地形施加了更多的限制。机器人必须适应它的运动来施加力量到足球上以完成运球。球与地形之间的相互作用可能与机器人和地形之间的相互作用不同，如厚草或路面。例如，足球在草地上会受到草的阻力，而在路面上则没有，而且斜坡会施加加速度力，改变球的典型路径。然而，机器人穿越不同地形的能力往往不受这些动力学差异的影响，只要它不滑倒，所以足球测试可以对运动本身不能敏感的地形变化进行敏感测试。
“过去的方法简化了带球问题，假设了平坦的硬地面。动作也被设计得更加静态；机器人不试图同时奔跑和操作球，”Ji说。“这就是更困难的动力学进入控制问题的地方。我们通过将最近使户外运动更好的进展扩展到这个组合任务中来解决这个问题，将运动和灵巧操纵的方面结合在一起。”
在硬件方面，机器人有一组传感器，让它感知环境，使它能够感受自己的位置并“看到”一些周围的环境。它有一组致动器，让它施加力和移动自己和物体。在传感器和致动器之间是计算机或“大脑”，负责将传感器数据转换为动作，并通过电机应用它们。当机器人在雪上奔跑时，它看不到雪，但可以通过其电机传感器感觉到它。但是踢足球比走路更困难 – 团队利用机器人头部和身体上的摄像头进行了新的视觉感知模式，除了新的电机技能外。
“我们的机器人可以进入野外，因为它携带了所有的传感器、相机和计算资源。这需要一些创新，以便将整个控制器适配到这个板载计算机上，”Margolis说。“这是学习有所帮助的地方，因为我们可以运行轻量级的神经网络，并训练它处理移动机器人观察到的嘈杂传感器数据。这与大多数机器人今天的情况截然不同：通常一个机器人臂固定在一个基座上，坐在一个工作台上，插着一个巨大的电脑。计算机和传感器都不在机器人臂上！所以，整个机器人很重，很难移动。”
要使这些机器人像自然界中的同类一样灵活，还有很长的路要走，一些地形对于DribbleBot来说也是具有挑战性的。目前，控制器没有在包括坡道或楼梯的模拟环境中进行训练。机器人没有感知地形的几何形状；它只是估计其材料接触特性，如摩擦力。例如，如果有一个台阶，机器人将被卡住 – 它将无法将球抬过台阶，这是团队未来想要探索的领域。研究人员还兴奋地将开发DribbleBot的经验应用于其他涉及联合运动和物体操纵的任务，使用腿或手臂快速运输不同的物体。
“DribbleBot是在需要动态整体控制的复杂问题空间中实现这种系统可行性的令人印象深刻的示范，”Facebook AI Research的研究科学家Vikash Kumar说，他没有参与这项工作。“DribbleBot令人印象深刻的是，所有的感官运动技能都是在低成本系统上实时合成的，使用板载计算资源。虽然它表现出了卓越的敏捷性和协调性，但这只是下一代的“踢球”起点。比赛开始！”
该研究得到了DARPA机器通用感知计划、MIT-IBM Watson AI实验室、美国国家科学基金会人工智能和基本相互作用研究所、美国空军研究实验室和美国空军人工智能加速器的支持。这项工作的论文将在2023年IEEE国际机器人和自动化会议（ICRA）上发表。