机器人正在仓库中搬运货物、包装食品、帮助组装车辆——当它们不翻转汉堡或者冲泡拿铁时。
它们是如何如此迅速地变得如此熟练呢？机器人模拟。
它正在以飞跃的进步改变我们周围的各个行业。
机器人模拟简介
机器人模拟器将虚拟机器人放置在虚拟环境中，以测试机器人的软件，而无需实际机器人。而最新的模拟器可以生成数据集，用于训练将在实际机器人上运行的机器学习模型。
在这个虚拟世界中，开发者创建机器人、环境和其他机器人可能遇到的素材的数字版本。这些环境可以遵守物理定律，并模拟真实世界的重力、摩擦、材料和光照条件。
谁在使用机器人模拟？
如今，机器人在大规模上提升了业务。一些最大和最具创新性的机器人公司都依赖于机器人模拟。
得益于模拟，配送中心每天可以处理数千万个包裹。
亚马逊机器人使用它来支持其配送中心。宝马集团借助它加速其汽车装配厂的规划。软性机器人应用它来完善食品包装的抓取和放置。
全球各地的汽车制造商都在用机器人来支持他们的业务。
“汽车公司雇佣了将近1400万人。数字化将提高这个行业的效率、生产力和速度，” NVIDIA首席执行官Jensen Huang在最新的GTC主题演讲中说道。
机器人模拟的工作原理简介
一个先进的机器人模拟器首先应用物理基本方程。例如，它可以使用牛顿运动定律来确定物体在一个小时间增量或时间步长内的运动方式。它还可以结合机器人的物理约束条件，比如由铰链般的连接构成，或者无法穿过其他物体。
模拟器使用各种方法来检测物体之间的潜在碰撞，识别碰撞物体之间的接触点，并计算阻止物体相互穿过的力或冲量。模拟器还可以计算用户寻求的传感器信号，比如机器人关节处的扭矩或机器人夹持器与物体之间的力。
然后，模拟器将根据用户的要求重复这个过程。一些模拟器，比如基于NVIDIA Omniverse的NVIDIA Isaac Sim应用程序，还可以在每个时间步长上提供物理上准确的模拟器输出的可视化。
使用机器人模拟器的成果
机器人模拟器用户通常会导入机器人的计算机辅助设计模型，并导入或生成感兴趣的对象来构建虚拟场景。开发者可以使用一组算法来执行任务规划和运动规划，然后指定控制信号来执行这些计划。这使得机器人能够执行任务并以特定方式移动，比如拾取一个物体并将其放置在目标位置。
开发者可以观察计划和控制信号的结果，然后根据需要进行修改以确保成功。最近，有一种向基于机器学习的方法的转变。所以，用户不是直接指定控制信号，而是指定所需的行为，比如移动到一个位置而不发生碰撞。在这种情况下，一个数据驱动的算法会根据机器人的模拟传感器信号生成控制信号。
这些算法可以包括模仿学习，其中人类演示可以提供参考，以及强化学习，机器人通过智能的试错学习来实现行为，通过加速的虚拟体验快速学习多年的经验。
模拟推动突破
模拟解决了一些重大问题。它被用于验证、验证和优化机器人设计、系统和算法。模拟还有助于在建设或改造开始之前为设施设计最大效率。这有助于减少昂贵的制造变更订单。
为了让机器人在人群中安全工作，无缺陷的运动规划是必要的。为了处理脆弱的物体，机器人需要在接触和抓握方面精确。这些机器，以及自主移动机器人和车辆系统，都是通过大量数据进行训练，以开发安全运动。
依靠合成数据，模拟使得以前不可能的虚拟进步成为现实。在模拟中诞生和成长的今天的机器人将在真实世界中解决各种问题。
模拟研究推动进展
近期的模拟进展由研究人员推动，正在迅速提高机器人系统的能力和灵活性，加速部署。
大学研究人员通常与NVIDIA研究和技术团队合作，解决模拟中具有现实影响的问题。他们的工作扩展了新型机器人能力商业化在众多市场上的潜力。
其中，机器人正在学习切割牛肉和鸡肉等软质材料，为汽车装配紧固螺母和螺栓，以及在仓库中进行无碰撞运动规划和具备新的灵巧度的手部操作。
这样的研究在价值万亿美元的行业中具有商业前景。
高保真度、基于物理的模拟突破
能够以高分辨率展示物理模型的能力，开启了许多工业进步的开端。
经过几十年的研究，基于物理的模拟现在已经取得了商业突破。
NVIDIA Omniverse核心技术的一部分，PhysX提供了高保真度的基于物理的模拟，使得在虚拟环境中进行真实世界的实验成为可能。
PhysX使得能够评估抓握质量，使机器人学会抓取未知物体成为可能。PhysX在开发操纵、运动和飞行等技能方面也具有很高的能力。
PhysX 5已经开源，为各个地方的工业应用开发打开了大门。如今，机器人学家可以通过构建在Omniverse上的Isaac Sim来使用PhysX。
装配模拟的要点
在具备有效抓握能力的基础上，基于物理的模拟还可以模拟适用于各种行业的更强大的机器人操作。
装配是一个重要的领域。它是汽车、电子、航空航天和医疗行业产品制造的必要组成部分。装配任务包括拧紧螺母和螺栓、焊接、插入电连接件和布线电缆。
然而，机器人装配一直是一个长期的工作进程。这是因为物理操纵的复杂性、零件的多样性以及高精度和可靠性的要求使得成功完成变得非常棘手，即使对于人类来说也是如此。
这并没有阻止研究人员和开发人员的尝试，在这些涉及大量接触的交互中应用模拟，并且有着进展的迹象。
2022年，NVIDIA的机器人和模拟研究人员提出了一种新颖的模拟方法，以Isaac Sim为基础，克服了机器人装配挑战。他们的研究论文题为《Factory: Fast Contact for Robotic Assembly》，概述了一组物理模拟方法和机器人学习工具，用于实现广泛的需要大量接触的交互的实时和更快速的模拟，包括装配。
解决装配场景的模拟到实际差距
在论文中提出的模拟工作的基础上，研究人员进一步努力解决所谓的模拟到实际差距。
这种差距是机器人在模拟中学到的与其在现实世界中需要学习的知识之间的差异。
在另一篇论文《IndustReal: Transferring Contact-Rich Assembly Tasks from Simulation to Reality》中，研究人员概述了一套算法、系统和工具，用于在模拟中解决装配任务，并将这些技能转移到真实的机器人上。
NVIDIA的研究人员还开发了一种新的、更快速和更高效的方法，用于教授机器人在实际情景中进行操作任务，例如打开抽屉或派送肥皂，培训时间比当前标准要快得多。
研究论文《RVT: Robotic View Transformer for 3D Object Manipulation》使用一种称为多视图变换器的神经网络类型，从相机输入生成虚拟视图。
这项工作结合了文本提示、视频输入和模拟，使机器人的训练时间比当前技术水平提高了36倍，从几周减少到几天，机器人任务成功率提高了26%。
机器人手的灵巧抓取
研究人员正在努力创造更灵活的机械手，可以在各种环境中工作并承担新任务。
开发人员正在构建机器人抓取系统来拾取和放置物品，但是创建具备人类灵巧度的高能力手部迄今为止被证明过于复杂。使用深度强化学习可能需要数十亿个带标签的图像，这使得它不切实际。
NVIDIA的研究人员在一个名为DeXtreme的项目中利用NVIDIA Isaac Gym和Omniverse Replicator，展示了它可以用于训练机器人手快速将一个立方体操纵到所需位置。对于机器人模拟器来说，这样的任务是具有挑战性的，因为在操纵中涉及到大量的接触，并且由于动作必须快速完成，以在合理的时间内完成操纵。
手部灵巧的进步为机器人处理工具铺平了道路，使它们在工业环境中更加有用。
DeXtreme项目运用物理定律，能够在其模拟宇宙中以比在现实世界中训练快10,000倍的速度训练机器人。这相当于几天的训练相对于几年。
这个模拟器的特点表明它具备建模接触的能力，这使得模拟到现实的转化成为手部灵巧领域的终极目标。
机器人切割的前沿研究
能够进行切割的机器人可以创造新的市场机会。
在2021年，来自NVIDIA、南加州大学、华盛顿大学、多伦多大学和悉尼大学的研究团队在“机器人科学与系统”会议上获得“最佳学生论文”奖。这项名为DiSECt的工作详细介绍了一种用于教授机器人切割软材料的“可微分模拟引擎”。以前，在这个领域训练的机器人是不可靠的。
DiSECt模拟器可以准确预测刀具在切割常见生物材料时的受力情况。
DiSECt依赖于有限元方法，该方法用于解决数学建模和工程中的微分方程。微分方程显示了一个变量的变化率或导数与其他变量的关系。在机器人技术中，微分方程通常描述了力与运动之间的关系。
应用这些原理，DiSECt项目在外科手术和食品加工等领域训练机器人具有潜力。
教授碰撞自由运动以实现自主性
因此，机器人抓取、组装、操作和切割都在取得飞跃。但是能够安全导航的自主移动机器人呢？
目前，开发人员可以为特定环境（如工厂、配送中心或制造厂）训练机器人。在这个过程中，模拟可以解决特定机器人的问题，如托盘卡车、机械臂和行走机器人。在这些混乱的环境和机器人类型中，有很多人和障碍物需要避免。在这种情况下，对于未知的、杂乱的环境中的无碰撞运动生成是机器人应用的核心组成部分。
试图应对这些挑战的传统运动规划方法可能在未知或动态环境中表现不佳。同时定位和建图（SLAM）可以使用来自多个视点的相机图像生成环境的3D地图，但当物体移动和环境改变时，需要进行修订。
为了帮助克服这些缺点，NVIDIA机器人研究团队与华盛顿大学共同开发了一个名为MπNets的新模型。MπNets是一个端到端的神经策略，使用来自单个固定摄像头的连续数据实时生成无碰撞运动。MπNets已经通过使用来自NVIDIA Omniverse的几何图形流水线和在模拟中渲染的7亿个点云解决方案来训练超过300万个运动规划问题。在大规模数据集上进行训练可以使其在现实世界中导航未知环境。
除了像MπNets一样直接学习轨迹模型之外，该团队还最近推出了一种基于点云的碰撞模型，名为CabiNet。通过CabiNet模型，可以在桌面设置之外部署未知对象的通用拾取和放置策略。CabiNet在超过65万个程序化生成的模拟场景中进行了训练，并在NVIDIA Isaac Gym中进行了评估。通过大规模合成数据集的训练，它可以推广到真实厨房环境中的分布场景，而无需任何真实数据。
模拟对企业的好处
开发人员、工程师和研究人员可以在虚拟环境中快速尝试不同类型的机器人设计，避免耗时费力的物理测试方法。
在虚拟环境中应用不同类型的机器人设计与机器人软件相结合，可以在构建实际机器之前在虚拟环境中测试机器人的编程，降低后期修复质量问题的风险。
虽然这可以大大加快开发时间表，但还可以大幅降低建造和测试机器人和AI模型的成本，同时确保安全。
此外，机器人模拟还有助于将机器人与企业系统（如库存数据库）连接起来，以便机器人知道物品的位置。
合作机器人（或与人类合作的机器人）的模拟有望减少受伤并使工作更加轻松，实现各种产品的更高效交付。
而且，随着包裹以惊人的速度送到世界各地的家庭，这是何乐而不为。
了解NVIDIA Isaac Sim，Jetson Orin，Omniverse Enterprise和Metropolis。
从这个Deep Learning Institute课程中了解更多信息：介绍在Isaac Sim中进行机器人模拟。