由NVIDIA研究开发的新型人工智能代理能够教会机器人复杂的技能，现已训练出机器手以与人类一样轻松地完成快速旋笔技巧。
在上面的视频中展示的惊人表现是机器人通过Eureka学会的近30项任务之一，Eureka自主编写奖励算法以训练机器人。
Eureka还教会了机器人如何打开抽屉和橱柜、抛接球和操作剪刀等任务。
今天发布的Eureka研究包括一篇论文和项目的人工智能算法，开发者可以使用NVIDIA Isaac Gym进行实验，这是一个用于强化学习研究的物理模拟参考应用程序。Isaac Gym建立在NVIDIA Omniverse上，这是一个基于OpenUSD框架构建3D工具和应用程序的开发平台。Eureka本身由GPT-4大型语言模型驱动。
NVIDIA高级AI研究主管Anima Anandkumar表示：“在过去的十年中，强化学习取得了令人瞩目的成就，但仍存在许多挑战，例如奖励设计仍然是一个试错过程。Eureka是开发整合生成和强化学习方法解决难题的新算法的第一步。”
AI训练机器人
根据论文，Eureka生成的奖励程序——用于机器人的试错学习——在超过80%的任务上都优于由专家编写的奖励程序，这使得机器人的平均性能提高了50%以上。
由Eureka教会的机器臂打开抽屉。
这个AI代理使用GPT-4 LLM和生成AI来编写奖励机器人进行强化学习的软件代码。它不需要具体的任务提示或预定义的奖励模板，并且可以根据人类的反馈快速调整奖励以更准确地实现开发者的愿景。
在Isaac Gym的GPU加速模拟中，Eureka可以快速评估大量奖励候选项的质量，从而实现更高效的训练。
Eureka随后构建了关于训练结果的关键统计数据的摘要，并指导LLM改进奖励函数的生成。通过这种方式，人工智能实现了自我提升。它教会了各种各样的机器人，包括四足、两足、四旋翼、灵巧手臂、协作机械臂等完成各种任务。
研究论文对20项Eureka训练任务进行了详细评估，基于需要机器手展示各种复杂操纵技能的开源灵巧性基准。
来自九个Isaac Gym环境的结果通过使用NVIDIA Omniverse生成的可视化展示。
人形机器人通过Eureka学会奔跑步态。
NVIDIA资深研究科学家林曦“Jim”范是该项目的贡献者之一，他表示：“Eureka是大型语言模型和NVIDIA GPU加速模拟技术的独特结合。我们相信Eureka将能够实现灵巧的机器人控制，并为艺术家提供一种生成物理逼真动画的新方式。”
这是一项突破性的研究，必将让开发者的想象力迸发，为近期NVIDIA Research的进展增添了色彩，如使用GPT-4构建的能够自主玩《我的世界》的AI代理Voyager。
NVIDIA研究部门由全球数百名科学家和工程师组成，团队的研究方向包括人工智能、计算机图形学、计算机视觉、自动驾驶汽车和机器人技术。