“`html
纽约大学和Meta的研究团队旨在通过引入高度适应型的DobbE系统，解决家庭环境中机器人操作学习的挑战，能够从用户示范中学习和适应。实验展示了系统的效率，同时强调了现实世界环境中的独特挑战。
研究中承认了积累大量机器人数据集的最新进展，强调了以家庭和第一人称机器人互动为中心的数据集的独特性。利用iPhone的能力，该数据集提供了高质量的动作和稀有的深度信息。与现有的自动化操作重点表示模型相比，强调了用于通用表示的域内预训练。他们建议使用非机器人家庭视频的非域内信息来增强数据集，承认这些增强对于他们的研究有潜在的改进。
引言中提到了在创建全面家庭助手方面面临的挑战，主张从受控环境向真实家庭的转变。强调效率、安全和用户舒适性，并介绍了体现这些原则的DobbE框架。它利用大规模数据和现代机器学习来提高效率，利用人类示范来确保安全，并使用符合人体工程学的工具来提高用户舒适度。DobbE将围绕Hello Robot Stretch集成硬件、模型和算法。还讨论了纽约家庭数据集中来自22个家庭的多样化示范以及用于视觉模型的自监督学习技术。
该研究采用行为克隆框架，一种模仿学习的子集，来训练DobbE模仿人类或专家行为。设计的硬件设置促进了无缝示范收集和转移到机器人实体，利用了包括iPhone视觉里程计在内的多种家庭数据。基本模型在这些数据上进行预训练。经过测试，训练模型在真实家庭中进行测试，消融实验评估了视觉表示、所需示范、深度感知、示范者专业知识以及系统中是否需要参数化策略。
DobbE在陌生的家庭环境中接受仅五分钟示范和15分钟适应家庭预先训练的表示模型后，显示出81%的成功率。在10个不同的家庭中经过30天的学习，DobbE成功学会了109项任务中的102项，证明了使用ResNet模型进行视觉表示和使用两层神经网络进行行动预测等简单方法的有效性。任务的完成时间和难度通过回归分析进行了分析，消融实验评估了不同系统组件，包括图形表示和示范者专业知识。
总之，DobbE是一种经过测试的成本效益高且适用于各种家庭环境的机器人操作系统，具有令人印象深刻的81%的成功率。DobbE团队慷慨地开源了其软件堆栈、模型、数据和硬件设计，以推动家用机器人研究的发展，并促进机器人管家的广泛采用。DobbE的成功归功于其强大而简单的方法，包括行为克隆和用于行动预测的两层神经网络。该研究还提供了有关光照条件和阴影对任务执行的影响的见解。
“`