介绍BOSS（自己打造技能）：一种创新方法，利用大型语言模型，自主构建多功能技能库，以应对复杂任务，减少指导的需求。与传统的无监督技能获取技术和简单的引导方法相比，BOSS在执行陌生任务时表现更好，具备在新环境中运行的能力。这一创新标志着自主技能获取和应用的重大飞跃。
强化学习旨在优化马尔可夫决策过程中的策略，以最大化预期回报-过去的强化学习研究为复杂任务预训练可重用技能。无监督强化学习主要关注好奇心、可控性和多样性，学习技能时无需人类输入。语言被用于技能参数化和开环规划。BOSS通过大型语言模型扩展技能库，指导探索并奖励完成技能链，提高了长期任务执行的成功率。
传统的机器人学习在很大程度上依赖于监督，而人类在独立学习复杂任务方面表现出色。研究人员将BOSS作为一个框架引入，以最小人为干预的方式自主获取多样、长期的技能。通过技能引导和大型语言模型（LLMs）的指导，BOSS逐步构建和组合技能，以处理复杂任务。无监督的环境交互增强了其策略对于在新环境中解决挑战性任务的鲁棒性。
BOSS引入了一个两阶段的框架。在第一阶段，它使用无监督的强化学习目标获取基础技能集。第二阶段，技能引导，利用LLMs指导技能链接和基于技能完成的奖励。这种方法允许代理从基本技能构建复杂行为。在家庭环境中的实验表明，LLM引导的引导方式在执行陌生的长程任务和新的设置中优于天真的引导和之前的无监督方法。
实验结果证实，LLM引导的BOSS在解决新颖环境中的复杂家庭任务方面表现优异，超过了基于LLM的规划和无监督探索方法。结果呈现了在ALFRED评估中不同长度任务的标准化返回和标准化成功率的四分位数平均值和标准偏差。LLM引导引导的训练代理优于天真引导和之前的无监督方法。BOSS能够从基本技能中自主获取多样、复杂的行为，展示了它在无需专家的机器人技能获取方面的潜力。
在无需专家指导的情况下，LLM引导的BOSS框架在自主解决复杂任务方面表现出色。在执行陌生功能时，LLM引导的训练代理优于天真引导和之前的无监督方法。现实中的家庭实验证实了BOSS在从基本技能中获取多样、复杂行为方面的有效性，强调了其在自主机器人技能获取方面的潜力。BOSS还显示出将强化学习与自然语言理解结合的潜力，利用预训练的语言模型进行指导学习。
未来的研究方向可能包括：
- 研究无需重置的自主技能学习。
- 使用BOSS的技能链接方法提出长期任务分解。
- 拓展无监督强化学习以进行低层技能获取。
同时，加强强化学习与自然语言理解在BOSS框架中的整合也是一个有前途的方向。将BOSS应用于不同领域，并在各种环境和任务背景中评估其性能，可以为进一步的探索提供潜力。