四海吧 Posts

长期以来，人工智能的目标之一是创建能够与人们在现实世界中进行有机交流的机器人。现今的具身代理人可以执行简单的低级命令，例如“拿起蓝色的积木”或“经过电梯然后向右转”。然而，交互式代理人需要能够理解人们在“此时此地”之外使用语言的全部方式，包括知识传递（例如，“左上角的按钮关闭电视”），情境信息（例如，“我们没有牛奶了”）和协调（例如，“我已经清理过客厅了”）。 大部分孩子在书籍中阅读或从他人那里听到的内容都传达了关于世界的信息，无论是它如何运作还是它目前的状态。他们如何使代理人能够说其他语言？强化学习（RL）是一种教授以语言为条件的代理人解决问题的技术。然而，目前大多数使用的语言条件的RL技术是通过从任务特定的指令中产生动作来训练的，例如，通过将像“拿起蓝色的积木”这样的目标描述作为输入并生成一系列运动命令。直接将语言映射到最佳行动方案在考虑到自然语言在实际世界中扮演的各种角色时，提供了一个困难的学习挑战。 如果正在进行的工作是清理，代理人应该通过进行下一个清理步骤来回答，但如果是用餐，代理人应该收拾碗。以“我把碗放好了”为例。当语言不讨论任务时，语言与代理人最佳行动方案之间只有弱相关性。因此，仅通过将语言映射到活动的任务奖励可能是学习信号更好，以便学会使用各种语言输入完成任务。相反，他们建议，语言对代理人的一个统一功能是帮助进行未来预测。短语“我把碗放好了”可以使代理人更准确地预测未来的观察结果（例如，如果它打开柜子，它会看到碗）。 从这个意义上说，孩子们接触到的大部分语言可能根植于视觉经验。代理人可以使用先前的信息来预测环境变化，例如“扳手可以用来拧紧螺母”。代理人可以通过说“包裹在外面”来预期观察结果。这种范式还将常见的按照指令实践与预测术语结合起来：指令帮助代理人期待奖励。他们认为，预测未来表示为代理人提供了丰富的学习信号，有助于他们理解语言以及它如何与外部世界交互，类似于下一个令牌预测使语言模型能够构建内部对世界知识的表示。 加州大学伯克利分校的研究人员引入了Dynalang，一种通过在线经验获取世界的语言和视觉模型，并利用该模型理解如何行为的代理。Dynalang将使用该模型的行为学习（具有任务激励的强化学习）与使用语言模型（具有预测目标的监督学习）的世界建模分开。世界模型接收视觉和文本输入作为观察模态，这些输入被压缩为潜在空间。随着代理人与周围环境的互动，使用在线收集的数据，它训练世界模型预测未来的潜在表示。使用世界模型的潜在表示作为输入，他们训练策略采取决策以最大化任务奖励。 由于世界建模与行动是不同的，Dynalang可以在没有活动或任务奖励的情况下预先训练单模态（仅文本或仅视频数据）。此外，语言生成的框架可以统一：代理人的感知可以影响其语言模型（即其关于未来令牌的预测），从而使其能够通过在动作空间中生成语言来与环境进行交流。他们在各种语言环境中测试了Dynalang的性能。Dynalang学会了利用关于未来观察结果、环境动态和修正的语言线索，在多任务清洁房屋的环境中更快地完成家务。在Messenger基准测试中，Dynalang通过阅读游戏手册来匹配游戏的最难关卡，优于任务特定的架构。他们展示了Dynalang可以在视觉和语言复杂的环境中掌握指令，在视觉语言导航中超越了最先进的强化学习算法和任务特定的架构。 以下是他们所做的贡献： • 他们提出了Dynalang，一种使用未来预测来连接语言与视觉体验的代理。 • 他们展示了Dynalang通过学习理解各种类型的语言来应对各种任务，优于最先进的RL算法和任务特定设计。 • 他们证明了Dynalang的构想打开了新的可能性，包括在单一模型中将语言创作与纯文本预训练相结合，而无需行动或任务激励。

最近引入的大型语言模型（LLMs）已经在人工智能（AI）社区中引起了轰动。这些模型通过使用超强的自然语言处理（NLP）、自然语言生成（NLG）和自然语言理解（NLU）成功地模仿了人类。LLMs因为能够模仿人类进行真实对话而变得著名，它们能够回答简单和复杂的问题，生成内容，代码补全，机器翻译和文本摘要。NLP的目标是使计算机系统能够理解和响应以自然语言给出的命令，使人们能够以更自然和灵活的方式与它们互动，最好的例子就是指令跟随模型。 这些模型是使用LLMs、有监督的例子或其他类型的监督进行训练，并暴露在成千上万个以自然语言指令编写的任务中。在最近的研究中，来自麦吉尔大学Mila Quebec AI研究所、麦吉尔大学和Facebook CIFAR AI Chair的团队研究了评估指令跟随模型在给定一组文本段落上执行问答（QA）任务的性能。这些模型可以在提供描述任务、问题和由检索器检索到的相关文本段落的提示时回答问题，这些模型产生的响应被认为是自然和信息丰富的，有助于建立用户的信任和参与度。 这些模型可以通过仅向其输入添加检索到的文档和指令来自然而流畅地回答用户的查询。然而，这种额外的冗长使得传统的QA评估指标如完全匹配（EM）和F1分数难以有效地量化模型的性能。这是因为模型的响应可能包含更多细节，而参考答案忽略了这些细节，但仍然准确。为了解决这个问题，团队提供了两个评估指标衡量检索增强的质量保证（QA）中的指令跟随模型。 关于信息必要性、准确性：这个维度评估模型满足用户信息需求的能力。它关注的是生成的响应是否包含相关信息，即使它超出了直接在参考答案中提及的内容。 与所提供的信息的一致性：这个维度评估模型在所提供的知识中是否正确回答问题。一个真实的模型应该避免在呈现无关信息时回答问题，并在有关信息可用时给出准确的答案。 作者在三个不同的QA数据集上评估了几个最近的指令跟随模型：用于开放域QA的自然问题，用于多跳QA的HotpotQA，以及用于对话QA的TopiOCQA。他们手动分析了900个模型的响应，并将结果与不同的自动评估指标进行了比较，以评估准确性和忠实度。他们的研究表明，召回率（衡量参考答案中的标记在模型响应中的占比）与正确性的相关性比EM或F1分数等词汇重叠度量更强。与其他用于忠实度的标记重叠度量相比，K-Precision（模型答案标记在知识片段中存在的百分比）与人类判断更强相关。 总之，本研究旨在更全面地评估指令跟随模型在QA任务中的优势和劣势。该团队通过在GitHub存储库上提供他们的代码和数据，进一步推动了该领域的进展。