四海吧 Posts

每一天都带来了大型语言模型（LLMs）的显著进展，这些模型在文本生成、情感分类、文本分类和零样本分类等各种任务中表现出色。它们的能力超越了这些领域，使内容创作、客户服务和数据分析实现自动化，从而彻底改变了生产力和效率。 最近，研究人员还开始探索使用LLMs进行推理的用途和效用。这些模型可以理解复杂的文本信息，并从中进行逻辑推理。LLMs擅长于问题回答、问题解决和决策制定等任务。然而，LLMs仍然不能像人类一样解决对人类来说很容易的问题，比如在给定环境中生成执行任务的行动计划，或者进行复杂的数学、逻辑和常识推理。LLMs在某些任务上面临困难，因为它们没有像人类那样的内部世界模型。这意味着它们无法预测在特定情况下事物的发展情况，或者模拟行动的长期结果。人类拥有内部世界模型，即对环境的心理表示，使得人类能够模拟行动及其对世界状态的影响，从而在复杂任务中进行有意识的计划。 为了解决这些问题，研究人员设计了一种新的推理框架，即基于规划的推理（RAP）。该框架使用一个库，使LLMs能够使用先进的推理算法进行复杂的推理。该框架将多步推理方法视为规划，并搜索最优推理链，以实现“世界模型”和“奖励”之间的最佳探索与开发平衡。除了RAP论文外，研究团队还提出了LLM推理器。LLM推理器是一个专门为语言模型（LLMs）设计的AI库，通过使用先进的算法，使其具备进行复杂推理的能力。它将多步推理视为规划，搜索最有效的推理链，并使用“世界模型”和“奖励”的概念优化探索和开发之间的平衡。你只需要定义一个奖励函数和（可选地）一个世界模型。LLM推理器负责处理其余的事情，包括推理算法、可视化、LLM调用等等！ 世界模型将部分解决方案视为状态，并将新的行动/思考附加到状态作为状态转换。奖励函数在评估推理步骤的表现好坏方面起着关键作用。其思想是，具有更高累积奖励的推理链更有可能是正确的。 研究人员对该框架进行了广泛的研究。他们将RAP应用于数学推理和逻辑推理等几个具有挑战性的推理问题。这些任务的实际结果表明，RAP优于几种强基准方法。当应用于LLaMA33B时，RAP超越了GPT-4上的CoT，在计划生成方面实现了惊人的33%相对改进。 在推理过程中，LLM通过不断评估最佳推理步骤（行动）巧妙地构建推理树。为此，它使用其世界模型，这与以不同方式使用的相同LLM相同。通过模拟未来结果，LLM估计潜在奖励，并使用此信息更新其对当前推理步骤的信念。通过探索更好的替代方案和改进决策，它改进了推理过程。该框架提供了先进的推理算法，提供直观的可视化和解释，并与任何其他LLM库兼容。 研究人员强调，在对各种具有挑战性的推理问题进行广泛实验后，RAP优于几种基于CoT的当代推理方法。该框架甚至在某些情况下表现优于先进的GPT-4。RAP在设计奖励、状态和行动方面的灵活性展示了其作为灵活的框架处理各种推理任务的潜力。RAP将规划和推理以创新的方式结合在一起，这种方法有可能彻底改变我们对LLM推理的理解方式，为AI系统实现人类级别的战略思考和规划铺平道路。

人类输入是改善社交对话模型的关键策略。在带有人类反馈的强化学习中，当需要许多人类注释来保证令人满意的奖励函数时，学习从反馈中取得了巨大的改进。反馈的来源包括用户对对话转折或对话情节的数字分数、排名或自然语言评论，以及对机器人转折的二元评估。大多数工作有意利用众包工人收集这些信号，因为自然用户可能不愿意被打扰或者如果他们这样做可能提供不准确的信息。 在这项研究中，来自纽约大学和Meta AI的研究人员考虑到他们有很多部署时的对话情节，这些情节展示了模型与真实用户之间的真实讨论。他们试图确定是否可以从这些自然用户讨论中获取任何隐含的指示，并利用这些信号来增强对话模型。这样做有两个原因。首先，尽管他们可能不提供明确的注释，但自然用户最接近未来部署的数据分布。其次，使用先前对话情节中的隐含信号可以节省用于众包的金钱。 图1：方法的总体概述。从人类和机器人之间的对话中获取隐含信号，例如下一个人类转折是否会很长或很短、快乐或不快乐。 更准确地说，他们研究了是否可以调整聊天机器人以使用最佳的隐含反馈信号，如即将到来的人类答案的数量、长度、情感或响应性。他们使用来自BlenderBot在线部署的公开可用的去标识化数据来研究这个问题。使用这些数据，他们训练样本和重新排序模型，比较各种隐含反馈信号。通过自动化和人工判断，他们发现他们的新模型优于基线回复。此外，他们还询问是否支持这些措施会导致不良行为，因为他们的隐含反馈信号是两个生成质量的粗略代理指标。 是的，这取决于使用的信号。特别是，优化更长的讨论长度可能导致模型提出有争议的观点或以敌对或争斗的方式回复。另一方面，优化积极的回应或情绪相对于基线减少了这些行为。他们得出结论，来自人类的隐含反馈是一种有益的训练信号，可以提高整体性能，但所采用的具体动作具有重要的行为影响。