Tag: Tech News

已经收集了多个人类演示用于学习视觉导航，最近的大规模数据集包含数百个交互场景，这些都显著提高了智能体的性能。然而，要进行如此大规模的训练需要解决一些关键的子问题，例如如何构建导航图，恢复损坏的渲染图像和生成导航指令。所有这些都对收集的数据质量产生重大影响，因此应该进行深入探索。 研究如何有效利用大规模数据来适当地训练导航智能体非常必要，一个能够理解人类自然语言并在逼真环境中导航的智能体是一个复杂而模块化的系统。 为了训练大规模的视觉与语言导航网络（VLNs），澳大利亚国立大学、OpenGVLab、上海人工智能实验室、UNC教堂山分校、阿德莱德大学和Adobe研究团队提供了一种新的范式，通过统计评估管道中每个组件的影响。他们使用Habitat模拟器，从HM3D和Gibson数据集中使用环境，为环境构建导航图。他们采样新的轨迹，创建指令，并训练智能体解决下游导航问题。 与AutoVLN和MARVAL等先前方法不同，这些导航图通过过度视点采样和聚合过程构建，采用了引入的图形创建启发式方法。这种方法产生了具有广泛室外覆盖范围的全连接网络。 研究人员还训练了Co-Modulated GAN，从HM3D和Gibson环境中的损坏生成图像的破损、变形或缺失部分生成逼真图像，减少了视觉数据噪声的影响。与MARVAL相比，这种大规模训练方案是完全可复现且易于执行的，同时明显提高了智能体的性能。 广泛的实验证明，如果智能体要在特定指令的下游任务（如R2R）上表现更好，导航图必须是完全可遍历的。此外，研究结果还表明，从新场景中学习而不仅仅是增加数据量，智能体通常可以使用更多样化的视觉数据，并提高对新环境的泛化能力。 此外，团队验证了在基于LSTM的基本模型提供的增强指令上训练的智能体在各种导航任务上表现良好。他们得出结论，通过在预训练和微调过程中将增强数据与原始数据整合，可以提高智能体的泛化能力。 令人惊讶的是，通过将上述分析作为数据增强和智能体训练的指导方针，所提出的VLN模型可以通过简单的模仿学习在R2R测试集上实现80%的成功率，而无需预探索、波束搜索或模型集成，并消除了已知和未知环境之间的导航差距。这一结果相比先前最佳方法（73%）有了巨大的改进，将性能差距缩小到了6个百分点以内，接近人类水平。对于诸如CVDN和REVERIE等几个语言引导的视觉导航挑战，该方法推动了最新技术的发展。即使增强数据是离散的，该方法在连续环境（R2R-CE）中将VLN性能提高了5%的成功率，这是一个更为现实但具有挑战性的场景。

音乐标题生成涉及通过生成给定音乐曲目的自然语言描述来进行音乐信息检索。生成的标题是句子的文本描述，区别于其他音乐语义理解任务，如音乐标记。这些模型通常使用编码器-解码器框架。 关于音乐标题生成的研究有了显著增长。然而，尽管其重要性，研究这些技术的研究人员面临着数据集收集的昂贵和繁琐任务的障碍。此外，可用的音乐-语言数据集数量有限，这也带来了挑战。由于数据集的稀缺性，成功训练音乐标题生成模型并不容易。大型语言模型（LLMs）可能是音乐标题生成的潜在解决方案。LLMs是具有超过十亿个参数的前沿模型，能够在少量或零个示例的情况下处理任务并展现出令人印象深刻的能力。这些模型通过从维基百科、GitHub、聊天记录、医学文章、法律文章、书籍和从互联网爬取的网页等各种来源的大量文本数据进行训练。广泛的训练使它们能够理解和解释各种上下文和领域中的单词。 随后，韩国的一支研究团队开发了一种称为LP-MusicCaps（基于大型语言的伪音乐标题数据集）的方法，通过将LLMs谨慎应用于标记数据集来创建一个音乐标题数据集。他们对大规模音乐标题数据集进行了系统评估，使用了自然语言处理领域中的各种定量评估指标以及人工评估。结果生成了大约220万个与50万个音频剪辑配对的标题。首先，他们提出了一种基于LLM的方法来生成音乐标题数据集LP-MusicCaps。其次，他们提出了一种用于对LLMs生成的音乐标题进行系统评估的方案。第三，他们证明了在LP-MusicCaps上训练的模型在零样本和迁移学习场景中表现良好，证明了使用基于LLM的伪音乐标题的合理性。 研究人员首先从现有的音乐标记数据集中收集多标签标签。这些标签涵盖了音乐的各个方面，如流派、情绪、乐器等。他们仔细构建了任务说明，为音乐曲目生成描述性句子，这些句子作为大型语言模型的输入（提示）。由于其在各种任务中表现出色，他们选择了强大的GPT-3.5 Turbo语言模型来执行音乐标题生成。GPT-3.5 Turbo的训练过程包括一个具有大量数据的初始阶段，并且受益于巨大的计算能力。随后，他们使用增强学习和人类反馈进行微调。这个微调过程旨在提高模型与指令有效交互的能力。 研究人员将基于LLM的标题生成器与基于模板的方法（标签连接、提示模板）和K2C增强进行了比较。在K2C增强的情况下，当指令缺失时，输入标签会被省略在生成的标题中，导致生成的句子可能与歌曲描述无关。另一方面，基于模板的模型表现出更好的性能，因为它从模板中存在的音乐上下文中受益。 他们使用BERT-Score指标评估生成的标题的多样性。这个框架显示出更高的BERT-Score值，生成具有更多样化词汇的标题。这意味着该方法生成的标题提供了更广泛的语言表达和变化，使其更具吸引力和丰富上下文。 随着研究人员不断完善和提升他们的方法，他们也期待利用语言模型的力量来推动音乐标题生成并为音乐信息检索做出贡献。

大规模预训练语言模型（LLM）如OpenAI GPT、Flan-T5和LLaMA极大地推动了自然语言处理（NLP）的快速发展。这些模型在各种NLP应用中表现出色。然而，在微调过程中，由于它们庞大的参数规模，计算效率和内存利用存在问题。 近年来，低秩适应（LoRA）的崛起成为一种有效的调优工具。它通过减少所需的内存和计算量来加快LLM的训练。LoRA通过固定主模型的参数（一个LLM）并学习一个小型的补充模块来实现这一目标，该模块可靠地在指定的任务上表现良好。 LoRA所带来的效率提升一直是以前的研究重点，但LoRA模块的模块化和可组合性却受到了极少关注。必须研究LoRA模块是否可以高效地推广到未知问题。 来自Sea AI Lab、华盛顿大学和Allen Institute for AI的研究人员决定利用LoRA的模块化能力，使其能够灵活应对新的挑战，而不仅仅局限于特定任务的训练。他们的方法的关键优势在于，它允许LoRA模块在没有人为干预或专门知识的情况下自动组装。 该方法可以通过使用以前未识别任务的几个样本自动安排合适的LoRA模块。因为研究人员不假设哪些训练在哪些任务上的LoRA模块可以集成，满足要求的所有模块（例如通过利用相同的LLM）都可以进行合并。他们将这种学习技术称为LoraHub学习，因为它使用了已有的几个不同的LoRA模块。 为了确保其有效性，团队使用行业标准的BBH基准和Flan-T5作为底层LLM来评估他们的方法。结果表明，几次少样本的LoraHub学习过程可以为新任务组合LoRA模块，效果接近少样本、上下文学习。与上下文学习相比，消除了LLM的实例输入需求，从而显著降低了推理成本。该学习技术采用无梯度的方法生成LoRA模块的系数，只需要少量的推理步骤。以单个A100为例，在不到一分钟内，该方法可以在BBH上达到顶级性能。 在LoraHub上的学习仅需要了解如何处理LLM推理。因此，它可以在仅有CPU的计算机上完成。这项工作的灵活性和高性能为创建一个平台铺平了道路，在这个领域里，训练过的LoRA模块可以轻松共享、访问和应用于新的任务。团队希望这样的系统能够允许开发一个具有广泛功能的可重用LoRA模块库。该团队正在努力动态组合LoRA节点，以提高LLM的能力，使其适用于所有人。

大型语言模型（LLMs）是深度学习模型在人类语言上的最新进展。这些深度学习训练模型以人类类似的方式理解和生成文本。这些模型是在从互联网、书籍、文章、网站和其他信息来源中抓取的大量数据集上进行训练的。它们可以翻译语言、总结文本、回答问题，并执行各种自然语言处理任务。 最近，人们对它们生成不受欢迎内容的能力及其带来的后果越来越关注。因此，在这个领域进行了重要的研究。 随后，来自卡内基梅隆大学计算机科学学院（SCS）、CyLab安全与隐私研究所以及旧金山人工智能安全中心的研究人员研究了语言模型中生成不受欢迎行为的方法。在他们的研究中，他们提出了一种新的攻击方法，涉及在各种查询后面添加后缀，从而极大地增加了开源和闭源语言模型（LLMs）生成对它们通常会拒绝的问题的肯定回答的可能性。 在他们的调查中，研究人员成功地将攻击后缀应用于各种语言模型，包括ChatGPT、Bard和Claude等公共接口，以及LLMa-2-Chat、Pythia、Falcon等开源LLMs。因此，攻击后缀有效地在这些语言模型的输出中引发了不受欢迎的内容。 这种方法在Vicuna上的100个实例中成功生成了有害行为中的99个。此外，在Vicuna的输出中，它们与目标有害字符串有88个完全匹配。研究人员还测试了他们的攻击方法对其他语言模型的影响，如GPT-3.5和GPT-4，成功率高达84%。对于PaLM-2，成功率为66%。 研究人员表示，目前，通过引导聊天机器人生成不受欢迎或有害内容可能不会对人们造成特别严重的直接伤害。关注点在于这些模型在没有人员监督的自主系统中将扮演更重要的角色。他们进一步强调，在自主系统变得更加现实时，确保我们有可靠的方法来阻止它们被此类攻击劫持将非常重要。 研究人员表示，他们并没有打算攻击专有的大型语言模型和聊天机器人。但是他们的研究表明，即使我们拥有大量参数的闭源模型，人们仍然可以通过查看免费提供的、更小且更简单的开源模型，并学习如何攻击它们来攻击它。 在他们的研究中，研究人员通过在多个提示和模型上训练攻击后缀，扩展了他们的攻击方法。结果，他们在包括Google Bard和Claud在内的各种公共接口中引发了不受欢迎的内容。攻击还影响了像Llama 2 Chat、Pythia、Falcon等开源语言模型，展示了不受欢迎的行为。 这项研究表明他们的攻击方法具有广泛的适用性，可以影响各种语言模型，包括那些具有公共接口和开源实现的模型。他们进一步强调，目前我们没有一种方法来阻止这种对抗性攻击，因此下一步是找出如何修复这些模型。 查看论文和博客文章。此研究的所有荣誉归功于该项目上的研究人员。此外，别忘了加入我们的27k+ ML SubReddit，40k+ Facebook社群，Discord频道和电子邮件通讯，我们在其中分享最新的人工智能研究新闻、酷炫的人工智能项目等等。 本文摘自MarkTechPost，CMU研究人员提出了一种简单而有效的攻击方法，使对齐的语言模型以高成功率生成不受欢迎的行为。

ChatGPT正成为热门话题，每天有数百万人在使用。凭借其惊人的能力，如问答、生成独特而富有创意的内容、总结海量文本数据、代码补全以及开发非常有用的虚拟助手，ChatGPT使我们的生活更加便捷。ChatGPT由OpenAI开发，基于GPT 3.5（生成式预训练变换器）和GPT 4的变换器架构。GPT 4是由OpenAI发布的最新版本的语言模型，具有多模态性，即它以文本和图像的形式输入，与之前的版本不同。甚至其他大型语言模型（LLM），如PaLM、LLaMA和BERT，也被用于涉及医疗保健、电子商务、金融、教育等各个领域的应用中。 一组研究人员在最近发布的研究论文中强调了类似GPT这样的大型语言模型在复杂任务上表现出色而在简单任务上的困难。研究团队对三个代表性的组合任务进行了实验：多位数相乘、逻辑网格谜题和经典的动态规划问题。这些任务涉及将问题分解为较小的步骤，并将这些步骤组合起来产生准确的解决方案。 为了研究变换器在解决需要多步推理的组合任务方面的限制，作者提出了两个假设。第一个假设是变换器通过将多步推理线性化为路径匹配来完成任务，因此依赖于模式匹配和快捷学习，而不是真正理解和实现开发正确解决方案所需的底层计算规则。这种方法在训练期间可以快速准确地预测相似模式，但无法推广到不常见的复杂示例。第二个假设认为，在尝试解决具有独特模式的高复杂性组合任务时，变换器可能存在固有限制。早期的计算错误可能会传播并导致后续步骤中的严重错误，阻止模型获得正确解决方案。 为了研究这两个假设，作者将组合任务形式化为计算图，以便调查。这些图将解决问题的过程分解为更小、更易管理的子模块化功能步骤，从而实现问题复杂性的结构化度量，并将计算步骤的语言化作为语言模型的输入序列。他们甚至使用信息增益来预测模型可能基于底层任务分布而学习的模式，而无需在图中进行完整的计算。 基于实证结果，作者提出变换器通过将多步推理简化为线性子图匹配来处理组合挑战。他们提供了基于抽象多步推理问题的理论论证，强调随着任务复杂性的增加，变换器的性能迅速下降。这表明模型在处理极度复杂的组合问题方面可能已经受到限制。 总的来说，实证和理论结果表明，与对底层思维过程的深入理解相比，变换器的性能主要受到模式匹配和子图匹配的驱动，这也支持变换器在执行越来越困难的任务时可能遇到困难的观点。

大型语言模型（LLMs）近几个月来引起了大量关注。这些模型通过回答相关问题、生成精确内容、翻译语言、总结长文本段落以及完成代码示例等方式模仿人类。LLMs正在迅速发展，定期推出强大的模型，展示出在代码生成任务中出色的性能。研究人员已经探索了几种技术，包括有监督的微调、指导微调、强化学习等，以提高预训练代码LLMs生成代码的能力。 最近的一项研究中，来自华为云有限公司、中国科学院和北京大学的研究人员团队引入了一种名为RRTF（Rank Responses to align Test&Teacher Feedback）的独特框架，成功而高效地增强了预训练大型语言模型的代码生成能力。RRTF框架旨在提高代码LLMs在代码生成活动中的性能，它使用自然语言LLM对齐技术和评级反馈而不是绝对奖励值。 从人类反馈中进行强化学习的方法，例如使用排名响应作为反馈而不是绝对奖励值的InstructGPT或ChatGPT等模型，为这种新颖方法提供了灵感，该方法将自然语言LLM对齐技术应用于代码LLMs。通过应用RRTF框架，该团队还引入了PanGu-Coder2模型，在OpenAI HumanEval基准测试中，该模型以出色的62.20%的一等通过率位居第一位。 通过在StarCoder 15B上使用该方法，该团队超越了PanGu-Coder并取得了所有记录的代码LLMs中最佳性能，证明了RRTF的实用性。对HumanEval、CoderEval和LeetCode三个基准的全面分析表明，代码LLMs在代码创作任务中可能能够超越相同或更大规模的自然语言模型。该研究还强调了高质量数据在提高模型遵循指令和编写代码能力方面的价值。 该团队总结了以下贡献： 引入了RRTF优化模式，该模式具有许多优点，使其成为一个与模型无关、简单直观和高效的方法。 引入了PanGu-Coder2模型，PanGu-Coder2的性能大幅超越原始模型约30%。HumanEval、CoderEval和LeetCode是一些展示这一显著速度提升的基准。 PanGu-Coder2在代码生成方面超越了所有先前发布的代码LLMs，取得了新的最先进成就。 该团队讨论了他们在构建用于代码生成的良好训练数据方面的想法和实践知识。 使用RRTF框架训练了PanGu-Coder2模型，并提供了有关该过程的有益见解。 除了提高代码生成效率，该团队还提出了PanGu-Coder2使用的优化方法，以保证快速推理。这一领域的发现有助于创建现实部署方案，因为高效的推理对于实际应用至关重要。

每一天都带来了大型语言模型（LLMs）的显著进展，这些模型在文本生成、情感分类、文本分类和零样本分类等各种任务中表现出色。它们的能力超越了这些领域，使内容创作、客户服务和数据分析实现自动化，从而彻底改变了生产力和效率。 最近，研究人员还开始探索使用LLMs进行推理的用途和效用。这些模型可以理解复杂的文本信息，并从中进行逻辑推理。LLMs擅长于问题回答、问题解决和决策制定等任务。然而，LLMs仍然不能像人类一样解决对人类来说很容易的问题，比如在给定环境中生成执行任务的行动计划，或者进行复杂的数学、逻辑和常识推理。LLMs在某些任务上面临困难，因为它们没有像人类那样的内部世界模型。这意味着它们无法预测在特定情况下事物的发展情况，或者模拟行动的长期结果。人类拥有内部世界模型，即对环境的心理表示，使得人类能够模拟行动及其对世界状态的影响，从而在复杂任务中进行有意识的计划。 为了解决这些问题，研究人员设计了一种新的推理框架，即基于规划的推理（RAP）。该框架使用一个库，使LLMs能够使用先进的推理算法进行复杂的推理。该框架将多步推理方法视为规划，并搜索最优推理链，以实现“世界模型”和“奖励”之间的最佳探索与开发平衡。除了RAP论文外，研究团队还提出了LLM推理器。LLM推理器是一个专门为语言模型（LLMs）设计的AI库，通过使用先进的算法，使其具备进行复杂推理的能力。它将多步推理视为规划，搜索最有效的推理链，并使用“世界模型”和“奖励”的概念优化探索和开发之间的平衡。你只需要定义一个奖励函数和（可选地）一个世界模型。LLM推理器负责处理其余的事情，包括推理算法、可视化、LLM调用等等！ 世界模型将部分解决方案视为状态，并将新的行动/思考附加到状态作为状态转换。奖励函数在评估推理步骤的表现好坏方面起着关键作用。其思想是，具有更高累积奖励的推理链更有可能是正确的。 研究人员对该框架进行了广泛的研究。他们将RAP应用于数学推理和逻辑推理等几个具有挑战性的推理问题。这些任务的实际结果表明，RAP优于几种强基准方法。当应用于LLaMA33B时，RAP超越了GPT-4上的CoT，在计划生成方面实现了惊人的33%相对改进。 在推理过程中，LLM通过不断评估最佳推理步骤（行动）巧妙地构建推理树。为此，它使用其世界模型，这与以不同方式使用的相同LLM相同。通过模拟未来结果，LLM估计潜在奖励，并使用此信息更新其对当前推理步骤的信念。通过探索更好的替代方案和改进决策，它改进了推理过程。该框架提供了先进的推理算法，提供直观的可视化和解释，并与任何其他LLM库兼容。 研究人员强调，在对各种具有挑战性的推理问题进行广泛实验后，RAP优于几种基于CoT的当代推理方法。该框架甚至在某些情况下表现优于先进的GPT-4。RAP在设计奖励、状态和行动方面的灵活性展示了其作为灵活的框架处理各种推理任务的潜力。RAP将规划和推理以创新的方式结合在一起，这种方法有可能彻底改变我们对LLM推理的理解方式，为AI系统实现人类级别的战略思考和规划铺平道路。

人类输入是改善社交对话模型的关键策略。在带有人类反馈的强化学习中，当需要许多人类注释来保证令人满意的奖励函数时，学习从反馈中取得了巨大的改进。反馈的来源包括用户对对话转折或对话情节的数字分数、排名或自然语言评论，以及对机器人转折的二元评估。大多数工作有意利用众包工人收集这些信号，因为自然用户可能不愿意被打扰或者如果他们这样做可能提供不准确的信息。 在这项研究中，来自纽约大学和Meta AI的研究人员考虑到他们有很多部署时的对话情节，这些情节展示了模型与真实用户之间的真实讨论。他们试图确定是否可以从这些自然用户讨论中获取任何隐含的指示，并利用这些信号来增强对话模型。这样做有两个原因。首先，尽管他们可能不提供明确的注释，但自然用户最接近未来部署的数据分布。其次，使用先前对话情节中的隐含信号可以节省用于众包的金钱。 图1：方法的总体概述。从人类和机器人之间的对话中获取隐含信号，例如下一个人类转折是否会很长或很短、快乐或不快乐。 更准确地说，他们研究了是否可以调整聊天机器人以使用最佳的隐含反馈信号，如即将到来的人类答案的数量、长度、情感或响应性。他们使用来自BlenderBot在线部署的公开可用的去标识化数据来研究这个问题。使用这些数据，他们训练样本和重新排序模型，比较各种隐含反馈信号。通过自动化和人工判断，他们发现他们的新模型优于基线回复。此外，他们还询问是否支持这些措施会导致不良行为，因为他们的隐含反馈信号是两个生成质量的粗略代理指标。 是的，这取决于使用的信号。特别是，优化更长的讨论长度可能导致模型提出有争议的观点或以敌对或争斗的方式回复。另一方面，优化积极的回应或情绪相对于基线减少了这些行为。他们得出结论，来自人类的隐含反馈是一种有益的训练信号，可以提高整体性能，但所采用的具体动作具有重要的行为影响。

自然语言处理在最近几年取得了显著进展，特别是创建了复杂的语言模型。几乎所有的自然语言任务，包括翻译和推理，在像GPT 3.5、GPT 4、BERT、PaLM等著名模型的性能方面都取得了显著进步。一些基准用于评估和评估人工智能领域中这些发展。基准基本上是一组标准化任务的集合，用于测试语言模型的能力。 考虑到GLUE和SuperGLUE基准，它们是最早的几个语言理解基准，像BERT和GPT-2这样的模型更具挑战性，因为语言模型一直在击败这些基准，引发了模型开发和基准难度之间的竞争。通过使模型变得更大并在更大的数据集上进行训练，可以提高性能。LLMs在各种基准测试中展示了出色的表现，评估了它们的知识和数量推理能力，但是当这些模型在当前标准上得分更高时，很明显这些基准已不再适用于评估模型的能力。 为了解决这些限制，一组研究人员提出了一个新的独特基准，称为ARB（高级推理基准）。ARB旨在传达各种学科领域（如数学、物理、生物学、化学和法律）中更困难的问题。与早期的基准相比，ARB侧重于复杂的推理问题，以提高LLM的性能。该团队还引入了一组数学和物理问题，作为ARB的子集，需要复杂的符号思维和深入的学科知识。这些问题非常困难，超出了当前LLMs的范围。 该团队对ARB基准进行了评估，包括GPT-4和Claude。这些模型在处理这些困难的复杂性方面遇到了困难，这些发现表明它们在ARB中更困难的任务上的表现得分明显低于50%。该团队还演示了一种基于评分表的评估方法，以改进评估过程。通过使用这种策略，GPT-4可以评估自己的中间推理过程，试图解决ARB问题。这扩大了审查过程的范围，并揭示了模型的问题解决策略。 ARB的符号子集也经过了人工审查。人工注释员被要求解决问题并提供自己的评估。人类评估者和GPT-4的基于评分表的评估分数之间存在有希望的一致性，表明模型的自我评估与人类判断相当一致。在需要专业推理的数量领域中，新数据集明显优于以前的基准，其中有数百个问题。 与过去基准中的多项选择题不同，大部分问题由简答和开放式回答组成，这使得LLMs更难进行评估。通过专家级推理任务和更现实的问题格式的结合，可以更准确地评估模型处理复杂的现实问题的能力。

GPT-4是生成式人工智能（AI）技术的一个例子，它将自然语言处理中的多个任务结合成一个单一的序列生成问题。这种统一的架构具有卓越的效率和交互性，使用户能够使用自然语言界面执行各种活动（包括代码生成、数学问题解决和科学出版物的创建）。然而，这种生成式范式也带来了一些特定的困难。由于大型语言模型（LLMs）的限制，自动生成的文本经常显示错误或偏离事实。 LLMs往往会创建出令人信服的信息，但可能需要在事实上更准确或精确。这种限制限制了生成式AI在医疗、金融和法律等高风险行业的使用。因此，必须通过系统地识别这些错误来改进所创建材料的实用性和可靠性。例如，用于质量保证的检索增强验证模型、用于文本摘要的幻觉检测模型以及用于代码的执行评估模型等都是当前文献中关注的检测和减轻机器学习模型产生的事实错误的单一特定任务的例子。 鉴于LLMs处理的活动和领域的非凡灵活性，这些方法已经在各自的领域取得了成功。然而，拥有一个更全面的事实性检测和验证框架同样重要。此外，事实性检测的问题在当前文献中通常被概括为：（i）在给定一个主张的情况下评估一个主张是否事实准确，或者（ii）检测生成的主张是否得到给定证据的支持。 在用户与生成模型（如ChatGPT）进行交互时，他们经常需要评估长篇生成的事实准确性，而不是明确的主张和证据，因此需要更好地匹配这个任务定义。在这项研究中，来自上海交通大学、卡内基梅隆大学、香港城市大学、纽约大学、Meta AI、香港科技大学和上海人工智能实验室的研究人员提供了FACTOOL，这是一个任务和领域无关的框架，用于查找LLM生成的文档中的事实错误。在图1中，他们将“工具使用”和“事实性检测”的概念联系起来，并解释了他们的方法。 图1：带有工具增强的事实性检测框架。 为了获得所创建信息的事实性证据，FACTOOL专门使用多种资源，如Google搜索、Google学术、代码解释器、Python甚至LLMs。此外，他们的方法利用LLMs的批判性思维能力，根据可用数据评估内容的事实性。他们创建了一个基准，并对四个任务进行了实验： 基于知识的质量保证 代码生成 解决数学问题 撰写科学文献综述 他们解决了事实性识别的工作，并扩展了它以实现对最新生成式AI模型的更全面审计。根据他们对使用FACTOOL的现代聊天机器人的事实性分析，GPT-4在几乎所有情况下都具有最高的事实性。基于知识的质量保证测试显示，经过精心调整的聊天机器人（Vicuna-13B）具有可观的事实性。然而，它们在撰写科学文献综述和解答算术问题等更困难的任务上还存在困难。

通过利用大型语言模型（LLM）的HTML理解和多步推理能力，可以解决一些自然语言任务，包括算术、常识、逻辑推理、问答任务、文本生成，甚至是交互式决策任务。在自主网页导航方面，LLM最近在满足给定的自然语言指令时通过一系列计算机动作控制计算机或浏览互联网展现出了出色的成功。然而，预先定义的动作空间的缺失、与模拟器相比更长的HTML观察以及LLM缺乏HTML领域知识都对实际网站上的网页导航产生了负面影响（图1）。 图1：实际网页导航的困难。现代语言模型代理可以探索虚拟网站，在那里他们控制预定义的操作并接收经过简化且易于理解的HTML文本。然而，在导航实际网站时，代理必须处理开放性任务和包含多个与任务无关的组件的较长HTML文本，因此语言模型代理仍然面临困难。 由于指令的复杂性和开放性的实际网站，预先选择正确的动作空间并不容易。尽管有各种研究表明指令微调或从人类输入中进行强化学习可以提高HTML理解和在线导航的准确性，但目前的LLM只有在处理HTML文本方面偶尔具有最佳性能设计。大多数LLM都优先考虑广泛的任务泛化和模型大小可扩展性，通过优先选择较短的上下文持续时间而不是真实网页中的典型HTML令牌，并且不采用过去用于结构化文档的方法，包括文本-XPath对齐和文本-HTML令牌分离。 即使对这样的长文本应用令牌级别的对齐，成本也相对较低。通过在程序空间中对规范的Web操作进行分组，他们提供了WebAgent，这是一个由LLM驱动的自主代理，可以在实际网站上执行导航任务并遵循人类命令。通过将自然语言指令分解为更小的步骤，WebAgent实现了以下功能： 为每个步骤规划子指令。 基于子指令将较长的HTML页面压缩为与任务相关的片段。 在实际网站上执行子指令和HTML片段。 在这项研究中，来自Google DeepMind和东京大学的研究人员结合了两个LLM，创建了WebAgent：最近创建的HTML-T5是一个专业领域的预训练语言模型，用于工作规划和条件HTML摘要生成。Flan-U-PaLM用于基于代码的生成。通过在编码器中包含本地和全局注意力方法，HTML-T5专门用于更好地捕获较长HTML页面的结构语法和语义。它是自我监督的，使用CommonCrawl1创建的大型HTML语料库进行预训练，并结合了长跨度去噪目标。现有的LLM驱动代理通常使用单个LLM完成决策任务，并为每个任务提示各种示例。然而，对于现实世界的任务来说，这是不够的，因为其复杂性超过了模拟器的复杂性。 通过全面的评估，他们的集成策略与插件语言模型相结合，可以提高HTML理解和连接性，并提供更好的泛化能力。全面的研究表明，将任务规划与HTML摘要结合在专门的语言模型中对于任务性能至关重要，可以使实际在线导航的成功率提高50%以上。与声音基准相比，WebAgent在静态网站理解任务中的问答准确性表现优异，并且具有可比较的性能。此外，HTML-T5还作为WebAgent的关键插件，可以独立地在基于Web的任务上产生尖端结果。在MiniWoB++测试中，HTML-T5比天真的局部-全局注意模型及其指令微调变体表现更好，比以前最佳技术提高了14.9%的成功率。 他们主要做出了以下贡献： • 他们提供了WebAgent，该代理结合了两个LLM，用于实际的网络导航。通用语言模型生成可执行程序，而领域专家语言模型处理规划和HTML摘要。 • 通过采用局部-全局注意力和在大规模HTML语料库上进行长跨度去噪预训练的组合，他们提供了HTML-T5，一种新的HTML特定语言模型。 • 在真实的网站中，HTML-T5的成功率显著提高了50%以上，在MiniWoB++中，它超过了之前的LLM代理14.9%。