Month: July 2023

自然语言处理在最近几年取得了显著进展，特别是创建了复杂的语言模型。几乎所有的自然语言任务，包括翻译和推理，在像GPT 3.5、GPT 4、BERT、PaLM等著名模型的性能方面都取得了显著进步。一些基准用于评估和评估人工智能领域中这些发展。基准基本上是一组标准化任务的集合，用于测试语言模型的能力。 考虑到GLUE和SuperGLUE基准，它们是最早的几个语言理解基准，像BERT和GPT-2这样的模型更具挑战性，因为语言模型一直在击败这些基准，引发了模型开发和基准难度之间的竞争。通过使模型变得更大并在更大的数据集上进行训练，可以提高性能。LLMs在各种基准测试中展示了出色的表现，评估了它们的知识和数量推理能力，但是当这些模型在当前标准上得分更高时，很明显这些基准已不再适用于评估模型的能力。 为了解决这些限制，一组研究人员提出了一个新的独特基准，称为ARB（高级推理基准）。ARB旨在传达各种学科领域（如数学、物理、生物学、化学和法律）中更困难的问题。与早期的基准相比，ARB侧重于复杂的推理问题，以提高LLM的性能。该团队还引入了一组数学和物理问题，作为ARB的子集，需要复杂的符号思维和深入的学科知识。这些问题非常困难，超出了当前LLMs的范围。 该团队对ARB基准进行了评估，包括GPT-4和Claude。这些模型在处理这些困难的复杂性方面遇到了困难，这些发现表明它们在ARB中更困难的任务上的表现得分明显低于50%。该团队还演示了一种基于评分表的评估方法，以改进评估过程。通过使用这种策略，GPT-4可以评估自己的中间推理过程，试图解决ARB问题。这扩大了审查过程的范围，并揭示了模型的问题解决策略。 ARB的符号子集也经过了人工审查。人工注释员被要求解决问题并提供自己的评估。人类评估者和GPT-4的基于评分表的评估分数之间存在有希望的一致性，表明模型的自我评估与人类判断相当一致。在需要专业推理的数量领域中，新数据集明显优于以前的基准，其中有数百个问题。 与过去基准中的多项选择题不同，大部分问题由简答和开放式回答组成，这使得LLMs更难进行评估。通过专家级推理任务和更现实的问题格式的结合，可以更准确地评估模型处理复杂的现实问题的能力。

GPT-4是生成式人工智能（AI）技术的一个例子，它将自然语言处理中的多个任务结合成一个单一的序列生成问题。这种统一的架构具有卓越的效率和交互性，使用户能够使用自然语言界面执行各种活动（包括代码生成、数学问题解决和科学出版物的创建）。然而，这种生成式范式也带来了一些特定的困难。由于大型语言模型（LLMs）的限制，自动生成的文本经常显示错误或偏离事实。 LLMs往往会创建出令人信服的信息，但可能需要在事实上更准确或精确。这种限制限制了生成式AI在医疗、金融和法律等高风险行业的使用。因此，必须通过系统地识别这些错误来改进所创建材料的实用性和可靠性。例如，用于质量保证的检索增强验证模型、用于文本摘要的幻觉检测模型以及用于代码的执行评估模型等都是当前文献中关注的检测和减轻机器学习模型产生的事实错误的单一特定任务的例子。 鉴于LLMs处理的活动和领域的非凡灵活性，这些方法已经在各自的领域取得了成功。然而，拥有一个更全面的事实性检测和验证框架同样重要。此外，事实性检测的问题在当前文献中通常被概括为：（i）在给定一个主张的情况下评估一个主张是否事实准确，或者（ii）检测生成的主张是否得到给定证据的支持。 在用户与生成模型（如ChatGPT）进行交互时，他们经常需要评估长篇生成的事实准确性，而不是明确的主张和证据，因此需要更好地匹配这个任务定义。在这项研究中，来自上海交通大学、卡内基梅隆大学、香港城市大学、纽约大学、Meta AI、香港科技大学和上海人工智能实验室的研究人员提供了FACTOOL，这是一个任务和领域无关的框架，用于查找LLM生成的文档中的事实错误。在图1中，他们将“工具使用”和“事实性检测”的概念联系起来，并解释了他们的方法。 图1：带有工具增强的事实性检测框架。 为了获得所创建信息的事实性证据，FACTOOL专门使用多种资源，如Google搜索、Google学术、代码解释器、Python甚至LLMs。此外，他们的方法利用LLMs的批判性思维能力，根据可用数据评估内容的事实性。他们创建了一个基准，并对四个任务进行了实验： 基于知识的质量保证 代码生成 解决数学问题 撰写科学文献综述 他们解决了事实性识别的工作，并扩展了它以实现对最新生成式AI模型的更全面审计。根据他们对使用FACTOOL的现代聊天机器人的事实性分析，GPT-4在几乎所有情况下都具有最高的事实性。基于知识的质量保证测试显示，经过精心调整的聊天机器人（Vicuna-13B）具有可观的事实性。然而，它们在撰写科学文献综述和解答算术问题等更困难的任务上还存在困难。

通过利用大型语言模型（LLM）的HTML理解和多步推理能力，可以解决一些自然语言任务，包括算术、常识、逻辑推理、问答任务、文本生成，甚至是交互式决策任务。在自主网页导航方面，LLM最近在满足给定的自然语言指令时通过一系列计算机动作控制计算机或浏览互联网展现出了出色的成功。然而，预先定义的动作空间的缺失、与模拟器相比更长的HTML观察以及LLM缺乏HTML领域知识都对实际网站上的网页导航产生了负面影响（图1）。 图1：实际网页导航的困难。现代语言模型代理可以探索虚拟网站，在那里他们控制预定义的操作并接收经过简化且易于理解的HTML文本。然而，在导航实际网站时，代理必须处理开放性任务和包含多个与任务无关的组件的较长HTML文本，因此语言模型代理仍然面临困难。 由于指令的复杂性和开放性的实际网站，预先选择正确的动作空间并不容易。尽管有各种研究表明指令微调或从人类输入中进行强化学习可以提高HTML理解和在线导航的准确性，但目前的LLM只有在处理HTML文本方面偶尔具有最佳性能设计。大多数LLM都优先考虑广泛的任务泛化和模型大小可扩展性，通过优先选择较短的上下文持续时间而不是真实网页中的典型HTML令牌，并且不采用过去用于结构化文档的方法，包括文本-XPath对齐和文本-HTML令牌分离。 即使对这样的长文本应用令牌级别的对齐，成本也相对较低。通过在程序空间中对规范的Web操作进行分组，他们提供了WebAgent，这是一个由LLM驱动的自主代理，可以在实际网站上执行导航任务并遵循人类命令。通过将自然语言指令分解为更小的步骤，WebAgent实现了以下功能： 为每个步骤规划子指令。 基于子指令将较长的HTML页面压缩为与任务相关的片段。 在实际网站上执行子指令和HTML片段。 在这项研究中，来自Google DeepMind和东京大学的研究人员结合了两个LLM，创建了WebAgent：最近创建的HTML-T5是一个专业领域的预训练语言模型，用于工作规划和条件HTML摘要生成。Flan-U-PaLM用于基于代码的生成。通过在编码器中包含本地和全局注意力方法，HTML-T5专门用于更好地捕获较长HTML页面的结构语法和语义。它是自我监督的，使用CommonCrawl1创建的大型HTML语料库进行预训练，并结合了长跨度去噪目标。现有的LLM驱动代理通常使用单个LLM完成决策任务，并为每个任务提示各种示例。然而，对于现实世界的任务来说，这是不够的，因为其复杂性超过了模拟器的复杂性。 通过全面的评估，他们的集成策略与插件语言模型相结合，可以提高HTML理解和连接性，并提供更好的泛化能力。全面的研究表明，将任务规划与HTML摘要结合在专门的语言模型中对于任务性能至关重要，可以使实际在线导航的成功率提高50%以上。与声音基准相比，WebAgent在静态网站理解任务中的问答准确性表现优异，并且具有可比较的性能。此外，HTML-T5还作为WebAgent的关键插件，可以独立地在基于Web的任务上产生尖端结果。在MiniWoB++测试中，HTML-T5比天真的局部-全局注意模型及其指令微调变体表现更好，比以前最佳技术提高了14.9%的成功率。 他们主要做出了以下贡献： • 他们提供了WebAgent，该代理结合了两个LLM，用于实际的网络导航。通用语言模型生成可执行程序，而领域专家语言模型处理规划和HTML摘要。 • 通过采用局部-全局注意力和在大规模HTML语料库上进行长跨度去噪预训练的组合，他们提供了HTML-T5，一种新的HTML特定语言模型。 • 在真实的网站中，HTML-T5的成功率显著提高了50%以上，在MiniWoB++中，它超过了之前的LLM代理14.9%。