Month: September 2023

使用语言模型和检索模型可以轻松解决各种复杂任务。语言模型（如GPT-3）旨在根据接收到的输入生成类似人类的文本。另一方面，检索模型用于从数据库或文档集合中检索相关信息。明确定义要解决的任务，确定任务是否需要生成新文本还是从现有资源中检索数据。 使用GPT-3或类似模型，需要提供描述任务的提示，并让模型基于此生成文本。需要通过实验提示的措辞和结构来获得所需的输出。它涉及将语言模型生成的文本与从数据库中检索到的信息相结合。这可能包括根据检索到的信息生成摘要或洞察。 斯坦福大学的研究人员构建了一个用于使用语言模型（LM）和检索模型（RM）解决高级任务的框架。他们称之为DSPy。 DSPy包含了各种用于提示和微调LM以及改进它们的推理和检索增强的技术。 DSPy基于Pythonic语法，提供了可组合和声明性的模块，用于指导LM的操作。 DSPy还有一个自动编译器，用于训练LM以运行程序中的声明性步骤。这个编译器可以在没有手动中间阶段标签的情况下，从最少的数据中进行微调。它使用可训练的模块化组件的系统空间，而不是字符串操作。 DSPy使用两个简单的概念“签名”和“电视台”来编译您编写的任何程序。签名是DSPy模块的输入/输出行为的声明性规范。相比之下，电视台是功能强大的优化器（包含在DSPy中），它可以学会为任何程序的模块选择有效的提示。 签名包括对子任务的最小描述以及将向LM提问的一个或多个输入问题。它还解释了我们期望从LM获得的问题的答案。电视台是远程自动提示。他们说，与其他方法相比，DSPy需要非常少的标记。它将引导任何需要支持用户流水线的中间标签，其中包括多个复杂步骤。 由于DSPy框架与其他库有很大的区别，因此很容易根据我们的用例来解释何时使用它。研究人员表示，这个统一的框架对于NLP / AI研究人员或正在探索新的流水线或新任务以解决高级和复杂问题的人来说非常有用。为了使它适用于每个人，他们发布了安装用户手册。他们还表示，未来将发布各种入门教程和演示以及参考资料。

大型语言模型（LLMs）因其在各种任务上的出色表现而受到了大量关注。它们的开发方式使它们经常在一些情况下超过监督模型甚至人类。尽管它们的能力令人惊叹，但先前的研究表明，某些功能约束可能会影响它们在实际世界中的实用性。这些模型对提示语言的细微差别、少量示范以及这些示范的组织的敏感性构成了一个重要的性能问题。这种敏感性阻碍了对LLMs能力的客观评估。 在Megagon Labs的最新研究中，一组研究人员对LLMs在处理多项选择题中的鲁棒性进行了研究，这是一种用于测试其推理和事实检索能力的流行任务。调查的主要焦点是LLMs对多项选择测试中选项重新排列的响应。经过深入研究后发现，当选项被改变时，跨多个基准测试的性能差异明显，范围从大约13%到75%不等。 经过深入分析后提出了一个假设，即当LLMs在对预测的前2或前3个选项不确定时，观察到的敏感性会发生。由于问题措辞带来的位置偏见，一些选项的顺序可能有利于这些前选项中的某些预测。在前两个选项中可以看到强调或减弱模型对某些选项放置的倾向的有趣模式。 为了突出偏见，团队采用了一种最佳策略，即将前两个列表中的第一个和最后一个替代方案放在一起以强调偏见。另一方面，为了抵抗偏见，建议将这些选择分散在周围的选项中。进行了一系列研究来验证假设的敏感性。此外，还使用了两种不同的校准技术来改进LLMs的预测。在多个模型和基准测试中看到了高达8个百分点的性能提升，这带来了显着改进。 该研究提出了一些问题，包括敏感性的程度，即LLMs在MCQs选项顺序方面受到多大程度的影响，导致LLMs敏感性的因素以及如何增强LLMs对选项顺序的鲁棒性。使用GPT-4和InstructGPT在五个不同的MCQ基准测试上进行了实验证明第一个问题。在零样本情况下发现了高达75%的敏感性差距。关于第二个问题，数据表明位置偏见是导致LLMs敏感性的原因，因为当LLMs不确定最佳选项时，它们倾向于偏好特定的放置方式。为了回答最后一个问题，研究表明使用两种不同的校准技术可以将LLMs的性能提高高达8个百分点。 总之，这项研究强调了面对LLMs对提示方面和排列方式的敏感性的必要性。通过研究LLMs在多项选择题中对选项重新排序的细微差别，它揭示了LLMs的决策过程，这肯定可以提高LLMs在实际情况下的可用性和可靠性。

假设您希望构建一个自然语言处理（NLP）模型来解决一个给定的问题。您需要定义任务范围，然后找到或创建能够指定预期系统行为的数据，选择适合的模型架构，训练模型，通过评估来评估其性能，然后将其部署供实际使用。研究人员已经通过一行代码使得原型化这种复杂的NLP模型成为可能！ https://arxiv.org/abs/2308.12261 Prompt2Model是一个系统，它保留了使用简单提示指定系统行为的能力，并同时提供了一个可部署的特殊目的模型，保留了所有其优点。上图展示了我们Prompt2Model的工作架构。它实际上是一个自动化的流水线，从用户提示中提取关于任务的所有必要细节，然后收集和组合与任务相关的信息，并使用以下不同的通道进行部署。 数据集检索：给定一个提示，第一个任务是发现现有的手动注释数据，以支持用户的任务描述。 数据集生成：为了支持各种任务，存在一个数据集生成器，根据Prompt解析器解析的用户特定要求生成合成训练数据。Prompt解析器包含具有上下文学习的LLM，用于分段用户提示，使用OpenAI的gpt-3.5-turbo-0613。 模型检索：使用提供的提示，选择一个预训练的语言模型，该模型具有适合用户目标的知识。这个选择的模型作为学生模型，进一步进行微调和评估，使用生成的和检索到的数据。 WebApp：最后，存在一个易于使用的图形用户界面，允许下游用户与训练好的模型进行交互。这个使用Gradio构建的Web应用程序可以轻松地在服务器上公开部署。 总之，Prompt2Model是一个快速构建小而有竞争力的NLP系统的工具。它可以直接用于在几小时内产生优于LLM的任务特定模型，无需手动数据注释或架构。鉴于该模型的可扩展设计，它可以提供一个平台，用于探索模型蒸馏、数据集生成、合成评估、数据集检索和模型检索等新技术。 展望未来，我们可以将Prompt2Model视为促进协作创新的催化剂。通过提出不同的挑战，研究人员旨在在未来在框架的各个组件上促进多样化的实现和改进。

由于大型语言模型（LLMs）的进步，美国的律师和行政人员正在重新评估法律职业。根据其支持者的说法，LLMs可能会改变律师处理短文写作和公司合规等工作的方式。它们可能最终通过提高法律服务的可及性来解决美国长期存在的司法准入困境。这一观点受到了LLMs具有使它们更适合法律工作的独特特性的影响。与手动数据注释相关的支出，这些支出通常增加了法律语言模型的创建成本，将会因模型能够从少量标记数据中学习新工作而减少。 它们也非常适合进行法律的严格研究，包括解读带有大量术语的复杂文本和进行整合多种思维方式的推理过程。然而，法律应用程序经常涉及高风险，这种热情受到了一定程度的抑制。研究表明，LLMs可能会产生冒犯性、欺骗性和事实错误的信息。如果这些行为在法律环境中重复发生，可能会造成严重的损害，历史上受压迫和资源匮乏的人承受了不成比例的压力。因此，由于安全影响，迫切需要建立法律环境下衡量LLMs的基础设施和程序。 然而，希望判断LLMs是否能够运用法律推理的实践者面临着重重障碍。第一个障碍是法律基准的生态系统很小。例如，大多数现有的基准都集中在模型通过调整或训练特定任务数据来学习的任务上。这些标准无法捕捉到激发对法律实践兴趣的LLMs的特征，特别是它们只需简短提示即可完成各种任务的能力。类似地，基准倡议主要集中在专业认证考试（如统一律师资格考试）上，尽管它们并不总是反映LLMs的实际应用。第二个问题是律师和现有标准对“法律推理”的定义之间存在差异。 目前使用的基准广泛将需要法律信息或法律作为评估“法律推理”的工作进行分类。相反，律师们知道“法律推理”这个词是广泛的，包括各种形式的推理。不同的法律责任需要不同的能力和知识体系。由于现有的法律标准需要识别这些差异，因此对法律从业者来说，将当代LLMs的表现置于他们对法律能力的认知中是具有挑战性的。法律行业不使用与法律标准相同的术语或概念框架。鉴于这些限制，他们认为为了严格评估LLMs的法律推理能力，法律界需要更多地参与基准设计过程。 为此，他们介绍了LEGALBENCH，这是创建一个英文跨学科协作法律推理基准的初始阶段。过去一年，这项研究的作者们共同努力构建了162个任务（来自36个不同的数据源），每个任务都测试了特定形式的法律推理。他们借鉴了各自的法律和计算机科学背景。据他们所知，LEGALBENCH是第一个开源的法律基准项目。这种基准设计方法，即专家积极参与并积极参与评估任务的开发，是LLM研究中一种多学科合作的典范。他们还主张，这表明法律从业者在评估和推进法律中的LLMs中必须发挥的关键作用。 他们强调LEGALBENCH作为研究项目的三个方面： 1. LEGALBENCH是使用预先存在的针对少量样本LLM范式进行重新格式化的法律数据集的组合构建的，并且还包括由法律专家生成和提供的手动制作的数据集，这些法律专家也被列为本文的作者。参与此合作的法律专家被邀请提供测试有趣的法律推理能力或在法律中具有实际价值应用的数据集。因此，在LEGALBENCH任务上的良好表现提供了相关数据，律师可以用来确认对LLM法律能力的意见，或者找到能够提高工作流程效率的LLM。 2. LEGALBENCH上的任务被分为详细的分类，概述了完成任务所需的法律推理类型。由于该分类法借鉴了法律界常见的框架，并使用他们已经熟悉的词汇和概念框架，法律专业人员可以积极参与LLM性能的讨论。 3. 最后，LEGALBENCH的设计旨在作为更多研究的平台。对于没有法律培训的人工智能研究人员来说，LEGALBENCH在了解如何促进和评估各种活动方面提供了实质性的帮助。他们还打算通过不断征求和包括法律从业者的工作来扩大LEGALBENCH，因为法律界与LLMs的潜在影响和功能的互动越来越多。 他们在本文中做出了如下贡献： 1. 他们提供了一种根据必要的证明来分类和描述法律义务的分类法。这种分类法基于律师用来解释法律推理的框架。 2. 接下来，他们概述了LEGALBENCH中的活动，概述了它们是如何创建的，重要的异质性维度和约束条件。在附录中，对每个任务都进行了详细的描述。 3. 为了分析来自11个不同家族的20个LLMs在不同规模点上的情况，他们使用LEGALBENCH作为最后一步。他们对几种提示工程策略进行了初步调查，并对各种模型的有效性做出了评价。 这些研究结果最终揭示了LEGALBENCH可能有助于的几个潜在研究课题。他们预计各种社区都会对这个基准感到有趣。从业人员可以使用这些活动来决定是否以及如何将LLMs纳入当前流程以提高客户结果。LLMs能够进行的各种类型的注释以及它们允许的各种类型的实证学术工作可能会引起法学界的兴趣。在法律这样一个特殊的词汇特征和挑战性任务可能会揭示新的见解的领域中，这些模型的成功可能会引起计算机科学家的兴趣。 在继续之前，他们澄清了这项工作的目标不是评估计算技术是否应该取代律师和法律人员，也不是理解这种替代的利弊。相反，他们希望创建工具来帮助受影响的社区和相关利益相关者更好地理解LLMs在某些法律责任上的表现。鉴于这些技术的普及，他们认为解决这个问题对于确保计算法律工具的安全和道德使用至关重要。