7458 search results for "t"

使用语言模型和检索模型可以轻松解决各种复杂任务。语言模型（如GPT-3）旨在根据接收到的输入生成类似人类的文本。另一方面，检索模型用于从数据库或文档集合中检索相关信息。明确定义要解决的任务，确定任务是否需要生成新文本还是从现有资源中检索数据。 使用GPT-3或类似模型，需要提供描述任务的提示，并让模型基于此生成文本。需要通过实验提示的措辞和结构来获得所需的输出。它涉及将语言模型生成的文本与从数据库中检索到的信息相结合。这可能包括根据检索到的信息生成摘要或洞察。 斯坦福大学的研究人员构建了一个用于使用语言模型（LM）和检索模型（RM）解决高级任务的框架。他们称之为DSPy。 DSPy包含了各种用于提示和微调LM以及改进它们的推理和检索增强的技术。 DSPy基于Pythonic语法，提供了可组合和声明性的模块，用于指导LM的操作。 DSPy还有一个自动编译器，用于训练LM以运行程序中的声明性步骤。这个编译器可以在没有手动中间阶段标签的情况下，从最少的数据中进行微调。它使用可训练的模块化组件的系统空间，而不是字符串操作。 DSPy使用两个简单的概念“签名”和“电视台”来编译您编写的任何程序。签名是DSPy模块的输入/输出行为的声明性规范。相比之下，电视台是功能强大的优化器（包含在DSPy中），它可以学会为任何程序的模块选择有效的提示。 签名包括对子任务的最小描述以及将向LM提问的一个或多个输入问题。它还解释了我们期望从LM获得的问题的答案。电视台是远程自动提示。他们说，与其他方法相比，DSPy需要非常少的标记。它将引导任何需要支持用户流水线的中间标签，其中包括多个复杂步骤。 由于DSPy框架与其他库有很大的区别，因此很容易根据我们的用例来解释何时使用它。研究人员表示，这个统一的框架对于NLP / AI研究人员或正在探索新的流水线或新任务以解决高级和复杂问题的人来说非常有用。为了使它适用于每个人，他们发布了安装用户手册。他们还表示，未来将发布各种入门教程和演示以及参考资料。

大型语言模型（LLMs）因其在各种任务上的出色表现而受到了大量关注。它们的开发方式使它们经常在一些情况下超过监督模型甚至人类。尽管它们的能力令人惊叹，但先前的研究表明，某些功能约束可能会影响它们在实际世界中的实用性。这些模型对提示语言的细微差别、少量示范以及这些示范的组织的敏感性构成了一个重要的性能问题。这种敏感性阻碍了对LLMs能力的客观评估。 在Megagon Labs的最新研究中，一组研究人员对LLMs在处理多项选择题中的鲁棒性进行了研究，这是一种用于测试其推理和事实检索能力的流行任务。调查的主要焦点是LLMs对多项选择测试中选项重新排列的响应。经过深入研究后发现，当选项被改变时，跨多个基准测试的性能差异明显，范围从大约13%到75%不等。 经过深入分析后提出了一个假设，即当LLMs在对预测的前2或前3个选项不确定时，观察到的敏感性会发生。由于问题措辞带来的位置偏见，一些选项的顺序可能有利于这些前选项中的某些预测。在前两个选项中可以看到强调或减弱模型对某些选项放置的倾向的有趣模式。 为了突出偏见，团队采用了一种最佳策略，即将前两个列表中的第一个和最后一个替代方案放在一起以强调偏见。另一方面，为了抵抗偏见，建议将这些选择分散在周围的选项中。进行了一系列研究来验证假设的敏感性。此外，还使用了两种不同的校准技术来改进LLMs的预测。在多个模型和基准测试中看到了高达8个百分点的性能提升，这带来了显着改进。 该研究提出了一些问题，包括敏感性的程度，即LLMs在MCQs选项顺序方面受到多大程度的影响，导致LLMs敏感性的因素以及如何增强LLMs对选项顺序的鲁棒性。使用GPT-4和InstructGPT在五个不同的MCQ基准测试上进行了实验证明第一个问题。在零样本情况下发现了高达75%的敏感性差距。关于第二个问题，数据表明位置偏见是导致LLMs敏感性的原因，因为当LLMs不确定最佳选项时，它们倾向于偏好特定的放置方式。为了回答最后一个问题，研究表明使用两种不同的校准技术可以将LLMs的性能提高高达8个百分点。 总之，这项研究强调了面对LLMs对提示方面和排列方式的敏感性的必要性。通过研究LLMs在多项选择题中对选项重新排序的细微差别，它揭示了LLMs的决策过程，这肯定可以提高LLMs在实际情况下的可用性和可靠性。

由于大型语言模型（LLMs）的进步，美国的律师和行政人员正在重新评估法律职业。根据其支持者的说法，LLMs可能会改变律师处理短文写作和公司合规等工作的方式。它们可能最终通过提高法律服务的可及性来解决美国长期存在的司法准入困境。这一观点受到了LLMs具有使它们更适合法律工作的独特特性的影响。与手动数据注释相关的支出，这些支出通常增加了法律语言模型的创建成本，将会因模型能够从少量标记数据中学习新工作而减少。 它们也非常适合进行法律的严格研究，包括解读带有大量术语的复杂文本和进行整合多种思维方式的推理过程。然而，法律应用程序经常涉及高风险，这种热情受到了一定程度的抑制。研究表明，LLMs可能会产生冒犯性、欺骗性和事实错误的信息。如果这些行为在法律环境中重复发生，可能会造成严重的损害，历史上受压迫和资源匮乏的人承受了不成比例的压力。因此，由于安全影响，迫切需要建立法律环境下衡量LLMs的基础设施和程序。 然而，希望判断LLMs是否能够运用法律推理的实践者面临着重重障碍。第一个障碍是法律基准的生态系统很小。例如，大多数现有的基准都集中在模型通过调整或训练特定任务数据来学习的任务上。这些标准无法捕捉到激发对法律实践兴趣的LLMs的特征，特别是它们只需简短提示即可完成各种任务的能力。类似地，基准倡议主要集中在专业认证考试（如统一律师资格考试）上，尽管它们并不总是反映LLMs的实际应用。第二个问题是律师和现有标准对“法律推理”的定义之间存在差异。 目前使用的基准广泛将需要法律信息或法律作为评估“法律推理”的工作进行分类。相反，律师们知道“法律推理”这个词是广泛的，包括各种形式的推理。不同的法律责任需要不同的能力和知识体系。由于现有的法律标准需要识别这些差异，因此对法律从业者来说，将当代LLMs的表现置于他们对法律能力的认知中是具有挑战性的。法律行业不使用与法律标准相同的术语或概念框架。鉴于这些限制，他们认为为了严格评估LLMs的法律推理能力，法律界需要更多地参与基准设计过程。 为此，他们介绍了LEGALBENCH，这是创建一个英文跨学科协作法律推理基准的初始阶段。过去一年，这项研究的作者们共同努力构建了162个任务（来自36个不同的数据源），每个任务都测试了特定形式的法律推理。他们借鉴了各自的法律和计算机科学背景。据他们所知，LEGALBENCH是第一个开源的法律基准项目。这种基准设计方法，即专家积极参与并积极参与评估任务的开发，是LLM研究中一种多学科合作的典范。他们还主张，这表明法律从业者在评估和推进法律中的LLMs中必须发挥的关键作用。 他们强调LEGALBENCH作为研究项目的三个方面： 1. LEGALBENCH是使用预先存在的针对少量样本LLM范式进行重新格式化的法律数据集的组合构建的，并且还包括由法律专家生成和提供的手动制作的数据集，这些法律专家也被列为本文的作者。参与此合作的法律专家被邀请提供测试有趣的法律推理能力或在法律中具有实际价值应用的数据集。因此，在LEGALBENCH任务上的良好表现提供了相关数据，律师可以用来确认对LLM法律能力的意见，或者找到能够提高工作流程效率的LLM。 2. LEGALBENCH上的任务被分为详细的分类，概述了完成任务所需的法律推理类型。由于该分类法借鉴了法律界常见的框架，并使用他们已经熟悉的词汇和概念框架，法律专业人员可以积极参与LLM性能的讨论。 3. 最后，LEGALBENCH的设计旨在作为更多研究的平台。对于没有法律培训的人工智能研究人员来说，LEGALBENCH在了解如何促进和评估各种活动方面提供了实质性的帮助。他们还打算通过不断征求和包括法律从业者的工作来扩大LEGALBENCH，因为法律界与LLMs的潜在影响和功能的互动越来越多。 他们在本文中做出了如下贡献： 1. 他们提供了一种根据必要的证明来分类和描述法律义务的分类法。这种分类法基于律师用来解释法律推理的框架。 2. 接下来，他们概述了LEGALBENCH中的活动，概述了它们是如何创建的，重要的异质性维度和约束条件。在附录中，对每个任务都进行了详细的描述。 3. 为了分析来自11个不同家族的20个LLMs在不同规模点上的情况，他们使用LEGALBENCH作为最后一步。他们对几种提示工程策略进行了初步调查，并对各种模型的有效性做出了评价。 这些研究结果最终揭示了LEGALBENCH可能有助于的几个潜在研究课题。他们预计各种社区都会对这个基准感到有趣。从业人员可以使用这些活动来决定是否以及如何将LLMs纳入当前流程以提高客户结果。LLMs能够进行的各种类型的注释以及它们允许的各种类型的实证学术工作可能会引起法学界的兴趣。在法律这样一个特殊的词汇特征和挑战性任务可能会揭示新的见解的领域中，这些模型的成功可能会引起计算机科学家的兴趣。 在继续之前，他们澄清了这项工作的目标不是评估计算技术是否应该取代律师和法律人员，也不是理解这种替代的利弊。相反，他们希望创建工具来帮助受影响的社区和相关利益相关者更好地理解LLMs在某些法律责任上的表现。鉴于这些技术的普及，他们认为解决这个问题对于确保计算法律工具的安全和道德使用至关重要。

在不断发展的软件开发领域中，对高效和高产的编码工具的需求变得日益迫切。开发人员面临着编写强大、有良好文档的代码以及在调试和代码完成的复杂性中航行的挑战。随着代码库变得越来越复杂，解决这些挑战的创新解决方案变得至关重要。传统的编码工具和方法虽然有用，但有时可能无法满足现代软件开发的需求。 现有的编码工具和框架为程序员提供了宝贵的支持，从提供代码建议和完成的集成开发环境（IDE）到基于代码的语言模型（LM），可以根据提示生成代码片段。然而，这些工具在准确性、效率和全面性方面通常存在限制。现代编码任务的复杂性需要更先进的方法，能够理解自然语言指令和复杂的代码逻辑。 请见Code Llama，Meta AI在生成式AI编码方面的突破性进展。通过在代码特定数据集上进一步训练最先进的Llama 2模型开发，Code Llama弥合了自然语言指令和复杂代码生成之间的鸿沟。具有提高生产力和提供编码协助的潜力，Code Llama成为各技能水平开发人员的创世者。 Code Llama是一个多功能工具，具有满足不同编码需求的多个功能。它可以生成代码片段，并提供关于代码的自然语言解释，协助完成代码和帮助调试任务。支持Python、C++、Java等流行的编程语言，Code Llama针对各种编码场景进行了量身定制。 Code Llama的一个突出特点是其能够处理更长的输入序列，使开发人员能够提供更多来自其代码库的上下文。这导致更相关和准确的代码生成，特别适用于在大型代码库中调试复杂问题。 为了评估Code Llama的效果，进行了广泛的基准测试，使用了流行的编码挑战。Code Llama的性能与开源的基于代码的语言模型以及其前身Llama 2进行了比较。结果令人印象深刻，Code Llama的34B版本在HumanEval和Mostly Basic Python Programming (MBPP)等编码基准测试中取得了高分。这些分数超过了现有解决方案，并展示了它在广泛认可的AI模型中的竞争优势。 在编码工具领域，Code Llama以其变革性的工具而脱颖而出，它有潜力重塑开发人员处理任务的方式。通过提供开放和社区驱动的方法，Code Llama鼓励创新并倡导负责任和安全的AI开发实践。…