Tag: Tech News

使用语言模型和检索模型可以轻松解决各种复杂任务。语言模型（如GPT-3）旨在根据接收到的输入生成类似人类的文本。另一方面，检索模型用于从数据库或文档集合中检索相关信息。明确定义要解决的任务，确定任务是否需要生成新文本还是从现有资源中检索数据。 使用GPT-3或类似模型，需要提供描述任务的提示，并让模型基于此生成文本。需要通过实验提示的措辞和结构来获得所需的输出。它涉及将语言模型生成的文本与从数据库中检索到的信息相结合。这可能包括根据检索到的信息生成摘要或洞察。 斯坦福大学的研究人员构建了一个用于使用语言模型（LM）和检索模型（RM）解决高级任务的框架。他们称之为DSPy。 DSPy包含了各种用于提示和微调LM以及改进它们的推理和检索增强的技术。 DSPy基于Pythonic语法，提供了可组合和声明性的模块，用于指导LM的操作。 DSPy还有一个自动编译器，用于训练LM以运行程序中的声明性步骤。这个编译器可以在没有手动中间阶段标签的情况下，从最少的数据中进行微调。它使用可训练的模块化组件的系统空间，而不是字符串操作。 DSPy使用两个简单的概念“签名”和“电视台”来编译您编写的任何程序。签名是DSPy模块的输入/输出行为的声明性规范。相比之下，电视台是功能强大的优化器（包含在DSPy中），它可以学会为任何程序的模块选择有效的提示。 签名包括对子任务的最小描述以及将向LM提问的一个或多个输入问题。它还解释了我们期望从LM获得的问题的答案。电视台是远程自动提示。他们说，与其他方法相比，DSPy需要非常少的标记。它将引导任何需要支持用户流水线的中间标签，其中包括多个复杂步骤。 由于DSPy框架与其他库有很大的区别，因此很容易根据我们的用例来解释何时使用它。研究人员表示，这个统一的框架对于NLP / AI研究人员或正在探索新的流水线或新任务以解决高级和复杂问题的人来说非常有用。为了使它适用于每个人，他们发布了安装用户手册。他们还表示，未来将发布各种入门教程和演示以及参考资料。

大型语言模型（LLMs）因其在各种任务上的出色表现而受到了大量关注。它们的开发方式使它们经常在一些情况下超过监督模型甚至人类。尽管它们的能力令人惊叹，但先前的研究表明，某些功能约束可能会影响它们在实际世界中的实用性。这些模型对提示语言的细微差别、少量示范以及这些示范的组织的敏感性构成了一个重要的性能问题。这种敏感性阻碍了对LLMs能力的客观评估。 在Megagon Labs的最新研究中，一组研究人员对LLMs在处理多项选择题中的鲁棒性进行了研究，这是一种用于测试其推理和事实检索能力的流行任务。调查的主要焦点是LLMs对多项选择测试中选项重新排列的响应。经过深入研究后发现，当选项被改变时，跨多个基准测试的性能差异明显，范围从大约13%到75%不等。 经过深入分析后提出了一个假设，即当LLMs在对预测的前2或前3个选项不确定时，观察到的敏感性会发生。由于问题措辞带来的位置偏见，一些选项的顺序可能有利于这些前选项中的某些预测。在前两个选项中可以看到强调或减弱模型对某些选项放置的倾向的有趣模式。 为了突出偏见，团队采用了一种最佳策略，即将前两个列表中的第一个和最后一个替代方案放在一起以强调偏见。另一方面，为了抵抗偏见，建议将这些选择分散在周围的选项中。进行了一系列研究来验证假设的敏感性。此外，还使用了两种不同的校准技术来改进LLMs的预测。在多个模型和基准测试中看到了高达8个百分点的性能提升，这带来了显着改进。 该研究提出了一些问题，包括敏感性的程度，即LLMs在MCQs选项顺序方面受到多大程度的影响，导致LLMs敏感性的因素以及如何增强LLMs对选项顺序的鲁棒性。使用GPT-4和InstructGPT在五个不同的MCQ基准测试上进行了实验证明第一个问题。在零样本情况下发现了高达75%的敏感性差距。关于第二个问题，数据表明位置偏见是导致LLMs敏感性的原因，因为当LLMs不确定最佳选项时，它们倾向于偏好特定的放置方式。为了回答最后一个问题，研究表明使用两种不同的校准技术可以将LLMs的性能提高高达8个百分点。 总之，这项研究强调了面对LLMs对提示方面和排列方式的敏感性的必要性。通过研究LLMs在多项选择题中对选项重新排序的细微差别，它揭示了LLMs的决策过程，这肯定可以提高LLMs在实际情况下的可用性和可靠性。

假设您希望构建一个自然语言处理（NLP）模型来解决一个给定的问题。您需要定义任务范围，然后找到或创建能够指定预期系统行为的数据，选择适合的模型架构，训练模型，通过评估来评估其性能，然后将其部署供实际使用。研究人员已经通过一行代码使得原型化这种复杂的NLP模型成为可能！ https://arxiv.org/abs/2308.12261 Prompt2Model是一个系统，它保留了使用简单提示指定系统行为的能力，并同时提供了一个可部署的特殊目的模型，保留了所有其优点。上图展示了我们Prompt2Model的工作架构。它实际上是一个自动化的流水线，从用户提示中提取关于任务的所有必要细节，然后收集和组合与任务相关的信息，并使用以下不同的通道进行部署。 数据集检索：给定一个提示，第一个任务是发现现有的手动注释数据，以支持用户的任务描述。 数据集生成：为了支持各种任务，存在一个数据集生成器，根据Prompt解析器解析的用户特定要求生成合成训练数据。Prompt解析器包含具有上下文学习的LLM，用于分段用户提示，使用OpenAI的gpt-3.5-turbo-0613。 模型检索：使用提供的提示，选择一个预训练的语言模型，该模型具有适合用户目标的知识。这个选择的模型作为学生模型，进一步进行微调和评估，使用生成的和检索到的数据。 WebApp：最后，存在一个易于使用的图形用户界面，允许下游用户与训练好的模型进行交互。这个使用Gradio构建的Web应用程序可以轻松地在服务器上公开部署。 总之，Prompt2Model是一个快速构建小而有竞争力的NLP系统的工具。它可以直接用于在几小时内产生优于LLM的任务特定模型，无需手动数据注释或架构。鉴于该模型的可扩展设计，它可以提供一个平台，用于探索模型蒸馏、数据集生成、合成评估、数据集检索和模型检索等新技术。 展望未来，我们可以将Prompt2Model视为促进协作创新的催化剂。通过提出不同的挑战，研究人员旨在在未来在框架的各个组件上促进多样化的实现和改进。

由于大型语言模型（LLMs）的进步，美国的律师和行政人员正在重新评估法律职业。根据其支持者的说法，LLMs可能会改变律师处理短文写作和公司合规等工作的方式。它们可能最终通过提高法律服务的可及性来解决美国长期存在的司法准入困境。这一观点受到了LLMs具有使它们更适合法律工作的独特特性的影响。与手动数据注释相关的支出，这些支出通常增加了法律语言模型的创建成本，将会因模型能够从少量标记数据中学习新工作而减少。 它们也非常适合进行法律的严格研究，包括解读带有大量术语的复杂文本和进行整合多种思维方式的推理过程。然而，法律应用程序经常涉及高风险，这种热情受到了一定程度的抑制。研究表明，LLMs可能会产生冒犯性、欺骗性和事实错误的信息。如果这些行为在法律环境中重复发生，可能会造成严重的损害，历史上受压迫和资源匮乏的人承受了不成比例的压力。因此，由于安全影响，迫切需要建立法律环境下衡量LLMs的基础设施和程序。 然而，希望判断LLMs是否能够运用法律推理的实践者面临着重重障碍。第一个障碍是法律基准的生态系统很小。例如，大多数现有的基准都集中在模型通过调整或训练特定任务数据来学习的任务上。这些标准无法捕捉到激发对法律实践兴趣的LLMs的特征，特别是它们只需简短提示即可完成各种任务的能力。类似地，基准倡议主要集中在专业认证考试（如统一律师资格考试）上，尽管它们并不总是反映LLMs的实际应用。第二个问题是律师和现有标准对“法律推理”的定义之间存在差异。 目前使用的基准广泛将需要法律信息或法律作为评估“法律推理”的工作进行分类。相反，律师们知道“法律推理”这个词是广泛的，包括各种形式的推理。不同的法律责任需要不同的能力和知识体系。由于现有的法律标准需要识别这些差异，因此对法律从业者来说，将当代LLMs的表现置于他们对法律能力的认知中是具有挑战性的。法律行业不使用与法律标准相同的术语或概念框架。鉴于这些限制，他们认为为了严格评估LLMs的法律推理能力，法律界需要更多地参与基准设计过程。 为此，他们介绍了LEGALBENCH，这是创建一个英文跨学科协作法律推理基准的初始阶段。过去一年，这项研究的作者们共同努力构建了162个任务（来自36个不同的数据源），每个任务都测试了特定形式的法律推理。他们借鉴了各自的法律和计算机科学背景。据他们所知，LEGALBENCH是第一个开源的法律基准项目。这种基准设计方法，即专家积极参与并积极参与评估任务的开发，是LLM研究中一种多学科合作的典范。他们还主张，这表明法律从业者在评估和推进法律中的LLMs中必须发挥的关键作用。 他们强调LEGALBENCH作为研究项目的三个方面： 1. LEGALBENCH是使用预先存在的针对少量样本LLM范式进行重新格式化的法律数据集的组合构建的，并且还包括由法律专家生成和提供的手动制作的数据集，这些法律专家也被列为本文的作者。参与此合作的法律专家被邀请提供测试有趣的法律推理能力或在法律中具有实际价值应用的数据集。因此，在LEGALBENCH任务上的良好表现提供了相关数据，律师可以用来确认对LLM法律能力的意见，或者找到能够提高工作流程效率的LLM。 2. LEGALBENCH上的任务被分为详细的分类，概述了完成任务所需的法律推理类型。由于该分类法借鉴了法律界常见的框架，并使用他们已经熟悉的词汇和概念框架，法律专业人员可以积极参与LLM性能的讨论。 3. 最后，LEGALBENCH的设计旨在作为更多研究的平台。对于没有法律培训的人工智能研究人员来说，LEGALBENCH在了解如何促进和评估各种活动方面提供了实质性的帮助。他们还打算通过不断征求和包括法律从业者的工作来扩大LEGALBENCH，因为法律界与LLMs的潜在影响和功能的互动越来越多。 他们在本文中做出了如下贡献： 1. 他们提供了一种根据必要的证明来分类和描述法律义务的分类法。这种分类法基于律师用来解释法律推理的框架。 2. 接下来，他们概述了LEGALBENCH中的活动，概述了它们是如何创建的，重要的异质性维度和约束条件。在附录中，对每个任务都进行了详细的描述。 3. 为了分析来自11个不同家族的20个LLMs在不同规模点上的情况，他们使用LEGALBENCH作为最后一步。他们对几种提示工程策略进行了初步调查，并对各种模型的有效性做出了评价。 这些研究结果最终揭示了LEGALBENCH可能有助于的几个潜在研究课题。他们预计各种社区都会对这个基准感到有趣。从业人员可以使用这些活动来决定是否以及如何将LLMs纳入当前流程以提高客户结果。LLMs能够进行的各种类型的注释以及它们允许的各种类型的实证学术工作可能会引起法学界的兴趣。在法律这样一个特殊的词汇特征和挑战性任务可能会揭示新的见解的领域中，这些模型的成功可能会引起计算机科学家的兴趣。 在继续之前，他们澄清了这项工作的目标不是评估计算技术是否应该取代律师和法律人员，也不是理解这种替代的利弊。相反，他们希望创建工具来帮助受影响的社区和相关利益相关者更好地理解LLMs在某些法律责任上的表现。鉴于这些技术的普及，他们认为解决这个问题对于确保计算法律工具的安全和道德使用至关重要。

在不断发展的软件开发领域中，对高效和高产的编码工具的需求变得日益迫切。开发人员面临着编写强大、有良好文档的代码以及在调试和代码完成的复杂性中航行的挑战。随着代码库变得越来越复杂，解决这些挑战的创新解决方案变得至关重要。传统的编码工具和方法虽然有用，但有时可能无法满足现代软件开发的需求。 现有的编码工具和框架为程序员提供了宝贵的支持，从提供代码建议和完成的集成开发环境（IDE）到基于代码的语言模型（LM），可以根据提示生成代码片段。然而，这些工具在准确性、效率和全面性方面通常存在限制。现代编码任务的复杂性需要更先进的方法，能够理解自然语言指令和复杂的代码逻辑。 请见Code Llama，Meta AI在生成式AI编码方面的突破性进展。通过在代码特定数据集上进一步训练最先进的Llama 2模型开发，Code Llama弥合了自然语言指令和复杂代码生成之间的鸿沟。具有提高生产力和提供编码协助的潜力，Code Llama成为各技能水平开发人员的创世者。 Code Llama是一个多功能工具，具有满足不同编码需求的多个功能。它可以生成代码片段，并提供关于代码的自然语言解释，协助完成代码和帮助调试任务。支持Python、C++、Java等流行的编程语言，Code Llama针对各种编码场景进行了量身定制。 Code Llama的一个突出特点是其能够处理更长的输入序列，使开发人员能够提供更多来自其代码库的上下文。这导致更相关和准确的代码生成，特别适用于在大型代码库中调试复杂问题。 为了评估Code Llama的效果，进行了广泛的基准测试，使用了流行的编码挑战。Code Llama的性能与开源的基于代码的语言模型以及其前身Llama 2进行了比较。结果令人印象深刻，Code Llama的34B版本在HumanEval和Mostly Basic Python Programming (MBPP)等编码基准测试中取得了高分。这些分数超过了现有解决方案，并展示了它在广泛认可的AI模型中的竞争优势。 在编码工具领域，Code Llama以其变革性的工具而脱颖而出，它有潜力重塑开发人员处理任务的方式。通过提供开放和社区驱动的方法，Code Llama鼓励创新并倡导负责任和安全的AI开发实践。…

LLM已经改变了语言处理（NLP）的思考方式，但其评估问题仍然存在。旧的标准最终变得无关紧要，因为LLM可以使用语言数据以人类水平（OpenAI，2023）进行NLU和NLG。 针对像闭书问答（QA）为基础的知识测试、以人为中心的标准化考试、多轮对话、推理和安全评估等领域的新基准的迫切需求，NLP社区提出了新的评估任务和涵盖各种技能的数据集。 然而，这些更新的标准仍然存在以下问题： 任务格式对可评估的能力施加了限制。大多数这些活动使用单轮QA风格，使其不能充分评估LLM的全面性。 操纵基准很简单。在确定模型的有效性时，测试集不被以任何方式破坏至关重要。然而，由于已经训练了如此多的LLM信息，测试用例与训练数据混合的可能性越来越大。 开放型QA目前可用的度量标准是主观的。传统的开放式QA评估包括客观和主观的人工评分。在LLM时代，基于文本段匹配的度量已不再相关。 研究人员目前正在使用基于良好对齐的LLM（如GPT4）的自动评分器来降低人工评分的高成本。虽然LLM对某些特征有偏见，但该方法的最大问题是无法分析超过GPT4级别的模型。 由PTA Studio、宾夕法尼亚州立大学、北京航空航天大学、中山大学、浙江大学和华东师范大学最近进行的研究提出了AgentSims，这是一种用于为LLM策划评估任务的架构，它具有交互式、视觉吸引力和基于编程的特点。AgentSims的主要目标是通过消除研究人员在编程水平差异上可能面临的障碍来促进任务设计过程。 LLM领域的研究人员可以利用AgentSims的可扩展性和可组合性来研究组合多个计划、记忆和学习系统的效果。AgentSims的用户友好界面用于地图生成和代理管理，使其对行为经济学和社会心理学等各个学科的专家都易于使用。这样的用户友好设计对LLM行业的持续增长和发展至关重要。 研究论文称AgentSims比当前的LLM基准更好，当前的基准只测试少数技能，并使用容易解释的测试数据和标准。社会科学家和其他非技术用户可以通过图形界面的菜单和拖放功能快速创建环境和设计任务。通过修改代码的抽象代理、规划、记忆和工具使用类，AI专业人员和开发人员可以尝试各种LLM支持系统。目标驱动的评估可以确定任务的成功率。总之，AgentSims通过基于明确目标的各种社会模拟来促进跨学科社区发展健壮的LLM基准。

大型语言模型（LLMs）最近引起了很大的关注并取得了显著的成功。其中OpenAI的ChatGPT尤为突出。这些模型通过利用大量的互联网数据进行重要的预训练，并通过精确的指导数据进行进一步的微调，实现了各种任务的最新（SOTA）零-shot性能。这种模式在代码的理解和生成中也有所体现。许多代码LLMs已被提出来解决代码相关活动中固有的困难。这些代码LLMs通过使用大量的代码数据进行预训练，使它们能够在与代码相关的各种活动中表现出色。 在代码领域中，与大多数之前的代码LLMs主要侧重于预训练阶段不同，需要对细粒度的指令定制进行更多的研究。为了提高语言模型在各种活动中的泛化能力，首次使用了指令调整。例如，OpenAI的InstructGPT要求人工标注员提供具体的指令以验证与用户目标的符合性。类似于最近的Alpaca，使用ChatGPT通过自我指导方法生成指令数据。Vicuna利用用户在ShareGPT.com上发布的聊天记录。WizardLM建立了Evol-Instruct方法，涉及修改当前的指令数据以生成更复杂和多样化的数据集。 然而，重要的是要注意，这些技术在设计时应该特别考虑到代码领域，而不是主要关注通用领域。受Evol-Instruct方法的启发，微软和香港浸会大学的研究人员在这个项目中打算通过使用特定于代码的Evol-Instruct生成详细的代码指令数据来改进开源代码LLM StarCoder的功能。他们对适用于涉及编码的活动的进化提示过程进行了多方面的修改，以实现这一目标。简化了进化提示，改进了进化指令，并包括了代码调试和时间空间复杂性的限制。他们的方法首先用于开发基本的Code Alpaca指令数据。 接下来，他们使用新开发的代码指令跟随训练集来微调StarCoder并获得他们的WizardCoder。根据包括HumanEval、HumanEval+、MBPP和DS-100在内的四个代码生成基准的实验结果，他们的WizardCoder击败了所有其他开源代码LLM，达到了最先进的（SOTA）性能。他们注意到在HumanEval和HumanEval+上的pass@1得分显著提高，即在HumanEval上增加了22.3（57.3 vs. 35.0），在MBPP上增加了8.2（51.8 vs. 43.6）。令人惊讶的是，尽管规模较小，但他们的WizardCoder在HumanEval和HumanEval+的及格率上甚至超过了Anthropic的Claude和Google的Bard。 以下是本研究的贡献摘要： • 我们提供了WizardCoder，它应用了Code Evol-Instruct来改进开源代码LLM StarCoder的功能。 • WizardCoder在代码生成方面明显优于所有其他开源代码LLM，包括StarCoder、CodeGen、CodeGee、CodeT5+、InstructCodeT5+、StarCoder-GPTeacher和Instruct-Codegen-16B。 • 尽管规模较小，但WizardCoder在代码生成方面超过了主要的闭源LLM，包括Claude、Bard、PaLM、PaLM-2和LaMDA。