7264 search results for "2"

语言模型的发展一直以来都是在大模型能够拥有更高性能的前提下进行的。然而，打破这一既定信念，微软研究院的机器学习基础团队的研究人员推出了参数为27亿的全新语言模型Phi-2，这一模型正颠覆着长期主导这一领域的传统扩展规则，挑战了“模型大小决定语言处理能力”的普遍观念。 这项研究打破了关于超卓性能必须依赖更大模型的普遍假设。研究人员将Phi-2引入视为范式转变，超越常规。文章揭示了Phi-2的独特特点以及其开发中采用的创新方法。Phi-2摒弃常规方法，依赖精心策划的高质量训练数据，并利用较小模型的知识传递，对语言模型扩展的既定规则构成了巨大挑战。 Phi-2方法的核心在于两项关键性发现。首先，研究人员强调了训练数据质量的重要作用，使用“教科书级”数据精心设计，使模型获得推理、知识和常识的能力。其次，采用创新技术实现了模型洞察力的高效扩展，从13亿参数的Phi-1.5开始。文章深入探讨了Phi-2的架构，这是一个基于Transformer的模型，以下一个单词预测为目标，在合成和网络数据集上进行训练。令人惊讶的是，尽管规模较小，Phi-2在各种基准测试中超越了更大的模型，突显了其高效性和出色能力。 总之，来自微软研究院的研究人员将Phi-2推崇为语言模型发展中的一股变革力量。这一模型不仅挑战了，而且成功推翻了业界对模型能力与大小本质相关的长期信念。这种范式转变鼓励了新的视角和研究方向，强调了不完全遵循常规扩展规则时所能实现的高效性。Phi-2独特的高质量训练数据和创新的扩展技术，标志着自然语言处理迈向前沿，并为未来带来了新的可能性和更安全的语言模型。 本文首发于Microsoft AI团队推出Phi-2：一个参数为27亿的小型语言模型，展示出卓越的推理和语言理解能力，转载请注明出处。

LLMs可以通过在与代码相关的数据集上进行微调来生成代码片段，包括函数调用。这些模型可以根据提供的输入来提供关于函数调用的建议或生成代码，通过提供上下文或提示来提供关于函数调用的建议或生成代码。语言模型可用于自然语言理解代码相关的查询或指令。开发者可以输入问题或描述，模型可以解释这些内容并提供相关的函数调用或代码段作为答案。 LLMs可以通过根据上下文或部分代码提供的内容提出函数调用或建议相关的函数来协助完成代码。这有助于开发者更快地编写更准确的代码。LLMs可以根据给定的任务或问题描述引导合适的API或过程，以帮助开发者找到其代码中需要调用的正确函数。将LLMs集成到开发环境中可为开发者提供实时协助，指导他们进行函数调用、参数类型或潜在错误的处理。 Nexusflow的研究人员提出了一个开源的LLM模型，NexusRaven-V2。它可以将自然语言指令转换为可使用工具的可执行代码。OpenAI Assistant API是实现协助工具和代理程序使用软件工具的关键。NexusRaven-V2旨在推进合作伙伴和代理程序的开源模型。 在涉及嵌套和复合函数的人工生成用例中，NexusRaven-V2的函数调用成功率比GPT-4高出最多7%。NexusRaven经过了针对Meta的CodeLlama-13 B指令进行的调整。它使用Nexusflow的管道，仅从开源代码语料库中来源，而不使用专有的LLM。对于社区开发者和企业来说，它具有商业上的宽容度。 观察到，在我们的人为策划基准测试中，NexusRaven-V2的函数调用成功率平均比最新的GPT-4模型高出4%。值得注意的是，在4个需要嵌套和复合函数调用的挑战性任务中，NexusRaven-V2表现出比GPT-4更强大的适应性，能够处理开发者对函数描述的差异。 该团队发布了开源的工具，使用户能够无缝替换主流专有的函数调用API，并在其软件工作流程中使用NexusRaven-V2。他们还提供在线的演示和Colab笔记本，用于入门和集成演示。他们公开了评估基准测试Nexus-Function-Calling并建立了一个Huggingface 排行榜，其中包含大量真实的人工策划的函数调用示例，涵盖了各种函数调用用例和难题。 在未来，函数调用LLMs可以受益于教育环境，为学习者提供实时协助，指导他们正确调用函数，从而帮助他们理解编程概念。

大型语言模型（LLMs）是人工智能（AI）和深度学习领域的最新创新。像GPT、PaLM、LLaMa等等这些知名的LLMs在生成内容方面展示了令人难以置信的潜力。从问答和文本摘要到语言翻译和代码补全，这些模型可以做很多事情。包括ChatGPT在内的这些模型都经过了对广阔无监督文本语料库的广泛预训练。然而，最近的研究表明，细调整的常用做法可能并不像之前认为的那样必要。 对齐调整，即改进基本LLMs以用作开放领域AI助手的过程，已被接受为行业标准。这包括人工反馈强化学习（RLHF）和监督微调（SFT）。这一标准在一项名为LIMA的研究中受到了质疑，该研究表明，仅仅使用1000个样本进行SFT可能就足以实现有意义的对齐性能。 LIMA提出的表面对齐假设认为，对齐调整不是根本改变基本LLMs的行为，而是训练它们选择适用于用户参与的特定数据格式。这表明，只需几个样例就可以在监督微调下产生高质量的对齐模型。 由于至今还没有足够的研究为表面对齐理论提供坚实的支持，来自艾伦人工智能研究所和华盛顿大学的研究人员最近在一篇论文中讨论了对齐调整的广泛应用技术，以将基本LLMs转化为实用的开放领域AI助手。通过人工反馈的强化学习完成了偏好调整，并通过监督微调完成了指令学习。 该团队通过检查基本LLMs与其对齐的版本（如Llama-2和Llama-2-chat）之间的令牌分布变化，以研究对齐调整的影响。他们发现基本LLMs和其对齐版本在大多数位置的解码中共享排名靠前的令牌，并表现出几乎相同的性能。对话标记和安全声明是最受分布波动影响的样式令牌的例子。这项研究为假设提供了有说服力的证据，即对齐调整主要集中于融入AI助手的语言风格，而基本LLMs提供了响应用户查询所需的信息。 该团队还针对这些发现提出了一个研究课题：在没有SFT或RLHF的情况下，基本LLMs可以进行多大程度的对齐调整？他们提出了URIAL（未调整的LLMs与重新设计的上下文对齐），这是一种不需要调整的对齐技术。只需三个连续的样式示例和一个系统提示，URIAL通过基本LLMs的上下文学习（ICL）单独完成有效的对齐。 在一系列称为just-eval-instruct的实例中，该团队提供了详细易懂的分析，显示基于URIAL的基本LLMs的性能可以与或优于基于SFT（Mistral-7b-Instruct）或SFT+RLHF（Llama-2-70b-chat）进行对齐的LLMs。结果表明，有意识的提示和上下文学习可以显著缩小无调整与基于调整的对齐策略之间的差距。 总之，评估结果突出了浅层对齐调整，并表明它主要涉及采用语言风格并依赖于基本LLMs的现有知识。

这项研究解决了Claude 2.1功能中的一个固有挑战：其不愿根据其覆盖的200K令牌上下文窗口中的单个句子回答问题的问题。这种犹豫在最大化模型的回忆能力方面构成了一个重大障碍，促使了解决方案的探索。 对当前方法的检查揭示了Claude 2.1在面对有关单个句子的问题时的犹豫，尤其是那些被视为不合适的问题。作为回应，Anthropic的研究人员介绍了一个令人惊讶地有效的解决方案：添加一个提示。他们建议将句子“这是上下文中最相关的句子：”并入提示中。这个看似微小的调整，类似于一个元命令，极大地增强了模型的召回能力。 添加的提示作为指令，指示Claude 2.1优先处理相关的句子。这种方法有效地解决了模型对看似不合适句子问题的犹豫。性能改进通过一个实验证明：在200K上下文窗口评估中，Claude的分数从27%跃升到了令人印象深刻的98%。 值得注意的是，在提供了这个提示后，单个句子查询的准确性出现了显著增加。重要的是，这种对单个句子查询准确性的增加展示了添加提示对Claude 2.1性能的深远影响。这种显著改进表明了解决方案的实际意义，使得模型能够更好地处理在更大上下文中的孤立句子查询。 总之，这个有创意的解决方案解决了Claude 2.1的犹豫，通过添加一个提示增加了召回能力的70%。研究团队的发现提供了关于提示的微妙动态及其对语言模型行为的重大影响的宝贵见解。随着人工智能社区寻求提高大型语言模型的精确性，这一发现成为一个重要的进展，对改进其功能具有实际意义。 这篇文章最初发表于MarkTechPost上，转自最近的Anthropic研究表明，通过单个提示的添加，可以将LLMs的召回能力提高70%：通过战略提示释放Claude 2.1的力量。