Tag: Artificial intelligence

“`html 在我们当代世界中，人工智能（AI）的整合深刻地改变了人类的互动方式。大型语言模型（LLMs）的出现，比如ChatGPT，引发了明显的转变，模糊了像人类一样的认知能力和自动化回应之间的界限。来自伦敦帝国理工学院和Eleuther AI研究团队的最新一篇论文从语言的角度阐述了我们在这个不断演化的AI智能领域中需要重新评估的必要性。 AI聊天机器人的吸引力在于它们惊人的能力模拟与有意识的个体进行对话，而不仅仅是机械算法。然而，这种模拟人类互动的能力引发了人们对个人易于形成情感联系的担忧，可能导致风险和漏洞。研究人员强调了我们重新校准对这些LLMs的语言和观念的必要性。 问题的本质在于人类固有的社交和移情倾向，这促使人们与展现出人类属性的实体进行互动。然而，这种倾向使人易受恶意行为者的利用，后者可能滥用LLMs进行欺诈活动或宣传。团队警告我们不要将“理解”、“思考”或“感觉”等人类属性归因于LLMs，因为这会无意中使它们拟人化，并产生需要保护的脆弱性。 该论文提出了缓解对AI聊天机器人过度情感依附或依赖的风险的策略。它主张从两个基本隐喻出发改变我们的看法。首先，将AI聊天机器人视为扮演独立角色的演员能简化用户理解。其次，将它们视为在广泛的潜在角色中扮演各种角色的策划者能提供更复杂、技术化的视角。研究人员强调了灵活性的重要性，敦促在这些不同隐喻之间无缝过渡，以促进全面理解。 团队强调人们与AI聊天机器人互动的态度极大地塑造了他们的观念和脆弱性。接纳多样的观点能更全面地把握这些系统固有的能力。 对语言的彻底改变的必要性超越了语义上的变化；它需要认知范式的根本转变。如研究人员所描述的，理解这些“异域的类人智能体”需要摆脱传统的拟人主义。反而，它需要一种灵活的思维方式，能够在简化和复杂化的AI聊天机器人概念之间流畅地切换。 总之，该论文强调了在不断演变的AI嵌入式互动环境中，语言适应和认知灵活性的重要性。随着技术的进步，重新塑造围绕AI聊天机器人的讨论变得尤为必要。通过重新校准语言并接纳多样的观点，个体可以在利用这些智能系统的潜力的同时减轻内在风险，从而促进人类认知和AI智能之间的和谐关系。 “`

多功能调用任务在使用LLMs时可能会变慢且不准确。为了解决这个问题，来自UC Berkeley、ICSI和LBNL的研究人员开发了LLMCompiler，这是一个旨在提高LLMs在此类任务中的效率和准确性的框架。LLMCompiler通过其组件：LLM Planner、任务获取单元和执行器，实现了函数调用的并行执行。 LLMCompiler是一个使LLMs能够进行并行函数调用的框架，提高了多功能任务的效率和准确性。由LLM Planner、任务获取单元和执行器组成的LLMCompiler，在基准测试中优于ReAct和OpenAI的并行函数调用功能，显示出一致的延迟加速和准确性改进。兼容开源模型如LLaMA-2和OpenAI的GPT模型，LLMCompiler解决了LLM的局限性，如知识截断和算术技能，为执行函数调用提供了优化的解决方案。该框架是开源的，便于进一步的研究和开发。 最近LLM的进展将其能力扩展到执行函数调用，克服了其固有的限制。由LLM Planner、任务获取单元和执行器组成的LLMCompiler优化了函数调用的编排。基准测试结果表明，与ReAct和OpenAI的并行函数调用相比，延迟、成本和准确性都有持续的提升。 LLMCompiler是一个用于LLMs中并行函数调用的框架，包括LLM Planner、任务获取单元和执行器。LLM Planner制定执行策略，任务获取单元调度和更新任务，执行器并行执行任务。兼容开源模型如LLaMA-2和OpenAI的GPT，LLMCompiler比ReAct具有延迟加速、成本节约和准确性改进。支持动态重新计划以实现自适应执行，该开源框架提供了在LLMs中高效编排多功能调用任务的解决方案。 在各种任务上进行基准测试，包括复杂的依赖关系和动态重新计划需求，LLMCompiler始终优于ReAct，在延迟加速上可达到3.7倍，节约成本可达6.7倍，准确性提高9%。在24点游戏基准测试中，LLMCompiler与Tree-of-Thoughts相比，实现了2倍的加速，并且在与OpenAI的并行函数调用功能相比时取得了高达1.35倍的延迟增益。开源代码便于进一步的探索和开发。 总之，LLMCompiler是一个有前景的框架，可以显著提高LLMs中并行函数调用的效率、成本和准确性。它胜过现有的解决方案，并有潜力在使用LLMs进行大规模任务的软件开发中提供高效和准确的执行。其开源性使开发人员能够利用其优势。 在研究LLMs的操作系统视角时，应进一步探索LLMCompiler。这可能会推动基于LLMs的大规模软件开发的进展。建议在考虑规划和执行延迟时，与ReAct相比，调查使用LLMCompiler能够实现的加速效果。在LLMs中引入并行函数调用，对于高效执行复杂任务具有潜力。LLMCompiler的持续开发和探索可以为基于LLMs的软件的发展做出贡献。

LLMs可以通过在与代码相关的数据集上进行微调来生成代码片段，包括函数调用。这些模型可以根据提供的输入来提供关于函数调用的建议或生成代码，通过提供上下文或提示来提供关于函数调用的建议或生成代码。语言模型可用于自然语言理解代码相关的查询或指令。开发者可以输入问题或描述，模型可以解释这些内容并提供相关的函数调用或代码段作为答案。 LLMs可以通过根据上下文或部分代码提供的内容提出函数调用或建议相关的函数来协助完成代码。这有助于开发者更快地编写更准确的代码。LLMs可以根据给定的任务或问题描述引导合适的API或过程，以帮助开发者找到其代码中需要调用的正确函数。将LLMs集成到开发环境中可为开发者提供实时协助，指导他们进行函数调用、参数类型或潜在错误的处理。 Nexusflow的研究人员提出了一个开源的LLM模型，NexusRaven-V2。它可以将自然语言指令转换为可使用工具的可执行代码。OpenAI Assistant API是实现协助工具和代理程序使用软件工具的关键。NexusRaven-V2旨在推进合作伙伴和代理程序的开源模型。 在涉及嵌套和复合函数的人工生成用例中，NexusRaven-V2的函数调用成功率比GPT-4高出最多7%。NexusRaven经过了针对Meta的CodeLlama-13 B指令进行的调整。它使用Nexusflow的管道，仅从开源代码语料库中来源，而不使用专有的LLM。对于社区开发者和企业来说，它具有商业上的宽容度。 观察到，在我们的人为策划基准测试中，NexusRaven-V2的函数调用成功率平均比最新的GPT-4模型高出4%。值得注意的是，在4个需要嵌套和复合函数调用的挑战性任务中，NexusRaven-V2表现出比GPT-4更强大的适应性，能够处理开发者对函数描述的差异。 该团队发布了开源的工具，使用户能够无缝替换主流专有的函数调用API，并在其软件工作流程中使用NexusRaven-V2。他们还提供在线的演示和Colab笔记本，用于入门和集成演示。他们公开了评估基准测试Nexus-Function-Calling并建立了一个Huggingface 排行榜，其中包含大量真实的人工策划的函数调用示例，涵盖了各种函数调用用例和难题。 在未来，函数调用LLMs可以受益于教育环境，为学习者提供实时协助，指导他们正确调用函数，从而帮助他们理解编程概念。

来自Google DeepMind、斯坦福大学和加州大学伯克利分校的研究人员开发了一个名为Code Chain的代码链，旨在解决提高语言模型的代码驱动推理能力的问题。Code Chain鼓励将语义子任务以灵活的伪代码格式化为程序，解释器可以明确捕捉到未定义行为，并交给模拟器（作为“LMulator”）来模拟。Code Chain在使用大型和小型模型时都具有良好的扩展性，并通过以编码思维回答问题来扩大语言模型能够正确回答的推理问题的范围。 类似于Chain of Thought、least-to-most和ScratchPad等工作利用提示来改善推理，通过将任务分解为中间步骤或跟踪中间结果来进行。在Github上训练的语言模型被提示编写和执行代码，这有助于解决涉及数字或符号推理的复杂问题。 为了解决给定的问题，Code Chain在代码结构中生成推理子步骤。这段代码提供了推理的框架，可以是明确的代码、伪代码或自然语言形式。Code Chain通过将代码的优点与语言模型的强大语义和常识知识相结合，使代码在全新的领域中得以使用，可以轻松表达在代码中难以表达的规则（例如，哪些食物是水果？）。 Code Chain的核心贡献不仅仅是生成推理代码，而是如何执行它。代码编写完毕后，尝试通过代码解释器执行代码-在这项研究中，研究人员考虑了Python，但这种方法对任何解释器都是通用的。如果代码成功执行，则更新程序状态并继续执行。如果代码无法执行或引发任何异常，则使用语言模型来模拟执行。语言模型的输出更新程序状态，并继续执行。 Code Chain方法的整体性能优于其他方法，在超过的任务数量和整体超过基准线的数量上超过人类基准线。Code Chain在几项研究中取得了最新成果。与Chain of Thought提示相似，随着模型大小的增加，性能有所提高。跨任务提示导致所有方法的性能下降，但Code Chain在大规模上仍然优于Chain of Thought和直接提示，接近人类的平均性能。 Code Chain是通过编写代码和使用解释器执行代码或使用模拟执行的语言模型，以在语言模型中进行推理的方法。Code Chain可以利用规则的表达结构和强大的工具。此外，通过模拟非可执行代码的执行，Code Chain可以应用于正常情况下不涉及代码的问题（例如，语义推理问题）。

随着人工智能的不断发展，自然语言处理、自然语言生成和计算机视觉这些领域最近取得了巨大的流行，这都要归功于大型语言模型的引入。扩散模型在生成文本到语音合成（TTS）方面已经证明非常成功，显示出了很高的生成质量。然而，它们的先验分布受限于引入噪声并对所需生成目标提供很少信息的表示形式。 最近的研究中，清华大学和微软亚洲研究院的研究人员团队介绍了一种名为Bridge-TTS的新的文本到语音系统。这是首次尝试在已建立的扩散式TTS方法中利用干净可预测的替代方法替代噪声高斯先验。该替代先验提供了有关目标的强结构信息，并从文本输入提取的潜在表示中获取。 该团队表示，主要贡献在于开发出了一个完全可管理的薛定谔桥，它连接了真实的梅尔谱图和干净的先验。建议的Bridge-TTS使用的是一种数据到数据的过程，这比起扩散模型的数据到噪声过程改善了先前分布的信息内容。 该团队已经对这种方法进行了评估，并在LJ-Speech数据集上进行了实验验证，评估结果突出显示了建议方法的有效性。在50步骤/1000步骤合成设置中，Bridge-TTS表现出比扩散对应方法Grad-TTS更好的性能。它甚至在少量步骤的情况下比强大且快速的TTS模型表现更好。Bridge-TTS方法的主要优势在于合成质量和采样效率。 该团队总结了主要贡献如下。 从无污染的文本潜在表示中产生了梅尔谱图。与传统的数据到噪声过程不同，这个作为扩散模型上下文中的条件信息的表示形式被设计成无噪声。薛定谔桥被用来研究数据到数据的过程。 针对配对数据，提出了一个完全可计算的薛定谔桥。这个桥使用柔性形式的参考随机微分方程（SDE）。这种方法允许对设计空间进行实证调查，并提供了一个理论解释。 研究了采样技术、模型参数化和噪声调度如何对改善TTS质量发挥作用。还实现了不对称噪声调度、数据预测和一阶桥采样器。 完全可计算的薛定谔桥使得对底层过程的完整理论解释成为可能。通过实证研究，我们可以了解到不同因素如何影响TTS的质量，包括不对称噪声调度、模型参数化决策和采样过程的效率。 该方法在推理速度和生成质量方面取得了很好的结果。在1000步和50步的生成情况下，它明显优于基于扩散的Grad-TTS。它在4步生成中也优于FastGrad-TTS，优于基于transformer的模型FastSpeech 2和最先进的蒸馏方法CoMoSpeech在2步生成中。 该方法仅经过一次训练就取得了出色的结果。这种效率在创作过程的多个阶段都可见，展示了建议方法的可靠性和效力。

大型语言模型（LLMs）是人工智能（AI）和深度学习领域的最新创新。像GPT、PaLM、LLaMa等等这些知名的LLMs在生成内容方面展示了令人难以置信的潜力。从问答和文本摘要到语言翻译和代码补全，这些模型可以做很多事情。包括ChatGPT在内的这些模型都经过了对广阔无监督文本语料库的广泛预训练。然而，最近的研究表明，细调整的常用做法可能并不像之前认为的那样必要。 对齐调整，即改进基本LLMs以用作开放领域AI助手的过程，已被接受为行业标准。这包括人工反馈强化学习（RLHF）和监督微调（SFT）。这一标准在一项名为LIMA的研究中受到了质疑，该研究表明，仅仅使用1000个样本进行SFT可能就足以实现有意义的对齐性能。 LIMA提出的表面对齐假设认为，对齐调整不是根本改变基本LLMs的行为，而是训练它们选择适用于用户参与的特定数据格式。这表明，只需几个样例就可以在监督微调下产生高质量的对齐模型。 由于至今还没有足够的研究为表面对齐理论提供坚实的支持，来自艾伦人工智能研究所和华盛顿大学的研究人员最近在一篇论文中讨论了对齐调整的广泛应用技术，以将基本LLMs转化为实用的开放领域AI助手。通过人工反馈的强化学习完成了偏好调整，并通过监督微调完成了指令学习。 该团队通过检查基本LLMs与其对齐的版本（如Llama-2和Llama-2-chat）之间的令牌分布变化，以研究对齐调整的影响。他们发现基本LLMs和其对齐版本在大多数位置的解码中共享排名靠前的令牌，并表现出几乎相同的性能。对话标记和安全声明是最受分布波动影响的样式令牌的例子。这项研究为假设提供了有说服力的证据，即对齐调整主要集中于融入AI助手的语言风格，而基本LLMs提供了响应用户查询所需的信息。 该团队还针对这些发现提出了一个研究课题：在没有SFT或RLHF的情况下，基本LLMs可以进行多大程度的对齐调整？他们提出了URIAL（未调整的LLMs与重新设计的上下文对齐），这是一种不需要调整的对齐技术。只需三个连续的样式示例和一个系统提示，URIAL通过基本LLMs的上下文学习（ICL）单独完成有效的对齐。 在一系列称为just-eval-instruct的实例中，该团队提供了详细易懂的分析，显示基于URIAL的基本LLMs的性能可以与或优于基于SFT（Mistral-7b-Instruct）或SFT+RLHF（Llama-2-70b-chat）进行对齐的LLMs。结果表明，有意识的提示和上下文学习可以显著缩小无调整与基于调整的对齐策略之间的差距。 总之，评估结果突出了浅层对齐调整，并表明它主要涉及采用语言风格并依赖于基本LLMs的现有知识。

这项研究解决了Claude 2.1功能中的一个固有挑战：其不愿根据其覆盖的200K令牌上下文窗口中的单个句子回答问题的问题。这种犹豫在最大化模型的回忆能力方面构成了一个重大障碍，促使了解决方案的探索。 对当前方法的检查揭示了Claude 2.1在面对有关单个句子的问题时的犹豫，尤其是那些被视为不合适的问题。作为回应，Anthropic的研究人员介绍了一个令人惊讶地有效的解决方案：添加一个提示。他们建议将句子“这是上下文中最相关的句子：”并入提示中。这个看似微小的调整，类似于一个元命令，极大地增强了模型的召回能力。 添加的提示作为指令，指示Claude 2.1优先处理相关的句子。这种方法有效地解决了模型对看似不合适句子问题的犹豫。性能改进通过一个实验证明：在200K上下文窗口评估中，Claude的分数从27%跃升到了令人印象深刻的98%。 值得注意的是，在提供了这个提示后，单个句子查询的准确性出现了显著增加。重要的是，这种对单个句子查询准确性的增加展示了添加提示对Claude 2.1性能的深远影响。这种显著改进表明了解决方案的实际意义，使得模型能够更好地处理在更大上下文中的孤立句子查询。 总之，这个有创意的解决方案解决了Claude 2.1的犹豫，通过添加一个提示增加了召回能力的70%。研究团队的发现提供了关于提示的微妙动态及其对语言模型行为的重大影响的宝贵见解。随着人工智能社区寻求提高大型语言模型的精确性，这一发现成为一个重要的进展，对改进其功能具有实际意义。 这篇文章最初发表于MarkTechPost上，转自最近的Anthropic研究表明，通过单个提示的添加，可以将LLMs的召回能力提高70%：通过战略提示释放Claude 2.1的力量。

伊利诺伊大学厄巴纳香槟分校和清华大学的研究团队旨在通过引入Magicoder来解决从开源代码片段生成低偏差、高质量编码挑战的难题。Magicoder在各种编码基准测试中表现优于现有的语言模型，包括Python文本转代码生成、多语言编码和数据科学程序语言模型。 CodeGen、CodeT5、StarCoder和CODELLAMA等知名基础模型已经证明了语言模型在代码生成和理解方面的基本能力。指令微调的提出旨在通过使用指令-响应对来对预训练的语言模型进行微调，SELF-INSTRUCT和Evol-Instruct等方法则用于生成指令微调的合成数据。现有的代码基准测试，如HumanEval、MBPP、APPS和CodeContests，评估语言模型在从自然语言描述中开发单功能程序方面的能力。 Magicoder是一系列完全开源的用于代码的语言模型，使用OSS-INSTRUCT方法在75,000个合成指令数据上进行训练，该方法使用开源代码片段启发语言模型生成高质量的代码指令数据。该方法通过从GitHub获取种子代码片段，促使语言模型生成与种子代码相关的编码问题和解决方案，确保多样性和真实世界的相关性。评估使用HumanEval和MBPP等基准测试，重点关注pass1指标。使用INSTRUCTOR根据嵌入相似性对由OSS-INSTRUCT生成的数据进行分类。为了提高鲁棒性，采用了数据清洗技术，包括净化和提示过滤。 Magicoder以不超过70亿的适度参数量展现了与顶级代码模型竞争性能。使用OSS-INSTRUCT在75,000个合成指令数据上进行训练，Magicoder在Python文本转代码生成、多语言编码和数据科学程序语言建模方面超越了先进的代码模型。增强版MagicoderS进一步改进了代码生成性能，在各种基准测试中超过了类似或更大尺寸的其他模型。 MagicoderS-CL-7B在代码模型中同时实现了前沿结果，展示了强大和优越的代码生成能力。 总之，该研究突出了使用OSS-INSTRUCT的有效性，该方法利用语言模型从开源代码片段中生成编码挑战。经过OSS-INSTRUCT训练的Magicoder在不同的编码基准测试中比其他参数更大的语言模型表现更好。此外，当与Evol-Instruct结合时，它还增强了MagicoderS模型，在HumanEval基准测试中表现出与ChatGPT等领先模型相似的令人印象深刻的性能。该研究建议公开模型权重、训练数据和源代码，以支持未来对于代码的语言模型和扩展OSS-INSTRUCT到更大的基础模型以生成更高质量数据的研究工作。