42 search results for "Vicuna"

大型语言模型（LLMs）最近引起了很大的关注并取得了显著的成功。其中OpenAI的ChatGPT尤为突出。这些模型通过利用大量的互联网数据进行重要的预训练，并通过精确的指导数据进行进一步的微调，实现了各种任务的最新（SOTA）零-shot性能。这种模式在代码的理解和生成中也有所体现。许多代码LLMs已被提出来解决代码相关活动中固有的困难。这些代码LLMs通过使用大量的代码数据进行预训练，使它们能够在与代码相关的各种活动中表现出色。 在代码领域中，与大多数之前的代码LLMs主要侧重于预训练阶段不同，需要对细粒度的指令定制进行更多的研究。为了提高语言模型在各种活动中的泛化能力，首次使用了指令调整。例如，OpenAI的InstructGPT要求人工标注员提供具体的指令以验证与用户目标的符合性。类似于最近的Alpaca，使用ChatGPT通过自我指导方法生成指令数据。Vicuna利用用户在ShareGPT.com上发布的聊天记录。WizardLM建立了Evol-Instruct方法，涉及修改当前的指令数据以生成更复杂和多样化的数据集。 然而，重要的是要注意，这些技术在设计时应该特别考虑到代码领域，而不是主要关注通用领域。受Evol-Instruct方法的启发，微软和香港浸会大学的研究人员在这个项目中打算通过使用特定于代码的Evol-Instruct生成详细的代码指令数据来改进开源代码LLM StarCoder的功能。他们对适用于涉及编码的活动的进化提示过程进行了多方面的修改，以实现这一目标。简化了进化提示，改进了进化指令，并包括了代码调试和时间空间复杂性的限制。他们的方法首先用于开发基本的Code Alpaca指令数据。 接下来，他们使用新开发的代码指令跟随训练集来微调StarCoder并获得他们的WizardCoder。根据包括HumanEval、HumanEval+、MBPP和DS-100在内的四个代码生成基准的实验结果，他们的WizardCoder击败了所有其他开源代码LLM，达到了最先进的（SOTA）性能。他们注意到在HumanEval和HumanEval+上的pass@1得分显著提高，即在HumanEval上增加了22.3（57.3 vs. 35.0），在MBPP上增加了8.2（51.8 vs. 43.6）。令人惊讶的是，尽管规模较小，但他们的WizardCoder在HumanEval和HumanEval+的及格率上甚至超过了Anthropic的Claude和Google的Bard。 以下是本研究的贡献摘要： • 我们提供了WizardCoder，它应用了Code Evol-Instruct来改进开源代码LLM StarCoder的功能。 • WizardCoder在代码生成方面明显优于所有其他开源代码LLM，包括StarCoder、CodeGen、CodeGee、CodeT5+、InstructCodeT5+、StarCoder-GPTeacher和Instruct-Codegen-16B。 • 尽管规模较小，但WizardCoder在代码生成方面超过了主要的闭源LLM，包括Claude、Bard、PaLM、PaLM-2和LaMDA。

最近的语言模型可以将长上下文作为输入；需要了解它们如何更好地使用更长的上下文。能否将LLMs扩展到更长的上下文？这是一个未解答的问题。Abacus AI的研究人员进行了多次实验，涉及不同方案来开发Llama的上下文长度能力，该模型在上下文长度2048上进行了预训练。他们使用IFT将这些模型进行线性缩放，缩放比例为4和16。将模型缩放到16倍可以执行长达16k的上下文长度的任务，甚至可以执行长达20-24k的上下文长度的任务。 扩展上下文长度的不同方法包括线性缩放、通过幂将旋转位置嵌入（RoPE）的傅里叶基缩放、截断傅里叶基和随机化位置向量。Abacus AI的研究人员使用这些方法对RedPajama数据集和Vicuna数据集进行了微调。他们发现线性缩放是稳健的，但会增加模型的上下文长度。截断和随机化具有很高的困惑度分数，但在检索任务上表现较差。 为了评估这些模型，研究人员使用了来自LMSys、开放式问答数据集和WikiQA的数据集。LMSys数据集用于在上下文中定位子字符串。WikiQA任务是根据维基百科文档中给出的信息回答问题的任务。 团队根据Google自然问题中的简短回答格式数据构建了一个QA任务。他们确保输出只是从原始文档中复制粘贴的短词回答。这样可以精确定位LLM应该查找的位置，通过将答案放置在不同位置有效地评估扩展上下文长度的每个部分。他们还创建了多个具有不同大小的相同维基百科文档的版本，这使他们能够在模型大小上进行公平评估。 基于维基百科的数据集的问题是模型从其预训练的文本中回答而不是从上下文中回答。研究人员通过创建一个由只有数字答案的问题组成的改编数据集来解决这个问题。他们改变了答案和文档中响应的每个出现，使得如果LLM从其预训练的文本中回忆起来，模型将错误地回答。他们将原始QA任务命名为自由格式QA（FFQA），将改编任务命名为改编数字QA（AltQA）。 AbacusAI的研究人员在两个版本的QA任务中对每个示例进行了存在准确性评估。存在准确性是衡量生成的解决方案中是否存在答案作为子字符串的准确性。他们观察到IFT的准确性提高并不能给模型能够实现的上下文长度范围带来任何扩展。 研究人员表明，通过缩放上下文进行IFT可以显著提高性能。他们观察到在缩放上下文因子插值的所有位置上，FFQA的性能提高了2倍，AltQA的性能提高了2.5倍。最后，他们的研究工作提出了一个更大上下文的语言模型，它通过更好地捕捉文档的主题更容易地提高困惑度。

大型语言模型（LLMs）是深度学习模型在人类语言上的最新进展。这些深度学习训练模型以人类类似的方式理解和生成文本。这些模型是在从互联网、书籍、文章、网站和其他信息来源中抓取的大量数据集上进行训练的。它们可以翻译语言、总结文本、回答问题，并执行各种自然语言处理任务。 最近，人们对它们生成不受欢迎内容的能力及其带来的后果越来越关注。因此，在这个领域进行了重要的研究。 随后，来自卡内基梅隆大学计算机科学学院（SCS）、CyLab安全与隐私研究所以及旧金山人工智能安全中心的研究人员研究了语言模型中生成不受欢迎行为的方法。在他们的研究中，他们提出了一种新的攻击方法，涉及在各种查询后面添加后缀，从而极大地增加了开源和闭源语言模型（LLMs）生成对它们通常会拒绝的问题的肯定回答的可能性。 在他们的调查中，研究人员成功地将攻击后缀应用于各种语言模型，包括ChatGPT、Bard和Claude等公共接口，以及LLMa-2-Chat、Pythia、Falcon等开源LLMs。因此，攻击后缀有效地在这些语言模型的输出中引发了不受欢迎的内容。 这种方法在Vicuna上的100个实例中成功生成了有害行为中的99个。此外，在Vicuna的输出中，它们与目标有害字符串有88个完全匹配。研究人员还测试了他们的攻击方法对其他语言模型的影响，如GPT-3.5和GPT-4，成功率高达84%。对于PaLM-2，成功率为66%。 研究人员表示，目前，通过引导聊天机器人生成不受欢迎或有害内容可能不会对人们造成特别严重的直接伤害。关注点在于这些模型在没有人员监督的自主系统中将扮演更重要的角色。他们进一步强调，在自主系统变得更加现实时，确保我们有可靠的方法来阻止它们被此类攻击劫持将非常重要。 研究人员表示，他们并没有打算攻击专有的大型语言模型和聊天机器人。但是他们的研究表明，即使我们拥有大量参数的闭源模型，人们仍然可以通过查看免费提供的、更小且更简单的开源模型，并学习如何攻击它们来攻击它。 在他们的研究中，研究人员通过在多个提示和模型上训练攻击后缀，扩展了他们的攻击方法。结果，他们在包括Google Bard和Claud在内的各种公共接口中引发了不受欢迎的内容。攻击还影响了像Llama 2 Chat、Pythia、Falcon等开源语言模型，展示了不受欢迎的行为。 这项研究表明他们的攻击方法具有广泛的适用性，可以影响各种语言模型，包括那些具有公共接口和开源实现的模型。他们进一步强调，目前我们没有一种方法来阻止这种对抗性攻击，因此下一步是找出如何修复这些模型。 查看论文和博客文章。此研究的所有荣誉归功于该项目上的研究人员。此外，别忘了加入我们的27k+ ML SubReddit，40k+ Facebook社群，Discord频道和电子邮件通讯，我们在其中分享最新的人工智能研究新闻、酷炫的人工智能项目等等。 本文摘自MarkTechPost，CMU研究人员提出了一种简单而有效的攻击方法，使对齐的语言模型以高成功率生成不受欢迎的行为。

GPT-4是生成式人工智能（AI）技术的一个例子，它将自然语言处理中的多个任务结合成一个单一的序列生成问题。这种统一的架构具有卓越的效率和交互性，使用户能够使用自然语言界面执行各种活动（包括代码生成、数学问题解决和科学出版物的创建）。然而，这种生成式范式也带来了一些特定的困难。由于大型语言模型（LLMs）的限制，自动生成的文本经常显示错误或偏离事实。 LLMs往往会创建出令人信服的信息，但可能需要在事实上更准确或精确。这种限制限制了生成式AI在医疗、金融和法律等高风险行业的使用。因此，必须通过系统地识别这些错误来改进所创建材料的实用性和可靠性。例如，用于质量保证的检索增强验证模型、用于文本摘要的幻觉检测模型以及用于代码的执行评估模型等都是当前文献中关注的检测和减轻机器学习模型产生的事实错误的单一特定任务的例子。 鉴于LLMs处理的活动和领域的非凡灵活性，这些方法已经在各自的领域取得了成功。然而，拥有一个更全面的事实性检测和验证框架同样重要。此外，事实性检测的问题在当前文献中通常被概括为：（i）在给定一个主张的情况下评估一个主张是否事实准确，或者（ii）检测生成的主张是否得到给定证据的支持。 在用户与生成模型（如ChatGPT）进行交互时，他们经常需要评估长篇生成的事实准确性，而不是明确的主张和证据，因此需要更好地匹配这个任务定义。在这项研究中，来自上海交通大学、卡内基梅隆大学、香港城市大学、纽约大学、Meta AI、香港科技大学和上海人工智能实验室的研究人员提供了FACTOOL，这是一个任务和领域无关的框架，用于查找LLM生成的文档中的事实错误。在图1中，他们将“工具使用”和“事实性检测”的概念联系起来，并解释了他们的方法。 图1：带有工具增强的事实性检测框架。 为了获得所创建信息的事实性证据，FACTOOL专门使用多种资源，如Google搜索、Google学术、代码解释器、Python甚至LLMs。此外，他们的方法利用LLMs的批判性思维能力，根据可用数据评估内容的事实性。他们创建了一个基准，并对四个任务进行了实验： 基于知识的质量保证 代码生成 解决数学问题 撰写科学文献综述 他们解决了事实性识别的工作，并扩展了它以实现对最新生成式AI模型的更全面审计。根据他们对使用FACTOOL的现代聊天机器人的事实性分析，GPT-4在几乎所有情况下都具有最高的事实性。基于知识的质量保证测试显示，经过精心调整的聊天机器人（Vicuna-13B）具有可观的事实性。然而，它们在撰写科学文献综述和解答算术问题等更困难的任务上还存在困难。

在开放领域指令遵循数据上训练LLM的结果是惊人的。然而，手动开发这种类型的指令数据需要时间和精力。此外，人类可能需要帮助创建高度复杂的指令。最近，许多自然语言处理（NLP）社区的努力集中在教导大型语言模型更好地理解和遵循指令。最近的研究表明，LLM也可能从教学中受益。因此，这种数据现在常规用于在开放领域训练和微调LLM。 Evol-Instruct是一种革命性的方法，使用LLM创建不同复杂度的大量指令数据；这是由微软和北京大学的研究人员团队开发的。该团队的WizardLM模型生成的指令在人类评估中得分高于人类创建的指令数据集。 Evol-Instruct流程分为三个阶段： 指令的演化 基于新开发的教育的响应的演化 消除的演化 为了从简单的种子指令生成更复杂的指令，Evol-Instruct可以执行深度演化（涉及五种操作之一：添加约束、加深、具体化、增加推理步骤和复杂化输入）或广度演化（基于给定的指令创建新的指令）。最后一个阶段，消除演化，作为一个过滤器来消除不良指令。 研究人员使用Evol-Instruct生成不同复杂度的指令。然后，他们将所有生成的指令数据合并起来，通过实证研究来微调LLaMA LLM并开发他们的WizardLM模型。WizardLM与ChatGPT、Alpaca和Vicuna等行业标准工具进行了评估。 研究人员主要得出以下结论： Evol-Instruct的指令优于人类开发的ShareGPT。使用相同数量的Evol-Instruct数据（即70k）微调LLaMA 7B时，WizardLM的表现比Vicuna高出12.4%（41.3%对28.9%）。 在面临困难的测试指令时，标注者对WizardLM的结果比对ChatGPT的结果更满意。在测试集上，WizardLM相比ChatGPT输了12.8%，胜率为28.0%对40.8%。然而，在测试集的高难度部分（难度级别8）中，WizardLM相对于ChatGPT的胜率高出7.9个百分点，为42.9%对35.0%。这表明该技术极大地增强了大型语言模型处理复杂指令的能力。 研究的作者通过评估高复杂性组件的人类评估结果，显示WizardLM模型的输出优于OpenAI ChatGPT的输出。结果显示，使用AI演进的指令进行微调是增强大型语言模型的潜在途径，即使WizardLM在某些方面仍落后于ChatGPT。源代码和输出数据都可以在https://github.com/nlpxucan/WizardLM上查看。 研究人员使用以下三个LLM作为起点： OpenAI创建了AI聊天机器人ChatGPT，以使对话变得自然和有趣。它基于从互联网等大量文本数据训练的LLM，如GPT-3.5和GPT-4。在人类训练员的监督下，使用监督学习和强化学习方法对ChatGPT进行微调。 Alpaca是斯坦福大学的一个倡议，旨在创建和传播一种免费的、由社区驱动的遵循指令的范例。该模型使用通过查询OpenAI的text-davinci003模型创建的52K个遵循指令实例开发，并建立在LLaMA 7B上，这是一个经过训练的大型语言模型，使用了多个文本来源。 Vicuna是一个开源聊天机器人，可以为用户提供人性化和有趣的回复。它基于LLaMA 13B，使用了来自ShareGPT的70K个用户共享对话数据进行微调。 研究人员使用ChatGPT来评估每个指令的复杂性和困难度，从而使他们能够更深入地了解指令演化过程。根据LLaMA模型许可，研究人员以增量权重的形式发布[WizardLM]权重。可以通过将增量添加到初始LLaMA权重来获得WizardLM权重。 研究人员使用人工指导评估集将Wizard的输出与人类评估者生成的输出进行比较。在Wizard和控制组之间进行了盲目的成对比较。作者的评估数据收集涵盖了许多以用户为中心的任务，从复杂的代码生成和调试到数学推理，复杂格式的推理，学术写作和广泛的学科。 这些结果表明，Evol-Instruct的AI演化指令方法可以极大地提高LLM性能，并使模型具备处理具有挑战性和复杂指令的能力，例如涉及数学计算、程序开发和逻辑思考的指令。