308 search results for "NVIDIA"

“` 来自Nvidia和伊利诺伊大学香槟市的研究人员介绍了Retro 48B，这是一个比之前的检索增强模型Retro（7.5B参数）更大的语言模型。 Retro 48B使用广泛的语料库进行了预训练，并提高了困惑度。 InstructRetro中的编码器可以被消除，表明持续的检索增强预训练可以提高解码器在问题回答方面的性能。 检索增强语言模型已经在开放域问题回答中得到验证，无论是在预训练还是推理过程中都受益。他们的方法降低了模型的困惑度，提高了事实准确性，并在精调后的任务性能上进行了增强。与仅有解码器的模型相比，现有的检索增强模型在大小上受到限制，限制了其在指令调整后的零-shot泛化潜力。指令调整对于自然语言理解至关重要，得益于高质量的数据集，如FLAN，OpenAssistant和Dolly，可以在聊天和问答任务中实现更高的性能。 使用检索进行语言模型的预训练，例如Retro，已经显示出降低困惑度和提高事实准确性的潜力。然而，现有的检索增强模型需要更多的参数和训练数据，影响了它们在指令调整和其他大型语言模型典型任务中的性能。他们的研究引入了Retro 48B，这是最大的检索增强模型，继续用额外的令牌进行43B GPT模型的预训练。通过这个过程获得的InstructRetro，在零-shot问题回答方面显著改善，与传统GPT模型相比。当编码器取消时，InstructRetro的解码器实现了类似的结果，证明了检索增强预训练在上下文整合问题回答方面的有效性。 他们的研究探索了一个包括预训练GPT模型来创建Retro 48B、指导其增强零-shot问题回答能力，并在各种任务中评估其性能的广泛过程。研究介绍了一个新颖的48B大小的检索增强语言模型InstructRetro，经过指令调整后，在零-shot问题回答任务中显著优于标准GPT模型。这种扩大规模的方法展示了更大的检索增强模型在自然语言理解方面的潜力。 使用检索进行预训练的Retro 48B语言模型在困惑度上超过了原始GPT模型。经过指令调整后，即InstructRetro，它显著提高了零-shot问题回答的准确性，与GPT对应模型相比，短格式任务上平均提升7%，长格式提升10%。令人惊讶的是，仅仅使用InstructRetro的解码器骨干部分就能够达到类似的结果，表明检索增强的预训练在上下文整合问题回答方面的有效性。 引入InstructRetro 48B，最大的检索增强语言模型，相对于GPT对应模型显著提高了在广泛的开放式QA任务中的零-shot准确性。使用Retro增强方法进行检索预训练提高了困惑度。研究结果表明，在指令调整之前持续进行恢复的预训练为增强GPT解码器在QA中的性能提供了一个有前景的方向。令人惊讶的是，解码器实现了可比较的准确性，展示了与上下文整合相关的预训练的有效性。InstructRetro在长格式QA任务中表现出色，突显了检索增强预训练在挑战性任务中的潜力。 “`

在不断变化的人工智能领域中，开发人员和用户一直面临着一个挑战：大型语言模型需要更多定制且细致的响应。尽管这些模型（如Llama 2）可以生成类似人类的文本，但它们经常需要提供真正符合个别用户独特需求的答案。现有的方法（如监督微调和基于人类反馈的强化学习）存在一定局限性，导致响应可能更加机械和复杂。 NVIDIA研究部门发布了一项突破性技术，名为SteerLM，该技术承诺解决这些挑战。SteerLM提供了一种创新且用户为中心的方法，用于定制大型语言模型的响应，通过允许用户定义指导模型行为的关键属性，从而对输出具有更多控制。 SteerLM通过四步监督微调过程来运作，简化了对大型语言模型的定制。首先，它使用人工标注的数据集训练属性预测模型，评估诸如有益性、幽默和创造力等特征。然后，它利用该模型对多样化的数据集进行注释，增强了语言模型可访问的数据的多样性。接下来，SteerLM使用属性条件的监督微调，训练模型根据指定的属性生成响应，如感知质量。最后，它通过引导式训练对模型进行优化，产生多样化的响应并进行微调以实现最佳对齐。 SteerLM的一个突出特点是其实时可调性，在推理过程中允许用户对属性进行微调，以满足他们的特定需求。这种灵活性为各种潜在应用开辟了道路，从游戏和教育到可访问性。通过SteerLM，公司可以通过单一模型为多个团队提供个性化能力，而无需为每个不同的应用重新构建模型。 SteerLM的简便性和用户友好性在其指标和性能中体现出来。在实验中，SteerLM 43B在Vicuna基准测试中胜过了现有的基于人类反馈的强化学习模型，如ChatGPT-3.5和Llama 30B RLHF。通过提供一个简单的微调过程，几乎不需要对基础设施和代码进行任何改变，SteerLM以更少的麻烦获得了出色的结果，成为人工智能定制领域的一项重大进展。 NVIDIA通过在其NVIDIA NeMo框架中发布SteerLM的开源软件，迈出了推动先进定制民主化的重要一步。开发人员现在有机会访问代码并尝试使用可在Hugging Face等平台上获得的定制13B Llama 2模型进行此技术。对于那些对训练自己的SteerLM模型感兴趣的人，也提供了详细的说明。 随着大型语言模型的不断演进，像SteerLM这样的解决方案的需求变得越来越重要，以便提供不仅智能而且真正有帮助且符合用户价值观的人工智能。借助SteerLM，人工智能社区在追求更加个性化和适应性的人工智能系统的探索中迈出了重要的一步，开启了定制人工智能的新时代。