“`
来自Nvidia和伊利诺伊大学香槟市的研究人员介绍了Retro 48B，这是一个比之前的检索增强模型Retro（7.5B参数）更大的语言模型。 Retro 48B使用广泛的语料库进行了预训练，并提高了困惑度。 InstructRetro中的编码器可以被消除，表明持续的检索增强预训练可以提高解码器在问题回答方面的性能。
检索增强语言模型已经在开放域问题回答中得到验证，无论是在预训练还是推理过程中都受益。他们的方法降低了模型的困惑度，提高了事实准确性，并在精调后的任务性能上进行了增强。与仅有解码器的模型相比，现有的检索增强模型在大小上受到限制，限制了其在指令调整后的零-shot泛化潜力。指令调整对于自然语言理解至关重要，得益于高质量的数据集，如FLAN，OpenAssistant和Dolly，可以在聊天和问答任务中实现更高的性能。
使用检索进行语言模型的预训练，例如Retro，已经显示出降低困惑度和提高事实准确性的潜力。然而，现有的检索增强模型需要更多的参数和训练数据，影响了它们在指令调整和其他大型语言模型典型任务中的性能。他们的研究引入了Retro 48B，这是最大的检索增强模型，继续用额外的令牌进行43B GPT模型的预训练。通过这个过程获得的InstructRetro，在零-shot问题回答方面显著改善，与传统GPT模型相比。当编码器取消时，InstructRetro的解码器实现了类似的结果，证明了检索增强预训练在上下文整合问题回答方面的有效性。
他们的研究探索了一个包括预训练GPT模型来创建Retro 48B、指导其增强零-shot问题回答能力，并在各种任务中评估其性能的广泛过程。研究介绍了一个新颖的48B大小的检索增强语言模型InstructRetro，经过指令调整后，在零-shot问题回答任务中显著优于标准GPT模型。这种扩大规模的方法展示了更大的检索增强模型在自然语言理解方面的潜力。
使用检索进行预训练的Retro 48B语言模型在困惑度上超过了原始GPT模型。经过指令调整后，即InstructRetro，它显著提高了零-shot问题回答的准确性，与GPT对应模型相比，短格式任务上平均提升7%，长格式提升10%。令人惊讶的是，仅仅使用InstructRetro的解码器骨干部分就能够达到类似的结果，表明检索增强的预训练在上下文整合问题回答方面的有效性。
引入InstructRetro 48B，最大的检索增强语言模型，相对于GPT对应模型显著提高了在广泛的开放式QA任务中的零-shot准确性。使用Retro增强方法进行检索预训练提高了困惑度。研究结果表明，在指令调整之前持续进行恢复的预训练为增强GPT解码器在QA中的性能提供了一个有前景的方向。令人惊讶的是，解码器实现了可比较的准确性，展示了与上下文整合相关的预训练的有效性。InstructRetro在长格式QA任务中表现出色，突显了检索增强预训练在挑战性任务中的潜力。
“`