针对大型语言模型（LLMs）在获取较少常见知识和广泛预训练的高计算成本方面的局限性，Meta的研究人员介绍了检索增强的双重指令调整（RA-DIT）。RA-DIT是一种轻量级的微调方法，旨在为任何LLM提供高效的检索能力。它通过两个不同的微调阶段运作，每个阶段都能显著提升性能。通过优化LM对检索信息的利用和检索器的内容相关性，RA-DIT提供了一个有潜力增强LLMs检索能力的解决方案。
RA-DIT提供了一种轻量级的两阶段微调方法，以增强LLMs的检索能力。它优化LLMs更好地利用检索信息，并改进检索器提供LLMs优先的更相关结果。RA-DIT在知识密集型的零样本和少样本学习基准测试中表现优于现有的检索增强模型，展示了其在将外部知识纳入LLMs以提升性能方面的优越性。
研究人员引入RA-DIT，为LLMs赋予检索能力。RA-DIT包括两个关键的微调阶段：首先，增强预训练LLMs对检索信息的利用，其次，改进检索器以提供LLMs更具上下文相关性的结果。他们的方法使用LLAMA语言模型，在广泛的数据集上进行预训练，并利用基于双编码器的检索器架构，该架构初始化为DRAGON模型。此外，他们的方法还提到使用并行的上下文检索增强以更高效地计算LLMs的预测。
他们的方法取得了显著的性能提升，RA-DIT 65B在知识密集型零样本和少样本学习任务中建立了新的基准，与现有的上下文检索增强语言模型（RALMs）相比，提升幅度显著。 RA-DIT证明了轻量级指令调整在改进RALMs性能方面的功效，特别适用于需要访问广泛外部知识源的场景。
总而言之，他们的方法引入了RA-DIT，为预训练语言模型增加了检索能力。RA-DIT在知识密集型基准测试中取得了最先进的结果，在零样本评估中超过了未经调整的上下文检索增强语言模型，并与广泛预训练的方法进行了有效竞争。它在需要利用知识和上下文意识的任务中显著提高了性能。 RA-DIT 65B优于现有模型，展示了轻量级指令调整在检索增强语言模型中的有效性，特别是在涉及广泛外部知识源的情景中。