大型语言模型（LLMs）在自然语言处理中的出现代表了一项突破性的发展。这些模型基于大量的数据训练，并利用巨大的计算资源，承诺改变人类与数字世界的交互方式。随着它们通过扩大和快速部署不断发展，它们的潜在应用案例变得越来越复杂和复杂。它们将其能力扩展到诸如分析密集的、信息丰富的文档、改进聊天机器人的体验以使其更加真实和引人入胜，以及辅助人类用户在迭代的创意过程如编码和设计等方面。
这种进化的一个关键特征是能够有效处理长篇内容输入的能力。这意味着LLMs应该能够根据大量的前文背景理解和生成文本，这对于涉及长篇文档、多轮对话或复杂问题解决的任务尤为重要。
然而，到目前为止，具有强大长篇背景能力的LLMs主要通过专有的LLM APIs提供，留下了对研究人员和开发人员可访问的解决方案的空白。开源的长篇模型虽然有价值，但在评估方面往往有所不足。通常，它们主要关注语言模型损失和合成任务，这些虽然有信息量，但无法全面展示它们在各种真实场景中的有效性。此外，许多这些模型忽视了在标准短篇背景任务上保持强大性能的需求，绕过这些评估或报告次优结果。
为了应对这些挑战，新的Meta研究提出了一种构建超越所有现有开源模型的长篇LLMs的方法。这种方法围绕着持续从LLAMA 2检查点预训练，并利用额外的4000亿标记形成广泛的训练序列。这些序列旨在捕捉长篇背景理解的本质。该研究提供了一系列的模型变体，包括用32768标记序列训练的较小的7B/13B模型和用16384标记序列训练的较大的34B/70B模型。
这种方法的独特之处在于他们评估过程的全面性。与先前的研究不同，该团队评估了模型在多个维度上的性能。这包括评估它们的语言模型能力、合成任务的性能以及最重要的是它们在各种真实世界基准测试中的有效性。他们涵盖了长篇和短篇背景任务，以提供对模型能力的整体视图。
研究结果表明，尺度行为证明了模型从更广泛的背景中持续受益的能力，并突出了背景长度作为LLMs尺度的另一个关键方向。
与 LLAMA 2 在研究基准上相比，这种方法在长篇任务上表现出显著的改进，并在标准短篇任务上略微提升。这些改进尤其在编码、数学问题解决和知识相关任务中尤为显著。此外，该团队还探索了一种简单而经济高效的流程，用于无需人工注释数据的连续预训练长模型的指导微调。结果是一个在一系列长篇基准测试中超过gpt-3.5-turbo-16k性能的聊天模型。
总体而言，这种方法代表了构建专有和开源长篇LLMs之间的差距的重要一步。它提供了优越性能的模型，对各个维度进行了广泛的评估，并对影响它们能力的因素有更深入的理解。最终，该团队希望赋予研究人员和开发人员利用长篇LLMs的潜力进行各种应用的能力，开启自然语言处理的新时代。