AI普惠化：MosaicML对开源LLM运动的影响

高品质基础模型为整个行业开启新的可能性…

最近，我们对创建开源大型语言模型（LLMs）的当前研究进行了概述。在所有这些工作中，模型使用一种常见框架和几个简单组件创建；请见下文。

尽管该框架有几个步骤，但第一步可以说是最重要的。通过广泛、高质量的预训练来创建更强大的基础模型，使得LLM在经过监督微调（SFT）和人类反馈的增强学习（RLHF）后获得更好的结果。然后，由于使用了改进的模型，下游应用也会更好。预训练（基础）模型是任何LLM应用的常见起点。

直到最近，开源基础模型要么与专有模型相比表现不佳，要么只能用于研究。然而，随着MosaicML发布了MPT-7B和MPT-30B [1, 2]，这一情况发生了改变。这些开源基础模型实现了令人印象深刻的性能水平，可以用于商业用途，并带有一整套用于训练、微调和评估LLMs的高效软件。这些开源工具能够以大大降低的成本探索LLMs的各种专业应用场景，使其成为人工智能从业者的有力资源。

更快的LLMs和更长的上下文长度

MPT-7B/30B模型基于典型的仅编码器transformer架构。然而，进行了一些关键修改，包括：

• ALiBi [6]（而不是常规位置嵌入）
• 低精度层归一化
• Flash Attention [7]

在本节中，我们将了解每个组件的工作原理以及它们对LLMs的影响。为充分理解本节的细节，可能有必要复习以下概念：