如何将你的羊驼变成长颈鹿
上下文长度指的是模型在生成文本时能够记住的最大标记数量。更长的上下文窗口使得模型能更好地理解文本中的长距离依赖关系。上下文更长的模型能够在文本中远离的观点之间建立联系，生成更具整体连贯性的结果。
在训练过程中，模型按照块或固定长度的窗口处理文本数据。模型需要在较长的文本上进行训练才能真正利用长上下文。训练序列必须包含成千上万个标记的文档、书籍、文章等。训练数据的长度为可用上下文长度设置了限制。
那么，为什么我们不在更长的序列上训练模型呢？
不过要慢下来。
增加上下文长度会增加模型必须准确预测的可能标记组合数量。这使得长距离建模更加稳健，但也需要更多的内存和处理能力，导致更高的训练成本。
在没有任何优化的情况下，计算量与上下文长度成二次关系，也就是说，一个包含 4096 个标记的模型将需要比一个包含 512 个标记的模型多 64 倍的计算量。
你可以使用稀疏或近似注意力方法来减少计算成本，但它们也可能影响模型的准确性。
训练和使用大上下文语言模型面临三个主要挑战：
- 将长上下文适应模型。
- 加速推理和训练，避免耗费太多时间。
- 确保高质量的推理，保持对完整上下文的意识。
注意力是一个复杂的操作
注意力机制是Transformer模型的核心组件。它将序列的不同位置相关联，计算其表示，使模型能够关注文本的相关部分并更好地理解它。将Transformer扩展到更长的序列面临全注意力二次复杂度的挑战。