Tag: fine tuning

介绍 在过去几年中，语言模型领域经历了一场巨大的演变，特别是随着大规模语言模型（LLMs）的出现。这些模型具备数十亿个参数和对自然语言的深刻理解，对于改变人工智能领域起到了关键作用。今天，我们将探索这场革命，重点介绍从闭源到开源LLMs的转变，精细调整的重要性以及最近出现的高效调整技术的发展。 学习目标： 了解闭源和开源LLMs的区别。 了解LLMs中的传统和参数高效调整。 探索不同的参数高效调整策略。 学习使用Ludwig进行高效调整。 闭源vs开源LLMs：选择正确的方法 语言模型领域存在着闭源模型（如OpenAI的ChatGPT、GPT 3.5和GPT 4）和开源变种（如Meta、Google和各种研究实验室提供的）之间的两极分化。闭源LLMs由于其管理基础设施和快速概念验证能力，成为一个引人注目的起点。这些模型提供高质量的预训练数据集，并且无需设置基础设施，使得那些探索LLMs能力的人可以轻松入门。 然而，尽管闭源LLMs易于获取，但它们存在根本性的局限性。它们缺乏模型所有权和极少的自定义能力，特别是对于数据隐私和模型控制至关重要的领域，这使得闭源LLMs不太适合长期投资。相比之下，开源LLMs提供了一个有希望的替代方案。它们使得完全拥有模型和自定义成为可能，并便利地获得开源空间中的创新发展。而付出的代价则是主机费用和困难。 传统微调和参数高效微调 微调成为了最大化LLMs潜力的关键过程，特别是考虑到特定领域任务的情况下。闭源模型常常缺乏所需的灵活性进行微调，而开源模型则可以完全控制这个过程。微调允许通过更新模型权重将预训练的LLMs适应于特定任务，从而提高性能。这是将这些通用模型个性化为专用应用的手段，为独特任务优化性能。 关于微调和类似检索增强生成（RAG）模型之间的辩论，重点在于是否需要针对具体任务进行定制的模型，而非通用智能模型。开源LLMs的性质允许自定义和高效微调以实现卓越的任务特定性能。 传统微调涉及更新所有模型参数，这一过程已被证明是资源密集型、耗时且不总能获得最佳的任务特定性能。然而，参数高效微调的最新创新取得了突破。通过冻结预训练LLM并仅训练一小部分特定任务层（不到总模型权重的1%），高效微调变得既节约资源又更有效。 向参数高效微调的转变显著影响了LLMs如何适应特定任务。通过仅关注训练少量特定任务层，这个过程变得更具成本效益和高效性。这种创新方法在较小数据集上实现了最佳任务特定性能，展示了开源LLMs相对于闭源模型的潜力。 Meta等人的LIMA论文等研究支持了在较小数据集上进行微调可以超越GPT 4等闭源模型性能的观点。这种通过较少数据实现更多的概念的概念突出了开源LLMs在适当微调下的效率和效果。 理解高效训练策略 在利用预训练模型进行特定任务时，LoRA（低秩自适应）和QLoRA（量化低秩自适应）已经成为有效微调大型语言模型（LLMs）的创新方法。这些方法对于将预训练模型定制为专用任务而最小化附加参数非常重要。 LoRA：对体系结构的深入研究 LoRA的体系结构涉及低秩分解，通过将变压器架构中的大型权重矩阵分解为较小矩阵来实现。在变压器的上下文中，LoRA专注于查询，键和值线性投影。 通常，这些线性投影具有大的权重矩阵，例如1024×1024，LoRA将其分解为较小的矩阵，例如1024×8和8×1024。这些较小的矩阵相乘，可以产生原始的维度。这种压缩大大减少了可调参数的数量，约为总LLM参数的一半到1%。 在变压器体系结构的上下文中，LoRA为键和查询投影层集成了适配器模块。这些通过低秩分解构造的适配器保持了原始形状，同时使其能够插入到变压器层中。基本层保持冻结状态，只有适配器权重是可训练的。…