概念调查：Hugging Face、Google的Vertex AI和最终OpenAI使用的PEFT方法
大型语言模型（LLM）名副其实地很大。这些模型通常具有70亿到700亿个参数。要加载一个具有700亿个参数的模型，需要280 GB的GPU内存！要训练该模型，您将在数百万或数十亿个文档中更新数十亿个令牌。所需的计算量非常大，用于更新这些参数。这些模型的自监督训练很昂贵，公司的成本高达1亿美元。
对于我们其他人来说，我们对将我们的数据适应这些模型有着极大的兴趣。由于我们数据集有限（相对而言）且缺乏计算能力，我们如何创建能以较低成本改进主要参与者的模型呢？
这就是参数高效微调（PEFT）研究领域发挥作用的地方。通过我们将很快详细探讨的各种技术，我们可以增强这些模型的小部分，使其更适合完成我们的任务。
阅读本文后，您将在概念上了解Hugging Face中应用的每个PEFT技术，并能够区分它们之间的差异。在阅读本文之前，我发现Reddit的一条评论提供了最有帮助的概述。此外，还有另一篇来自lightning.ai（pytorch lightning的创建者）的杰出文章可供参考。此外，还有一份综合调查报告，本文的大部分内容都是基于Liali等人的著作[2]。在本文中，我旨在解决我在审查这些资料时发现的差距。撰写本文时，该文章为Hugging Face库中所有PEFT方法提供了概念指南。读者的目标是以对该领域的基本理解来研究其他PEFT技术的研究文献。
自我反思的时刻：是时候进行微调了吗？
我之前写过一篇关于微调LLM的注意事项的文章，以及如何通过上下文学习来实现类似的性能…