深入探讨使用RAG方法为自定义用例进行预训练LLM定制的过程，包括LangChain和Hugging Face集成
这篇文章是与Rafael Guedes合著的。
引言
自2022年11月发布ChatGPT以来，大型语言模型（LLMs）因其理解和生成类似人类文本的能力而成为AI社区的热门话题，推动了自然语言处理（NLP）领域的边界。
由于LLMs在不局限于特定任务的情况下能够应对不同行业的不同用例，因此它们被证明是多才多艺的。它们可以适应多个领域，吸引了组织和研究社区的兴趣。使用LLMs已经探索过许多应用，例如内容生成、聊天机器人、代码生成、创意写作、虚拟助手等等。
LLMs如此受欢迎的另一个特点是存在开源选项。像Meta这样的公司在Hugging Face等仓库中提供了它们的预训练LLM（Llama2 🦙）。这些预训练LLMs是否足够适用于每个公司的特定用例？显然不是。
组织可以使用自己的数据从头开始训练LLM。但是，绝大多数组织（几乎全部组织）都没有所需的数据或计算能力。这需要使用包含数万亿个记号、数千个GPU和数个月时间的数据集。另一个选择是使用预训练LLM，并为特定用例进行定制。有两种主要的方法可供选择：微调和RAGs（检索增强生成）。
在本文中，我们将比较孤立预训练LLama2与集成在RAG系统中的预训练LLama2的性能，以回答关于OpenAI最新消息的问题。我们首先解释RAG的工作原理以及其子模块（检索器和生成器）的架构。最后，我们逐步展示如何使用LangChain 🦜️和Hugging Face构建适用于任何用例的RAG系统。