Tag: parsing

介绍 生成AI目前在全球范围内广泛使用。大型语言模型能够理解提供的文本并基于此生成文本的能力，已经导致了从聊天机器人到文本分析器的众多应用。但是，这些大型语言模型通常以非结构化的方式生成文本。有时候，我们希望LLM生成的输出以结构化的形式呈现，比如JSON（JavaScript对象表示）格式。假设我们正在使用LLM来分析社交媒体帖子，并且我们需要LLM生成的输出在代码中本身作为JSON/Python变量，以执行其他任务。通过Prompt Engineering可以实现这一点，但需要花费大量时间来调整提示。为了解决这个问题，LangChain引入了输出解析功能，可以用于将LLM的输出转换为结构化格式。 学习目标 解释大型语言模型生成的输出 使用Pydantic创建自定义数据结构 了解提示模板的重要性，并生成一个格式化LLM输出的模板 学习如何使用LangChain创建LLM输出的格式化指令 了解如何将JSON数据解析为Pydantic对象 本文是数据科学博文马拉松的一部分。 LangChain和输出解析是什么？ LangChain是一个Python库，可以让您在短时间内构建与大型语言模型相结合的应用程序。它支持多种模型，包括OpenAI GPT LLM、Google的PaLM，甚至是Hugging Face中提供的开源模型，如Falcon、Llama等等。借助LangChain，定制大型语言模型的提示变得轻而易举，它还配备了一个开箱即用的向量存储库，可以存储输入和输出的嵌入。因此，可以使用它来创建在几分钟内查询任何文档的应用程序。 LangChain使大型语言模型能够通过代理从互联网上获取信息。它还提供了输出解析器，允许我们从大型语言模型生成的输出中结构化数据。LangChain提供了不同的输出解析器，如列表解析器、日期时间解析器、枚举解析器等等。在本文中，我们将介绍JSON解析器，它可以将LLM生成的输出解析为JSON格式。下面，我们可以观察到一个典型的流程，即将LLM输出解析为Pydantic对象，从而创建出一组可供Python变量直接使用的数据。 入门-设置模型 在本节中，我们将使用LangChain来设置模型。在本文中，我们将始终使用PaLM作为我们的大型语言模型。我们将使用Google Colab作为我们的环境。您可以将PaLM替换为任何其他大型语言模型。我们将首先导入所需的模块。 !pip install google-generativeai langchain 这将下载LangChain库和与PaLM模型一起使用的google-generativeai库。 需要langchain库来创建自定义提示并解析大型语言模型生成的输出。…