Tag: Embedding

介绍 在人工智能领域，大型语言模型（LLMs）和生成型AI模型，如OpenAI的GPT-4、Anthropic的Claude 2、Meta的Llama、Falcon、Google的Palm等，已经彻底改变了我们解决问题的方式。LLMs使用深度学习技术来执行自然语言处理任务。本文将教你如何使用向量数据库构建LLM应用程序。你可能已经与类似亚马逊客服或Flipkart决策助手的聊天机器人进行过交互。它们能生成类似人类的文本，并提供几乎与现实对话无异的交互用户体验。然而，这些LLMs需要进行优化，以产生高度相关和具体的结果，才能真正对特定的使用案例有用。 例如，如果你询问亚马逊客服应用程序：“如何在Android应用中更改语言？”可能没有经过训练来处理这个确切的文本，因此可能无法回答。这就是向量数据库发挥作用的时候。向量数据库将领域文本（在这种情况下是帮助文档）和所有用户的过去查询（包括订单历史等）存储为数值嵌入，并提供实时查找相似向量的功能。在这种情况下，它将这个查询编码成一个数值向量，并使用它在其向量数据库中执行相似性搜索，找到最相似的邻居。有了这个帮助，聊天机器人可以正确地指导用户进入亚马逊应用程序的“更改语言偏好设置”部分。 学习目标 LLMs是如何工作的，它们的限制是什么，为什么它们需要向量数据库？ 嵌入模型的介绍以及如何在应用程序中对其进行编码和使用。 学习什么是向量数据库，以及它们如何成为LLM应用程序架构的一部分。 学习如何使用向量数据库和tensorflow编写LLM/生成型AI应用程序。 本文是数据科学博客马拉松的一部分。 什么是LLMs？ 大型语言模型（LLMs）是基础的机器学习模型，使用深度学习算法处理和理解自然语言。这些模型被训练使用大量的文本数据来学习语言中的模式和实体关系。LLMs可以执行许多类型的语言任务，例如翻译语言、分析情感、聊天机器人对话等。它们能够理解复杂的文本数据，识别实体及其之间的关系，并生成连贯且语法正确的新文本。 在这里阅读更多关于LLMs的信息。 LLMs是如何工作的？ LLMs使用大量数据进行训练，通常是以太字节，甚至是拍字节，拥有数十亿或数万亿个参数，使其能够根据用户的提示或查询进行预测和生成相关的响应。它们通过词嵌入、自注意层和前馈网络处理输入数据，生成有意义的文本。你可以在这里阅读更多关于LLM架构的信息。 LLMs的限制 虽然LLMs似乎以相当高的准确性生成响应，甚至在许多标准化测试中比人类表现得更好，但这些模型仍然有限制。首先，它们完全依赖于它们的训练数据来构建推理，因此可能在数据中缺乏特定或当前的信息。这导致模型生成不正确或不寻常的响应，也被称为“幻觉”。有持续的努力在减轻这个问题。其次，模型可能无法按照用户的期望行为或响应。 为了解决这个问题，向量数据库和嵌入模型通过为用户寻找信息提供了额外的类似性查询（文本、图像、视频等）。以下是一个例子，LLMs无法回答用户询问的信息，而是依靠向量数据库找到该信息。 LLM和向量数据库 大型语言模型(LLM)被广泛应用于电子商务、旅游、搜索、内容创作和金融等行业的许多部分。这些模型依赖于一种相对较新的数据库类型，称为向量数据库，它以一种称为嵌入的二进制表示存储文本、图像、视频和其他数据的数值表示。本节介绍了向量数据库和嵌入的基本原理，更重要的是介绍了如何将它们与LLM应用程序集成使用。 向量数据库是一种使用高维空间存储和搜索嵌入的数据库。这些向量是数据特征或属性的数值表示。使用计算向量在高维空间中的距离或相似度的算法，向量数据库可以快速高效地检索相似的数据。与传统的基于标量的数据库不同，后者将数据存储在行或列中，并使用精确匹配或基于关键词的搜索方法，向量数据库的操作方式不同。它们使用向量数据库来在非常短的时间内(毫秒级别)搜索和比较大量向量，使用近似最近邻(ANN)等技术。 嵌入的简要教程 AI模型通过将原始数据如文本、视频和图像输入到诸如word2vec之类的向量嵌入库中，生成嵌入。在AI和机器学习的背景下，这些特征代表数据的不同维度，这些维度对于理解模式、关系和底层结构至关重要。 下面是使用word2vec生成词嵌入的示例。 1.…