介绍 在人工智能（AI）领域中，对精准度和可靠性的不断追求带来了突破性的创新。这些策略对于引领生成模型提供相关答案至关重要。生成AI在不同复杂应用中的使用的最大障碍之一就是幻觉。Meta AI研究发布的最新论文《链式验证减少大型语言模型中的幻觉》介绍了一种简单的技术，可以直接减少文本生成时的幻觉。 本文将探讨幻觉问题，并介绍论文中提到的CoVe概念，以及如何使用LLMs、LangChain框架和LangChain表达语言（LCEL）来实现它以创建自定义链。 学习目标 了解LLMs中的幻觉问题。 了解缓解幻觉的链式验证（CoVe）机制。 了解CoVe的优点和缺点。 学习使用LangChain来实现CoVe，并理解LangChain表达语言。 本文是作为数据科学博文马拉松的一部分发表的。 LLMs中的幻觉问题是什么？ 让我们首先尝试了解LLM中的幻觉问题。使用自回归生成方法，LLM模型根据之前的上下文来预测下一个单词。对于频繁主题，模型已经看过足够多的示例，可以自信地为正确的标记分配高概率。然而，由于模型没有接受过关于异常或陌生主题的训练，它可能会以高置信度提供不准确的标记。这导致了看似合理但错误的幻觉信息。 下面是Open AI的ChatGPT中出现幻觉的一个例子，我询问了一本由印度作者于2020年出版的书籍《Small Things的经济学》，但模型却带着充分的自信回答错误，并将其与另一位诺贝尔奖获得者阿比吉特·巴纳吉的书《Poor Economics》混淆。 链式验证（CoVe）技术 CoVe机制结合了提示和一致性检查，为LLMs创建了一个自我验证系统。下面是论文中列出的主要步骤。我们将逐一详细了解每个步骤。 链式过程概述 生成基线响应：给定查询，使用LLM生成响应。 计划验证：给定查询和基线响应，生成一系列验证问题的列表，这些问题可以帮助自我分析是否存在原始响应中的任何错误。 执行验证：依次回答每个验证问题，因此检查答案与原始响应之间的一致性或错误。 生成最终经过验证的响应：根据发现的不一致性（如果有的话），生成一个经过修订的响应，并纳入验证结果。 使用详细示例理解链式过程 生成初始响应…
Leave a CommentTag: chain
介绍 迈入语言处理的前沿！在语言成为人类与技术之间的重要纽带的领域中，自然语言处理取得了一些非凡的成就。在这一进展中，有一项具有突破性意义的大型语言模型，它正在重塑我们与基于文本的信息的互动方式。在这个全面的学习之旅中，你将深入了解 LangChain，这是一种前沿工具，正在重新塑造我们与基于文本的信息的互动方式。你是否曾经想过，“Langchain”是什么链条？ LangChain作为大型语言模型领域的门户独树一帜，它提供了深入理解这些模型如何将原始输入转化为精细和类似人类回答的能力。通过这种探索，你将揭开 LangChain 的基本构建模块，从LLMChain和Sequential Chains到Router Chains的复杂运作。 学习目标 了解 LangChain 的核心组成部分，包括LLMChains和Sequential Chains，看看输入是如何在系统中流动的。 学会以连贯的方式整合不同的元素，探索提示模板和语言模型之间的联系。 获得在实际任务中创建功能性链条的实际经验。 培养通过微调结构、模板和解析技术来提高链条效率的技能。 本文是“数据科学博文马拉松”的一部分。 什么是LLM？ 大语言模型（LLM）是一种旨在理解和生成类似人类文本的人工智能类型。这些模型（如OpenAI的GPT-3.5）通过训练大量文本数据来了解人类语言的模式和结构。它们可以执行各种与语言相关的任务，包括翻译、内容生成、回答问题等。 LLMs是自然语言处理中宝贵的工具，广泛应用于聊天机器人、内容生成和语言翻译等领域。 什么是LangChain？ 在我们揭开 LangChain Chains 的复杂性之前，让我们先理解…
Leave a Comment