四海吧 Posts

近几个月来，大型语言模型（LLMs）的受欢迎度显著上升。基于自然语言处理、自然语言理解和自然语言生成的优势，这些模型在几乎每个行业中展示了它们的能力。随着生成式人工智能的引入，这些模型已经被训练成可以像人类一样产生文字回应。 通过着名的GPT模型，OpenAI展示了LLMs的强大能力，并为转型发展铺平了道路。通过微调和检索增强生成（RAG）等方法，提高了AI模型的能力，为更精确和上下文丰富的回应提供了答案。 检索增强生成（RAG） RAG将基于检索和生成的模型结合在一起。与传统生成式模型不同，RAG在不改变基础模型的情况下融入有针对性和当前性的数据，使其能够超越现有知识的边界。 RAG的基本思想是基于特定组织或领域数据构建知识库。随着知识库的定期更新，生成式人工智能可以访问当前和上下文相关的数据。这使得模型能够以更精确、复杂和适合组织需求的方式回应用户输入。 大量动态数据被转换为标准格式，并存储在知识库中。然后，使用嵌入式语言模型对数据进行处理，创建数值表示，并保存在向量数据库中。RAG确保AI系统不仅能产生文字，还能使用最新的和相关的数据。 微调 微调是一种通过对经过预训练的模型进行定制以执行指定动作或显示特定行为的方法。它包括采用已经训练过大量数据点的现有模型，并对其进行修改以实现更具体的目标。可以将擅长生成自然语言内容的预训练模型优化为关注制作笑话、诗歌或摘要。通过微调，开发人员可以将庞大模型的整体知识和技能应用于特定的主题或任务。 微调对于提高特定任务的性能尤其有益。通过通过精心选择的数据集提供专业信息，模型在特定任务中变得熟练，能够产生精确和上下文相关的输出。与从头开始的训练相比，微调大大减少了所需的时间和计算资源，因为开发人员可以利用预先存在的信息。该方法使得模型能够通过适应特定领域来更有效地给出集中的答案。 评估微调和RAG时考虑的因素 RAG通过定期从外部源请求最新数据而无需频繁模型重新训练，在动态数据情况下表现异常出色。而微调则缺乏召回的保证，因此不太可靠。 RAG通过从其他来源获取相关数据增强了LLMs的能力，非常适合需要访问外部知识的应用，如文档摘要、开放域问答和能够从知识库检索数据的聊天机器人。而微调外部信息对于经常更改的数据源可能不可行。 RAG阻止了对较小模型的使用。而微调则提高了小型模型的效能，能够实现更快、更便宜的推理。 RAG可能不会根据所获得的信息自动调整语言风格或领域专业化，因为它主要专注于信息检索。通过微调允许调整行为、写作风格或特定领域知识，能够提供与特定风格或专业领域深度匹配的答案。 RAG通常不容易出现错误的信息，它的每个答案都是基于检索到的信息。微调可能会减少错误信息，但当面对新的刺激时，可能仍会造成虚构的反应。 RAG通过将响应生成分为离散阶段，提供了透明度，并提供了检索数据的信息。微调增加了回答背后逻辑的不透明性。 RAG和微调的用例有何不同？ LLMs可以用于多种NLP任务的微调，如文本分类、情感分析、文本生成等，其中主要目标是根据输入理解和产生文本。RAG模型在需要访问外部知识的任务情况下表现出色，如文档摘要、开放域问答和能够从知识库检索数据的聊天机器人。 基于训练数据的RAG和Fine-tuning的区别 在对LLM进行Fine-tuning时，虽然它们不专门使用检索方法，但它们依赖于任务特定的训练材料，这些材料通常是与目标任务匹配的标记示例。另一方面，RAG模型被训练用于检索和生成任务。这需要将显示成功检索和使用外部信息的数据与生成的监督数据进行结合。 架构差异 为了对LLM进行Fine-tuning，通常需要使用诸如GPT等预训练模型，并在任务特定数据上对其进行训练。架构不变，只对模型参数进行微小修改，以最大化特定任务的性能。RAG模型具有混合架构，通过将外部存储模块与基于GPT的transformer式LLM相结合，实现了从知识源（如数据库或文档集合）的有效检索。 结论 总之，在人工智能这个不断变化发展的领域中，选择RAG和Fine-tuning之间的方法取决于应用需求。这些方法的组合可能会导致更复杂、更适应性强的AI系统，随着语言模型的不断发展。 参考资料…

最近，语言模型中出现了一个关键问题，即语言模型（LMs）提供错误信息的高比率，包括对不存在的文章标题的引用。《韦氏词典》将幻觉定义为“由人工智能算法生成的合理但错误或误导性响应”。有一次，提交了他们认为准确无误的法律研究文件的律师面临5000美元的罚款。在医学领域，患者的幻觉可能是致命的，医生担心被控以疏忽罪。此外，媒体广泛报道了幻觉问题，美国总统最近发布了《行政命令》，要求包括针对生成式人工智能系统产生的欺骗性结果的保护在内的措施。 在这项工作中，来自微软研究院和乔治亚理工学院的研究人员提出了校准事实预测器的学习机器（LMs）的幻觉率的统计下界。这揭示了幻觉的特性。这并不意味着幻觉是不可避免的。正如研究小组将讨论的那样，这与实践者越来越多地使用“预训练”程序和“后训练”程序相补充的趋势更加一致，这可以降低幻觉率和校准。LM只是一种对标记序列（即单词或其他字符序列）的概率分布D。任何一个预测每个字符串的LM（这是LM的典型特征）都将必然以正概率产生幻觉。然而，如果此概率较低，则幻觉将不常见。因此，测量幻觉的频率是必要的。 完整序列上的对数概率或给定前面的标记的条件对数概率可以用于等同地表示任何分布D：log D(t1… tm) = Pm i=1 log D(ti | t1 … ti−1)。这看似微不足道的数学等价性有重要的含义。虽然预测和生成有不同的要求，但任何LM都可以用来产生文本或预测自然出现的文本中下一个标记，条件是考虑到前面的标记。例如，考虑以下句子：Alexa Wilkins 上周二去Salumeria吃午饭，因为评论说金枪鱼三明治很棒。一种预测性语言模型可能会建议这样的句子以减少打字。预测性语言模型可能会将三明治作为一个单词进行预测，作为紧接在金枪鱼一词之后的输入，同时还可能出现其他可能的单词，比如沙拉。 然而，如果生成式LM随机制造许多这类句子，那就会是错误的。根据本文的说法，即使在理想条件下，具有强大预测文本能力的语言模型也会产生幻觉。值得注意的是，在现今的 typic 的预训练初始步骤中，生成式LM是为了预测性文本表现而量身定制的。此外，它为幻觉率提供了一个下限，这可能揭示了不同类型事实应该产生幻觉的各种速率。上述例子和可能的参考资料（被研究小组称为5W=谁-吃了什么-何时-哪里-为什么事实）共同拥有的特点是它们都是任意的，即这些事实大部分无法依据规则进行系统认证；也就是说，大部分这些事实无法验证，因为它们不包含在训练数据中。 与可以经过系统认证的事实相对。即使在具有多个理想条件的简化情况下，研究小组也能估算出LM应该产生的幻觉数量。研究小组更喜欢简单而非普遍性，因为他们的下界是统计的，他们的目标是确定LM产生幻觉的潜在源头。他们提出了一种校准到生成模型的自然扩展。他们的想法与LM中先前的校准应用不同，之前的校准是基于标记级别的。由于每个事实可以用各种方式使用自然语言来描述，当评估原始标记概率时，校准标记概率只有在评估原始标记概率时才有用。相反，他们的语义级校准是考虑到文本中信息（事实或幻觉）的位分布。如果LM在概率a ≈ z的情况下，对应于该概率z ∈ [0, 1]中的任何给定概率z的信息在自然出现的语言的一部分中平均出现，则该LM被认为是校准的（最好是从训练数据收集的分布）。…