Press "Enter" to skip to content

如何提升GenAI模型的输出

生成式人工智能(Generative AI)可以追溯到上世纪50年代,从早期基于规则的系统发展到使用深度学习算法的模型。在过去十年中,硬件和软件的进步使得大规模生成式人工智能模型能够实时高质量地生成内容。

在本文中,我将告诉您如何成功地将生成式人工智能集成到企业环境中的大规模生产流程中。因此,您将了解如何为企业级实施生成式人工智能做好准备。例如,用于客户服务、营销沟通、财务管理或其他生成式人工智能业务应用。

ML在生成式人工智能中的作用

在生成式人工智能的背景下,机器学习算法构建了一系列任务。这些任务序列是连续的实验,需要我们为团队和业务做好准备以应对重复循环。

例如,您正在指导一个语言模型提供回复。在这种情况下,您必须建立一个循环,评估结果,并根据需要进行迭代。在这里,您将使用不同的问题解决方法或“模式”,这些模式从简单到更高级的策略逐步处理任务。

此图表包括不同的循环和迭代。您可以参考并根据企业的特定要求进行调整。

让我们来解析一个简单的循环。

Level 1:提示、上下文学习和链接

步骤1

您选择一个模型,给它一个提示,得到一个回复,评估回复,如果需要可以重新提示,直到得到期望的结果。

上下文学习是一种提示工程方法,语言模型从一些自然语言示例中学习任务并尝试执行它们。上下文学习是自然语言处理(NLP)中的一种新方法,其目标类似于少样本学习,使模型能够在不进行大量调节的情况下理解上下文。

步骤2

除了提示→特征匹配→调整→完成模式之外,我们通常还需要任务链,其中包括数据提取、预测性人工智能和生成式人工智能基础模型。该模式的顺序如下:

链条:提取数据/分析→运行预测性机器学习模型→将结果发送到语言模型 → 生成输出

例如,在营销场景中,您可以先使用BigQuery中的SQL来针对特定的客户群体。接下来,使用预测性人工智能排名算法来识别最佳客户,并将这些数据发送到语言模型以生成个性化电子邮件。

Level 2:改进上一级

如果您对模型的回复仍然不满意,您可以尝试对基础模型进行微调。它可以是领域特定、行业特定或专为特定输出格式创建的。微调基于大量标记示例训练所有参数,这可能需要较大的计算量,但具有较高的性能。

参数高效微调(PEFT)可以是与传统微调相比更加计算高效的方法。PEFT仅微调模型的一部分参数,可以通过调整适配器或低秩适应大型语言模型来实现。

  • 适配器调整:在少量标记示例上训练一个针对任务特定的层,让模型学习任务特定的特征,而无需完全微调所有参数。
  • LoRA:使用矩阵分解将模型的参数近似为低秩矩阵,通过在少量标记示例上进行高效微调来学习任务特定的特征。

Level 3:升级输入的上下文

步骤1

要实现相关文档的语义搜索,您应该将它们分割成句子或段落。然后,您可以使用矢量嵌入工具将它们转换为嵌入向量。此过程利用近似最近邻(ANN)搜索,在减少幻觉的机会并提供相关上下文的同时,改善模型的回复。

这被称为检索增强生成(RAG)。

  1. 从用户查询或陈述开始。
  2. 通过添加来自向量嵌入工具的上下文来改进提示。
  3. 将增强的提示发送到LLM。

第2步

通过允许模型显示其答案获取的位置,可以提高模型的准确性。使用RAG,这发生在显示答案之前。生成答案后,它查找源并共享。许多提供商(如Google Cloud AI)提供了这样做的方法。

第3步

FLARE是RAG的一个衍生产品,它涉及主动检索。它预测接下来的事情并提前获取信息,尤其是在不确定答案的情况下。

最后的想法

掌握生成式AI项目的各个阶段并适应所需的技能,使企业能够有效使用AI。这是一段具有挑战性的旅程,需要计划、资源和道德承诺,但结果是一个能够改变业务运营的强大AI工具。我希望这些信息对您有所帮助!

Leave a Reply

Your email address will not be published. Required fields are marked *