生产部署的AI模型需要一个强大且持续的性能评估机制。这就是应用AI反馈循环的地方，以确保模型性能的一致性。
让我们听一听埃隆·马斯克的话：
“我认为拥有一个反馈循环非常重要，你不断地思考自己所做的事情以及如何更好地做。”
对于所有的AI模型，标准的流程是部署模型，然后定期使用最新的真实世界数据对其进行重新训练，以确保其性能不会下降。但是，随着生成式AI的迅猛崛起，AI模型的训练变得异常和容易出错。这是因为在线数据源（互联网）逐渐成为人类生成和AI生成数据的混合。
例如，许多博客今天都使用由ChatGPT或GPT-4等大型语言模块（LLMs）驱动的AI生成的文本。许多数据源包含使用DALL-E2或Midjourney创建的AI生成的图像。此外，AI研究人员正在使用生成式AI生成的合成数据来进行模型训练。
因此，我们需要一个强大的机制来确保AI模型的质量。这就是AI反馈循环的需求变得更加突出的地方。
什么是AI反馈循环？
AI反馈循环是一个迭代的过程，其中AI模型的决策和输出被持续地收集和用于增强或重新训练同一模型，从而实现持续学习、发展和模型改进。在这个过程中，AI系统的训练数据、模型参数和算法会根据系统内部生成的输入进行更新和改进。
主要有两种类型的AI反馈循环：
- 正向AI反馈循环：当AI模型生成与用户期望和偏好一致的准确结果时，用户通过反馈循环给出积极反馈，进而加强未来结果的准确性。这样的反馈循环被称为正向反馈。
- 负向AI反馈循环：当AI模型生成不准确的结果时，用户通过反馈循环报告缺陷，反馈循环试图通过修复缺陷来提高系统的稳定性。这样的反馈循环被称为负向反馈。
这两种类型的AI反馈循环使得模型能够随着时间的推移进行持续的发展和性能改进。它们并不是单独使用或应用的。它们共同帮助生产部署的AI模型知道什么是对的或错的。
AI反馈循环的阶段
AI模型中反馈机制的高级示意图。来源
了解AI反馈循环的工作方式对于发掘AI发展的全部潜力至关重要。让我们来探索下面的AI反馈循环的各个阶段。
- 反馈收集：收集相关模型结果进行评估。通常，用户会对模型结果给出反馈，然后用于重新训练。或者可以从网络中获取外部数据，以调优系统性能。
- 模型重新训练：使用收集到的信息，对AI系统进行重新训练，以便通过优化模型参数或权重来提供更好的预测、答案或执行特定活动。
- 反馈整合和测试：在重新训练后，对模型进行再次测试和评估。在这个阶段，还包括来自专业人员的反馈，以突出数据以外的问题。
- 部署：验证更改后重新部署模型。在这个阶段，模型应该在新的真实世界数据上表现出更好的性能，从而提供更好的用户体验。
- 监控：使用指标持续监控模型，以识别潜在的退化，如漂移。反馈循环继续进行。
生产数据和AI模型输出中的问题
构建强大的AI系统需要对生产数据（真实世界数据）和模型结果的潜在问题有全面的了解。让我们看一下确保AI系统准确性和可靠性的几个问题：
- 数据漂移：当模型开始接收来自与模型训练数据分布不同的真实世界数据时，就会发生数据漂移。
- 模型漂移：由于不断变化的真实世界环境，模型的预测能力和效率随时间降低。这被称为模型漂移。
- AI模型输出与真实决策：AI模型产生的输出不准确，与真实世界的利益相关者决策不一致。
- 偏见和公平性：AI模型可能存在偏见和公平性问题。例如，在Janelle Shane的TED演讲中，她描述了亚马逊停止研发一种简历排序算法的决定，原因是性别歧视。
一旦AI模型开始在AI生成的内容上进行训练，这些问题可能会进一步增加。怎么会这样？让我们详细讨论一下。
AI生成内容时的AI反馈循环
在快速采用生成型AI之后，研究人员研究了一种被称为模型崩溃的现象。他们将模型崩溃定义为：
“影响学习生成模型一代接一代的退化过程，生成的数据最终污染下一代模型的训练集；在受到污染数据的训练后，它们会错误地感知现实。”
模型崩溃包括两种特殊情况，
- 早期模型崩溃发生在“模型开始丢失有关分布尾部的信息”，即训练数据分布的极端端点。
- 晚期模型崩溃发生在“模型纠缠原始分布的不同模式并收敛到一个与原始分布几乎没有相似之处的分布，通常具有非常小的方差。”
模型崩溃的原因
为了解决这个问题，AI从业者需要理解模型崩溃的原因，可以分为两大类：
- 统计逼近误差：这是由有限样本数引起的主要误差，随着样本数接近无穷大，它会消失。
- 功能逼近误差：这种误差发生在模型（如神经网络）无法捕捉到必须从数据中学习的真实底层函数时。
受模型崩溃影响的多个模型生成结果样本。来源
AI生成内容对AI反馈循环的影响
当AI模型在AI生成的内容上进行训练时，它对AI反馈循环产生破坏性影响，并且可能给重新训练的AI模型带来许多问题，例如：
- 模型崩溃：如上所述，如果AI反馈循环包含AI生成的内容，模型崩溃是一个可能的情况。
- 灾难性遗忘：在持续学习中，一个典型的挑战是当模型学习新信息时，它会忘记以前的样本。这被称为灾难性遗忘。
- 数据污染：它指的是将具有欺骗性的合成数据输入AI模型以损害性能，促使其产生不准确的输出。
企业如何为其AI模型创建稳健的反馈循环？
企业可以通过在其AI工作流中使用反馈循环来获益。按照以下三个主要步骤来提高您的AI模型性能。
- 从领域专家获得反馈：领域专家对其领域非常了解，并且了解使用AI模型的方法。他们可以提供见解，以增加模型与现实世界环境的一致性，从而提高正确结果的可能性。此外，他们还可以更好地管理AI生成的数据。
- 选择相关的模型质量指标：为正确的任务选择正确的评估指标，并根据这些指标在生产中监控模型，可以确保模型质量。AI从业者还使用MLOps工具进行自动评估和监控，以在模型在生产中性能开始下降时提醒所有相关方。
- 严格的数据整理：由于生产模型会在新数据上重新训练，它们可能会忘记过去的信息，因此关键是整理与模型目的相符的高质量数据。这些数据可以用于在后续的模型生成中重新训练模型，同时结合用户反馈以确保质量。
要了解更多关于AI进展的信息，请访问Unite.ai。