生产化LLM应用程序时的关键问题
大型语言模型（LLMs）正在成为现代自然语言处理应用程序的核心，并在许多方面取代了各种更专业的工具，如命名实体识别模型、问答模型和文本分类器。因此，很难想象没有使用LLM的自然语言处理产品。虽然LLMs带来了许多好处，如增加个性化和创造性对话生成，但在将这些模型集成到为终端用户提供服务的软件产品中时，了解它们的缺点以及如何解决这些问题是非常重要的。事实证明，监控可以解决许多这些挑战，并且是任何使用LLMs的企业工具箱中必不可少的一部分。
数据、隐私和提示注入
数据和隐私
隐私和数据使用是现代消费者的主要关注点之一，在著名的数据共享丑闻（如剑桥分析）之后，消费者变得越来越不愿意使用会危及其个人隐私的服务和产品。虽然LLMs为用户提供了令人难以置信的个性化体验，但了解它们带来的风险非常重要。与所有机器学习模型一样，LLMs易受针对性攻击，旨在揭示训练数据，并且由于它们的生成性质，它们尤其容易受到风险，甚至在执行自由形式生成时也可能意外泄露数据。例如，在2020年的一篇博客文章中，Google Brain的研究科学家Nicholas Carlini讨论了LLMs（如GPT）如何被提示以揭示包含在模型的训练数据中的个人身份识别信息，例如姓名、地址和电子邮件地址。这表明，将LLMs调整到客户数据上的企业可能会引发这些隐私风险。同样，Microsoft研究人员的一篇论文证实了这些说法，并建议使用差分隐私技术的具体缓解策略来训练LLMs，以减少数据泄露的担忧。不幸的是，许多企业无法利用这些技术，因为它们使用的LLM API不允许它们控制微调过程。对于这些公司的解决方案在于插入一个监控步骤，验证和限制模型输出，在将结果返回给终端用户之前。通过这种方式，企业可以在隐私侵犯实际发生之前，识别和标记潜在的训练数据泄漏情况。例如，监控工具可以应用命名实体识别和正则表达式过滤等技术，以识别模型生成的人名、地址、电子邮件和其他敏感信息，防止它们落入错误的手中。这对于在隐私受限的空间（如医疗保健或金融）工作的组织尤其重要，因为这些组织需要遵守严格的监管法规，如HIPAA和FTC/FDIC。即使只是在国际上工作的企业也面临违反复杂的地区特定法规，如欧盟的GDPR的风险。
提示注入
提示注入是指设计LLM提示的（通常是恶意的）过程，这些提示以某种方式“欺骗”或混淆系统，使其提供有害输出。例如，最近的一篇文章展示了如何设计良好的提示注入攻击可以颠覆OpenAI的GPT-4模型，并使其提供事实上的虚假信息，甚至宣传阴谋论。人们可以想象更加阴险的情况，用户提示LLM提供如何制造炸弹的建议，提供最佳自杀方法的详细信息，或生成可用于感染其他计算机的代码。易受提示注入攻击的漏洞是LLMs培训方式的不幸副作用，很难在前端做任何事情来防止每种可能的提示注入攻击。即使最强大和最新的LLMs，如OpenAI的ChatGPT，专门用于安全性的对准，也已被证明易受提示注入攻击。
由于提示注入可能表现出的各种方式，几乎不可能防范所有可能性。因此，LLM生成的输出的监控非常重要，因为它提供了一种识别和标记虚假信息以及直接有害生成的机制。监控可以使用简单的NLP启发式算法或附加的ML分类器来标记模型生成的响应中包含有害内容的响应，并在将其返回给用户之前拦截它们。同样，在提示本身的监控中，也可以捕获一些有害的提示，以避免它们被传递到模型中。
幻觉
“幻觉”一词指的是LLM偶尔会“做梦般”地产生并非真实存在的输出。提示注入和幻觉可能会呈现为同一枚硬币的两面，虽然在提示注入中，虚假信息的生成是用户的故意意图，而幻觉是LLM训练目标的意外副作用。由于LLM在每个时间步骤上都被训练去预测序列中下一个最可能的单词，它们能够生成高度逼真的文本。因此，幻觉是因为最可能的并不总是真实的这个事实所导致的简单后果。
最新一代的LLM，例如GPT-3和GPT-4，使用一种称为“人类反馈强化学习”（RLHF）的算法进行优化，以匹配人类对哪些回答是好的的主观意见。虽然这使LLM能够达到更高水平的会话流畅度，但有时它们会在发表回答时过于自信。例如，询问ChatGPT一个问题，它会自信地给出一个乍一看似乎合理的答案，但在进一步检查后，它会被证明是客观上错误的。赋予LLM提供不确定性的量化能力仍然是一个活跃的研究问题，不太可能很快被解决。因此，LLM产品的开发者应该考虑监控和分析输出，以尝试检测幻觉并提供比LLM模型提供的更细致的回答。在输出可能指导下游过程的情况下，这尤其重要。例如，如果LLM聊天机器人正在协助用户提供产品推荐并帮助在零售商网站上下订单，则应实施监控程序以确保模型不建议购买实际上不在该零售商网站上销售的产品。
不受控制的成本
由于LLM通过API越来越普遍，因此将这些模型集成到其产品中的企业必须制定计划以防止成本不断增加。如果没有采取保障措施，那么产品的用户很容易生成数千个API调用并发出数千个标记（例如，用户将一份极长的文档复制粘贴到输入中，并要求LLM分析它）。因为LLM API通常按调用数量和标记计费（包括提示和模型的响应），所以很容易看出成本如何迅速失控。因此，企业需要注意如何创建其价格结构，以抵消这些成本。此外，企业应该制定监控程序，以了解使用量激增如何影响成本，并通过实施使用上限或采取其他应对措施来缓解这些激增。
结论
每个在其产品中使用LLM的企业都应确保将监控纳入其系统中，以避免和解决LLM的许多陷阱。此外，所使用的监控解决方案应专门针对LLM应用程序，并允许用户识别潜在的隐私侵犯，防止和/或纠正提示注入，标记幻觉，并诊断成本上升。最佳的监控解决方案将解决所有这些问题，并为企业提供一个框架，以确保它们的基于LLM的应用程序已准备好部署到公众。通过预定演示来查看Mona的全面监控能力，可以充满信心地确保LLM应用程序已充分优化并按照意图执行。