亚马逊药房是在Amazon.com上提供透明定价、临床和客户支持以及免费送货上门的全方位药房服务。客户关怀代理人在实时中快速准确地检索与药房信息相关的信息方面起着至关重要的作用，包括处方澄清和转移状态、订单和发放详情以及患者的个人资料等。亚马逊药房提供了一个聊天界面，在这里，客户（患者和医生）可以与客户关怀代表（代理人）在线交谈。代理人面临的一个挑战是在回答客户问题时找到准确的信息，因为医疗流程（例如解释事先授权）的多样性、数量和复杂性可能令人畏缩。找到正确的信息，总结并解释需要时间，降低了为患者提供服务的速度。
为了应对这个挑战，亚马逊药房构建了一个生成式AI问答（Q&A）聊天机器人助手，使代理人可以在与客户实时进行自然语言搜索的同时保留与客户的人类互动。解决方案符合HIPAA法规，确保客户隐私。此外，代理人将与机器生成的答案相关的反馈提交给亚马逊药房开发团队，以便用于未来的模型改进。
在本文中，我们将介绍亚马逊药房如何使用AWS AI产品实施其客户关怀代理人助手聊天机器人解决方案，包括在Amazon SageMaker JumpStart中使用基础模型加速其开发。我们从强调引入基于大型语言模型（LLM）的聊天机器人的客户关怀代理人的整体体验开始。然后，我们解释了该解决方案如何使用检索增强生成（RAG）模式进行实现。最后，我们描述了产品架构。本文演示了如何将生成式AI集成到一个复杂且高度受管制的业务中已有的应用程序中，改进了药房患者的客户关怀体验。
基于LLM的问答聊天机器人
下图显示了患者通过聊天联系亚马逊药房客户关怀的过程流程（第1步）。代理人使用单独的内部客户关怀用户界面向基于LLM的问答聊天机器人提问（第2步）。然后，客户关怀用户界面将请求发送到托管在AWS Fargate上的服务后端（第3步），通过一组模型和数据检索流程（统称为RAG过程）编排查询。这个过程是基于LLM的聊天机器人解决方案的核心，其详细信息将在下一节中解释。在该过程结束时，机器生成的响应将返回给代理人，在向最终客户提供答案之前，代理人可以进行审核（第4步）。值得注意的是，代理人经过培训，具备行使判断力和使用基于LLM的聊天机器人解决方案作为增强工具的能力，因此他们可以将时间用于与客户进行个人互动。代理人还对机器生成的响应进行标记（例如，积极或消极）并提供反馈。然后，亚马逊药房开发团队使用此反馈来改善解决方案（通过微调或数据改进），形成与用户的产品开发的持续循环（第5步）。
下图显示了问答聊天机器人和代理人互动的示例。在这里，代理人询问有关拒绝理赔代码的问题。问答聊天机器人（代理人AI助手）用清晰的描述回答了问题，并在需要时提供了原始文档的链接供代理人跟进。
加速ML模型开发
在上一张描绘聊天机器人工作流程的图中，我们跳过了如何训练Q&A聊天机器人模型的详细信息。为了做到这一点，亚马逊药店开发团队利用了SageMaker JumpStart。SageMaker JumpStart允许团队快速尝试不同的模型，运行不同的基准和测试，按需快速失败。快速失败是科学家和开发人员快速构建尽可能真实的解决方案并从中学习以在下一次迭代中使其变得更好的概念。团队决定了模型并进行了必要的微调和定制后，他们使用SageMaker hosting来部署解决方案。在SageMaker JumpStart中重复使用基础模型使开发团队节省了几个月的工作时间，否则需要从头开始训练模型。
RAG设计模式
解决方案的核心部分之一是使用检索增强生成（RAG）设计模式来实现Q&A解决方案。该模式的第一步是确定一组已知的问题和答案对，这是解决方案的初始基准。接下来的步骤是将问题转换为更好的表示形式，以便用于相似性和搜索，这称为嵌入（将高维对象嵌入到具有较少维度的超平面中）。通过嵌入特定的基础模型来完成这一过程。这些嵌入被用作答案的索引，就像数据库索引将主键映射到行一样。我们现在可以支持来自客户的新查询了。如前所述，客户将其查询发送给代理人，然后代理人与基于LLM的聊天机器人进行交互。在Q&A聊天机器人中，将查询转换为嵌入，然后将其用作匹配索引的搜索键（从前一步中获得）。匹配标准基于相似性模型，例如FAISS或Amazon Open Search Service（有关详细信息，请参阅Amazon OpenSearch Service 的矢量数据库功能解释）。当存在匹配项时，检索并使用顶部答案作为生成模型的提示上下文。这对应于RAG模式中的第二步-生成步骤。在这一步中，将提示发送到LLM（生成器基础模型），它会组合出对原始问题的最终机器生成响应。该响应通过客户服务UI提供给代理人，代理人验证答案，如有需要进行编辑，并将其发送回患者。以下图表说明了这个过程。
管理知识库
正如我们通过RAG模式所了解的那样，执行Q&A的第一步是检索数据（问题和答案对），用作LLM提示的上下文。这些数据被称为聊天机器人的知识库。这些数据的示例是亚马逊药店内部标准操作程序（SOP）和Amazon Pharmacy帮助中心中提供的信息。为了便于索引和检索过程（如前面所述），通常有必要将存储在维基、文件和数据库等不同解决方案中的所有这些信息收集到一个单一的存储库中。在亚马逊药店聊天机器人的特定情况下，我们使用Amazon Simple Storage Service（Amazon S3）来实现这一目的，因为它简单灵活。
解决方案概述
下图显示了解决方案架构。客户服务应用程序和基于LLM的Q&A聊天机器人部署在它们自己的VPC中进行网络隔离。VPC端点之间的连接是通过AWS PrivateLink实现的，以确保其隐私性。同样，Q&A聊天机器人具有自己的AWS账户，以进行角色分离、隔离和便于监视安全性、成本和合规性。Q&A聊天机器人的编排逻辑托管在Fargate中，使用Amazon Elastic Container Service（Amazon ECS）。为了设置PrivateLink，网络负载均衡器将请求代理到一个应用程序负载均衡器，后者停止终端客户TLS连接并将请求交给Fargate。主要存储服务是Amazon S3。如前所述，相关的输入数据被导入到Q&A聊天机器人账户内的所需格式，并持久化在S3存储桶中。
当涉及到机器学习（ML）基础架构时，Amazon SageMaker处于架构的中心。如前面所述，有两个模型，即嵌入式模型和LLM模型，这两个模型被托管在两个不同的SageMaker端点上。通过使用SageMaker 数据捕获功能，我们可以记录所有推断请求和响应，以便进行故障排除，同时满足必要的隐私和安全约束。接下来，来自代理的反馈将存储在一个单独的S3存储桶中。
问答聊天机器人是一个多租户解决方案，可以支持来自亚马逊健康服务的其他健康产品，比如亚马逊诊所。例如，该解决方案使用AWS CloudFormation模板进行基础架构即代码（IaC）部署，允许使用不同的知识库。
结论
本文介绍了亚马逊药店生成式AI客户关怀改进的技术解决方案。该解决方案由一个问题回答聊天机器人组成，该机器人在SageMaker上实施了RAG设计模式，并在SageMaker JumpStart中使用基础模型。借助这个解决方案，客户关怀代理可以更快地帮助患者，并提供准确、信息丰富且简洁的答案。
该架构采用模块化微服务，具有知识库准备和加载、聊天机器人（指令）逻辑、嵌入式索引和检索、LLM内容生成以及反馈监督等单独的组件。对于持续的模型改进，后者尤其重要。SageMaker JumpStart中的基础模型用于快速实验，而模型服务则使用SageMaker端点。最后，符合HIPAA标准的聊天机器人服务器托管在Fargate上。
总而言之，我们看到了亚马逊药店如何利用生成式AI和AWS改善客户关怀，同时优先考虑负责任的AI原则和实践。
您可以开始使用SageMaker JumpStart中的基础模型进行实验，以找到适合您用例的正确基础模型，并开始在SageMaker上构建您的生成式AI应用。