在人工智能和机器学习（ML）快速发展的世界中，基础模型（FMs）展示了巨大的创新潜力和解锁新业务用例的能力。然而，随着组织越来越多地利用FMs的力量，关于数据隐私、安全、额外成本和合规性的关注也变得至关重要。受监管和合规导向的行业，如金融服务、医疗保健和生命科学以及政府机构，在确保对这些模型的安全和负责任消耗方面面临着独特的挑战。为了在敏捷性、创新性和遵守标准之间取得平衡，一个强大的平台变得至关重要。在本文中，我们提出了生成AI网关作为一个企业允许对FMs进行安全访问以实现快速创新的平台。
在本文中，我们定义了什么是生成AI网关，它的好处以及如何在AWS上设计一个生成AI网关。生成AI网关可以帮助大型企业控制、标准化和管理从Amazon Bedrock、Amazon SageMaker JumpStart、第三方模型提供商（如Anthropic及其API）和其他不属于AWS生态系统的模型提供商等服务中消耗FM。
什么是生成AI网关？
对于传统的API（如REST或gRPC），API Gateway已经成为一种设计模式，使企业能够标准化和控制API的外部化和消耗。此外，API注册表提供了集中式治理、控制和发现API的功能。
类似地，生成AI网关是一种设计模式，旨在基于API网关和注册表模式，考虑到在大型企业环境下提供和消耗基础模型的特殊问题。例如，处理幻觉、管理公司特定的IP和EULA（终端用户许可协议），以及调节生成是超越传统API网关范围的新职责。
除了为生成AI而特定的要求外，基础模型的技术和监管环境也在快速变化。这给组织在创新速度和合规性之间取得平衡带来了独特的挑战。例如：
- 模型、架构和最佳实践的最新技术（SOTA）不断变化。这意味着公司需要在应用客户端（模型消费者）和模型推理端点之间实现松散耦合，以便在需要时可以轻松切换大型语言模型（LLM）、视觉或多模态端点。模型推理端点上的抽象层提供了这种松散耦合。
- 监管的不确定性，特别是在知识产权和数据隐私方面，需要对生成过程进行可观察性、监控和追踪。例如，如果基于检索增强生成（RAG）的应用程序在上下文中意外地包含个人可识别信息（PII）数据，需要实时检测此类问题。如果多个数据科学团队的大型企业使用专门为部署基础模型而设计的分布式平台，这将变得具有挑战性。
生成AI网关旨在解决这些新需求，同时提供传统API网关和注册表的相同好处，例如集中式治理和可观察性，以及共享常见组件。
解决方案概述
具体而言，生成AI网关提供以下关键组件：
- 已批准FMs的模型抽象层
- 用于FMs的API网关（AI网关）
- 一个用于内部模型发现的FMs游乐场
下图显示了解决方案架构。
为了提高可靠性，建议的解决方案可以在多个可用区（Multi-AZ）环境中部署。前面图中的虚线代表网络边界，尽管整个解决方案可以在单个VPC中部署。
模型抽象层
模型抽象层作为组织的FMs池安全和受控访问的基础。该层为公司、团队和员工提供可用模型的唯一真相来源，以及如何通过存储每个模型的终端点信息来访问每个模型。
该层为组织内负责任的AI实践提供了安全、符合合规性和灵活的FM消耗的基石，通过生成AI网关。
层本身由四个主要组件组成：
- FM终端点注册表 – 在FMs经过评估、批准和部署供使用后，它们的终端点将添加到FM终端点注册表中，这是所有部署或可以外部访问的API终端点的集中式存储库。注册表包含一个组织消费的生成AI服务终端点的元数据，无论是在内部部署的FM还是从供应商提供的外部生成AI API。元数据包括每个基础模型的服务终端点信息及其配置和访问策略（基于角色、团队等）。
- 模型策略存储和引擎 – 为了以符合合规性的方式消耗FMs，模型抽象层必须跟踪模型生成的定性和定量规则。例如，某些生成可能受到某些法规的约束，如加利福尼亚消费者个人隐私法（CCPA），该法要求根据地理位置进行自定义生成行为。因此，策略应该具有对国家和地理位置的意识，以确保符合不断变化的法规环境。
- 身份层 – 模型可以被消耗后，身份层在访问管理中发挥关键作用，确保只有授权的用户或组织内的角色可以通过AI网关与特定的FMs进行交互。基于角色的访问控制机制帮助定义细粒度的访问权限，确保用户可以根据其角色和职责访问模型。
- 与供应商模型注册表的集成 – FMs可以以不同的方式提供，可以在组织账户下VPC中部署，也可以通过不同供应商的API提供。经过前面提到的初始检查后，终端点注册表获得来自供应商的这些模型的必要信息和版本，并通过API公开。这将使最终用户从底层复杂性中抽象出来。
为了填充AI模型端点注册表，生成式AI网关团队与跨职能团队的领域专家和业务利益相关者合作，精选和接入平台上的FM。在这个接入阶段中，会仔细考虑模型性能、成本、道德对齐、合规性以及供应商声誉等因素。通过进行全面评估，组织确保所选的FM与他们特定的业务需求相匹配，并遵守安全和隐私要求。
下图描绘了这一层的架构。
以下是AWS服务可用于构建模型抽象层（MAL）的方法：
- 生成式AI管理器使用Amazon DynamoDB创建注册表。该注册表将包含组织帐户内部部署或供应商通过API访问的FM的信息。该注册表将存储模型的端点、元数据和配置参数。如果需要使用特定于供应商的API客户端调用底层FM，则还可以存储自定义AWS Lambda函数的信息。
- 生成式AI管理器确定用户的访问权限，添加限制，为用户可以执行的生成类型（图像、文本、多模态等）添加策略，并添加其他组织特定策略，例如负责任的AI和内容过滤器，这些策略将作为单独的策略表添加到DynamoDB中。
- 当用户使用AI网关发出请求时，它会被路由到Amazon Cognito以确定客户端的访问权限。Lambda授权者有助于确定来自身份层的访问权限，这将由DynamoDB表策略管理。如果客户端具有访问权限，则会从AWS Secrets Manager中获取与FM端点相关的访问密钥和自定义函数。此阶段还会探索注册表以找到相关的端点和配置。
- 在获取与请求相关的所有必要信息（例如端点、配置、访问密钥和自定义函数）后，将其传递回AI网关，以便与调度Lambda函数一起使用，该函数调用特定的模型端点。
AI网关
AI网关是在组织内安全高效地使用FM的重要组成部分。它建立在模型抽象层之上，为内部用户（包括开发人员、数据科学家和业务分析师）提供基于API的接口。
通过这个用户友好的界面（基于编程和试验场UI），内部用户可以无缝访问、交互和使用组织的精选模型，确保基于其身份和职责提供相关模型。AI网关包括以下内容：
- 统一的FM API接口 – AI网关提供了一个统一的API接口和SDK，将底层的技术复杂性抽象化，使内部用户能够轻松地与组织的FM池交互。用户可以使用API调用不同模型并发送提示以获取模型生成。
- API配额、限制和使用管理 – 这包括以下内容：
- 已使用配额 – 为了实现资源有效分配和成本控制，AI网关向用户提供了每个模型的已使用配额的洞察。这种透明度使用户能够有效地管理他们的AI资源使用，确保最佳利用并防止资源浪费。
- 请求专用托管 – 认识到为关键用例分配资源的重要性，AI网关允许用户请求特定模型的专用托管。具有高优先级或延迟敏感应用的用户可以使用此功能确保为其模型推断需求提供一致和专用的环境。
- 访问控制和模型治理 – 使用模型抽象层中的身份层，AI网关强制执行严格的访问控制。每个用户的身份和分配的角色决定他们可以访问的模型。这种细粒度的访问控制确保用户只能访问与其领域相关的模型，维护数据安全和隐私，并促进负责任的AI使用。
- 内容、隐私和负责任的AI策略执行 – API网关对模型的所有输入进行预处理和后处理，过滤和监管有关模型抽象层指定的毒性、暴力、有害性、PII数据等内容。将此功能集中在AI网关中可以确保执行和方便审核。
通过将AI网关与模型抽象层集成，并加入诸如基于身份的访问控制、模型列表和元数据显示、消耗配额监控和专用托管请求等功能，组织可以创建一个强大的AI消费平台。
此外，AI网关还提供了API网关的标准优势，包括以下内容：
- 成本控制机制 – 为了优化资源分配并有效管理成本，可以实施一个强大的成本控制机制。该机制监控资源使用情况、模型推断成本和数据传输费用。它使组织能够了解生成AI资源的开支，发现节省成本的机会，并对资源分配作出明智决策。
- 缓存 – 特别是在应用程序的测试和开发阶段，从FMs进行推断可能会变得昂贵。缓存层可以帮助减少这种成本，甚至通过为频繁请求维护缓存来提高速度。缓存还可减轻端点的推断负担，为其他请求腾出空间。
- 可观察性 – 这在捕获在AI网关和Discovery Playground上执行的活动中起着至关重要的作用。详细日志记录用户交互、模型请求和系统响应。这些日志为故障排除、跟踪用户行为以及增强透明度和责任制提供了有价值的信息。
- 配额、速率限制和节流 – 该层的治理方面可以应用配额、速率限制和节流来管理和控制AI资源的使用。配额定义了用户或团队在特定时间范围内可以发出的最大请求数，确保资源公平分配。速率限制通过强制执行最大请求速率来防止资源的过度使用。节流通过控制传入请求的频率来减轻系统超负荷的风险，防止服务中断。
- 审计日志和使用监控 – 团队负责维护整个生态系统的详细审计日志。这些日志可以实现全面的使用监控，使中央团队能够追踪用户活动，识别潜在风险，并在AI消费中保持透明度。
下图说明了这个架构。
AWS服务可以通过以下方式帮助构建AI网关：
- 用户使用Amazon API网关发出请求，该请求在经过身份验证和授权后被路由到模型抽象层。
- AI网关使用由MAL返回的使用限制策略对每个用户的请求强制执行使用限制。为了方便实施，我们使用API网关的本机功能来实施计费。此外，我们使用JSON模式对请求执行标准API网关验证。
- 在验证使用限制后，使用从MAL获取的端点配置和凭据使用各个批准的模型供应商提供的本地接口形成实际的推断有效载荷。调度层规范化了不同供应商的SDK和API接口的差异，为客户提供统一的接口。更复杂的调度服务还可以处理DNS更改、负载均衡和缓存等问题。
- 在从底层模型端点接收到响应后，后处理Lambda函数使用与MAL相关的内容（毒性、裸露等）和合规性（CCPA、GDPR等）的策略来过滤或屏蔽生成的全部或部分内容。
- 在请求的整个生命周期中，所有生成和推断载荷都通过Amazon CloudWatch Logs记录，可以根据标签和从MAL检索的策略组织这些日志。例如，可以按模型供应商和地理位置区分日志。这有助于进一步改进和故障排除模型。
- 最后，可以通过AWS CloudTrail进行追溯性审计。
Discovery Playground
最后一个组件是引入Discovery Playground，它建立在模型抽象层和AI网关之上，提供了一个基于用户友好的界面，为用户提供了一个动态环境，可以在其中探索、测试和发挥现有FMs的全部潜力。除了提供AI能力的访问权限外，Playground还赋予用户使用丰富的UI界面与模型进行交互的权力，提供有价值的反馈意见，并与组织内的其他用户分享他们的发现。它提供以下主要功能：
- 游乐场界面 – 您可以轻松输入提示，并实时接收模型输出。用户界面简化了交互过程，使生成式人工智能的探索对具有不同技术水平的用户来说更加易于使用。
- 模型卡片 – 您可以访问包含其对应元数据的可用模型的全面列表。您可以探索有关每个模型的详细信息，例如其功能、性能指标和支持的用例。此功能有助于明智决策，让您选择最适合特定需求的模型。
- 反馈机制 – 游乐场的一个区别性方面是其反馈机制，允许您对模型输出提供见解。您可以报告幻觉（虚构信息）、不恰当的语言或在与模型的交互过程中观察到的任何意外行为等问题。
- 用例推荐 – Discovery Playground 可以设计成促进对不同用例中基金模型的学习和理解。您可以尝试各种提示，并发现哪些模型在特定场景中表现出色。
通过提供丰富的用户界面、模型卡片、反馈机制、用例推荐和可选的示例商店，Discovery Playground 成为一个强大的平台，用于机构内生成式人工智能的探索和知识分享。
流程考虑
而生成式人工智能网关的先前模块提供了一个平台，此层更为实用，确保机构内负责任和合规的基金模型使用。它包括超越技术方面的额外措施，重点关注法律、实际和监管考虑。该层为中央团队提供了关键的责任，以解决数据安全、许可证、组织规定和审计跟踪等问题，培养信任和透明的文化：
- 数据安全和隐私 – 由于基金模型可以处理大量数据，数据安全和隐私成为首要关注的问题。中央团队负责实施强大的数据安全措施，包括加密、访问控制和数据匿名化。严格遵守数据保护法规（如GDPR、HIPAA或其他行业特定标准），以保护敏感信息和用户隐私。
- 数据监控 – 应建立全面的数据监控系统，跟踪通过AI网关和Discovery Playground进出的信息。这包括监控用户提供的提示以及相应的模型输出。数据监控机制使组织能够观察数据模式，检测异常，并确保敏感信息的安全性。
- 模型许可证和协议 – 中央团队应在模型使用方面管理许可证和协议。供应商提供的模型可能带有特定的使用协议、使用限制或许可条款。团队确保遵守这些协议，并维护所有许可证的全面存储库，确保明确了解每个模型的权利和限制。
- 伦理考虑 – 随着人工智能系统变得越来越复杂，中央团队负责确保人工智能使用的伦理一致性。他们评估模型的潜在偏见、有害输出或不道德行为。采取措施来减轻此类问题，并在组织内培养负责任的人工智能开发和部署。
- 积极适应 – 为了应对新兴挑战和不断变化的法规，中央团队采取积极的治理方法。他们不断更新政策、模型标准和合规措施，以与最新的行业实践和法律要求保持一致。这确保机构的人工智能生态系统保持合规，并坚持伦理标准。
结论
生成式人工智能网关使机构能够负责任、安全地使用基金模型。通过整合模型抽象层、AI网关和配备监控、可观察性、治理和安全、合规和审计层的Discovery Playground，机构可以在创新和合规之间取得平衡。AI网关赋予您对策划模型的无缝访问权限，而Discovery Playground则促进了探索和反馈。监控和治理提供了优化资源分配和主动决策的见解。以安全、合规和道德的人工智能实践为重点，生成式人工智能网关为机构打开了一个未来，在其中基于人工智能的应用可以负责任地蓬勃发展，为机构开启了新的可能性领域。