生成式人工智能置于十字准心：CISO们的网络安全之战

ChatGPT和大型语言模型（LLM）是生成式人工智能如何塑造许多业务流程的早期迹象。安全与风险管理领导者，特别是CISO和他们的团队，需要确保组织在构建和使用生成式人工智能时的安全，并解决其对网络安全的影响。生成式人工智能（GenAI）的炒作程度、规模和采用速度提高了终端用户对LLM的认识，导致LLM应用的不受控使用。这也为业务实验和基于人工智能的初创企业打开了大门，承诺通过新的LLM和GenAI应用提供独特的价值主张。许多业务和IT项目团队已经启动了GenAI项目或将很快启动。

在这篇文章中，我们探讨了GenAI对CISO及其策略在这个不断演变的环境中的影响。

不论安全性如何，企业都将拥抱生成式人工智能，重新想象未来的产品、服务和卓越运营。

GenAI对CISO的关键影响

CISO和安全团队需要在四个不同领域为生成式人工智能的影响做好准备。

1. 消费

管理和监控组织如何“消费”GenAI：ChatGPT是第一个例子；嵌入到现有应用程序中的GenAI助手将是下一个。这些应用程序都有独特的安全要求，不能通过传统的安全控制来实现。
对GenAI应用程序的消费，如大型语言模型（LLMs），来自业务实验和未经管理的、临时性的员工采用，会在个人隐私、敏感数据和组织知识产权方面产生新的攻击面和风险。

2. 构建

确保企业“构建”GenAI应用程序的安全性：人工智能应用程序具有扩展的攻击面，并带来新的潜在风险，需要对现有应用程序安全实践进行调整。
许多企业正在积极利用其知识产权并开发自己的GenAI应用程序，为AI应用程序安全性带来新的要求。

3. 利用

生成式网络安全人工智能：获得利用GenAI机会改善安全和风险管理、优化资源、防御新兴攻击技术甚至降低成本的指令。
在安全与风险管理市场上，过多夸大生成式人工智能（GenAI）的宣传可能会为安全团队带来生产力和准确性的显著提升，但也可能导致浪费和失望。
投资防御性人工智能技术的开发。

4. 受到

GenAI的攻击：适应恶意行为者不断发展的技术或甚至利用新的攻击向量，得益于GenAI工具和技术的发展。
攻击者将利用GenAI。他们已开始创建更真实的内容、钓鱼诱饵和大规模模拟人类。对于他们能否成功利用GenAI进行更复杂攻击的不确定性，需要更灵活的网络安全路线图。

CISO的建议

为了应对生成式人工智能对其组织安全计划的各种影响，首席信息安全官（CISO）及其团队必须：

到2027年，通过改进其他技术结果，将生成式人工智能对应用程序安全测试和威胁检测的误报率减少30%，以将良性事件分类为恶意事件。

到2025年，利用生成式人工智能发起的攻击将迫使注重安全的组织降低检测可疑活动的阈值，产生更多虚假警报，因此需要更多的人工响应，而不是更少。

1. 投资防御性人工智能技术开发

交互式威胁情报：获取来自安全提供者的技术文档、威胁情报，或通过众包的方式（使用各种方法单独或结合使用，包括提示工程、检索增强生成和使用API查询LLM模型）。
自适应风险评分和个人资料
安全工程自动化：根据需求生成安全自动化代码和手册，利用会话提示。
BAS
GenAI驱动的渗透测试

2. 拥抱安全应用开发助手

代码生成工具（例如GitHub Copilot，Open AI Codex，Amazon CodeWhisperer）正在嵌入安全功能，应用安全工具已经在利用LLM应用。这些安全代码助手的用例示例包括：

应用安全团队

漏洞检测：突出显示在提示中输入的代码片段的问题或通过扫描源代码来检测问题。
减少误报：作为其他代码分析技术的确认层，该功能分析警报和相关代码，并以对话语言表明为什么可能是误报。
自动修复助手：作为生成的发现摘要的一部分，建议更新代码以修复已识别的漏洞。

重新调整并更新DevSecOPS流程，包括BAS和GenAI驱动的渗透测试。

软件工程/应用开发团队

代码生成：从开发人员输入创建脚本/代码，包括自然语言注释或指令，或作为高级代码完成工具。一些工具还可以指示生成的代码是否类似于开源项目，或者是否有助于验证代码（生成的或人工编写的）是否符合行业标准的安全实践。
单元测试创建：为提交的函数建议一系列测试，以确保其行为符合预期，并且能够抵御恶意输入。
代码文档：生成代码的功能解释或代码更改的影响。

虽然这些用例很容易识别，但尚无法获得与这些助手相关的相关定性度量。

3. GenAI在安全运营和安全操作工具集中的应用

针对具有直接财务和品牌影响的用例，如代码自动化、面向客户的内容生成以及客户面向团队（例如支持中心），优先考虑安全资源的参与。
评估第三方安全产品以获取非AI相关控制（例如身份与访问管理、数据治理和服务器端加密功能）和AI特定安全性（例如LLM输入的监控、控制和管理）。
准备评估新兴产品，以实现零代码定制提示。
测试新兴产品，检查并审查输出是否存在潜在的错误信息、错觉、事实错误、偏见、版权侵权和其他非法或不需要的信息，这可能导致意外或有害的结果。 相反，实施临时手动审查流程。
逐步部署自动化操作，只有在预先建立的准确度跟踪指标的情况下执行。确保任何自动化操作可以快速、简便地被还原。
在评估第三方应用程序时考虑LLM模型透明度要求。首先，工具不包括用户操作的必要可见性。
考虑将较小或面向特定领域的LLMs私有化主机的安全优势，但与基础架构和应用团队合作评估基础架构和运营挑战。
启动“生成式网络安全AI”的实验，从安全运营中心（SOCs）和应用安全开始使用聊天助手。像Microsoft、Google、Sentinel One和CrowdStrike这样的供应商已经将这些工具集成到了一些安全操作工具中。这些工具可以提高普通管理员的生产力和技能水平，提高安全结果和沟通。
第一波在SOC工具中实施GenAI（例如Microsoft Security CoPilot）是通过对话提示替代现有的基于查询的搜索功能，并作为用户的前端界面。这种新界面降低了使用该工具的技能要求，缩短了学习曲线的长度，并使更多的用户从中受益。这些GenAI功能将越来越多地嵌入到现有的安全工具中，以提高操作员的熟练度和生产力。 这些提示的首次实施支持威胁分析和威胁搜索工作流程：
警报增强：自动向警报添加上下文信息，包括威胁情报或按照已知框架进行分类。
警报/风险评分解释：优化现有评分机制，识别误报或为现有的风险评分引擎做出贡献。
攻击面/威胁摘要：根据目标读者的用例，汇总多个警报和可用的遥测信息。
缓解助手：建议更改安全控制和新的或改进的检测规则。
文档：制定、管理和维护一致的安全策略文档和最佳实践政策和流程。

安全运营聊天机器人可以更容易地从SOC工具中获取洞察力。然而，有经验的分析师仍然需要评估输出的质量，检测潜在的幻觉，并根据组织的要求采取适当的行动。

注意：大多数这些工具都处于早期阶段（无论是从能力还是定价的角度来看）；它们看起来很有前景，但要小心！！- 新颖之处可能主要在于互动性，这很有价值，但搜索和分析能力已经可用。

4. 制定负责任和可信赖的人工智能框架（RTAF）

5. 采取综合风险和安全管理方法（RSM）

6. 重新定义和加强治理工作流程

与对GenAI充满活力的组织对手合作，例如法律和合规以及业务线，制定用户策略、培训和指导。这将有助于最小化未授权使用GenAI以及降低隐私和版权侵权风险。
在开发新的第一方应用程序或使用LLMs和GenAI的新的第三方应用程序时，要求使用RTAF和RSM。
建立明确列出治理规则的企业政策，包括所有必要的工作流程，并利用现有的数据分类来限制在提示和第三方应用程序中使用敏感数据的方式。
定义库存、批准和管理使用GenAI的工作流程。在现有产品的软件更新期间包含“生成AI作为一项功能”。
分类具有最高潜在业务影响的用例，并确定更有可能快速启动项目的团队。
为利用GenAI的供应商制定新的供应商风险管理要求。
获取并验证主机服务商的数据治理和保护保证，即向其大型语言模型（LLM）传输的机密企业信息的保密性。通过合同许可协议获得这些保证，因为在托管环境中运行的保密性验证工具尚不可用。
强化评估对不可预测威胁的暴露以及度量控制措施的变化的方法，因为他们无法猜测恶意行为者可能如何使用GenAI。
制定用户策略、培训和指导，以最小化未经授权的GenAI使用、隐私和版权侵权风险。
为隐私和人工智能条例所要求的必要影响评估做好计划，例如欧盟的《通用数据保护条例（GDPR）》和即将出台的《人工智能法》。

拥抱生成型网络安全人工智能的关键挑战和建议

生成型网络安全人工智能将对安全和风险管理团队产生影响，但安全领导人也应准备好面对GenAI对安全计划的“外部/间接”影响，例如辅助RFP分析、代码注释以及影响合规性、人力资源等许多其他团队的各种内容生成和自动化。
隐私和第三方依赖：随着提供商争相发布功能，许多提供商利用第三方LLM，使用API与GenAI提供商进行交互，或直接使用第三方库或模型。这种新的依赖可能会导致隐私问题和第三方风险管理挑战。
短期工作效率：警报增强是否会减轻诊断疲劳，还是通过添加生成的内容使其变得更糟糕？初级员工可能只是疲倦于大量数据，因为他们无法确定其是否有意义。
成本：许多新的生成型网络安全人工智能功能和产品目前处于私人测试版或预览版。关于这些功能将对安全解决方案价格产生的影响，目前了解甚少。商业模型通常以使用的令牌数量为基础定价，安全提供商可能会让客户为其付费。训练和开发模型也是昂贵的。使用GenAI的成本可能比解决同一用例的其他技术的成本要高得多。
质量：对于大多数早期实施的生成型网络安全人工智能应用，组织将以“足够好”和基本技能增强为目标。经过我对安全代码助手输出的测试/实验评估，质量的结果参差不齐（50-60%的成功率）。威胁情报（TI）和警报评分功能可能会受到模型训练集的偏见或幻觉（制造的不准确输出）的影响。
回归到平均水平和现有技术的对比：对于像对抗高级攻击的事件响应等专用用例，由GenAI生成的输出的质量可能无法达到最有经验的团队的标准。这是因为其输出部分来自于较低成熟度实践的众包训练数据集。

使用未经许可的LLM应用程序的风险

敏感数据泄露：供应商对于发送的数据如何处理的规定因供应商而异。根据供应商的声明，企业无法验证其提示数据是否保持私密。他们必须依赖供应商的许可协议来执行数据保密。
潜在的版权/知识产权侵权：生成的输出（基于组织无法识别的训练数据）引起的版权侵权责任归结于使用者和企业。生成的输出可能也有使用规定。
带有偏见、不完整或错误的回应：“AI幻觉”（虚构的答案）的风险是真实存在的！想象一下，答案也可能是错误的（例如，在实践上、技术上、语法上等）因为依赖于有偏见、片段化或过时的训练数据集。
违反LLM内容输入和输出政策：企业可以使用传统的安全控件来控制提示输入，但他们需要另一层控制确保精心制作的提示符符合其政策准则 – 例如，在传输违反预设道德准则的问题方面。LLM的输出也必须进行监控和控制，以确保它们也符合公司政策 – 例如，针对特定领域有害内容的政策。传统的安全控件不能提供这种类型的领域特定内容监控。
品牌/声誉损害：除了在面向客户的内容中出现的笨拙的“重新生成回应”或“作为AI语言模型”，您的组织的客户很可能期望一定程度的透明度。

对GenAI应用的四种消费模式

1. 第三方应用程序或代理：例如ChatGPT的基于web或移动应用版本（即开箱即用）。

2. 内嵌在企业应用程序中的生成型AI：组织可以直接使用嵌入了GenAI功能的商业应用程序。其中一个示例是使用已有的软件应用程序（参见大型语言模型的AI设计模式），该应用程序现在包括了LLM（例如Microsoft 365 Copilot或像Adobe Firefly这样的图像生成功能）。

3. 将模型APIs嵌入自定义应用程序：企业可以构建自己的应用程序，通过基础模型API与GenAI进行集成。大多数闭源的GenAI模型，如GPT-3、GPT-4和PaLM，都可以通过云API进行部署。该方法还可以通过提示工程进一步改进 – 这可以包括模板、示例或组织自己的数据，以更好地通知LLM的输出。一个示例是在私有文档数据库中搜索相关数据，然后将其添加到基础模型的提示中，用这些额外的相关、相似信息增强它的回应。

4. 通过微调扩展GenAI：微调是在特定用例上使用较小的数据集进一步训练LLM。例如，银行可以将基础模型与其自身的条款和政策、客户洞察和风险暴露知识进行微调，并提高其在特定用例上的性能。提示工程方法受限于模型的上下文窗口，而微调则可以将更大的数据语料库纳入其中。

第三方模型和微调让消费和构建自己的GenAI应用之间的界限变得模糊。

并非所有LLM都可以进行微调。

整合或私有托管第三方模型的定制代码需要安全团队扩展其控件，超出了消费第三方AI服务、应用程序或代理所需的基础设施和内部应用程序生命周期攻击面。

获得对GenAI消费更好控制的七种策略

防止未经许可的使用的能力有限，特别是因为员工可以从不受管理的设备访问GenAI应用程序和商业或开源LLMs。 安全负责人必须意识到，阻止已知域和应用程序不是一种可持续或全面的选择。这还会引发“用户绕过”，员工会与未经监控的个人设备共享企业数据以获取工具的访问权限。许多组织已经从阻止转向了一个“批准”页面，其中包含一个链接到组织政策的页面和一个提交访问请求的表单。 组织可以利用七种策略来更好地控制GenAI的消费。

1. 发展负责任和值得信赖的人工智能框架（RTAF）

2. 采取综合风险和安全管理（RSM）的方法

3. 定义治理实体和工作流程：最初的目标是为所有业务和项目建立清单，并定义可接受的使用案例和政策要求。 GenAI应用可能需要特定的批准工作流程和持续的使用监控，其中可能还包括定期用户声明，以确保实际使用符合预设意图。

4. 监控和阻止：组织应计划阻止访问OpenAI域或应用某种程度的数据泄漏防护，利用现有的安全控制，或部署能够拦截已知应用的网页流量的安全服务边缘（SSE）解决方案。

5. 持续沟通有关短期可接受使用政策：通常情况下，可以使用一份或两份页面的政策文件来分享内部联系人以获得批准，突出应用可能带来的风险，禁止使用客户数据，并要求文档和输出的可追溯性。

6. 调查和采用可及时工程和API集成的可观测性：通过自定义提示拦截输入和输出可能会改善结果，同时也可以增加更多的安全控制。较大的组织可能会探索提示增强技术，如Retrieval Augmented Generation (RAG)。

7. 在可用时优先选择私有托管选项，这样可以提供额外的安全和隐私控制。

生成型人工智能消耗是新的攻击面

与任何创新或新兴技术（例如元宇宙，加密货币）一样，恶意行为者将寻求创造性方法以利用GenAI安全实践和认知的不成熟。

生成型人工智能的最大风险将是其迅速创建可信的虚假内容以影响舆论，并提供看似合法的内容，以增加骗局的真实性。

在确保GenAI的消耗安全时，CISO及其团队应预期以下攻击面的变化：

对抗性提示：使用直接和间接提示是一种突出的攻击面。在消耗第三方GenAI应用程序或构建自己的应用程序时，当消耗方面存在“提示注入”和“对抗性提示”时，会出现威胁。早期研究工作展示了如何利用应用程序提示。安全团队需要将这个新界面视为潜在的攻击面。

“提示注入”是一种对抗性提示技术，它描述了在应用程序的对话或系统提示界面或生成的内容中插入隐藏指令或上下文的能力。

生成型人工智能作为诱饵：GenAI的流行将导致其作为诱饵吸引受害者，并作为一种新的潜在欺诈形式。预计会出现假冒的GenAI应用程序、浏览器插件、应用程序和网站。
数字供应链：攻击者将利用GenAI组件中的任何弱点，这些组件将作为微服务广泛部署在流行的企业应用程序中。这些子程序可能会受到多种机器学习（ML）攻击技术的影响，例如训练数据操纵和其他攻击以操纵响应。
法规将对生成型人工智能的消耗产生影响 –即将出台的法规对于正在消耗（和构建）人工智能应用程序的组织而言是一种潜在威胁。由于法律可能会更改供应商的要求，来自受严格监管行业或处于拥有更严格隐私法律的地区的组织，同时也积极寻求制定人工智能法规，可能需要暂停或回退对LLM应用程序的消耗。详细程度可能因内容的敏感性而有所不同。应用程序和服务可能包括日志记录，但组织可能需要对最敏感的内容（如代码、规则和脚本部署在生产环境中）实施自己的流程。

人工智能为现有应用程序增加了新的攻击面

针对人工智能应用程序的安全建议

从高层次上来看，人工智能应用程序的安全和安全性可以分为五个类别：

可解释性和模型监控
模型运维
人工智能应用程序安全
隐私
为人工智能应用程序平台提供安全基础

对于GenAI应用程序的实施控制将在很大程度上取决于AI模型的实现。安全控制的范围将取决于AI使用的模式，如应用程序是否包括：

适应混合开发模型，例如前端封装（例如提示工程），第三方模型的私有托管，以及自定义的GenAI应用程序与内部模型设计和优化。
在训练和微调模型时考虑数据安全选项，特别是对准确性或额外成本的潜在影响。这必须与现代隐私法律中的要求相权衡，这些法律通常包括个人要求组织删除其数据的能力。
在“安全GenAI编码”实践方面提升您的安全冠军、软件工程冠军和DevOps冠军的能力。
更新“安全设计”、“安全软件开发生命周期（Secure SDLC）指导”。
更新“默认安全和隐私设计指导”
应用负责任和可信的AI框架（RTAF）和风险和安全管理（IRSM）原则。
增强测试策略，以添加针对对抗性提示和提示注入的测试要求。
评估和部署“监控模型操作”工具集。

全自动防御的承诺

拥抱自动响应的主要障碍不在于技术能力，而在于相关人员的责任。关于GenAI内部工作原理和数据来源的不透明性引发了安全领导者对基于生成型网络安全AI应用程序输出直接自动化操作的担忧。

在接下来的6-9个月中，许多安全提供商将推出探索复合AI（即整合多个AI模型并结合其他技术的方法）的功能。例如，GenAI模块可能会在检测到新的恶意软件时生成应对策略，并且各种自主代理将执行这些操作，其中可能包括隔离受影响的主机，删除未打开的电子邮件或与其他组织共享妥协指标（IOCs）。自动化操作以预防攻击、限制横向移动或动态调整策略的吸引力，对于企业和技术提供商来说是一个引人注目的提议，前提是它证明是有效的。

然而，当涉及解释和记录自动化响应时，就会出现挑战。这种限制，尤其是在关键操作或与一线人员打交道时，可能会阻碍但不会完全停止响应自动化。在组织逐渐建立起足够的对系统的信任，逐步扩大自动化程度之前，强制性的批准工作流程和全面的文件记录将是必不可少的。有效的可解释性甚至可能成为安全提供商的一个独特特点，或者在某些司法管辖区内成为法定要求。