这是VoAGI 2023企业安全趋势报告的一篇文章。了解更多信息，请点击：
近年来，人工智能（AI）和自动化技术的发展已经极大地改变了应用安全。一方面，AI和自动化的进步增强了安全机制，减少了反应时间，并增强了系统的弹性。另一方面，AI和自动化带来的挑战也产生了可利用的偏见，过度依赖自动化，以及对新兴威胁扩展了攻击面。
我们可以看到，在重新定义安全场景时，这些技术具有巨大的价值和增长潜力，但我们不能忽视其中存在的许多挑战。事实上，每项新技术都为利用提供了新的机会，除非得到解决，否则会危及其所试图改进的安全本身。让我们探讨一下AI和自动化技术在应用安全方面的帮助和挑战。
增强威胁检测
AI从基本的异常检测发展到主动威胁响应和持续监控。随着网络安全团队通常需要高效利用资源，并且需要更高的资源效率，AI威胁检测对于解决组织面临的日益复杂和精密的网络威胁至关重要。
AI技术提供实时攻击检测，并保持持续观察，这对于威胁可能突然而出的情况至关重要。其自适应学习使得AI技术能够更早地识别出模式，并采取积极行动来避免或减轻潜在威胁和攻击。此外，通过从过去事件中学习和适应新威胁，系统可以更好地抵御攻击，通过先进的分析能力提高对安全漏洞或脆弱性的检测。类似地，向自动化响应的转变也是对更高效资源管理需求的回应。
如表1所示，我们能够观察到AI检测的关键发展以及其结果：
表1
提高效率和准确性
自动化改变了网络安全团队处理和管理网络威胁的方式，从传统的被动异常检测转变为现代主动自动响应。自动化的事件响应不仅加速了响应过程，还确保了对威胁管理的一致和全面的方法。在这一领域的一项显著进展是AI系统能够执行自动化操作，如隔离被入侵设备以防止威胁传播，并执行针对特定攻击类型的复杂、基于AI的响应。
它还使安全团队能够更有策略地分配资源，专注于更高级别的任务和策略，而不是例行的威胁监控和响应。通过从被动检测转向主动、自动化的操作，AI赋予了安全团队更迅速和有效地应对威胁的能力，确保网络安全工作的高效和有影响力。
减少人为错误
使用AI是减少人为错误和增强整体安全性的重要一步。AI的能力包括最小化误报、优先处理警报、加强访问控制和缓解内部威胁，共同构建了更可靠和高效的安全框架。
图1：AI解决人为错误
对自动化的过度依赖
将AI和自动化纳入各种业务流程，一方面减轻了安全需求，但另一方面也扩大了潜在的攻击面，这是一个关键问题。这种情况要求为AI定制强大的安全协议，以防止其成为安全框架中的弱点。
随着AI的普及，网络攻击者正在适应并对AI系统有了更深入的了解。这种专业知识使得他们能够利用AI算法和模型中的弱点。因此，网络安全策略必须发展，以抵御传统威胁和针对AI脆弱性的复杂威胁。每个AI系统、接口和数据点都代表着一个可能的目标，需要一个全面的网络安全方法，涵盖组织内所有与AI和自动化相关的方面。
这个不断变化的情景要求不断识别和减轻新出现的风险，这意味着安全策略必须定期评估和调整，以应对新的漏洞。这个不断演变的网络安全挑战凸显了对AI和自动化相关威胁的持续警惕和适应性的重要性。
可利用的AI偏见
确保AI系统的完整性和有效性，涉及到解决训练数据和算法中存在的偏见问题，这可能导致结果偏倚，并可能损害安全措施。改进这些算法的工作正在继续进行，重点是使用多样数据集，并实施检查以确保公正和无偏的AI决策。
如表2所示，平衡AI安全功能与对道德和隐私意识的需求是一项重大且持久的挑战。这要求我们以技术、法律和伦理的综合方法来实施AI。
表2
恶意使用的潜力
AI和自动化不仅带来了进步，也带来了重大的挑战，特别是它们如何被恶意行为利用。 AI的自动化和学习能力可以用于开发更具适应性和弹性的恶意软件，对传统的网络安全防御构成了挑战。
图2：AI和自动化的恶意用途及各种挑战
虽然AI旨在提高效率，但它引发了关于此类自动化行为可靠性和潜在意外后果的问题，强调了在网络安全战略中谨慎集成AI的需要。
疏忽和安全监督
AI和自动化的出现不仅改变了安全，也改变了监管。在2023年，对AI技术的监管发生了转折点，主要原因是它们越来越复杂，并无所不在。总体态度倾向于采取更严格的监管措施，以确保在网络安全方面负责任、符合道德和安全使用AI。
类似NIST AI风险管理框架和AI责任法案的监管倡议位于这一安全挑战的中心。这些旨在为AI的开发、部署和管理制定指导方针和标准。NIST框架提供了评估和减少AI相关风险的结构化方法，而AI责任法案强调了AI操作的透明度和责任。
然而，采用AI和自动化技术会带来重大的网络安全困难。实施AI应用程序时的技术、社会和组织挑战，以及将强大的AI算法整合到当前网络安全设计中的不断增长的成本更加困难。在不确定的监管环境中运营的组织面临着维护领先的实际边缘安全保障实施与合规之间的艰巨任务。
最终，这种平衡对于确保有效利用AI和自动化的好处，遵守监管标准并保持道德和安全的AI实践至关重要。
结论
AI和自动化技术的双重性质表明它们提供了巨大的回报，但必须谨慎对待，以了解和最小化相关风险。显然，虽然使用AI和自动化技术可以增强应用程序安全性，提高检测能力、改善效率和适应性学习，但它们也会引入可利用的偏见、对自动化系统的潜在过度依赖以及对对手产生扩展攻击面。
随着这些技术的发展，我们需要采取一种前瞻性的框架，以积极且平衡的方式来处理安全问题。这不仅意味着利用AI和自动化的优势来改善应用程序安全性，还意味着不断识别、评估和减轻它们可能带来的新风险。最终，我们必须时刻保持警惕，因为随着这些技术的发展，应对新风险的责任也在不断增加。
资源
- “Thune, Klobuchar release bipartisan AI bill,” Rebecca Klar, The Hill
- Artificial Intelligence 2023 Legislation, NCSL
- Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST
This is an article from VoAGI’s 2023 Enterprise Security Trend Report.For more: