网络安全防御者必须根据技术发展和系统复杂性的提高动态调整他们的技术和策略。随着过去十年中机器学习（ML）和人工智能（AI）研究的进展，这些技术在各种与网络安全相关的领域中的使用案例也得到了发展。大多数现有安全应用程序中的一些功能性由在大量数据集上训练的强大的机器学习算法支持。其中一个例子是在早期的2010年代将ML算法集成到电子邮件安全网关中。
在实际情况下，创建自主的网络安全系统防御策略和行动建议是一项相当困难的任务。这是因为为此类网络安全系统防御机制提供决策支持需要同时考虑攻击者和防御者之间的动态特征以及系统状态的动态特征化。此外，网络安全防御者通常面临各种资源限制，包括与成本、劳动力和时间相关的限制。即使有了AI，开发一个能够主动防御的系统仍然是一个理想目标。
为了解决这个问题，美国能源部太平洋西北国家实验室（PNNL）的研究人员开发了一种基于深度强化学习（DRL）的新型AI系统，能够在模拟环境中响应攻击者，并能在攻击升级之前阻止95%的网络攻击。研究人员创建了一个自定义的模拟环境，展示了网络中攻击者和防御者之间的多阶段数字冲突。然后，他们使用强化学习的原则训练了四个DRL神经网络，例如根据避免妥协和减少网络中断来最大化奖励。该团队的工作还在华盛顿特区的人工智能促进协会上做了介绍，并获得了很高的评价。
该团队开发这样一个系统的理念是首先展示成功训练这样一个DRL架构是可能的。在深入研究复杂结构之前，他们希望展示有用的评估指标。研究人员首先使用Open AI Gym工具包创建了一个抽象的模拟环境。下一阶段是利用这个环境开发攻击者实体，在MITRE ATT&CK框架的15种方法和7种策略的子集上展示出技能和持久性水平。攻击者的目标是通过从初始访问和侦察阶段到其他攻击阶段直到达到其最终目标——影响和外泄阶段的七个攻击链步骤。
需要记住的是，团队并没有打算开发一个模型，在敌人在环境内发动攻击之前就能封锁敌人。相反，他们假设系统已经被入侵。然后，研究人员使用强化学习来训练四个神经网络。研究人员表示，在不使用强化学习的情况下训练这样一个模型是可以想象的，但需要很长时间来开发一个良好的机制。另一方面，深度强化学习通过模仿人类行为的某些方面，非常有效地利用了这个巨大的搜索空间。
研究人员努力证明AI系统能够在模拟攻击环境中成功训练，并展示出AI模型能够实时对攻击做出防御反应。为了对四个无模型DRL算法在实际的多阶段攻击序列中的表现进行严格评估，研究人员进行了多次实验。他们的研究表明，DRL算法可以在具有不同技能和持久性水平的多阶段攻击配置文件下进行训练，在模拟环境中产生有效的防御结果。