近年来，深度学习（DL）特别是生成对抗网络（GAN）在生成高度逼真和多样化的人脸方面取得了重大突破。这些人脸在现实中并不存在，但在视频游戏、化妆品行业和计算机辅助设计等领域有着广泛的应用。然而，当这些人工生成的人脸被滥用时，会带来重大的安全和伦理问题。
合成或虚假人脸的滥用可能导致严重的后果。例如，在美国选举中，曾经有人使用GAN生成的人脸图像创建虚假的社交媒体账号，快速传播针对特定群体的虚假信息。类似地，一名17岁的高中生通过一种名为StyleGAN2的强大生成模型成功欺骗Twitter，使其验证了一张美国国会候选人的虚假头像。这些事件凸显了滥用GAN生成的人脸图像可能带来的潜在风险，并突出了解决其安全和伦理问题的重要性。
为了解决GAN生成的虚假人脸问题，已经提出了几种方法来区分虚假的GAN生成人脸和真实的人脸。这些研究的结果表明，简单的有监督深度学习分类器通常在检测GAN生成图像方面非常有效。这些分类器通常被称为法证分类器或模型。
然而，一个聪明的攻击者可以使用对抗机器学习技术来操纵这些虚假图像，以逃避法证分类器的检测，同时保持高的视觉质量。最近的研究通过展示对生成模型的流形进行潜空间优化的对抗性探索，可以生成被针对性法证检测器错误分类的逼真人脸。此外，他们还表明，与在图像空间上施加约束的传统对抗攻击相比，由此产生的对抗性虚假人脸显示出更少的伪影。
然而，这项工作存在一个重大局限性。即它无法控制生成的对抗性人脸的属性，如肤色、表情或年龄。对于那些希望通过社交媒体平台迅速传播虚假宣传，特定针对某些族群或年龄群体的攻击者来说，控制这些人脸属性至关重要。
鉴于潜在的影响，图像取证研究人员必须深入研究和开发属性条件攻击。通过这样做，他们可以揭示现有法证人脸分类器的漏洞，并最终努力设计未来的有效防御机制。本文介绍的研究旨在解决对抗攻击中对属性控制的迫切需求，以确保全面了解漏洞并促进强大的对策的发展。
下面报告了所提出方法的概述。
提出了两种架构，一种与基于属性的生成相关，另一种与文本生成相关。无论是通过图像驱动还是通过文本引导，所提出的方法旨在生成逼真的对抗性虚假人脸，可以欺骗法证人脸检测器。该技术利用StyleGAN2的高度解缠空间，在统一框架内构建属性条件下的无约束攻击。
具体而言，引入了一种高效算法，通过对抗性优化属性特定的潜在变量来生成一个展示给定参考图像中属性的虚假人脸。这个过程有效地将参考图像中的所需粗细节转移到生成的虚假图像中。当进行基于图像的属性条件时，语义属性从提供的参考图像中转移到生成的虚假图像中。这是通过在引导感知损失的指导下在对抗空间中搜索来实现的，从而使所需属性转移到生成的虚假图像中。
此外，Contrastive Language-Image Pre-training（CLIP）的联合图像-文本表示能力被用于根据提供的文本描述生成虚假的人脸。这样可以强制生成的对抗性人脸图像与相应的文本描述保持一致。通过利用CLIP的文本引导特征空间，该方法在该特征空间中搜索对抗性潜在编码，从而生成与文本中描述的属性相符的虚假人脸。
本文展示了一些可用的结果。
这是一种生成逼真对抗性人脸以逃避法证分类器的新颖AI技术摘要。如果您对此工作感兴趣并想了解更多信息，可以通过下面的链接找到更多信息。