随着人工智能（AI）生成的合成和文本到图像生成媒体的大量增加，虚假个人资料的复杂性也随之增加。领英与加州大学伯克利分校合作研究了尖端的检测方法。他们最近的检测方法能够准确地识别人工生成的个人资料图片，正确率达到99.6％，同时将真实图片误判为虚假图片的概率仅为1％。
有两种类型的取证方法可以用于调查这个问题。
- 基于假设的方法可以发现人工合成的面孔中的异常。这些方法通过学习显著的语义离群值来受益。然而，学习能力合成引擎似乎已经拥有了这些特征，这是一个问题。
- 基于数据驱动的方法，如机器学习，可以将自然面孔与 CGI 面孔区分开来。当出现在其专业领域之外的图像时，训练过的系统经常会在分类方面遇到困难。
所提出的方法采用混合方法，首先识别计算机生成的面孔中的独特几何属性，然后采用数据驱动的方法来测量和检测它。该方法使用轻量级、易于训练的分类器，并需要对一小组合成面孔进行培训。使用了五种不同的合成引擎来构建41,500个合成面孔，并使用了100,000个真实的领英个人资料图片作为额外的数据。
为了查看实际（公开可用的）LinkedIn个人资料图片与合成生成的（StyleGAN2）面孔的差异，他们将每个平均400张图片并排放置。由于人们的实际照片彼此非常不同，大多数个人资料图片只是普通的头像照片。相比之下，典型的 StyleGAN 面孔具有非常清晰的特征和锐利的眼睛。这是因为 StyleGAN 面孔的眼部位置和瞳距被标准化了。真实的个人资料图片通常关注上半身和肩膀，而 StyleGAN 面孔一般是从脖子以下合成的。他们希望利用社交群体内部和之间存在的相似性和差异。
为了识别 FaceForensics++ 数据集中的深度伪造面孔交换，研究人员将一个单类变分自动编码器（VAE）与一个基线单类自动编码器结合起来。与以前的面孔交换深伪造工作不同，这项工作强调了合成面孔（例如 StyleGAN）。研究人员还使用了一个相当简单且易于训练的分类器，并在相对较少的合成图像上实现了可比的总体分类性能。
他们使用 Generated.photos 和 Stable Diffusion 生成的图像评估了模型的泛化能力。使用生成对抗网络（GAN）生成的 Generated.photos 面孔相对通用，使用他们的方法，而稳定扩散的面孔则不是。
TPR 代表“真正的正面率”，并测量成功将假图像标识为假的概率。要计算 FPR，请将错误标记为虚假的真实图像数量。研究结果显示，所提出的方法仅将1％的真实 LinkedIn 个人资料图片错误地识别为虚假，同时正确地识别了99.6％的合成 StyleGAN、StyleGAN2 和 StyleGAN3 面孔。
他们还将该方法与用于图像取证分类的最先进卷积神经网络（CNN）模型进行了评估，并发现其方法表现更好。
据团队介绍，他们的方法很容易受到裁剪攻击的影响，这是一个重大的缺点。StyleGAN 生成的图像已经紧密地围绕脸部裁剪，因此这种攻击可能会导致不寻常的个人资料图片。他们计划使用先进的技术，可能能够学习比例和平移不变表示。