由于面部生成和操作工具的迅速发展，面部视频提供的身份或质量现在可以非常容易地改变和操纵。这对于制作搞笑视频、电影和其他媒体类型具有几个重要和惊人的用途。然而，这些方法也可能被恶意利用，导致社会对安全和信心的重大危机。因此，学习如何识别视频面部伪造最近成为一项热门研究课题。
迄今为止，一种有效的研究方法尝试通过寻找生成图像中的“空间”伪迹（例如棋盘格、不自然和生成模型底层的伪迹等）来区分真实和虚假照片。这些技术在寻找空间相关伪迹时有着显著的效果。然而，它们忽略了视频的时间连贯性，错过了视频面部伪造中的“时间”伪迹，如闪烁和不连续性。最近的研究注意到了这个问题，并努力通过使用时间线索来解决它。
由此产生的模型可以在时间级别上识别不自然的伪迹，但它们需要提高对与空间相关的伪迹的检测能力。他们试图在这项研究中捕捉空间和时间伪迹，以识别广泛的视频面部伪造。一种有效的时空网络（3D ConvNet）通常可以搜索空间和时间伪迹。然而，他们发现纯粹的训练可能会使其过于依赖空间伪迹，而忽视时间伪迹，从而导致推理能力较差。这样一来，3D卷积网络可能更容易依赖空间伪迹，因为空间伪迹通常比时间不连贯更可见。
因此，问题在于使时空网络能够捕捉到时间和空间伪迹。中国科学技术大学、微软亚洲研究院和合肥综合国家科学中心的研究人员在本研究中提出了一种创新的训练方法，称为AltFreezing，以实现这一目标。重要的概念是在整个训练过程中交替冻结与空间和时间相关的权重。具体构建了一个使用1×Kh×Kw空间卷积和Kt×1×1时间卷积的3D resblocks的时空网络。通过这些空间和时间卷积核，分别捕捉到了空间和时间级别的特征。为了克服空间和时间伪迹，他们的AltFreezing技术促使两组权重交替更新。
此外，他们提供了一套用于创建视频级别虚假内容的工具。这些技术可以分为两类。第一类是伪造剪辑，它们仅使用时间伪迹，随机重复和删除实际剪辑的帧。第二类剪辑是通过将一个真实剪辑的一部分与另一个真实剪辑混合而成，它只有空间伪迹。这些视频增强技术是首次产生既有空间又有时间限制的虚假视频。这些改进有助于时空模型捕捉到空间和时间伪迹。通过上述两种方法，他们可以在各种困难的面部伪造检测场景中处于前沿地位，包括对未见伪造的泛化和对各种扰动的鲁棒性。
以下是他们的三个主要贡献：
• 他们建议研究用于检测视频面部伪造的空间和时间伪迹。提出了一种名为AltFreezing的全新训练技术来实现这一目标。
• 他们提供了视频级别的虚假数据增强技术，以推动模型捕捉更广泛的伪造。
• 在包括对操作和数据集的评估在内的五个基准数据集上进行了广泛的测试，结果显示该方法达到了最新的性能水平。