文本到图像扩散模型代表了人工智能研究中一个有趣的领域。它们旨在根据文本描述创建逼真的图像，利用扩散模型进行生成。该过程涉及从基本分布中逐步生成样本，逐渐转化为与目标图像相似，同时考虑文本描述。多个步骤参与其中，将逐步引入噪音来生成图像。
目前的文本到图像扩散模型面临一个现有的挑战：仅凭文本描述准确地描绘一个主题。当需要生成复杂细节，如人脸特征时，尤其明显。因此，在探索超越文本线索的保持身份的图像合成方面，人们越来越有兴趣。
腾讯的研究人员提出了一种新的方法，专注于人体图像的身份保持图像合成。他们的模型采用了直接向前传递的方法，绕过复杂的微调步骤，以便快速高效地生成图像。它利用文本提示并结合样式和身份影像的额外信息。
他们的方法涉及一种多身份跨注意机制，使模型能够将来自不同身份的特定引导细节与图像中的不同人体区域相关联。通过使用包含人体图像的数据集对模型进行训练，并以人脸特征作为身份输入，模型学会在强调身份特征的同时重建人体图像。
他们的模型展示了在保留主体身份的同时合成人体图像的出色能力。此外，它使用户能够将自己的面部特征投影到不同风格的图像（如卡通），使用户能够在不损害身份的前提下以不同的风格进行可视化。此外，当提供相应的参考照片时，它在混合多个身份的创意生成方面表现出色。
他们的模型在单镜头和多镜头场景中展示了出色的性能，凸显了其在保护身份方面的设计的有效性。尽管基线图像重建大致保持图像内容，但在细粒度身份信息方面存在困难。相反，他们的模型成功地从身份引导分支中提取身份信息，从而为面部区域实现了更好的结果。
然而，该模型复制人脸的能力引发了伦理关注，尤其是可能创建冒犯性或文化不恰当的图像。负责任地使用这项技术至关重要，需要制定准则以防止在敏感情境中滥用。