对于学习高维分布和解决逆问题，生成扩散模型正在成为灵活而强大的框架。由于最近的几个进展，像Dalle-2、Latent Diffusion和Imagen这样的文本条件基础模型在通用图片领域取得了显著的性能。扩散模型最近展示了它们从训练集中记忆样本的能力。此外，一个对模型具有简单查询访问权限的对手可以获取数据集样本，引发隐私、安全和版权问题。
研究人员提出了第一个能够从严重受污染样本中学习未知分布的扩散基础框架。这个问题在科学背景下出现，因为获取清洁样本困难或昂贵。由于生成模型从未接触过清洁训练数据，它们不太可能记忆特定的训练样本。核心概念是在扩散过程中通过引入额外的测量失真进一步损坏原始畸变图像，然后挑战模型从另一个损坏图像中预测原始损坏图像。科学研究验证了这种方法能够生成能够根据这种额外的测量失真获取完整未受损图像的条件期望的模型。修补和压缩感知是这种泛化的两种损坏方法。通过在行业标准基准数据集上训练它们，科学家们展示了他们的模型可以学习分布，即使所有训练样本缺少90%的像素。他们还证明，即使没有记忆训练集，基础模型也可以在小规模损坏数据集上进行微调，并学习到清洁分布。
显著特征
- 这项研究的核心概念是进一步扭曲图像并迫使模型从图像中预测扭曲的图像。
- 他们的方法使用损坏的训练数据在流行的基准数据集（CelebA、CIFAR-10和AFHQ）上训练扩散模型。
- 研究人员根据学习到的条件期望为所需分布p0(x0)提供了一个粗略的采样器。
- 正如研究所示，即使缺少高达90%的像素，人们仍然可以对原始照片的分布了解很多。他们的结果比先前最佳的AmbientGAN和自然基准更好。
- 在训练过程中从未见过清洁图像的模型被证明在处理特定逆问题时表现出与最先进的扩散模型类似或更好的性能。而基准方法需要很多扩散阶段，这些模型只需要一个预测步骤就能完成任务。
- 该方法被用于进一步改进研究社区中标准的预训练扩散模型。从少量受损样本中学习分布是可能的，而且细调过程只需要在单个GPU上几个小时。
- 一些在不同领域的已损坏样本也可以用于微调像Deepfloyd’s IF这样的基础模型。
- 为了量化学习效果，研究人员通过展示与训练样本的最高相似性分布来比较使用和不使用损坏进行训练的模型。
- 通过在足够扭曲的数据上训练的模型被证明不会保留任何原始训练数据的知识。他们评估了失真（决定记忆水平）、训练数据和学习生成器质量之间的权衡。
限制
- 失真程度与生成器的质量成反比。当失真程度增加时，生成器学习记忆的可能性减少，但代价是质量下降。对这种权衡的精确定义仍然是一个未解决的研究问题。为了估计使用训练模型的E[x0|xt]，研究人员在这项工作中尝试了基本的近似算法。
- 此外，为了对任何训练样本的保护提供严格的隐私保证，需要建立关于数据分布的假设。补充材料显示，修复预测器可以精确恢复E[x0|xt]，尽管研究人员没有提供具体的技术。
- 如果测量中还包含噪声，则此方法将无法正常工作。使用SURE正则化可能有助于未来的研究克服这个限制。