

扩散模型用于从复杂的数据分布中生成高质量的样本。鉴别性扩散模型旨在利用扩散模型的原理来进行分类或回归等任务,其中目标是预测给定输入数据的标签或输出。通过利用扩散模型的原理,鉴别性扩散模型具有处理不确定性、对噪声的稳健性和捕捉数据之间复杂依赖关系的潜力等优势。
生成模型可以通过量化新数据点与学习到的数据分布的偏差来识别异常或异常值。它们可以区分正常和异常数据实例,有助于异常检测任务。在传统上,这些生成和鉴别模型被视为相互竞争的选择。卡内基梅隆大学的研究人员在推理阶段将这两个模型耦合起来,以利用生成反演的迭代推理和鉴别模型的拟合能力的好处。
该团队构建了一种基于扩散的测试时间适应(TTA)模型,通过使用图像分类器、分割器和深度预测器的输出来调节图像扩散模型的条件并最大化图像扩散,从而使其适应各个未标记图像。他们的模型类似于编码器解码器架构。一个预训练的鉴别模型将图像编码为假设,如对象类别标签、分割地图或深度地图。这被用作预训练的生成模型的条件生成图像。
扩散-TTA能够有效地适应图像分类器在ImageNet及其变体等已建立基准上的内部和外部分布示例。他们使用图像重构损失对模型进行微调。通过将扩散似然梯度反向传播到鉴别模型权重,对测试集中的每个实例进行适应性处理。他们表明他们的模型优于以前的最先进TTA方法,并且在多个鉴别性和生成性扩散模型变体中都有效。
研究人员还对各种设计选择进行了剖析分析,并研究了扩散-TTA与扩散时间步长、每个时间步长样本数和批量大小等超参数的变化情况。他们还学习了适应不同模型参数的效果。
研究人员表示,扩散-TTA始终优于扩散分类器。他们猜测鉴别模型不会过度拟合生成损失,因为(预训练的)鉴别模型的权重初始化防止其收敛到这个平凡解决方案。
总之,以前已经使用生成模型对图像分类器和分割进行测试时间适应;通过在联合鉴别任务损失和自监督图像重构损失下共同训练扩散-TTA模型,用户可以获得高效的结果。