概率扩散模型已成为连续域生成建模的已确立规范。在文本到图像扩散模型方面，DALLE引领潮流。这些模型以其在广泛的网络规模数据集上进行训练以生成图像的能力而受到重视。本论文讨论了文本到图像扩散模型在图像生成的前沿地位方面的最新发展情况。这些模型是通过在大规模无监督或弱监督的文本到图像数据集上进行训练而获得的。然而，由于其无监督性质，控制它们的行为以优化人类感知图像质量、图像与文本的对齐或伦理图像生成等下游任务是一项具有挑战性的努力。
最近的研究试图使用强化学习技术对扩散模型进行微调，但这种方法在梯度估计器中具有高方差。针对这一问题，本论文引入了“AlignProp”，一种通过回传奖励梯度在去噪过程中与下游奖励函数对齐的方法。
AlignProp的创新方法缓解了通常与现代文本到图像模型通过反向传播进行内存需求高的问题。它通过微调低秩适配器权重模块和实施梯度检查点来实现这一目标。
本论文评估了AlignProp在微调扩散模型以实现各种目标时的性能，包括图像与文本的语义对齐、美学、图像可压缩性以及生成图像中对象数量的可控性，以及这些目标的组合。结果表明，AlignProp在更少的训练步骤中通过获得更高的奖励优于其他方法。此外，它因其概念上的简单性而备受关注，使其成为根据所关注的可微分奖励函数优化扩散模型的直接选择。
AlignProp方法利用从奖励函数获得的梯度来微调扩散模型，从而提高采样效率和计算效率。进行的实验一致表明AlignProp在优化各种奖励函数方面的有效性，甚至适用于仅通过提示难以定义的任务。未来的潜在研究方向可能涉及将这些原理扩展到基于扩散的语言模型，以改善其与人类反馈的对齐。