想象力创造现实…
在之前的文章中，我们介绍了扩散模型的一般结构以及一个非常流行的类别，去噪扩散概率模型 (DDPMs)。现在，我们将看看完全不同但等效的构建扩散过程的方法。这个类别中的模型被称为 SMLDs，即 Score Matching via Langevin Dynamics，这个名字后面会更清楚。
让我们开始我们的旅程吧!
介绍
在这些模型的核心是概率密度 p(x) 的 (Stein) 分数函数 ∇ₓlogp(x)。
这个量提供了我们从一个随机样本 x₀ 移动到一个具有高密度区域的样本 xₙ 的方向。用于此过程的算法称为 Langevin 采样算法。
就像 DDPMs 受到热力学的启发一样，SMLDs 的基本概念可以追溯到物理学。特别是，Langevin 采样，在物理学中称为 Langevin 动力学，是一种数学建模分子系统动力学的方法，最初由法国物理学家 Paul Langevin 开发。
但说了这么多，现在让我们来看看这个美妙想法背后的实际数学！
Score Matching via Langevin Dynamics
关于这类扩散模型的理论基础在开创性论文“通过估计数据分布的梯度进行生成建模”中确立。根据 Langevin 采样算法，我们得到以下迭代过程：
其中：
zₜ∼ N (0, I)，ε > 0 且 x₀∼ p(x₀)（先验分布）。
在数学上，这被称为 Langevin Markov Chain Monte Carlo (MCMC)。这个过程允许仅使用分数函数从概率分布 p(x) 进行采样。