理论与PyTorch实现
由于本文将会非常广泛，为了更好地导航读者，我将提供一个索引：
- 介绍
- 对变分自编码器（VAE）的简要介绍
- Kullback-Leibler（KL）散度
- VAE损失
- 重参数化技巧
- 从分类分布中进行采样与Gumbel-Max技巧
- 实现
介绍
生成模型如今变得非常流行，这要归功于它们能够通过学习和捕捉训练数据的潜在概率分布来生成具有内在变异性的新样本。我们可以将生成模型分为两个主要类别，即生成对抗网络（GANs）、变分自编码器（VAEs）和扩散模型。本文将深入探讨具有分类潜在空间的VAEs。
对变分自编码器（VAEs）的简要介绍
变分自编码器（VAEs）是一种用于无监督机器学习的深度神经网络。它们属于自编码器的家族，自编码器是一种通过压缩和重构数据来学习数据的高效表示的神经网络。
VAEs的主要思想是在一个潜在空间中学习数据的概率分布。这个潜在空间是输入数据的一个低维表示，其中每个点对应一个特定的数据样本。例如，给定一个维度为3的潜在空间中的向量，我们可以认为第一维表示眼睛的形状，第二维表示胡须的数量，第三维表示生成图像中人脸的皮肤色调。
VAEs具有两个关键组成部分：
- 编码器：编码器网络接收输入数据，并将其映射到潜在空间中概率分布的参数（通常为高斯分布）。编码器不直接产生潜在空间中的单个点…