“`
潜在扩散模型是机器学习中常用的生成模型，特别是在概率建模中。这些模型旨在捕捉数据集的潜在结构或潜在变量，通常专注于生成逼真的样本或作出预测。它们描述了系统随时间的演变。这可以指从初始分布通过一系列步骤或扩散过程将一组随机变量转化为所需分布。
这些模型基于ODE-Solver方法。尽管减少了推理步骤的数量，但它们仍然需要大量的计算开销，特别是在融入无分类器的引导时。Guided-Distill等蒸馏方法是有希望的，但由于它们的计算需求密集，必须进行改进。
为了解决这些问题，出现了对潜在一致性模型的需求。他们的方法涉及到一个反向扩散过程，将其视为增广的概率流ODE问题。他们创新地在潜在空间中预测解，并通过数值ODE求解器避免了迭代解决方案的需要。在生成高分辨率图像的remarkable综合中，只需要1到4个推理步骤。
清华大学的研究人员通过将LoRA蒸馏应用到Stable-Diffusion模型中，包括SD-V1.5、SSD-1B和SDXL，扩展了LCM的潜力。他们通过实现卓越的图像生成质量，扩大了LCM在具有显著较少内存消耗的大型模型中的应用范围。对于专用数据集，如动画、照片逼真或幻想图像，还需要额外的步骤，例如使用潜在一致性蒸馏（LCD）将预训练的LDM蒸馏为LCM，或直接使用LCF对LCM进行微调。然而，在自定义数据集上是否可以实现快速、无需训练的推理呢？
团队引入了LCM-LoRA作为一个通用的无训练加速模块，可以直接插入到各种Stable-Diffusion经过微调的模型中来回答这个问题。在LoRA的框架内，所得到的LoRA参数可以无缝地集成到原始模型参数中。团队已经证明了在潜在一致性模型（LCMs）蒸馏过程中应用LoRA的可行性。LCM-LoRA参数可以直接与其他LoRA参数组合，并在特定风格的数据集上进行微调。这将使人们能够在特定风格中以最少的采样步骤生成图像，而无需任何进一步的训练。因此，它们代表了适用于各种图像生成任务的一种普遍适用的加速器。
这种创新方法显著减少了迭代步骤的需求，实现了从文本输入快速生成高保真度图像，并为最先进的性能设定了新的标准。LoRA显著减少了需要修改的参数的数量，从而提高了计算效率，并允许用较少的数据进行模型改进。
“`