四海吧 Posts

近年来，数据压缩和蒸馏方法备受关注，彻底改革了人工智能研究。这些方法承诺高效地表示大规模数据集，实现更快的模型训练、经济高效的数据存储和关键信息的保留。然而，现有解决方案在压缩高分辨率数据集（如ImageNet-1K）方面面临巨大的计算开销。 来自穆罕默德·本·扎耶德人工智能大学和卡内基梅隆大学的研究团队推出了一个名为“Squeeze, Recover, and Relabel”（SRe^2L）的划时代数据集压缩框架。他们的突破性方法通过保留关键信息，对高分辨率数据集进行压缩，并实现了卓越的准确性。 数据集蒸馏的主要挑战是创建一个能够有效产生压缩样本并确保生成样本保留原始数据集核心信息的生成算法。由于计算和内存限制，现有方法在扩展到更大数据集时遇到困难，对于保留必要信息的能力受到阻碍。 为了解决这些挑战，SRe^2L框架采用了涉及挤压、恢复和重新标记的三阶段学习过程。研究人员首先训练一个模型，从原始数据集中捕捉关键信息。然后，他们进行恢复过程以合成目标数据，然后进行重新标记，为合成数据分配真实标签。 SRe^2L的一个关键创新在于在训练过程中解耦模型和合成数据的双层优化。这种独特的方法确保从原始数据中提取信息与数据生成过程无关。通过避免额外内存需求和防止原始数据影响生成数据的偏差，SRe^2L克服了以前方法面临的重大限制。 为了验证他们的方法，研究团队对两个数据集进行了广泛的数据蒸馏实验：Tiny-ImageNet和ImageNet-1K。结果令人印象深刻，SRe^2L在完整的Tiny-ImageNet和ImageNet-1K上分别实现了42.5%和60.8%的异常准确率。这些结果大幅超过了所有先前最先进方法14.5%和32.9%的差距，同时保持了合理的训练时间和内存成本。 这项工作的一个与众不同之处在于研究人员对可访问性的承诺。通过利用广泛可用的NVIDIA GPU，如3090、4090或A100系列，SRe^2L变得更加易于广大研究人员和从业者使用，促进合作并加速该领域的进展。 在大规模高分辨率数据集需求不断增长的时代，SRe^2L框架成为数据压缩和蒸馏挑战的变革性解决方案。它在高效压缩ImageNet-1K并保留关键信息方面的能力为各种人工智能应用中的快速高效模型训练打开了新的可能性。凭借其验证成功和易于实施的特点，SRe^2L承诺重新定义数据集蒸馏的前沿，为人工智能研究和发展开辟新的道路。

低级视觉中的一个基本问题是图像超分辨率（SR），其目标是从低分辨率（LR）图像恢复高分辨率（HR）图像。由于现实环境中降级模型的复杂性和不可知性，这个问题需要解决。扩散模型是一种最近开发的生成模型，在创建图像方面取得了非凡的成功。它还在解决一些下游低级视觉问题方面显示出了显著的潜力，如图像编辑、图像修补和图像上色。此外，研究人员仍在努力确定扩散模型在困难且耗时的SR任务中的表现如何。 一个典型的方法是从头开始，将LR图像引入当前扩散模型（如DDPM）的输入后，使用SR的训练数据重新训练模型。另一种常见方法是在生成所需的HR图像之前，修改无条件预训练扩散模型的反向路径。不幸的是，这两种算法都继承了支撑DDPM的马尔可夫链，可能在推理中效率低下，有时需要几百甚至几千个采样步骤。尽管已经提出了几种加速方法来压缩推理中的采样阶段，但这些策略通常会导致性能显著降低和结果过于平滑。 图1比较了近年来包括BSRGAN、RealESRGAN、SwinIR、DASR和LDM在内的最新技术的质量。对于LDM和他们的方法，他们使用公式“LDM（或我们的）-A”来表示可视化的采样步骤数量，其中“A”是总的采样步骤数。请放大以获得更清晰的查看。 必须创建一种新颖的用于SR的扩散模型，以实现效率和性能的统一，而不会牺牲其中任何一项。让我们回顾一下用于图像生成的扩散模型。在正向过程中，通过许多步骤在观测数据上逐渐构建马尔可夫链，将其转化为预先指定的先验分布，通常是传统的高斯分布。然后，可以通过从先验分布中采样噪声图像并将其输入到马尔可夫链的反向路径中来生成图像。尽管高斯先验对于图像生成是一个不错的选择，但对于SR来说可能不是最佳选择，因为LR图像已经可用。 根据他们在这项研究中的论证，用于SR的适当扩散模型应该以基于LR图像的先验分布为基础，从而实现从LR图像到HR图像的迭代恢复，而不是基于高斯白噪声。这样的设计还可以减少采样所需的扩散步骤数量，提高推理的效率。南洋理工大学的研究人员提出了一种有效的扩散模型，它使用较短的马尔可夫链在HR图像和其等效的LR图像之间进行切换。马尔可夫链的初始状态近似于HR图像的分布，而其结束状态近似于LR图像的分布。 他们精心设计了一个过渡核，逐步调整它们之间的残差，以实现这一目标。残差信息可以在多个阶段中快速传递，使该技术比当前基于扩散的SR方法更加高效。此外，他们的体系结构使得可以以清晰、分析的方式表达证据的下限，简化训练优化目标的归纳过程。他们基于这个构建的扩散核心创建了一个高度灵活的噪声调度，调节残差的移动速率和每个步骤中的噪声水平。 通过调整其超参数，该调度方案可以在检索结果的保真度和真实性之间进行权衡。简而言之，以下是本研究的重要贡献： • 他们为SR提供了一种有效的扩散模型，通过在推理过程中移动两者之间的残差，允许从不理想的LR图像到期望的HR图像的迭代采样过程。广泛的研究表明，他们的方法在效率方面具有优势，只需要15个简单步骤即可获得理想的结果，超过或至少与现有的基于扩散的SR技术相等，后者需要一个冗长的采样过程。图1显示了他们的检索结果与现有技术的对比。 • 对于建议的扩散模型，他们开发了一个高度可变的噪声调度，可以更准确地控制过渡过程中的残差和噪声水平的变化。