自然语言处理（NLP）已经进入了一个转型期，引入了大型语言模型（LLMs），例如GPT系列，为各种语言任务设置了新的性能标准。自回归预训练是这一惊人成就的主要因素之一，这种技术教会模型预测序列中最可能的标记。由于这种基本技术，模型能够吸收语法和语义之间的复杂交互，从而为他们理解语言的能力提供卓越的贡献，就像一个人一样。自回归预训练在NLP之外也在计算机视觉方面起到了重要作用。
在计算机视觉中，自回归预训练起初取得了成功，但随后的发展显示出明显的范式转变，更倾向于BERT风格的预训练。特别值得注意的是，从iGPT的首次结果可以看出，自回归和BERT风格的预训练在各种任务上的表现类似。然而，由于在视觉表示学习方面更加有效，后续的研究更偏向于BERT风格的预训练。例如，MAE表明，可扩展的视觉表示学习方法可能就是简单地预测随机屏蔽像素的值。
在这项研究中，约翰斯·霍普金斯大学和加州大学圣克鲁兹分校的研究团队重新审视了iGPT，并质疑自回归预训练是否能够产生高度熟练的视觉学习者，尤其是在广泛应用时。研究团队在其过程中融入了两个重要的改变。首先，研究团队使用BEiT将照片“分词”为语义标记，考虑到图像本身具有噪声和冗余。这个修改将自回归预测的重点从像素转移到语义标记上，从而更加复杂地理解各个图像区域之间的相互作用。其次，研究团队在生成解码器中添加了一个判别解码器，它自回归地预测下一个语义标记。
对于已看到的像素预测语义标记是这个额外组件的责任。此外，值得注意的是，像CLIP这样以判别方式训练的模型最适合该预训练路径的语义视觉标记。研究团队将这种改进方法称为D-iGPT。通过对各种数据集和任务进行广泛测试，证实了他们所提议的D-iGPT的效能。仅使用ImageNet-1K作为相关数据集，他们的基准模型在可达到86.2%的Top-1分类准确率上超越了之前的最先进技术的0.6%。
此外，他们的大规模模型在3600万个公开可用数据集上实现了89.5%的Top-1分类准确率。D-iGPT在公共数据集上达到了先前最先进的训练水平，尽管使用的训练数据更少，模型尺寸更小。研究团队还在相同的预训练和微调数据集上分析了D-iGPT在语义分割上的表现，发现其优于MAE相等的方法。