通过结合计算机生成的视觉图像或从图片中推断场景的物理特征，计算机图形学和3D计算机视觉团体已经致力于创建几十年来的物理真实模型。这个方法包括渲染、模拟、几何处理和摄影测量等，涉及到包括视觉效果、游戏、图像和视频处理、计算机辅助设计、虚拟和增强现实、数据可视化、机器人、自动驾驶车辆和遥感等几个行业。伴随着生成式人工智能（AI）的兴起，视觉计算的全新思维方式已经出现。仅凭书面提示或高水平人类指令作为输入，生成式AI系统可以创建和操纵逼真而有风格的照片、电影或3D物体。
这些技术自动化了以前只有专业领域知识专家才能完成的许多耗时任务。稳定扩散、ImaGen、Midjourney或DALL-E 2和DALL-E 3等视觉计算的基础模型为生成式AI带来了无与伦比的力量。这些模型在数亿到数十亿个文本-图像对中进行训练，它们非常庞大，只有几十亿个可学习的参数。这些模型是上述生成式AI工具的基础，并在强大的图形处理单元（GPU）云中进行了训练。
基于卷积神经网络（CNN）的扩散模型经常用于生成图像、视频和3D对象，它们以多模态的方式集成了使用transformer架构（如CLIP）计算的文本。尽管有资金支持的行业参与者在为二维图像生成开发和训练基础模型时使用了大量资源，但学术界仍有机会为图形和视觉工具的发展做出重要贡献。例如，如何调整目前的图像基础模型以在其他更高维度领域中使用，如视频和3D场景创建，仍需明确。
这主要是由于需要更具体类型的训练数据。例如，网络上有许多低质量和通用的二维照片示例，而高质量和多样化的三维对象或场景却相对较少。此外，将二维图像生成系统扩展到更高维度，以适应视频、三维场景或四维多视角一致场景合成的需求，不是立即明显的。目前的限制之一是计算问题：尽管庞大的（未标记的）视频数据在网络上可用，但当前网络架构往往过于低效，无法在合理的时间或计算资源上进行训练。这导致扩散模型在推理时间上相对较慢。这是由于它们网络的庞大尺寸和迭代性质造成的。
尽管存在一些未解决的问题，但过去一年中视觉计算的扩散模型数量大幅增加（详见图1中的示例）。该报告由多所大学的研究人员开发，其目标是对最近关注于扩散模型在视觉计算中应用的众多最新出版物进行整理评述，介绍扩散模型的原理，并识别出突出的问题。