近年来，计算机视觉和生成建模取得了显著进展，推动了文本到图像生成的发展。包括扩散模型在内的各种生成架构在提高生成图像的质量和多样性方面起到了关键作用。本文探讨了Kandinsky1的原理、特点和能力，这是一个具有33亿参数的强大模型，并强调了它在可衡量的图像生成质量方面的顶级表现。
文本到图像生成模型已经从内容级别的自回归方法演变为像DALL-E 2和Imagen这样的基于扩散的模型。这些扩散模型被分类为像素级和潜在级别的模型，在图像生成方面表现出色，超越了GAN在忠实度和多样性方面。它们在不需要对抗训练的情况下整合文本条件，如GLIDE和eDiff-I模型所示，这些模型生成低分辨率的图像，并使用超分辨率扩散模型将其放大。这些进步改变了文本到图像生成的方式。
AIRI、Skoltech和Sber AI的研究人员介绍了Kandinsky，这是一种结合了潜在扩散技术和图像先验模型的新型文本到图像生成模型。Kandinsky以修改后的MoVQ实现作为其图像自编码器组件，并单独训练图像先验模型将文本嵌入映射到CLIP的图像嵌入中。他们的方法提供了一个用户友好的演示系统，支持多种生成模式，并发布了模型的源代码和检查点。
他们的方法引入了一种潜在扩散架构，用于文本到图像合成，利用图像先验模型和潜在扩散技术。它采用了一种图像先验方法，通过使用CLIP和XLMR文本嵌入之间的扩散和线性映射，将文本与图像嵌入相结合。他们的模型包括三个关键步骤：文本编码、嵌入映射（图像先验）和潜在扩散。基于全数据集统计的视觉嵌入逐元素归一化实现可以加速扩散过程的收敛。
Kandinsky架构在文本到图像生成方面表现出色，在256×256分辨率下在COCO-30K验证数据集上获得了令人印象深刻的FID分数8.03。线性先验配置获得了最佳的FID分数，表明视觉和文本嵌入之间存在潜在的线性关系。他们的模型在训练一个“猫先验”时展示了出色的图像生成能力。总体而言，Kandinsky在文本到图像合成方面与最先进的模型竞争激烈。
Kandinsky作为一种基于潜在扩散的系统，在图像生成和处理任务中表现出色。他们的研究广泛探索了图像先验设计选择，线性先验显示出潜在的应用前景，并暗示了视觉和文本嵌入之间存在线性关联。用户友好的界面，如Web应用和Telegram机器人，提高了可访问性。未来的研究方向包括利用先进的图像编码器，增强UNet架构，改进文本提示，生成更高分辨率的图像，以及探索局部编辑和基于物理的控制等功能。研究人员强调需要解决内容方面的问题，建议使用实时审核或强大的分类器来减轻不受欢迎的输出。