文本到图像合成是指从文本提示描述中生成逼真图像的过程。这项技术是人工智能领域中生成模型的一个分支，并在近年来越来越受到关注。
文本到图像生成旨在使神经网络能够解释和翻译人类语言为视觉表达，从而实现各种合成组合。此外，除非另有教导，生成网络会为相同的文本描述生成多个不同的图片。这对于收集新的想法或呈现我们心中准确的视觉是非常有用的，而在互联网上找不到。
这项技术在虚拟现实、增强现实、数字营销和娱乐等各个领域都具有潜在的应用。
在最常用的文本到图像生成网络中，我们可以找到扩散模型。
文本到图像扩散模型通过迭代地改进以文本输入为条件的噪声分布来生成图像。他们将给定的文本描述编码为潜在向量，该向量影响噪声分布，并通过扩散过程迭代地改进噪声分布。这个过程产生了与输入文本匹配的高分辨率和多样化的图像，通过捕捉和融合输入文本的视觉特征的U-net架构实现。
这些模型中的条件空间被称为P空间，由语言模型的标记嵌入空间定义。基本上，P代表文本条件空间，在合成过程中，已经通过文本编码器传递给U-net的输入实例“p”被注入到所有注意层中。
下面是去噪扩散模型的文本条件机制概述。
通过这个过程，由于只有一个实例“p”被馈送到U-net架构中，对编码文本的获得的分离和控制是有限的。
因此，作者引入了一个被称为P+的新的文本条件空间。
这个空间由多个文本条件组成，每个条件被注入到U-net的不同层中。这样，P+可以保证更高的表达能力和分离性，提供对合成图像的更好控制。正如作者所描述的，U-net的不同层对合成图像的属性具有不同程度的控制。特别是，粗糙层主要影响图像的结构，而细层主要影响图像的外观。
在介绍了P+空间之后，作者引入了一个相关的过程，称为扩展文本倒置（XTI）。它是经典文本倒置（TI）的重新审视版本，TI的过程是模型学习将几个输入图像中描述的特定概念表示为专用标记。在XTI中，目标是将输入图像反转为一组标记嵌入，每个层一个标记嵌入，即反转为P+。
为了清楚地说明两者之间的区别，想象一下将“绿色蜥蜴”的图片输入到一个两层的U-net中。TI的目标是获得输出“绿色蜥蜴”，而XTI需要输出两个不同的实例，在这种情况下是“绿色”和“蜥蜴”。
作者在他们的工作中证明了P+中扩展倒置过程不仅比TI更具表达能力和精确性，而且速度更快。
此外，增加P+上的分离性能够通过文本到图像生成进行混合，例如对象样式的混合。
下面是来自上述工作的一个示例。
这就是P+的概述，一个用于扩展文本倒置的丰富的文本条件空间。