152 search results for "文本到图像"

扩散模型在给定文本提示时已被证明在生成高质量照片方面非常成功。这种文本到图片（T2I）生成的范例已成功用于一些下游应用，包括深度驱动的图片生成以及主体/分割识别。两个受欢迎的基于文本条件的扩散模型，CLIP模型和潜在扩散模型（LDM），通常被称为稳定扩散，对这些进展至关重要。LDM在研究中以开源软件的形式免费提供，因此得到了广泛熟知。而对于未CLIP模型，却鲜有关注。这两种模型类型的基本目标都是根据文本提示训练扩散模型。 与未CLIP模型不同，LDM只有一个文本到图片扩散模型，而不需要文本到图片先验和扩散图片解码器。这两个模型家族都在图像的矢量量化潜空间内运作。因为未CLIP模型在多个组合基准测试中通常优于其他SOTA模型，如T2I-CompBench和HRS-Benchmark，所以研究团队在本文中将重点放在它们身上。这些T2I模型通常有很多参数，需要优秀的图像-文本对进行训练。与LDM相比，如DALL-E-2、卡洛和康定斯基等未CLIP模型由于它们的早期模块，其总模型大小要大得多（≥ 2B），约有10亿参数。 按照顺序，这些未CLIP模型的训练数据分别为250M、115M和177M个图像-文本对。因此，仍然存在两个重要问题：1）使用文本到图片先验能否提高文本组合的SOTA性能？2）或者模型大小的增加才是关键因素？通过增加参数和数据效率，研究团队旨在改善他们对T2I先验的认识，并在目前的公式上作出重大改进。先验的T2I目标是在扩散过程的每个时间步骤中直接估计无噪声图像嵌入，正如先前的研究所建议的那样，它们也是扩散模型。为了研究这个先前的传播过程，研究团队进行了实证调查。 图1比较了SOTA文本到图片模型在三个组合任务（颜色、形状和纹理）上的平均性能以及总参数数量。ECLIPSE只需要很少的训练数据，但却能产生更好的结果，并且使用较少的参数。所展示的ECLIPSE使用康定斯基解码器，通过仅使用500万个图像-文本对进行训练，使用约3300万个参数训练了一个T2I先验模型。 研究团队发现了扩散过程对性能的轻微负面影响，并且对产生正确图片没有影响。此外，由于扩散模型收敛速度较慢，训练它们需要显著的GPU小时或天数。因此，在本研究中，非扩散模型作为替代方法。由于缺乏无分类器引导，这种方法可能会限制组合性的可能性，但却大大提高了参数效率并减少了对数据的依赖。 在这项研究中，亚利桑那州立大学的研究团队提出了一种独特的对比学习技术，称为ECLIPSE，来增强T2I非扩散先验并克服上述缺点。研究团队优化了传统方法，即通过优化证据下界（ELBO）产生图像嵌入来从所提供的文本嵌入生成图片。研究团队建议使用预训练的视觉语言模型的语义对齐（文本和图片之间）特征来监督早期训练。研究团队使用相对较少的图像-文本对（0.34% – 8.69%）使用ECLIPSE训练紧凑的（97%更小）的非扩散先验模型（具有3300万个参数）。研究团队为未CLIP扩散图片解码器的变体（卡洛和康定斯基）引入了ECLIPSE训练的先验。ECLIPSE训练的先验模型优于拥有10亿参数的对应版本，并且优于基准先验学习算法。他们的研究结果表明了一条可能的T2I生成模型的路径，这种模型在不需要很多参数或数据的情况下提高了组合性。 如图1所示，它们的总参数和数据需求显著降低，并通过增加T2I在unCLIP家族之前取得了与相似参数模型相媲美的性能。贡献：1）在unCLIP框架下，研究团队提供了ECLIPSE，这是首个利用对比学习进行文本到图像先验的尝试。2）通过全面的实验，研究团队证明了ECLIPSE在资源受限环境中优于基线先验的优越性。3）值得注意的是，ECLIPSE先验仅需使用训练数据的2.8％和模型参数的3.3％即可获得与更大模型相当的性能。4）研究团队还研究了当前T2I扩散先验的缺点，并提供了实证观察结果。

文本到图像扩散模型代表了人工智能研究中一个有趣的领域。它们旨在根据文本描述创建逼真的图像，利用扩散模型进行生成。该过程涉及从基本分布中逐步生成样本，逐渐转化为与目标图像相似，同时考虑文本描述。多个步骤参与其中，将逐步引入噪音来生成图像。 目前的文本到图像扩散模型面临一个现有的挑战：仅凭文本描述准确地描绘一个主题。当需要生成复杂细节，如人脸特征时，尤其明显。因此，在探索超越文本线索的保持身份的图像合成方面，人们越来越有兴趣。 腾讯的研究人员提出了一种新的方法，专注于人体图像的身份保持图像合成。他们的模型采用了直接向前传递的方法，绕过复杂的微调步骤，以便快速高效地生成图像。它利用文本提示并结合样式和身份影像的额外信息。 他们的方法涉及一种多身份跨注意机制，使模型能够将来自不同身份的特定引导细节与图像中的不同人体区域相关联。通过使用包含人体图像的数据集对模型进行训练，并以人脸特征作为身份输入，模型学会在强调身份特征的同时重建人体图像。 他们的模型展示了在保留主体身份的同时合成人体图像的出色能力。此外，它使用户能够将自己的面部特征投影到不同风格的图像（如卡通），使用户能够在不损害身份的前提下以不同的风格进行可视化。此外，当提供相应的参考照片时，它在混合多个身份的创意生成方面表现出色。 他们的模型在单镜头和多镜头场景中展示了出色的性能，凸显了其在保护身份方面的设计的有效性。尽管基线图像重建大致保持图像内容，但在细粒度身份信息方面存在困难。相反，他们的模型成功地从身份引导分支中提取身份信息，从而为面部区域实现了更好的结果。 然而，该模型复制人脸的能力引发了伦理关注，尤其是可能创建冒犯性或文化不恰当的图像。负责任地使用这项技术至关重要，需要制定准则以防止在敏感情境中滥用。

最近，在图像生成方面取得了重大进展，利用大规模扩散模型在配对的文本和图像数据上进行训练，加入多样化的条件方法以增强视觉控制。这些方法从明确的模型条件到修改预训练架构以适应新的模态。利用提取的图像特征如深度对文本条件的模型进行微调，可以实现图像重建。早些时候的研究人员引入了一种使用原始分辨率信息进行多分辨率和形状一致图像生成的GANs框架。 谷歌研究和特拉维夫大学的研究人员提出了一种AI框架（AnyLens），将文本到图像扩散模型与特殊的镜头几何结构相结合，用于图像渲染。这种整合使得对渲染几何的精确控制成为可能，通过一个单一的扩散模型可以生成鱼眼、全景视图和球面纹理等多样化的视觉效果。 该研究通过引入一种新的方法来解决将多样化光学控制融入文本到图像扩散模型的挑战。该方法使模型能够在局部镜头几何条件下进行条件附加，提高了模型复制精巧光学效果以生成逼真图像的能力。除了传统的画布变换外，该方法还允许通过逐像素坐标条件进行几乎任何栅格扭曲。这种创新支持各种应用，包括全景场景生成和球面纹理。它引入了一个度量张量条件的流形几何感知图像生成框架，扩大了对图像生成的控制和操作的可能性。 该研究通过逐像素坐标条件将文本到图像扩散模型与特定镜头几何相结合的框架。该方法通过使用随机变换场扭曲图像生成的数据对预训练潜扩散模型进行微调。采用了自注意力层的令牌重加权。该方法允许曲率特性的操作，产生鱼眼和全景视图等多样效果。它超越了固定分辨率的图像生成，采用度量张量条件以增强控制。该框架扩展了图像操作的可能性，解决了扩散模型中大型图像生成和自注意力尺度调整等挑战。 该框架成功地将文本到图像扩散模型与特定的镜头几何结合起来，以一个模型实现了鱼眼、全景视图和球面纹理等多样化的视觉效果。它可以精确控制曲率特性和渲染几何，生成逼真而细致的图像。该方法通过对大型文本注释数据集和逐像素变换场进行训练，生成任意变形的图像，并且结果与目标几何形状紧密对齐，无失真。它还便于创建具有逼真比例和最小伪影的球形全景图。 总之，新引入的框架在图像渲染中整合了各种镜头几何，提供了对曲率特性和视觉效果的增强控制。通过逐像素坐标和度量条件，该方法便于对渲染几何进行操纵，创造出具有精准曲率特性，引起几何操纵的高度逼真图像。该框架鼓励图像合成中的创造性和控制，使其成为生产高质量图像的有价值的工具。 未来的工作建议通过探索先进的条件技术来克服该方法的局限性，从而增强多样化图像生成。研究人员提出扩展该方法以达到捕捉不同场景的专用镜头类似结果的可能性。提及使用更先进的条件技术的潜在用途，预计将实现改进的图像生成和增强的能力。

概率扩散模型已成为连续域生成建模的已确立规范。在文本到图像扩散模型方面，DALLE引领潮流。这些模型以其在广泛的网络规模数据集上进行训练以生成图像的能力而受到重视。本论文讨论了文本到图像扩散模型在图像生成的前沿地位方面的最新发展情况。这些模型是通过在大规模无监督或弱监督的文本到图像数据集上进行训练而获得的。然而，由于其无监督性质，控制它们的行为以优化人类感知图像质量、图像与文本的对齐或伦理图像生成等下游任务是一项具有挑战性的努力。 最近的研究试图使用强化学习技术对扩散模型进行微调，但这种方法在梯度估计器中具有高方差。针对这一问题，本论文引入了“AlignProp”，一种通过回传奖励梯度在去噪过程中与下游奖励函数对齐的方法。 AlignProp的创新方法缓解了通常与现代文本到图像模型通过反向传播进行内存需求高的问题。它通过微调低秩适配器权重模块和实施梯度检查点来实现这一目标。 本论文评估了AlignProp在微调扩散模型以实现各种目标时的性能，包括图像与文本的语义对齐、美学、图像可压缩性以及生成图像中对象数量的可控性，以及这些目标的组合。结果表明，AlignProp在更少的训练步骤中通过获得更高的奖励优于其他方法。此外，它因其概念上的简单性而备受关注，使其成为根据所关注的可微分奖励函数优化扩散模型的直接选择。 AlignProp方法利用从奖励函数获得的梯度来微调扩散模型，从而提高采样效率和计算效率。进行的实验一致表明AlignProp在优化各种奖励函数方面的有效性，甚至适用于仅通过提示难以定义的任务。未来的潜在研究方向可能涉及将这些原理扩展到基于扩散的语言模型，以改善其与人类反馈的对齐。

近年来，计算机视觉和生成建模取得了显著进展，推动了文本到图像生成的发展。包括扩散模型在内的各种生成架构在提高生成图像的质量和多样性方面起到了关键作用。本文探讨了Kandinsky1的原理、特点和能力，这是一个具有33亿参数的强大模型，并强调了它在可衡量的图像生成质量方面的顶级表现。 文本到图像生成模型已经从内容级别的自回归方法演变为像DALL-E 2和Imagen这样的基于扩散的模型。这些扩散模型被分类为像素级和潜在级别的模型，在图像生成方面表现出色，超越了GAN在忠实度和多样性方面。它们在不需要对抗训练的情况下整合文本条件，如GLIDE和eDiff-I模型所示，这些模型生成低分辨率的图像，并使用超分辨率扩散模型将其放大。这些进步改变了文本到图像生成的方式。 AIRI、Skoltech和Sber AI的研究人员介绍了Kandinsky，这是一种结合了潜在扩散技术和图像先验模型的新型文本到图像生成模型。Kandinsky以修改后的MoVQ实现作为其图像自编码器组件，并单独训练图像先验模型将文本嵌入映射到CLIP的图像嵌入中。他们的方法提供了一个用户友好的演示系统，支持多种生成模式，并发布了模型的源代码和检查点。 他们的方法引入了一种潜在扩散架构，用于文本到图像合成，利用图像先验模型和潜在扩散技术。它采用了一种图像先验方法，通过使用CLIP和XLMR文本嵌入之间的扩散和线性映射，将文本与图像嵌入相结合。他们的模型包括三个关键步骤：文本编码、嵌入映射（图像先验）和潜在扩散。基于全数据集统计的视觉嵌入逐元素归一化实现可以加速扩散过程的收敛。 Kandinsky架构在文本到图像生成方面表现出色，在256×256分辨率下在COCO-30K验证数据集上获得了令人印象深刻的FID分数8.03。线性先验配置获得了最佳的FID分数，表明视觉和文本嵌入之间存在潜在的线性关系。他们的模型在训练一个“猫先验”时展示了出色的图像生成能力。总体而言，Kandinsky在文本到图像合成方面与最先进的模型竞争激烈。 Kandinsky作为一种基于潜在扩散的系统，在图像生成和处理任务中表现出色。他们的研究广泛探索了图像先验设计选择，线性先验显示出潜在的应用前景，并暗示了视觉和文本嵌入之间存在线性关联。用户友好的界面，如Web应用和Telegram机器人，提高了可访问性。未来的研究方向包括利用先进的图像编码器，增强UNet架构，改进文本提示，生成更高分辨率的图像，以及探索局部编辑和基于物理的控制等功能。研究人员强调需要解决内容方面的问题，建议使用实时审核或强大的分类器来减轻不受欢迎的输出。

在文本到图像（T2I）模型不断发展的领域中，随着GlueGen的引入，新的领域正在出现。T2I模型在生成图像方面展现出了令人印象深刻的能力，但是它们在修改或增强功能方面的刚性一直是一个重大挑战。GlueGen的目标是通过将单模态或多模态编码器与现有的T2I模型进行对齐来改变这种范式。这一方法由西北大学、Salesforce AI Research和斯坦福大学的研究人员共同探索，简化了升级和扩展，并开启了多语言支持、声音到图像生成和增强文本编码的新时代。在本文中，我们将深入探讨GlueGen的变革潜力，探索它在推进X到图像（X2I）生成方面的作用。 现有的T2I生成方法，特别是基于扩散过程的方法，已经在根据用户提供的标题生成图像方面取得了显著的成功。然而，这些模型面临将文本编码器与图像解码器紧密耦合的挑战，使得修改或升级变得繁琐。一些其他T2I方法的参考包括基于GAN的方法，如生成对抗网络（GANs），Stack-GAN，Attn-GAN，SD-GAN，DM-GAN，DF-GAN，LAFITE，以及自回归变换器模型，如DALL-E和CogView。此外，扩散模型，如GLIDE、DALL-E 2和Imagen，在该领域中已被用于图像生成。 T2I生成模型在算法改进和广泛训练数据的推动下已取得了显著进展。基于扩散的T2I模型在图像质量方面表现出色，但在可控性和构图方面较为困难，往往需要及时的工程调整以实现所需的结果。另一个限制是主要训练于英文文本标题，限制了其多语言的实用性。 GlueGen框架引入了GlueNet，将来自各种单模态或多模态编码器的特征与现有T2I模型的潜在空间进行对齐。他们的方法使用平行语料库来对齐不同编码器之间的表示空间的新训练目标。GlueGen的能力还可将多语言语言模型（如XLM-Roberta）与T2I模型进行对齐，从而使其能够从非英文标题生成高质量的图像。此外，它还可以将多模态编码器（如AudioCLIP）与Stable Diffusion模型进行对齐，实现声音到图像的生成。 GlueGen提供了将不同功能表征对齐的能力，使新功能无缝集成到现有的T2I模型中。它通过将多语言语言模型（如XLM-Roberta）与T2I模型进行对齐，生成高质量的非英文标题图像。此外，GlueGen还将多模态编码器（如AudioCLIP）与Stable Diffusion模型进行对齐，实现声音到图像的生成。该方法还通过其目标重新加权技术，提高了图像的稳定性和准确性，与原始的GlueNet相比。评估使用FID得分和用户研究进行。 总之，GlueGen为对齐各种功能表征提供了解决方案，增强了现有T2I模型的适应性。通过对齐多语言语言模型和多模态编码器，它拓展了T2I模型从多样的源生成高质量图像的能力。GlueGen通过提出的目标重新加权技术，提高了图像的稳定性和准确性，解决了在T2I模型中打破文本编码器和图像解码器之间紧密耦合的挑战，为更轻松的升级和替换铺平了道路。总体而言，GlueGen为推进X到图像生成功能提供了一种有希望的方法。