39 search results for "自编码器"

鉴于扩散模型在文本到图像生成中的成功，涌现出了一系列视频生成技术，展示了在这个领域的有趣应用。然而，大多数视频生成技术往往以“镜头级别”生成视频，仅包含几秒钟的内容和一个场景。鉴于其内容的简洁性，这些视频显然无法满足电影和影视制作的需求。 在电影或工业级视频制作中，通常以创建包含不同场景的不同镜头为特征“故事级别”的长视频。这些不同长度的单个镜头通过转场和编辑等技术相互连接，促进了更长的视频和更复杂的视觉叙事。在影视和视频编辑中结合场景或镜头的方法，称为过渡，对后期制作起着关键作用。传统的过渡方法，如溶解、淡入、擦除，依赖预定义的算法或已建立的界面。然而，这些方法缺乏灵活性，通常受到限制。 一个无缝过渡的替代方法是使用各种富有想象力的镜头以平滑的方式从一个场景切换到另一个场景。这种在电影中常用的技术不能直接使用预定义的程序生成。 本文介绍了一种解决生成两个不同场景之间无缝顺畅过渡的较少见问题的模型，该模型专注于在两个不同场景之间生成中间帧。 这个模型要求生成的过渡帧在语义上与给定的场景图像相关、连贯、平滑，并与提供的文本一致。 本文介绍了一种称为SEINE的短到长视频扩散模型，用于生成具有平滑而创意的场景之间过渡的高质量长视频，包括不同长度的镜头级别视频。下面的图示给出了该方法的概述。 为了基于可观察的条件图像或视频生成以前未见过的过渡和预测帧，SEINE采用了随机蒙版模块。基于视频数据集，作者从原始视频中提取出N帧，这些帧由预训练的变分自编码器编码为潜在向量。此外，模型接受文本描述作为输入，以增强过渡视频的可控性并利用短文本到视频生成的能力。 在训练阶段，潜在向量受到噪声的破坏，并应用随机蒙版条件层捕获帧之间的中间表示。掩蔽机制选择性地保留或抑制原始潜在代码的信息。SEINE将掩蔽潜在代码和掩蔽本身作为条件输入，以确定哪些帧被掩蔽，哪些保持可见。模型被训练以预测影响整个损坏潜在代码的噪声。这意味着学习影响未掩蔽帧和文本描述的噪声的潜在分布。通过对噪声进行建模和预测，模型旨在生成逼真和视觉一致的过渡帧，将可见帧与未掩蔽帧无缝融合。 以下是从研究中选取的一些序列。 这就是SEINE的概述，它是一个用于生成具有平滑和创意过渡的高质量扩展视频的短到长视频扩散模型。如果您感兴趣并希望了解更多信息，请随时参考下面引用的链接。

在近期，大型语言模型展示了惊人的能力。其中扩散模型尤其广泛用于多种生成应用，包括3D建模、文本生成、图像和视频生成。尽管这些模型适用于各种任务，但在处理高分辨率数据时会遇到很大的困难。由于每个步骤都需要重新对整个高分辨率输入进行编码，因此将它们扩展到高分辨率需要大量的计算资源和内存。 为了克服这些问题，研究人员经常使用具有注意力机制的深度架构来进行处理，尽管这样会增加计算和内存需求，并且使优化变得复杂。研究人员一直在努力开发有效的网络设计来处理高分辨率照片。然而，当前的方法在输出质量上不及DALL-E 2和IMAGEN等标准技术，并且在512×512分辨率之上尚未展示出竞争力。 这些广泛使用的技术通过合并许多独立训练的超分辨扩散模型与低分辨率模型来减少计算量。相反，潜在扩散方法（LDMs）依赖于经过单独训练的高分辨率自编码器，只训练低分辨率扩散模型。这两种策略都需要使用多阶段的流程和精细的超参数优化。 在最近的研究中，苹果的研究团队提出了万花筒扩散模型（MDM），这是一系列为端到端高分辨率图像和视频合成而设计的扩散模型。MDM的思想是将低分辨率扩散过程作为高分辨率生成的关键组成部分。该方法受到了生成对抗网络（GANs）多尺度学习的启发，团队通过使用嵌套的 UNet 架构，在多个分辨率上进行联合扩散过程。 该方法的一些主要组成部分如下所示。 多分辨率扩散过程：MDM使用嵌套的 UNet 架构，同时对多个分辨率的输入进行去噪处理，从而能够同时处理和生成具有不同细节级别的图像。 嵌套 UNet 架构：嵌套的 UNet 架构将较小尺度的输入特征和参数嵌套在较大尺度的输入特征和参数中。通过这种嵌套，可以有效地在各个尺度上共享信息，提高模型在捕捉细节特征时的能力，同时保持计算效率。 渐进式训练计划：MDM提出了一个逐渐提高分辨率的训练计划，从较低分辨率开始。使用这种训练方法，可以增强优化过程，并使模型更好地学习如何生成高分辨率内容。 团队通过一系列基准测试来分享这种方法的性能和效果，例如文本到视频应用、高分辨率文本到图像生成和条件图片生成。MDM已经证明可以训练一个像素级模型，分辨率高达1024×1024像素。考虑到这一成就是使用相对较小的数据集（CC12M）实现的，该数据集只包含1200万张照片，这是非常令人瞩目的。MDM展示出鲁棒的零样本泛化能力，使其能够为其未经专门训练的分辨率生成高质量信息。总而言之，万花筒扩散模型（MDM）代表了高分辨率图像和视频合成领域的重大进步。

近年来，计算机视觉和生成建模取得了显著进展，推动了文本到图像生成的发展。包括扩散模型在内的各种生成架构在提高生成图像的质量和多样性方面起到了关键作用。本文探讨了Kandinsky1的原理、特点和能力，这是一个具有33亿参数的强大模型，并强调了它在可衡量的图像生成质量方面的顶级表现。 文本到图像生成模型已经从内容级别的自回归方法演变为像DALL-E 2和Imagen这样的基于扩散的模型。这些扩散模型被分类为像素级和潜在级别的模型，在图像生成方面表现出色，超越了GAN在忠实度和多样性方面。它们在不需要对抗训练的情况下整合文本条件，如GLIDE和eDiff-I模型所示，这些模型生成低分辨率的图像，并使用超分辨率扩散模型将其放大。这些进步改变了文本到图像生成的方式。 AIRI、Skoltech和Sber AI的研究人员介绍了Kandinsky，这是一种结合了潜在扩散技术和图像先验模型的新型文本到图像生成模型。Kandinsky以修改后的MoVQ实现作为其图像自编码器组件，并单独训练图像先验模型将文本嵌入映射到CLIP的图像嵌入中。他们的方法提供了一个用户友好的演示系统，支持多种生成模式，并发布了模型的源代码和检查点。 他们的方法引入了一种潜在扩散架构，用于文本到图像合成，利用图像先验模型和潜在扩散技术。它采用了一种图像先验方法，通过使用CLIP和XLMR文本嵌入之间的扩散和线性映射，将文本与图像嵌入相结合。他们的模型包括三个关键步骤：文本编码、嵌入映射（图像先验）和潜在扩散。基于全数据集统计的视觉嵌入逐元素归一化实现可以加速扩散过程的收敛。 Kandinsky架构在文本到图像生成方面表现出色，在256×256分辨率下在COCO-30K验证数据集上获得了令人印象深刻的FID分数8.03。线性先验配置获得了最佳的FID分数，表明视觉和文本嵌入之间存在潜在的线性关系。他们的模型在训练一个“猫先验”时展示了出色的图像生成能力。总体而言，Kandinsky在文本到图像合成方面与最先进的模型竞争激烈。 Kandinsky作为一种基于潜在扩散的系统，在图像生成和处理任务中表现出色。他们的研究广泛探索了图像先验设计选择，线性先验显示出潜在的应用前景，并暗示了视觉和文本嵌入之间存在线性关联。用户友好的界面，如Web应用和Telegram机器人，提高了可访问性。未来的研究方向包括利用先进的图像编码器，增强UNet架构，改进文本提示，生成更高分辨率的图像，以及探索局部编辑和基于物理的控制等功能。研究人员强调需要解决内容方面的问题，建议使用实时审核或强大的分类器来减轻不受欢迎的输出。