135 search results for "DALL-E 3"

“`html 许多研究人员设想过一个世界，任何二维图像都可以瞬间转化为三维模型。这个领域的研究主要受到了实现这个长期目标的通用、高效方法的寻求的推动，潜在的应用领域涵盖工业设计、动画、游戏和增强现实/虚拟现实等。 早期的基于学习的方法通常针对特定的类别表现良好，因为在一瞥之间，三维几何的固有模糊性使得先推断整体形状前先使用类别数据。最近的研究受到图像生成的最新发展的启发，如DALL-E和稳定扩散，利用了二维扩散模型令人惊叹的泛化潜力来实现多视图监督。然而，这些方法中的许多都需要仔细的参数调整和正则化，并且它们的输出受到首次使用的预训练二维生成模型的限制。 通过使用大规模重构模型（LRM），来自Adobe研究和澳大利亚国立大学的研究人员可以将单个图像转换为三维。该模型使用一个庞大的基于transformer的编码器-解码器架构，从单个图像中进行数据驱动的三维对象表示学习。当将图像馈入他们的系统时，它输出一个NeRF的三面式表示。具体而言，LRM使用预训练的视觉transformer DINO作为图像编码器生成图像特征，然后学习一个图像到三面式transformer解码器，将二维图像的交叉关注特征投影到三维三面式上，并自我关注地建模了空间结构化的三面式令牌之间的关系。解码器的输出令牌被重新形状和上采样到最终的三面式特征图上。之后，他们可以使用额外的共享多层感知机（MLP）对每个点的三面式特征进行解码，以获取其颜色和密度，并进行体积渲染，从而允许我们从任意视点生成图像。 由于其精心设计的架构，LRM具有高度可扩展和高效的特点。与体积和点云等其他表示相比，三面式NeRF在计算上更友好，使其成为一种简单且可扩展的三维表示。此外，它与图片输入的接近程度优于Shap-E对NeRF模型权重进行令牌化。此外，LRM仅通过最小化新视角下渲染图像与真实图像之间的差异来进行训练，无需过多的三维感知正则化或精细的超参数调整，使得该模型在训练中非常高效且适用于各种多视图图像数据集。 LRM是第一个大规模的三维重建模型，具有超过5亿个可学习参数和训练数据量约一百万个来自各种类别的三维形状和视频；这与更近期的方法相比，后者使用相对较浅的网络和较小的数据集。实验结果表明，LRM可以从真实世界和生成模型的照片中重建高保真度的三维形状。此外，LRM还是一个非常有用的缩小工具。 团队计划将其未来的研究重点放在以下领域： 使用最简单的基于transformer的设计和轻微的正则化来增加模型的大小和训练数据。 将其扩展到三维多模态生成模型。 借助像LRM这样的图像到三维重建模型，可以自动化一些三维设计师的工作。同时，这些技术还有助于提高创意行业的增长和可访问性。 “`

近年来，计算机视觉和生成建模取得了显著进展，推动了文本到图像生成的发展。包括扩散模型在内的各种生成架构在提高生成图像的质量和多样性方面起到了关键作用。本文探讨了Kandinsky1的原理、特点和能力，这是一个具有33亿参数的强大模型，并强调了它在可衡量的图像生成质量方面的顶级表现。 文本到图像生成模型已经从内容级别的自回归方法演变为像DALL-E 2和Imagen这样的基于扩散的模型。这些扩散模型被分类为像素级和潜在级别的模型，在图像生成方面表现出色，超越了GAN在忠实度和多样性方面。它们在不需要对抗训练的情况下整合文本条件，如GLIDE和eDiff-I模型所示，这些模型生成低分辨率的图像，并使用超分辨率扩散模型将其放大。这些进步改变了文本到图像生成的方式。 AIRI、Skoltech和Sber AI的研究人员介绍了Kandinsky，这是一种结合了潜在扩散技术和图像先验模型的新型文本到图像生成模型。Kandinsky以修改后的MoVQ实现作为其图像自编码器组件，并单独训练图像先验模型将文本嵌入映射到CLIP的图像嵌入中。他们的方法提供了一个用户友好的演示系统，支持多种生成模式，并发布了模型的源代码和检查点。 他们的方法引入了一种潜在扩散架构，用于文本到图像合成，利用图像先验模型和潜在扩散技术。它采用了一种图像先验方法，通过使用CLIP和XLMR文本嵌入之间的扩散和线性映射，将文本与图像嵌入相结合。他们的模型包括三个关键步骤：文本编码、嵌入映射（图像先验）和潜在扩散。基于全数据集统计的视觉嵌入逐元素归一化实现可以加速扩散过程的收敛。 Kandinsky架构在文本到图像生成方面表现出色，在256×256分辨率下在COCO-30K验证数据集上获得了令人印象深刻的FID分数8.03。线性先验配置获得了最佳的FID分数，表明视觉和文本嵌入之间存在潜在的线性关系。他们的模型在训练一个“猫先验”时展示了出色的图像生成能力。总体而言，Kandinsky在文本到图像合成方面与最先进的模型竞争激烈。 Kandinsky作为一种基于潜在扩散的系统，在图像生成和处理任务中表现出色。他们的研究广泛探索了图像先验设计选择，线性先验显示出潜在的应用前景，并暗示了视觉和文本嵌入之间存在线性关联。用户友好的界面，如Web应用和Telegram机器人，提高了可访问性。未来的研究方向包括利用先进的图像编码器，增强UNet架构，改进文本提示，生成更高分辨率的图像，以及探索局部编辑和基于物理的控制等功能。研究人员强调需要解决内容方面的问题，建议使用实时审核或强大的分类器来减轻不受欢迎的输出。