Tag: Image Processing

Google Research的研究工程师Su Wang和Ceslee Montgomery发布了文章： 在过去的几年中，文本到图像生成研究取得了突破性进展（特别是Imagen、Parti、DALL-E 2等），自然地渗透到相关主题中。特别是，文本引导的图像编辑（TGIE）是一项实际任务，它涉及编辑生成和拍摄的视觉效果，而不是完全重做它们。快速、自动化和可控的编辑是在重新创建视觉效果耗费时间或不可行的情况下提供方便解决方案的一种方式（例如，在度假照片中调整物体或完善从头开始生成的可爱小狗的细节）。此外，TGIE代表了改进基础模型自身培训的重大机会。多模型需要多样化的数据来适当地进行训练，而TGIE编辑可以实现高质量和可扩展的合成数据的生成和重新组合，这些数据最重要的是可以提供沿任何给定轴优化训练数据分布的方法。 在2023 CVPR上，我们将介绍Imagen Editor和EditBench：推进和评估文本引导的图像修复，其中Imagen Editor是掩蔽修补任务的最先进解决方案，即当用户提供文本说明和覆盖层或“掩蔽”（通常在绘图类型界面内生成）指示他们希望修改的图像区域时。我们还介绍了EditBench，一种评估图像编辑模型质量的方法。EditBench超越了通常使用的粗粒度“这张图像是否与这个文本匹配”的方法，深入到各种类型的属性、对象和场景中，以更细粒度的方式了解模型性能。特别是，它强调了图像-文本对齐的准确性，而不失去对图像质量的关注。 给定图像、用户定义的掩蔽和文本提示，Imagen Editor对指定区域进行本地化编辑。该模型有意义地融合了用户的意图并执行了逼真的编辑。 Imagen Editor Imagen Editor是在Imagen上进行微调的扩散模型，用于编辑。它针对改进语言输入、细粒度控制和高保真输出的表示。Imagen Editor从用户处获得三个输入：1）要编辑的图像，2）一个二进制掩蔽来指定编辑区域，以及3）一个文本提示-所有三个输入都引导输出样本。 Imagen Editor依赖于三个核心技术，以实现高质量的文本引导图像修复。首先，与先前的修复模型（如Palette、Context Attention、Gated Convolution）应用随机框和笔画蒙版不同，Imagen Editor采用了对象检测器掩蔽策略和对象检测器模块，在训练期间生成对象掩蔽。对象掩蔽基于检测到的对象而不是随机补丁，并允许在编辑文本提示和掩蔽区域之间进行更有原则的对齐。从经验上讲，该方法有助于模型抵制文本提示在掩蔽区域很小或仅部分覆盖对象（例如CogView2）时被忽略的普遍问题。 随机蒙版（左）经常捕捉背景或与对象边界相交，定义可以仅通过图像上下文合理修补的区域。对象掩蔽（右）更难以仅从图像上下文中修补，鼓励模型更多地依赖于训练期间的文本输入。 接下来，在训练和推理过程中，Imagen Editor通过对输入图像和掩膜的全分辨率（本文中为1024×1024）进行逐通道连接（类似于SR3、Palette和GLIDE），提高了高分辨率编辑的能力。对于基础扩散64×64模型和64×64→256×256超分辨率模型，我们应用参数化下采样卷积（例如，带步长的卷积），经实验证明这对于高保真度至关重要。…