Month: September 2023

动漫场景需要大量的创造才能和时间来创作。因此，基于学习的自动场景风格化方法的发展具有不可否认的实际和经济意义。由于生成对抗网络（GANs）的最新进展，自动风格化已经显著改善，但大部分研究仍主要集中在人脸上。尽管其巨大的研究价值，但从复杂的现实世界场景照片中创建高质量的动漫场景的过程仍然需要研究。由于几个因素，将现实世界的场景照片转换为动漫风格需要大量的工作。 1）场景的构图：图1说明了场景中前景和背景部分之间的层次关系，这些场景通常由几个以复杂方式连接的物品组成。 2）动漫的特点：图1显示了如何在草地、树木和云等自然环境中使用预设计的笔触来创建独特的纹理和精确的细节，这些纹理的有机和手绘特性使它们比之前的实验中的清晰边缘和均匀色块更具挑战性。 3）数据短缺和领域差距：高质量的动漫场景数据集对于弥合现实和动漫场景之间的差距至关重要。由于人脸和其他前景物品的大量存在，现有数据集质量较低，其美学与背景景观不同。 图1：动漫场景特点。在新海诚的2011年电影《追逐失落的声音的孩子们》中，可以看到草地和石头（前景）以及树木和云（背景）的手绘笔触，与清晰的边缘和平面表面形成鲜明对比。 无监督的图像转换方法是一种用于复杂场景风格化的流行方法，不需要配对的训练数据。尽管显示出有希望的结果，但现有的专注于动漫风格的技术在几个方面仍需改进。首先，复杂场景中缺乏像素级的相关性使得现有方法难以执行明显的纹理风格化同时保持语义含义，可能导致输出结果异常并包含明显的伪影。其次，某些方法无法产生动漫场景的精细细节。这是由于它们构建的动漫特定损失或预提取的表示，这些损失强制执行边缘和表面的平滑性。 为解决上述问题，南洋理工大学的S-Lab研究人员提出了Scenimefy，这是一种用于创建高质量动漫风格场景图片的独特的半监督图像转换流程。他们的主要建议是使用生成的伪配对数据将新的监督训练分支引入无监督框架，以解决无监督训练的缺点。他们利用StyleGAN的优势特性，通过对其进行微调，提供了真实和动漫之间的粗略配对数据或伪配对数据。 图2显示了Scenimefy生成的动漫场景渲染。上排：翻译后的图片；下排：翻译结果。 他们提供了一种全新的语义约束微调方法，利用了CLIP和VGG等丰富的预训练模型先验知识，指导StyleGAN捕捉复杂场景细节并减少过拟合。为了过滤低质量的数据，他们还提供了一种基于分割的数据选择技术。通过使用伪配对数据和独特的基于补丁的对比风格损失，Scenimefy在两个领域之间创建了细节，并学习了有效的像素级对应关系。他们的半监督框架在场景风格化的忠实性和保真度以及无监督训练分支之间寻求了一种理想的平衡。 他们还收集了一组高质量的纯动漫场景数据集来辅助训练。他们进行了大量测试，展示了Scenimefy的有效性，超越了行业对感知质量和定量评估的基准。以下是他们的主要贡献概述： • 他们提供了一个全新的、半监督的场景风格化框架，将实际照片转换为优质的动漫场景图像。他们的系统添加了独特的分块对比风格损失，以增强风格化和细节。 • 通过丰富的预训练先验指导，结合分割引导的数据选择方案，他们开发了一个新的语义约束的StyleGAN微调技术，产生了结构一致的伪配对数据，作为训练监督的基础。 • 他们收集了一组高分辨率的动漫场景，以辅助未来对场景风格化的研究。

最近，文本到图像模型的进展使得能够根据简短的场景描述生成高质量图像的复杂系统成为可能。然而，这些模型在面对复杂的标题时遇到困难，通常导致不同对象的视觉属性的遗漏或混合。在这一背景下，“密集”一词源于密集字幕的概念，其中利用单独的短语来描述图像中的特定区域。此外，用户在仅使用文本提示的情况下，在生成的图像中精确指定元素的排列也面临挑战。 最近的几项研究提出了通过训练或改进基于布局的文本到图像模型的解决方案，以赋予用户空间控制能力。虽然像“Make-aScene”和“Latent Diffusion Models”这样的特定方法从头开始构建具有文本和布局条件的模型，但其他同时进行的方法，如“SpaText”和“ControlNet”，通过微调将附加的空间控制引入现有的文本到图像模型。不幸的是，训练或微调模型可能需要大量计算资源。此外，模型需要为每个新颖的用户条件、领域或基本文本到图像模型重新训练。 基于上述问题，提出了一种名为DenseDiffusion的新型无训练技术，以适应密集字幕并提供布局操作。 在介绍主要思想之前，让我简要回顾扩散模型的工作原理。扩散模型通过顺序去噪步骤生成图像，从随机噪声开始。噪声预测网络估计添加的噪声并尝试在每个步骤中呈现更清晰的图像。最近的模型通过减少去噪步骤的数量，以更快的速度生成结果，而不会显著损害生成的图像。 最先进的扩散模型中有两个重要的模块，即自注意力和交叉注意力层。 在自注意力层中，中间特征还可以作为上下文特征。这通过在不同区域涵盖图像令牌之间建立连接来实现全局一致的结构的创建。同时，交叉注意力层根据从输入文本标题中获取的文本特征进行自适应，使用CLIP文本编码器进行编码。 回到主题上，DenseDiffusion的主要思想是修订的注意力调节过程，如下图所示。 首先，对预训练的文本到图像扩散模型的中间特征进行审查，以揭示生成图像的布局与自注意力和交叉注意力图之间的显著相关性。根据这一见解，基于布局条件动态调整中间注意力图。此外，该方法还考虑了原始注意力评分范围，并根据每个区域的面积微调调节程度。在展示的工作中，作者展示了DenseDiffusion提高了“稳定扩散”模型的性能，并在密集字幕、文本和布局条件以及图像质量方面超过多个组合扩散模型。 以下图片显示了从研究中选择的样本结果。这些视觉效果提供了DenseDiffusion和最先进方法之间的比较概述。 这是DenseDiffusion的概要，这是一种新的无训练的AI技术，用于适应密集字幕并在文本到图像合成中提供布局操作。

近年来的进步使计算机能够像人类视觉一样解释和理解来自世界的视觉信息。它涉及处理、分析和从图像和视频中提取有意义的信息。计算机视觉使需要视觉解释的任务自动化，减少了手动干预的需要。目标检测是一项计算机视觉任务，涉及在图像或视频帧中识别和定位多个感兴趣的对象。 目标检测的目标是确定场景中存在哪些对象，并提供关于它们在图像中的位置的信息。大多数现代目标检测器依赖于区域和类别标签的手动注释，这限制了它们的词汇量大小，并使进一步扩展变得昂贵。 与此相反，可以使用视觉语言模型（VLM）来填补图像级预训练和对象级微调之间的差距。然而，在这些模型的预训练过程中，需要充分利用对象/区域的概念。 Google Brain的研究人员提出了一种简单的模型来填补图像级预训练和对象级微调之间的差距。他们提出了区域感知开放词汇视觉变换器（RO-ViT）来完成这个任务。 RO-ViT是一种简单的方式，以区域感知的方式预训练视觉变换器，用于开放词汇对象检测。标准的预训练需要完整的图像位置嵌入。相反，研究人员随机裁剪和调整位置嵌入的区域，而不是使用整个图像的位置嵌入。他们称这种方法为“裁剪位置嵌入”。 团队展示了使用聚焦损失的图像-文本预训练比现有的softmax CE损失更有效。他们还提出了各种新颖的目标检测技术。他们认为，现有方法在对象提议阶段经常会错过新颖的对象，因为这些提议通常需要更加平衡。 该团队表示，他们的模型RO-ViT在LVIS开放词汇检测基准测试中达到了最先进的水平。他们的统计数据显示，在12个图像-文本检索基准测试指标中，它在9个指标上取得了最好的成绩。这反映出在区域级别上学到的表示对开放词汇检测非常有益且高效。 随着目标检测技术的不断发展，负责任的开发、部署和监管将至关重要，以确保其积极影响的最大化，同时减轻潜在风险。总体而言，目标检测技术的持续进步有望通过革新产业、提高安全和生活质量，并实现曾被视为科幻的创新，为更加光明的未来做出贡献。 查看论文和Google博客。该研究的所有荣誉归于该项目的研究人员。还请不要忘记加入我们的29k+ ML SubReddit、40k+ Facebook社群、Discord频道和邮件订阅，我们会分享最新的人工智能研究新闻、有趣的人工智能项目等。 如果你喜欢我们的工作，你会喜欢我们的新闻通讯.. 这篇文章最初发表于MarkTechPost。