Tag: Computer vision

深度视觉模型使用的表示空间中充满了语义结构。然而，由于涉及的统计数据量巨大，人类很难理解这些深度特征空间。与深度模型不同，人类已经发展了语言，用来简洁地表示周围的世界，将概念编码为高维空间中的向量。 马里兰大学和Meta AI提出了一种方法，使用无需文本监督训练的现成视觉编码器将文本映射到概念向量，以便直接比较单词和图像的表示。该方法调整了视觉模型的表示空间，使其与CLIP模型的表示空间一致。CLIP表示空间旨在同时训练视觉和文本编码器。因此，文本到概念的文本编码器已经包含在CLIP模型中。 该方法学习了表示空间之间的映射，以利用商用可用模型的这种能力。更确切地说，研究人员通过最大化一个函数来推断出图像在现成视觉模型中的表示的CLIP表示。在将预包装模型的表示映射到CLIP之后，对于目标文本的概念向量，对齐的特征将存在于同一空间中。然而，映射函数可能会严重改变输入的语义。为了避免这种情况，他们确保映射的假设空间只存在仿射变换。尽管看起来缺乏复杂性，但研究团队发现线性层在实现不同体系结构和训练方法的模型之间的特征空间对齐方面意外地有用。 使用商用可用的文本到概念零射击分类器为该方法提供了强有力的支持。与CLIP模型相比，这些模型在许多任务上表现出惊人的零射击准确性，尽管它们体积更大，使用更多样本进行更丰富的监督，并且最重要的是，明确地专门与文本编码器对齐。 文本到概念的可解释性好处不仅限于免费的零射击学习，还包括将视觉编码器转换为无需概念监督的概念瓶颈模型（CBMs）。例如，研究团队将这种方法应用于RIVAL10数据集，该数据集包含属性标签，以确保零射击概念预测的准确性。通过提出的零射击方法，他们能够以很高的准确度（93.8%）预测RIVAL10的属性，从而获得了具有预期可解释性好处的CBM。 他们的论文还通过分析一组文本到概念向量和数据的对齐表示之间的相似性，展示了文本到概念可以以人类术语解释庞大数据集的分布。通过比较对易理解概念的变化来诊断分布偏移。基于概念的图片检索是另一种文本到概念的方法，它方便与庞大数据集进行交互。研究人员使用概念逻辑来查询满足一组概念相似度阈值的图像表示，使人类能够更多地影响搜索中每个概念的相对权重，并在庞大语料库中定位特定照片时得到可接受的结果。 最后，团队还引入了概念到文本，以直接解码模型表示空间中的向量，完成人机通信循环。他们使用现有的CLIP空间解码器和嵌入来指导GPT-2的输出，在将模型空间与CLIP对齐后。然后，他们利用人类研究来检查解码的标题是否准确解释了与每个向量相关联的类别。研究结果显示，在92%的测试中，他们的简单方法都是成功的。

由于面部生成和操作工具的迅速发展，面部视频提供的身份或质量现在可以非常容易地改变和操纵。这对于制作搞笑视频、电影和其他媒体类型具有几个重要和惊人的用途。然而，这些方法也可能被恶意利用，导致社会对安全和信心的重大危机。因此，学习如何识别视频面部伪造最近成为一项热门研究课题。 迄今为止，一种有效的研究方法尝试通过寻找生成图像中的“空间”伪迹（例如棋盘格、不自然和生成模型底层的伪迹等）来区分真实和虚假照片。这些技术在寻找空间相关伪迹时有着显著的效果。然而，它们忽略了视频的时间连贯性，错过了视频面部伪造中的“时间”伪迹，如闪烁和不连续性。最近的研究注意到了这个问题，并努力通过使用时间线索来解决它。 由此产生的模型可以在时间级别上识别不自然的伪迹，但它们需要提高对与空间相关的伪迹的检测能力。他们试图在这项研究中捕捉空间和时间伪迹，以识别广泛的视频面部伪造。一种有效的时空网络（3D ConvNet）通常可以搜索空间和时间伪迹。然而，他们发现纯粹的训练可能会使其过于依赖空间伪迹，而忽视时间伪迹，从而导致推理能力较差。这样一来，3D卷积网络可能更容易依赖空间伪迹，因为空间伪迹通常比时间不连贯更可见。 因此，问题在于使时空网络能够捕捉到时间和空间伪迹。中国科学技术大学、微软亚洲研究院和合肥综合国家科学中心的研究人员在本研究中提出了一种创新的训练方法，称为AltFreezing，以实现这一目标。重要的概念是在整个训练过程中交替冻结与空间和时间相关的权重。具体构建了一个使用1×Kh×Kw空间卷积和Kt×1×1时间卷积的3D resblocks的时空网络。通过这些空间和时间卷积核，分别捕捉到了空间和时间级别的特征。为了克服空间和时间伪迹，他们的AltFreezing技术促使两组权重交替更新。 此外，他们提供了一套用于创建视频级别虚假内容的工具。这些技术可以分为两类。第一类是伪造剪辑，它们仅使用时间伪迹，随机重复和删除实际剪辑的帧。第二类剪辑是通过将一个真实剪辑的一部分与另一个真实剪辑混合而成，它只有空间伪迹。这些视频增强技术是首次产生既有空间又有时间限制的虚假视频。这些改进有助于时空模型捕捉到空间和时间伪迹。通过上述两种方法，他们可以在各种困难的面部伪造检测场景中处于前沿地位，包括对未见伪造的泛化和对各种扰动的鲁棒性。 以下是他们的三个主要贡献： • 他们建议研究用于检测视频面部伪造的空间和时间伪迹。提出了一种名为AltFreezing的全新训练技术来实现这一目标。 • 他们提供了视频级别的虚假数据增强技术，以推动模型捕捉更广泛的伪造。 • 在包括对操作和数据集的评估在内的五个基准数据集上进行了广泛的测试，结果显示该方法达到了最新的性能水平。

生成模型领域近年来对视觉合成产生了浓厚的兴趣。之前的工作已经可以实现高质量的图像生成。然而，与照片相比，视频的持续时间在实际应用中面临更大的困难。一部特技电影的平均播放时间超过90分钟，一部动画片的平均长度为30分钟。TikTok或其他类似应用上的视频理想长度为21至34秒。 微软的研究团队开发了一种创新的架构用于制作长视频。现有的大多数工作是按照片段的顺序逐个生成长电影，这通常导致在短片训练和推断大视频之间存在差距。顺序生成可能更加高效。这种新颖的方法采用了一种由粗到细的过程，在相同的粒度上同时生成视频；首先应用全局扩散模型生成范围广泛的关键帧，然后使用局部扩散模型迭代地填充相邻帧之间的内容。通过直接在长电影上进行训练，可以缩小训练和推断之间的差距，并且可以使用这种简单但成功的方法同时生成所有部分。 最重要的贡献如下： 研究团队提出了“扩散过扩散”架构NUWA-XL，将长视频的创建视为一种革命性的“由粗到细”的过程。 NUWA-XL是第一个直接训练在长电影（3376帧）上的模型，弥合了生成这种视频的训练和推断之间的差距。 NUWA-XL实现了并行推断，大大缩短了生成长视频所需的时间。在生成1024帧的情况下，NUWA-XL将推断加速了94.26%。 为了确保模型的有效性并为扩展视频创作提供标准，FlintstonesHD的研究团队创建了一个名为FlintstonesHD的新数据集。 方法 时间KLVAE（T-KLVAE） KLVAE将输入图像转换为低维潜在表示，在应用扩散过程之前，以避免直接在像素上训练和采样扩散模型的计算负担。研究人员通过增加原始空间模块与外部时间卷积和注意力层来提出时间KLVAE（T-KLVAE），以将预训练的图像KLVAE的表面知识转移到视频中。 时间掩蔽扩散（MTD） 作为提出的扩散过扩散架构的基础扩散模型，研究人员提出了时间掩蔽扩散（MTD）。虽然电影的“粗糙”故事情节仅由L个提示组成，用于全局扩散，但开头和最后的帧也被用作局部扩散的输入。建议的MTD兼容全局和局部扩散，并且可以接受具有或不具有开头和最后帧的输入条件。接下来，他们在使用UpBlock来说明各种输入条件融合之前，完整地阐述了MTD的流程。 尽管提出的NUWA-XL提高了扩展视频创建的质量并加快了推断速度，但仍存在一些限制：首先，研究人员只验证了NUWA-XL在公开可用的Flintstones卡通上的有效性，因为尚不清楚开放域长视频（如电影和电视剧集）。他们希望通过在创建开放域长视频数据集的初步成功后，最终将NUWA-XL扩展到开放域。其次，通过在长电影上进行直接训练，可以缩小训练和推断之间的差距，但这对于数据来说是一个巨大的障碍。最后，尽管NUWA-XL可以加速推断，但这种改进需要强大的图形处理单元（GPU）来实现并行推断。 研究人员提出了NUWA-XL，一种“扩散过扩散”架构，将创建长视频视为一种非传统的“由粗到细”的过程。NUWA-XL是第一个直接训练在长电影（3376帧）上的模型，弥合了长视频制作中的训练和推断之间的差距。NUWA-XL支持并行推断，可以在生成1024帧的同时将长视频的创建速度加快94.26%。为了进一步验证模型的有效性并为扩展视频创作提供基准，他们构建了一个名为FlintstonesHD的新数据集。

自监督表示学习是发展视觉基础技能的成功方法。这一研究方向的基础是利用大型未标记数据集作为补充的训练数据源，以提高下游网络性能并减少对大型标记目标数据集的需求。最近的研究表明，自监督在ImageNet上的预训练现在可以与或超过在多个下游数据集和任务上的有监督预训练，包括像素级语义和实例分割。 对比学习的变种是最受欢迎的自监督表示学习方法之一，其中目标骨干网络被训练为将图像的修改视图在潜在空间中映射得比从数据集中随机选择的图片更接近。这种范式可以通过添加空间损失并使用更少或没有负实例来改进。另一个研究领域专注于重建损失进行监督，或者称为遮蔽图模型（MIM），其中涉及对输入图像的某些区域进行遮蔽，并训练骨干网络重建这些部分。这项工作通常被认为是确定性的，这意味着它忽略了隐藏区域的多种可能性。 通常，这个研究领域探讨了架构设计、训练方法和遮蔽策略，以训练更好的骨干网络。当与基于Vision Transformer的骨干网络一起使用时，这些技术已经达到了最先进的性能；然而，最近还展示了稀疏CNN-based图像骨干的同样有效性。在这项研究中，作者提出了一种以生成模型作为表示学习器的方法，他们认为这个目标的简单性——生成数据——和直观的表征能力——生成高质量的样本——都表明学习到了语义上足够准确的内部表示。 使用生成网络作为表示学习器的想法并不陌生。在DatasetGAN及其派生工作中，建议使用StyleGAN或扩散模型的特征来补充与任务相关的头部，然后使用这些增强网络作为标记数据的源来训练后续网络。SemanticGAN则使用了带有额外任务解码器的StyleGAN作为任务网络本身，通过将图片编码成生成模型的潜在空间，并使用任务头部创建感知输出。在这项研究中，来自NVIDIA、多伦多大学、Vector研究所和麻省理工学院的研究人员引入了DreamTeacher，这是一个使用生成模型预训练基于蒸馏的下游感知模型的表示学习框架。 他们研究了两种不同的蒸馏过程：1）作为一种通用的无标签预训练过程，他们提供了特征蒸馏的技术，即将生成的特征降低到目标骨干。2）标签蒸馏：在半监督环境中，使用生成网络上的任务头将标记数据集中的知识蒸馏到目标骨干上。他们的工作选择了扩散模型和GAN作为生成模型。 他们集中研究了CNN作为目标骨干的原因有两个主要原因：1）已经证明基于CNN的骨干可以进行对比和MIM技术的最先进表示学习；2）最先进的生成模型（如GAN和扩散模型）仍然严重依赖CNN。他们还在早期试验中调查了Vision Transformer的骨干，但发现很难将基于CNN的生成模型的特征提取到Vision Transformer中。由于使用Vision Transformer架构创建的生成模型仍处于初级阶段，因此仍需要进一步研究使用这些设计的DreamTeacher。 他们通过实验证明，DreamTeacher在许多基准测试和条件下优于当前可用的自监督学习系统。当在没有任何标签的ImageNet上进行预训练时，他们的方法在包括ADE20K的语义分割、MSCOCO上的实例分割和自动驾驶数据集BDD100K上的任务上明显优于在ImageNet上进行完全监督的预训练方法。当仅在目标领域上进行训练时，他们的技术明显优于在带有标签监督的ImageNet上进行预训练的变种。它在数百万张无标签图片的以对象为重点的数据集上达到了新的最先进性能。这些发现证明了生成模型的潜力，特别是基于扩散的生成模型，作为能够高效利用各种无标签信息的表示学习器。

视觉变压器（ViT）因其简单性、灵活性和可扩展性而快速取代基于卷积的神经网络。图片被分割成补丁，并且每个补丁被线性投影到一个令牌上，构成了这个模型的基础。输入照片通常被划分为一组固定数量的补丁，然后再使用。 最近的研究发表了对这个模型的潜在改进：FlexiViT允许连续的序列长度范围，因此通过在单个设计中适应不同的补丁尺寸来计算成本。这是通过在每次训练迭代中随机选择补丁尺寸，并使用缩放技术来适应初始卷积嵌入中的多个补丁尺寸来实现的。Pix2Struct的替代补丁方法，保持了纵横比，对于图表和文档理解等任务非常有价值。 NaViT是谷歌研究人员开发的一种替代方法。Patch n’ Pack是一种技术，它允许在保持纵横比的同时改变分辨率，通过将来自不同图像的许多补丁打包到一个序列中。这个想法基于“示例打包”，这是一种在自然语言处理中使用的技术，通过将多个实例合并成一个序列来高效训练具有不同长度输入的模型。科学家们发现，随机采样分辨率可以显著减少训练时间。NaViT在广泛的解决方案范围内实现了出色的性能，便于在推理时平滑地权衡成本和性能，并且可以以较低的成本轻松适应新的任务。 从示例打包所实现的固定批次形状中出现了像保持纵横比的解析率采样、可变的令牌丢弃率和自适应计算等研究思路。 NaViT在预训练期间的计算效率尤为令人印象深刻，并在微调过程中持续存在。成功地将单个NaViT应用于不同的分辨率，可以在性能和推理成本之间实现平滑的权衡。 在训练和操作过程中将数据输入深度神经网络是常见的实践。因此，计算机视觉应用必须使用预定的批次大小和几何形状，以确保在现有硬件上获得最佳性能。由于这个原因和卷积神经网络固有的架构限制，将图像调整大小或填充到预定大小已经成为常见的做法。 虽然NaViT基于原始的ViT，但理论上可以使用任何可以处理补丁序列的ViT变种。研究人员对ViT进行了以下结构性改变以支持Patch n’ Pack。Patch n’ Pack是一种将序列打包应用于视觉变换器的简单方法，它显著提高了训练效率，这已经被研究界证明过。由此产生的NaViT模型具有灵活性，易于适应新的任务，而不会造成巨大的成本开销。自适应计算和提高训练和推理效率的新算法的研究只是Patch n’ Pack所带来的可能性的两个例子，而这些以前因需要固定的批次形式而受到限制。他们还认为NaViT对ViT来说是朝着正确方向迈出的一步，因为它代表了大多数计算机视觉模型的传统CNN设计输入和建模流程的改变。

人工智能近年来取得了巨大的进步。其中，大型语言模型的引入引起了广泛关注，因为它具有令人难以置信的模仿人类能力。这些模型不仅在语言处理方面取得了成功，还在计算机视觉领域取得了成就。尽管AI系统在自然语言处理和可控图像生成方面取得了显著成就，但包括通用图像分割在内的像素级图像理解领域仍存在一定的局限性。 图像分割是将图像分割为不同部分的技术，取得了很大的改进，但要创建一个能处理不同粒度的各种图像的通用图像分割模型仍在讨论中。在该领域取得进展的两个主要挑战是充足的训练数据的可用性和模型设计的灵活性限制。现有方法通常使用单输入、单输出的流水线，无法预测不同粒度的分割掩码并处理不同的细节级别。此外，扩展既具有语义知识又具有粒度知识的分割数据集是昂贵的。 为了解决这些限制，一个研究团队提出了Semantic-SAM，一种基于用户输入的通用图像分割模型，可以在任意所需的粒度上对对象进行分割和识别。该模型能够为对象和部分提供语义标签，并根据用户的点击预测不同粒度的掩码。Semantic-SAM的解码器架构采用了多选择学习策略，使模型具备处理多个粒度的能力。每个点击由多个查询表示，每个查询具有不同的嵌入级别。这些查询通过与不同粒度的真实掩码学习。 该团队分享了Semantic-SAM如何通过使用解耦的部件和对象分类策略来解决语义意识问题。该模型使用共享的文本编码器分别对对象和部件进行编码，从而实现不同的分割过程，并根据输入类型调整损失函数。这种策略确保了模型能够处理来自SAM数据集（该数据集缺少一些分类标签）以及来自通用分割数据的数据。 该团队结合了七个代表不同粒度的数据集，以增强语义和粒度，包括SA-1B数据集、部分分割数据集如PASCAL Part、PACO和PartImagenet，以及通用分割数据集如MSCOCO和Objects365。数据格式已重新调整以符合Semantic-SAM的训练目标。 经过评估和测试，Semantic-SAM表现出比现有模型更优异的性能。当与交互式分割技术（如SA-1B可提示分割和COCO全景分割）结合使用时，性能显著提高。该模型实现了惊人的2.3个框AP增益和1.2个掩码AP增益。在粒度完整性方面，它比SAM表现更好，超过3.4个1-IoU。 Semantic-SAM绝对是图像分割领域的创新进展。该模型通过融合通用表示、语义意识和粒度丰富性，为像素级图像分析创造了新的机会。

许多应用，如机器人技术、自动驾驶和视频编辑，从视频分割中受益。深度神经网络在过去几年取得了很大的进展。然而，现有的方法需要在未经尝试的数据上进行调整，尤其是在零样本情况下。这些模型需要特定的视频分割数据进行微调，以在不同场景下保持一致的性能。在零样本设置中，或当这些模型被转移到未经过训练的视频领域，并涵盖训练分布之外的对象类别时，当前的半监督视频对象分割（VOS）和视频实例分割（VIS）方法在处理未知数据时显示出性能差距。 使用来自图像分割领域的成功模型来进行视频分割任务可以解决这些问题。Segment Anything（SAM）概念就是一个有前途的解决方案之一。SA-1B数据集作为SAM的训练基础模型，其中包含了1100万张图片和10亿个掩膜。由于其庞大的训练集，SAM具备了出色的零样本泛化能力。该模型已经证明在使用零样本转移协议进行各种下游任务时能够可靠地运行，并且非常可定制，并能从单个前景点生成高质量的掩膜。 SAM表现出很强的零样本图像分割能力。然而，它并不自然适用于视频分割问题。最近，SAM已经被修改以包括视频分割。例如，TAM将SAM与最先进的基于内存的掩膜跟踪器XMem相结合。类似于SAM-Track将DeAOT与SAM相结合的方式。尽管这些技术在恢复SAM在分布数据上的性能方面取得了很大进展，但在应用于更困难的零样本条件时仍然存在缺陷。许多分割问题可以通过其他不需要SAM的视觉提示技术来解决，包括SegGPT，尽管它们仍然需要对初始视频帧进行掩膜标注。 这个问题对于零样本视频分割来说是一个重大障碍，特别是当研究人员致力于创建简单的技术来推广到新情况并可靠地在各种视频领域中产生高质量的分割时。ETH Zurich、HKUST和EPFL的研究人员介绍了SAM-PT（Segment Anything Meets Point Tracking）。这种方法通过首次使用稀疏点跟踪和SAM来分割视频，为这个问题提供了一种新的方法。与使用掩膜传播或以物体为中心的密集特征匹配相比，他们提出了一种使用电影中编码的详细局部结构数据来跟踪点的方法。 因此，它只需要在第一帧中对稀疏点进行注释以指示目标对象，并提供了对未知对象的卓越泛化能力，这一优势已经在开放世界的UVO基准测试中得到证明。这种策略有效地扩展了SAM在视频分割方面的能力，同时保持了其固有的灵活性。利用PIPS等现代点跟踪器的灵活性，SAM-PT使用这些工具预测的稀疏点轨迹来提示SAM。他们得出的结论是，最适合激励SAM的方法是使用从掩膜标签中的K-Medoids聚类中心初始化要跟踪的位置。 通过同时跟踪正点和负点，可以清楚地区分背景和目标对象。他们建议使用这些点来改进输出掩膜的不同掩膜解码过程。他们还开发了一种点重新初始化技术，以提高随时间的追踪精度。在该方法中，不可靠或遮挡的点被丢弃，而在后续帧中变得可见的对象的部分或段的点被添加，例如当对象旋转时。 值得注意的是，他们的测试结果显示，SAM-PT在几个视频分割基准上的表现与现有的零样本方法相当或更好。这表明他们的方法是多么适应和可靠，因为在训练过程中不需要视频分割数据。在零样本设置中，SAM-PT可以加速视频分割任务的进展。他们的网站上有多个互动视频演示。