Tag: Computer vision

广泛认可的是，人工智能（AI）近年来取得了重大进展，取得了显著的成就和突破性结果。然而，AI并不能在所有任务上都取得同样令人印象深刻的结果。例如，虽然AI在某些视觉任务（如人脸识别）中可以超越人类表现，但在图像处理和分类中也可能出现令人困惑的错误，从而凸显出任务的挑战性。因此，研究人员和开发人员对了解这种系统在相关任务中的内部工作方式以及它们如何做出某些决策的兴趣日益浓厚。 众所周知，类似于人脑，AI系统采用了分析和分类图像的策略。然而，这些过程背后的精确机制仍然是个谜，导致形成了一个黑匣子模型。 因此，现代机器学习模型，特别是神经网络，对解释决策的方法的需求越来越大。在这种背景下，归因方法已经流行起来，它们生成热图，指示影响模型决策的单个像素的重要性。然而，最近的研究揭示了这些方法的局限性，因为它们往往只关注图像中最显著的区域，揭示了模型的注视点，但没有阐明模型在这些区域内感知到什么。因此，为了揭示深度神经网络的奥秘，揭示AI系统处理图像的策略，布朗大学Carney大脑科学研究所的研究人员和法国人工和自然智能图卢兹研究所的一些计算机科学家合作开发了CRAFT（概念递归激活因子化解释）。这个创新工具旨在识别AI模型在决策过程中关注的“什么”和“哪里”，从而强调人脑和计算机视觉系统在理解视觉信息方面的差异。该研究还在加拿大举办的著名计算机视觉和模式识别会议2023年上进行了展示。 正如前面提到的，使用归因方法了解AI系统如何使用图像的特定区域做出决策一直是具有挑战性的。然而，仅仅识别有影响力的区域而不澄清为什么这些区域至关重要，无法为人类提供全面的解释。CRAFT通过利用现代机器学习技术来揭示神经网络学习到的复杂多维视觉表示，克服了这一限制。为了提高理解力，研究人员开发了一个用户友好的网站，个人可以轻松地探索和可视化神经网络用于分类对象的基本概念。此外，研究人员还强调，引入CRAFT后，用户不仅可以深入了解AI系统用于构建图像和理解模型在特定区域内感知的概念，还可以了解这些概念的层次排序。这一突破性的进展为揭示AI系统的决策过程和提高其分类结果的透明度提供了宝贵的资源。 从本质上讲，研究人员的工作的关键贡献可以总结为三个主要点。首先，团队设计了一种递归方法来有效识别和分解多层次的概念。这种创新策略使我们能够全面了解神经网络内部组件。其次，引入了一种开创性的方法，通过利用Sobol指数准确估计概念的重要性。最后，实施隐式微分改变了概念归因地图的创建方式，为可视化和理解概念与像素级特征之间的关联提供了一种强大的工具。此外，团队进行了一系列实验评估，以证实他们方法的效率和重要性。结果显示，CRAFT优于所有其他归因方法，巩固了它的显著实用性，并成为进一步研究基于概念的解释方法的基石。 研究人员还强调了理解计算机如何感知图像的重要性。通过深入了解AI系统采用的视觉策略，研究人员在提高基于视觉的工具的准确性和性能方面具有竞争优势。此外，这种理解有助于研究人员了解攻击者如何通过对像素强度进行微妙的变化来欺骗AI系统，而这些变化对人类来说几乎察觉不到，从而对抗敌对和网络攻击具有益处。至于未来的工作，研究人员对计算机视觉系统能够超越人类能力的那一天感到兴奋。在解决癌症诊断、化石识别等未解决的挑战方面，这些系统有潜力改变许多领域。

随着人工智能的日益普及，几乎每天都会发布带有全新功能和解决能力的新模型。最近，研究人员一直在努力提出方法来加强人工智能模型对未知测试分布的抵抗力，并减少对虚假特征的依赖。考虑到自动驾驶汽车和自主厨房机器人的例子，它们尚未被广泛部署，因为它们在分布外（OOD）环境中的行为所带来的挑战，这些环境与模型接触到的训练数据有很大的差异。 许多研究已经探讨了虚假相关性（SCs）的问题，并提出了减少其对模型性能的负面影响的方法。已经证明，在像ImageNet这样的知名数据集上训练的分类器依赖于背景数据，这些数据与类标签存在虚假关联，但不一定具有预测性。尽管在开发解决SC问题的方法方面已经取得了进展，但仍需要解决现有基准的局限性。目前的基准测试，如Waterbirds和CelebA发色基准测试，存在局限性，其中之一是它们专注于简单的一对一（O2O）虚假相关性，而实际上，许多对多（M2M）虚假相关性更常见，涉及类和背景的群组。 最近，来自伦敦大学学院的研究人员介绍了一个名为Spawrious数据集的图像分类基准套件，其中包含类和背景之间的虚假相关性。它包括一对一（O2O）和一对多（M2M）虚假相关性，这些已经被分类为三个难度级别：简单，中等和困难。该数据集包含约152,000张高质量的照片逼真图像，使用文本到图像模型生成，采用图像字幕模型过滤不适合的图像，确保数据集的质量和相关性。 评估Spawrious数据集后，表现出了不可思议的性能，因为该数据集对当前的最先进（SOTA）组鲁棒性方法提出了挑战，例如Hard-splits，其中没有一种测试方法使用在ImageNet上预训练的ResNet50模型实现了70％以上的准确性。该团队提到，模型的性能问题是由于它们依赖虚假背景而导致的，通过查看其错误分类的分类，说明了Spawrious数据集如何成功地测试分类器并揭示它们在错误相关性方面的弱点。 为了说明O2O和M2M基准测试之间的差异，该团队使用了一个夏季收集训练数据的例子，其中包括来自两个不同位置的两组动物物种，每个动物组都与特定的背景组相关联。然而，随着季节的变化和动物的迁移，群组交换位置，导致动物组和背景之间的虚假相关性以无法一对一匹配的方式发生变化。这凸显了捕捉M2M虚假相关性中复杂关系和相互依赖性的必要性。 Spawrious似乎是一套有前途的基准套件，用于OOD，领域通用算法，以及评估和提高模型在存在虚假特征的情况下的鲁棒性。

过去2-3年，使用人工智能（AI）从文本生成图像的研究质量和数量出现了惊人的增长。在这个领域里最具突破性和革命性的工作之一是指最先进的生成模型——扩散模型。这些模型通过利用深度学习算法的能力，完全改变了如何使用文本描述生成高质量图像的方法。此外，除了扩散模型，还存在一系列功能强大的其他技术，提供了一条生成接近照片般逼真的视觉内容的令人兴奋的路径。然而，这些最先进技术取得的杰出成果也有一定的局限性。许多新兴的生成AI技术依赖于扩散模型，这需要复杂的架构和大量的计算资源进行训练和图像生成。这些先进的方法还降低了推理速度，使它们在实时实现方面不切实际。此外，这些技术的复杂性直接与它们所实现的进步相关，这对公众掌握这些模型的内部工作方式构成了挑战，从而导致它们被视为黑匣子模型。 为了解决前面提到的问题，德国Technische Hochschule Ingolstadt和Wand Technologies的研究人员提出了一种新颖的文本条件图像生成技术。这种创新技术与扩散类似，但生成高质量图像的速度更快。这个基于卷积的模型的图像采样阶段可以仅使用12个步骤完成，同时仍能产生出色的图像质量。这种方法因其显著的简单性和降低的图像生成速度而脱颖而出，从而允许用户对模型进行条件设置，并享受现有最先进技术中缺乏的优势。所提出的技术的固有简单性已经显著提高了其可访问性，使来自不同背景的个人能够轻松掌握和实施这种文本到图像技术。为了通过实验评估验证他们的方法，研究人员还训练了一个名为“Paella”的文本条件模型，该模型具有惊人的10亿个参数。该团队还在MIT许可证下开源了其代码和模型权重，以鼓励围绕他们的工作进行研究。 扩散模型经历了一个学习过程，逐步从每个训练实例中消除不同程度的噪声。在推理过程中，当呈现出纯噪声时，模型通过逐步减少几百个步骤的噪声来生成图像。德国研究人员设计的技术在很大程度上借鉴了这些扩散模型的原理。像扩散模型一样，Paella从代表图像的标记中去除不同程度的噪声，并利用它们生成新图像。该模型在LAION-5B美学数据集的900 million个图像-文本对上进行了训练。Paella使用基于卷积神经网络的预训练编码器-解码器体系结构，能够使用来自预训练期间学习的8192个标记集的256个标记来表示256 x 256的图像。为了在训练阶段为其示例添加噪声，研究人员还在此列表中包括了一些随机选择的标记。 为了基于图像的文本描述生成文本嵌入，研究人员利用了CLIP（对比语言-图像预训练）模型，该模型建立了图像和文本描述之间的联系。然后，采用U-Net CNN体系结构来训练模型生成完整的原始标记，利用先前迭代中生成的文本嵌入和标记。这个迭代过程重复了12次，每次逐渐替换以前生成的标记的一小部分。在剩余生成的标记的指导下，U-Net逐步减少每个步骤的噪声。在推理过程中，CLIP基于给定的文本提示产生一个嵌入，U-Net为随机选择的256个标记的完整集合重构了所有标记12次。最后，解码器利用生成的标记生成图像。 为了评估他们的方法的有效性，研究人员采用了Fréchet inception距离（FID）指标来比较Paella模型和稳定扩散模型得到的结果。虽然结果略微偏向稳定扩散，但Paella在速度方面具有显著优势。这项研究突出了先前的努力，因为它专注于完全重新配置架构，这在以前并未考虑过。总之，与现有的模型相比，Paella可以使用更小的模型大小和更少的采样步骤生成高质量的图像，仍然可以实现可观的结果。研究团队强调了他们方法的易用性，该方法提供了一个简单的设置，可以被从不同背景中的个人轻松采用，包括非技术领域，因为随着时间的推移，生成AI领域越来越受到关注。

计算机视觉是人工智能领域中最受欢迎的领域之一。使用计算机视觉开发的模型能够从不同类型的媒体中提取有意义的信息，无论是数字图像、视频还是其他视觉输入。它教会了机器如何感知和理解视觉信息，然后根据细节采取行动。随着一种名为追踪任何点（TAPIR）的新模型的推出，计算机视觉取得了重大进步。TAPIR的目标是有效地跟踪视频序列中的特定兴趣点。 TAPIR模型由Google DeepMind、VGG、工程科学系和牛津大学的研究人员团队开发，其算法包括两个阶段——匹配阶段和精炼阶段。在匹配阶段，TAPIR模型单独分析每个视频序列帧，以寻找适合查询点的候选点匹配。这一步旨在确定查询点在每个帧中的最可能相关点，为了确保TAPIR模型能够跟踪查询点在视频中的运动，这个过程是逐帧进行的。 在确定候选点匹配的匹配阶段之后，TAPIR模型使用精炼阶段。在这个阶段中，TAPIR模型基于局部相关性更新轨迹（查询点所在路径）和查询特征，因此考虑到每个帧中的周围信息，以提高跟踪查询点的准确性和精度。通过集成局部相关性，精炼阶段提高了模型精确跟踪查询点的能力，并调整视频序列中的变化。 为了评估TAPIR模型，该团队使用了TAP-Vid基准测试数据集，它是用于视频跟踪任务的标准化评估数据集。结果显示，TAPIR模型的表现明显优于基线技术。使用称为平均Jaccard（AJ）的度量衡量的性能改进显示，TAPIR模型在DAVIS（密集注释视频分割）基准测试中的AJ相对于其他方法实现了约20%的绝对改进。 该模型旨在便于快速并行推理长视频序列，即它可以同时处理多个帧，提高跟踪任务的效率。该团队提到，该模型可以实时应用，使其能够处理和跟踪添加新视频帧的点。它可以在256×256视频上跟踪256个点，速度约为每秒40帧（fps），还可以扩展以处理更高分辨率的电影，使其具有处理各种大小和质量的视频的灵活性。 该团队为用户提供了两个在线Google Colab演示，以尝试TAPIR而无需安装。第一个Colab演示允许用户在自己的视频上运行模型，提供交互式体验以测试和观察模型的性能。第二个演示重点介绍如何在线运行TAPIR。此外，用户可以通过克隆提供的代码库，在现代GPU上跟踪自己的网络摄像头上的点并实时运行TAPIR。

大型语言模型（LLMs）已经成为了人工智能领域的热门话题。它们近期的影响和惊人的表现已经帮助医疗保健、金融、娱乐等各个行业做出了很大的贡献。像 GPT-3.5、GPT 4、DALLE 2 和 BERT 这样的知名 LLMs，也被称为基础模型，可以执行非凡的任务，通过提供一个简短的自然语言提示，为我们生活带来了独一无二的内容。 最近的视觉基础模型（VFMs）如 SAM、X-Decoder 和 SEEM 在计算机视觉方面取得了许多进展。虽然 VFMs 在 2D 感知任务方面取得了巨大的进步，但 3D VFM 研究仍需要改进。研究人员建议扩展当前的 2D VFMs 用于 3D 感知任务。一个关键的…

稀疏特征跟踪或密集光流一直是运动估计算法中使用的两种主要方法。这两种方法在各自的应用中都取得了成功。然而，这两种方法都不能完全捕捉视频的运动情况：稀疏跟踪不能描述所有像素的运动。相反，成对光流不能捕捉跨越大时序帧的运动轨迹。为了缩小这种差距，许多方法已被用于预测视频中的密集和长程像素轨迹。这些方法从简单的两帧光流场链接技术到直接预测经过多个帧的每个像素轨迹的更高级算法。  然而，所有这些方法在计算速度时都忽略了当前时间或地理上下文的信息。这种本地化可能会导致运动估计在时空上存在不一致性，并在扩展轨迹上积累错误。即使以前的技术考虑了长程上下文，它们也是在2D域中这样做的，这导致了在遮挡情况下的跟踪丢失。创建密集和长程轨迹仍然存在一些问题，包括跟踪遮挡点，保持空间和时间的一致性以及在长时间内保持准确的跟踪。在这项研究中，康奈尔大学、谷歌研究和加州大学伯克利分校的研究人员提供了一种全面的方法，通过使用所有可用的视频数据，为电影中的每个像素估计全长运动轨迹。  他们的方法称为OmniMotion，使用准3D表示，其中一组本地-规范双射将规范3D体积映射到每个帧的本地体积。这些双射将相机和场景运动的组合描述为动态多视角几何的灵活松弛。它们可以监视所有像素，即使是被遮挡的像素，其表示确保周期一致性（“Everything, Everywhere”）。为了联合解决整个视频的运动，“All at Once”，他们为每个视频优化了他们的表示。优化后，电影中的任何连续坐标都可以查询其表示以获得跨越整个物体的运动轨迹。 总之，他们提供了一种可以处理任何相机和场景运动组合的野外电影的方法： 为整个视频中的所有点生成全局一致的全长运动轨迹。 可以跟踪穿过遮挡的点。 可以跟踪穿过遮挡的点。 他们在TAP视频跟踪基准测试中统计说明了这些优势，其中他们获得了最先进的性能，并大大超过了所有以前的技术。他们在其网站上发布了几个演示视频，并计划很快发布代码。 https://omnimotion.github.io/ 从上面的运动路线可以看出，他们提供了一种新颖的技术，用于计算电影中每个帧中每个像素的全长运动轨迹。尽管我们的技术计算了所有像素的运动，但他们仅显示前景对象的稀疏轨迹以保持清晰度。他们的方法即使对于快速移动的物体也能产生精确、连贯的长程运动，并可靠地跨越遮挡，例如狗和秋千的示例。移动物品在第二行中的不同时间点显示，以提供上下文。