四海吧 Posts

动画、游戏和时尚领域可能都受益于从单目照片或视频中表达人类姿势和形状的尖端领域- 表情人类姿势和形状的估计（EHPS）。为了准确地描绘复杂的人体解剖学、面部和手部，这项工作通常使用参数化人体模型（如SMPL-X）。近年来，我们见证了多个独特数据集的涌现，为研究捕捉环境、位置分布、身体可见性和摄像机视角等主题提供了额外的机会。然而，最先进的方法仍然受限于少数这些数据集，导致在各种场景中出现性能瓶颈，阻碍对未知领域的泛化。 他们的目标是通过对现有数据集进行深入分析，为EHPS建立可靠且具有全球适用性的模型。为了做到这一点，他们创建了第一个系统的EHPS基准测试，并根据四个关键标准评估了它们的表现。这证明了基准测试之间的显著不一致性，凸显了EHPS整体领域的复杂性，并呼吁通过数据扩展来解决不同场景之间的领域差距。这项深入分析突出了重新评估现有数据集在EHPS中使用的必要性，并主张切换到提供更好泛化能力的更激进替代品。 他们的研究强调了利用多个数据集从它们的互补性中受益的价值，还深入研究了影响这些数据集可转移性的相关因素。他们的研究为未来数据集收集提供了有益的建议：1）根据他们的观察，数据集不需要特别庞大，只要包含超过10万个实例就可以受益。2）如果无法采集野外（包括室外）数据集，各种室内场景是一个很好的选择。3）合成数据集变得越来越有效，同时也有可检测的领域差距。4）在缺乏SMPL-X注释的情况下，伪-SMPL-X标签是有帮助的。 根据基准测试的信息，南洋理工大学、商汤研究院、上海人工智能实验室、东京大学和国际数字经济学院（IDEA）的研究人员创建了SMPLer-X。这个通用基础模型使用各种数据集进行训练，在各种情境中提供了出色平衡的结果。这项工作展示了大规模选择数据的能力。他们以极简设计的理念开发了SMPLer-X，与算法研究的作品相脱离：SMPLer-X具有非常基本的架构，只包含EHPS最关键的组件。与对算法元素的严格分析相对，SMPLer-X旨在允许大规模数据和参数扩展，并成为未来领域研究的基础。 这是一种全面的模型，优于通过使用各种数据组合和模型大小进行实验的所有基准结果，并挑战了受限制的数据集训练的广泛做法。他们的基础模型将五个主要基准测试（AGORA、UBody、EgoBody、3DPW和EHF）的平均主要误差从超过110mm降低到70mm以下，并展示了优秀的泛化能力，顺利适应了新的场景，如RenBody和ARCTIC。此外，他们证明了优化他们的通用基础模型来发展成为特定领域专家的有效性，在全面性能方面表现出色。 他们特别采用了相同的数据选择方法，使他们的专业模型在EgoBody、UBody和EHF上实现了SOTA性能，成为首个在AGORA榜单上实现107.2mm NMVE（提高了11.0%）并刷新纪录的模型。他们提供了三个独特的贡献。1）他们利用广泛的EHPS数据集构建了第一个系统性的基准测试，为扩大训练数据规模以实现可靠和可转移的EHPS提供了重要指导。2）他们研究了数据和模型的扩展，构建了一个通用的基础模型，可以在许多场景下提供平衡的结果，并有效地扩展到未开发的数据集。3）他们通过扩展数据选择技术，优化了基础模型，使其成为跨多个基准测试的强大专家。

计算机视觉社区面临着各种各样的挑战。在预训练时代，许多研讨会论文讨论了建立多功能视觉工具的全面框架，用以引入多样化的视觉工具。在这个时期占主导地位的方法是在大量相关问题的数据上进行预训练，然后将其转移到与同一问题类型相关的各种实际场景中，通常使用零或少样本技术。 最近微软的一项研究深入探究了具有视觉和视觉语言功能的多模态基础模型的历史和发展，特别强调了从专门化助手到通用助手的转变。 根据他们的论文，主要讨论了三种初始策略的主要类别： 标签监督：标签监督使用先前标记的示例来训练模型。使用ImageNet和类似的数据集已经证明了这种方法的有效性。我们可以从互联网、图像和人工创建的标签中获得大量的嘈杂数据集。 也被称为“语言监督”，这种策略使用无监督的文本信号，最常见的是图像-文字对。CLIP和ALIGN是使用对比损失比较图像-文字对的预训练模型的例子。 仅使用图像作为监督信号的图像自监督学习：这种技术完全依赖视觉图像作为监督信号的来源。遮挡图像建模、非对比和对比学习都是可行的选择。 研究人员研究了几种用于视觉理解的方法，例如用于图像标注、视觉问答、基于区域的预训练用于引接和基于像素的预训练用于分割等，可以整合以获得最佳结果。 多模态基础模型 理解和解释以多种模态呈现的数据，如文本和图像，是多模态基础模型的特点。它们使得可能进行各种任务，否则需要大量的数据收集和综合。重要的多模态概念框架包括以下几个： CLIP（对比语言-图像预训练）是一种开创性的技术，用于发现共同的图像和文本嵌入空间。它可以进行图像-文本检索和零射击分类等任务。 BEiT（视觉中的BERT）将BERT的遮挡图像建模技术应用于视觉领域。可以预测遮挡图像中的令牌，使图像转化器能够进行其他任务。 CoCa（对比和字幕预训练）将对比学习与字幕损失相结合，用于对图像编码器进行预训练。多模态任务的完成现在成为可能，得益于释义图像字幕系统。 UniCL（统一对比学习）通过将CLIP的对比学习扩展到图像标签数据，实现了图像-文字和图像-标签对的统一对比预训练。 MVP（遮挡图像建模视觉预训练）是一种使用遮挡图像和高层特征目标进行预训练的视觉转换器方法。 为了提高MIM的精度，EVA（利用视觉-文本对齐）使用来自CLIP等模型的图像特征作为目标特征。 BEiTv2在BEiT的基础上改进，通过引入像DINO一样的自蒸馏损失来促进全局视觉表示的学习。 这些多模态基础模型极大地提高了计算机视觉和自然语言处理应用中的模型解释和处理能力。 他们的研究进一步探讨了“视觉生成”，发现文本到图像生成模型一直是图片合成的基础。这些模型已成功扩展，以允许更精细的用户控制和定制。与问题相关的大量数据的可用性和生成是实施这些多模态基础模型的关键因素。 T2I生成简介T2I生成试图提供与文本描述相对应的视觉效果。这些模型通常在图像和文本对上进行训练，其中文本提供输入条件，照片则作为所需的输出。 本书从稳定的扩散（SD）示例中解释了T2I模型。由于其基于交叉关注的图像-文本融合和基于扩散的生成方法，SD是一种备受喜爱的开源T2I模型。 稳定扩散的主要组成部分有三个：去噪统一神经网络（U-Net）、文本编码器和图像变分自动编码器（VAE）。VAE对图像进行编码，TEN对文本条件进行编码，Denoising U-Net在潜在空间中预测噪声以生成新的图像。 探讨提高T2I生成中的空间可控性，其中一种方法是允许在文本之外输入更多的空间条件，例如区域相关的文本描述、分割蒙版和关键点等密集空间要求。它探讨了ControlNet等T2I模型如何使用分割蒙版和边缘图等详尽限制来管理成像生成过程。 介绍了基于文本的编辑模型的最新发展；这些模型可以根据文本指令来修改照片，消除了用户生成蒙版的需要。通过对齐调整，T2I模型可以更好地遵循文本提示，类似于如何训练语言模型以改进文本生成。讨论了可能的解决方案，包括基于强化学习的解决方案。 随着文中提到的集成对齐解决方案的T2I模型日益受到欢迎，未来不再需要独立的图像和文本模型。在这项研究中，团队提出了一种统一的T2I模型输入界面，可以同时输入图像和文本，以辅助空间控制、编辑和概念定制等任务。…

在人工智能领域，一个持久的挑战是开发能够有效导航和协助现实世界任务的交互式人工智能助手。尽管在数字领域取得了重大进展，例如语言模型，但物理世界为AI系统提供了独特的障碍。 研究人员常常面临的主要障碍是AI助手在物理世界中缺乏第一手经验，无法感知、推理和主动协助真实场景。这一限制归因于训练AI模型在物理任务中需要具体数据的必要性。 为了解决这个问题，微软和苏黎世联邦理工学院的研究人员团队推出了一项被称为“HoloAssist”的具有突破性的数据集。这个数据集是专为真实世界中的自我中心、第一人称、人类互动场景而构建的。它涉及两个参与者在物理操作任务上的合作：一个佩戴混合现实头戴式显示器的任务执行者和一个观察并实时提供口头指令的任务指导者。 HoloAssist拥有大量的数据，包括166小时的记录，涉及222个多样化的参与者，形成350个独特的指导者-执行者配对，完成20个以物体为中心的操作任务。这些任务涵盖了从日常电子设备到专业工业物品的各种对象。该数据集捕捉了七种同步的传感器模态：RGB、深度、头部姿势、3D手势、眼球注视、音频和IMU，提供了对人类行为和意图的全面理解。此外，它还提供了第三方手动注释，包括文本摘要、干预类型、错误注释和动作片段。 与以往的数据集不同，HoloAssist的独特之处在于其多人互动任务执行环境，使得可以开发出具有预测性和主动性的AI助手。这些助手可以根据环境提供及时的指令，增强传统的“基于聊天”的AI助手模式。 研究团队对数据集在动作分类和预测任务中的性能进行了评估，提供了实证结果，揭示了不同模态在各种任务中的重要性。此外，他们引入了重点关注错误检测、干预类型预测和3D手势预测的新基准，这些对于智能助手的开发至关重要。 总之，这项工作代表了探索智能代理如何在真实世界任务中与人类合作的初步步骤。HoloAssist数据集以及相关的基准和工具有望推动建立强大的AI助手来完成日常真实世界任务的研究，并为众多未来研究方向打开大门。

近年来，计算机视觉和生成建模取得了显著进展，推动了文本到图像生成的发展。包括扩散模型在内的各种生成架构在提高生成图像的质量和多样性方面起到了关键作用。本文探讨了Kandinsky1的原理、特点和能力，这是一个具有33亿参数的强大模型，并强调了它在可衡量的图像生成质量方面的顶级表现。 文本到图像生成模型已经从内容级别的自回归方法演变为像DALL-E 2和Imagen这样的基于扩散的模型。这些扩散模型被分类为像素级和潜在级别的模型，在图像生成方面表现出色，超越了GAN在忠实度和多样性方面。它们在不需要对抗训练的情况下整合文本条件，如GLIDE和eDiff-I模型所示，这些模型生成低分辨率的图像，并使用超分辨率扩散模型将其放大。这些进步改变了文本到图像生成的方式。 AIRI、Skoltech和Sber AI的研究人员介绍了Kandinsky，这是一种结合了潜在扩散技术和图像先验模型的新型文本到图像生成模型。Kandinsky以修改后的MoVQ实现作为其图像自编码器组件，并单独训练图像先验模型将文本嵌入映射到CLIP的图像嵌入中。他们的方法提供了一个用户友好的演示系统，支持多种生成模式，并发布了模型的源代码和检查点。 他们的方法引入了一种潜在扩散架构，用于文本到图像合成，利用图像先验模型和潜在扩散技术。它采用了一种图像先验方法，通过使用CLIP和XLMR文本嵌入之间的扩散和线性映射，将文本与图像嵌入相结合。他们的模型包括三个关键步骤：文本编码、嵌入映射（图像先验）和潜在扩散。基于全数据集统计的视觉嵌入逐元素归一化实现可以加速扩散过程的收敛。 Kandinsky架构在文本到图像生成方面表现出色，在256×256分辨率下在COCO-30K验证数据集上获得了令人印象深刻的FID分数8.03。线性先验配置获得了最佳的FID分数，表明视觉和文本嵌入之间存在潜在的线性关系。他们的模型在训练一个“猫先验”时展示了出色的图像生成能力。总体而言，Kandinsky在文本到图像合成方面与最先进的模型竞争激烈。 Kandinsky作为一种基于潜在扩散的系统，在图像生成和处理任务中表现出色。他们的研究广泛探索了图像先验设计选择，线性先验显示出潜在的应用前景，并暗示了视觉和文本嵌入之间存在线性关联。用户友好的界面，如Web应用和Telegram机器人，提高了可访问性。未来的研究方向包括利用先进的图像编码器，增强UNet架构，改进文本提示，生成更高分辨率的图像，以及探索局部编辑和基于物理的控制等功能。研究人员强调需要解决内容方面的问题，建议使用实时审核或强大的分类器来减轻不受欢迎的输出。