四海吧 Posts

三维人体动作重建是一个复杂的过程，涉及准确捕捉和建模人体主体在三维空间中的动作。当处理由移动相机在现实世界环境中捕获的视频时，这项工作变得更加具有挑战性，因为它们经常出现脚滑等问题。然而，来自卡内基梅隆大学和马克斯普朗克智能系统研究所的研究人员开发了一种名为WHAM（基于世界的具有准确运动的人体）的方法来解决这些挑战，并实现精确的三维人体动作重建。 该研究审查了从图像中恢复三维人体姿态和形状的两种方法：无模型和基于模型。它强调了在模型化方法中使用深度学习技术来估计统计身体模型参数的重要性。现有基于视频的三维人体姿态估计方法通过各种神经网络架构引入时间信息。某些方法使用附加传感器（如惯性传感器），但它们可能会对使用者造成干扰。WHAM通过有效地结合三维人体运动和视频上下文、利用先验知识并在全局坐标中准确重建三维人体活动而脱颖而出。 该研究解决了从单目视频准确估计三维人体姿态和形状的挑战，强调全局坐标一致性、计算效率和真实脚地接触。利用AMASS动作捕捉和视频数据集，WHAM结合运动编码器-解码器网络将2D关键点提升到3D姿态，利用特征集成器处理时间线索，并利用考虑脚接触的全局运动估计的轨迹细化网络，提高在非平面表面上的准确性。 WHAM采用单向RNN进行在线推理和精确的三维动作重建，其中运动编码器用于上下文提取，运动解码器用于SMPL参数、相机平移和脚接触概率。利用包围盒标准化技术有助于提取运动上下文。图像编码器在预训练的人类网格恢复时捕捉和整合图像特征与运动特征。轨迹解码器预测全局方向，细化过程减小脚滑动。在合成的AMASS数据上进行训练，WHAM在评估中优于现有方法。 https://arxiv.org/abs/2312.07531 WHAM超越了当前最先进的方法，展现出在单帧和基于视频的三维人体姿态和形状估计方面的卓越准确性。WHAM通过利用运动上下文和脚接触信息实现精确的全局轨迹估计，减小脚滑动，增强国际协调性。该方法通过整合2D关键点和像素特征，提高了三维人体运动重建的准确性。对野外基准数据集的评估证明了WHAM在MPJPE、PA-MPJPE和PVE等指标上的卓越表现。轨迹细化技术进一步提升了全局轨迹估计的精度，减小了脚滑动，通过改进的错误指标得到了证明。 总之，该研究的要点可以总结为： WHAM引入了一种结合三维人体运动和视频上下文的先导性方法。 该技术提升了三维人体姿态和形状回归。 该过程使用了全局轨迹估计框架，包括运动上下文和脚接触。 该方法解决了脚滑动问题，确保在非平面表面上的准确三维跟踪。 WHAM的方法在多个基准数据集上表现出色，包括3DPW、RICH和EMDB。 该方法在全局坐标中优秀地完成了高效的人体姿态和形状估计。 该方法的特征集成和轨迹细化显著提高了运动和全局轨迹的准确性。 该方法的准确性通过深入的消融研究得到了验证。

许多生物学的分支，包括生态学、进化生物学和生物多样性学，越来越多地将数字图像和计算机视觉作为研究工具。现代技术极大地提高了他们分析来自博物馆、相机陷阱和公民科学平台的大量图像的能力。这些数据随后可以用于物种划分、理解适应机制、估计种群结构和丰度，以及监测和保护生物多样性。 然而，当试图使用计算机视觉来解决生物学问题时，寻找和训练适合特定任务的合适模型，并手动标记足够的数据以用于特定物种和研究仍然是重大挑战。这需要大量的机器学习知识和时间。 来自俄亥俄州立大学、微软、加州大学欧文分校和伦斯勒理工学院的研究人员正在研究在该努力中构建“生命之树”基础视觉的模型。该模型必须满足以下要求，以便广泛适用于真实生物学任务。首先，它需要能够适应调查各种不同类群的研究人员，而不仅仅是一个类群，并且最好能够推广到整个生命之树。此外，它应该获取生物图像的细粒度表示，因为在生物学领域常常会遇到外观相似的生物体，例如同属或为了适应而模仿对方外观的近亲物种。由于生命之树将生物事物组织成广泛的群组（如动物、真菌和植物）和非常细粒度的群组，这种粒度水平是重要的。最后，在数据收集和标记在生物学中的高昂费用的情况下，具有低数据区域（即零样本或少样本）的优秀结果是至关重要的。 当前训练在数亿张图像上的通用领域视觉模型在应用于进化生物学和生态学时表现不佳，尽管这些目标对计算机视觉来说并不新鲜。研究人员确定了在生物学中创建视觉基础模型的两个主要障碍。首先，需要更好的预训练数据集，因为目前可用的数据集在规模、多样性或标签细粒度方面都不足。其次，由于当前的预训练算法不能很好地满足这三个主要目标，因此有必要找到更好的预训练方法，利用生物领域的独特特征。 考虑到这些目标和实现障碍，团队提出了以下内容： TREEOFLIFE-10M，一个庞大的ML准备生物学图片数据集 BIOCLIP是一个基于适当类群在TREEOFLIFE-10M中进行训练的生命之树的视觉模型。 TREEOFLIFE-10M是一个广泛而多样的生物图像数据集，适用于ML。研究人员已经策划和发布了迄今为止最大的ML准备生物学图像数据集，其中包含超过1000万张照片，涵盖了生命之树上的45.4万个类群，并附带有分类标签。仅有270万张照片代表10,000个类群的iNat21是最大的ML准备生物学图像集合。现有的高质量数据集，如iNat21和BIOSCAN-1M，已纳入TREEOFLIFE-10M中。TREEOFLIFE-10M中的大部分数据多样性来自生命百科全书（eol.org），其中包含了该来源的最新选定的照片。TREEOFLIFE-10M中的每张图像的分类层次和更高分类排名都进行了最大程度的注释。借助TREEOFLIFE-10M，可以培训BIOCLIP和其他生物学的未来模型。 BIOCLIP是基于视觉的生命之树的表示。在像TREEOFLIFE10M这样的大规模标记数据集上训练视觉模型的一个常见且简单的方法是使用监督分类目标，从图像中学习预测分类标志。ResNet50和Swin Transformer也使用了这种策略。然而，这种方法忽视并没有利用复杂的分类系统——类群不是孤立存在的，而是在一个完整的分类系统中相互关联。因此，使用基本的监督分类进行训练的模型可能无法对未知的类群进行零样本分类或对训练期间不存在的类群进行很好的泛化。相反，团队采用了一种新方法，将BIOCLIP的广泛生物分类与CLIP风格的多模式对比学习相结合。通过使用CLIP对比学习目标，他们可以在将分类系统从王国级别扁平化为代表分类名称的字符串之后，学习将图片与相应的分类名称关联起来。当使用不可见的类群的分类名称时，BIOCLIP还可以进行零样本分类。 团队还建议并展示了一种混合文本类型训练技术的益处；这意味着他们保留了分类学名称的概括性，但在测试时更具灵活性，通过结合多种文本类型（例如，科学名称与通用名称）进行训练。例如，下游用户仍然可以使用通用物种名称，而BIOCLIP将表现出色。他们对BIOCLIP进行了全面评估，涵盖了涉及植物、动物和昆虫的十个细粒度图片分类数据集，以及一个专门策划的罕见物种数据集，在训练过程中未使用。BIOCLIP显著超过了CLIP和OpenCLIP，在少样本和零样本情况下，分别取得了平均绝对提升17%和18%的成绩。此外，它的内在分析可以解释BIOCLIP更好的泛化能力，表明它已经学习到了符合生命之树的分层表示。 尽管团队使用了CLIP目标来有效地学习数十万个分类群的视觉表示，BIOCLIP的训练仍然专注于分类。为了使BIOCLIP能够提取细粒度的特征级表示，他们计划在未来的工作中加入来自inaturalist.org的研究级照片，该网站拥有1亿张照片或更多，并收集物种外观的更详细的文本描述。