近年来，人工智能领域一直是讨论的话题。无论是基于自然语言处理和自然语言理解的人类模仿大型语言模型（如GPT 3.5），还是基于计算机视觉的文本到图像模型DALL-E，AI正朝着成功的方向迈进。计算机视觉作为AI的一个子领域，在每一项新应用的发布中都在不断进步。它已经能够从视频中分析人类动作，并因此能够处理姿势估计、动作识别和动作转移等各种任务。
尽管计算机视觉在确定人类动作方面取得了进展，但它不仅仅是外观问题。每一个动作都是我们的大脑通过神经传递电脉冲引起我们的肌肉收缩，最终导致关节运动的结果。研究人员一直在努力开发一种方法，通过该方法可以模拟驱动人类运动的内在肌肉活动。为了在这项研究中取得进展，哥伦比亚大学的两位研究人员推出了一个名为“Muscles in Action”（MIA）的新颖数据集。该数据集包含了12.5小时的同步视频和表面肌电图（sEMG）数据，记录了十个主体进行各种运动的情况。
表面肌电图（sEMG）传感器是确定肌肉活动的传统工具，分为侵入性和非侵入性版本。研究人员开发了一种能够从视频中预测肌肉激活，反过来，利用MIA数据集从肌肉激活数据重建人体动作的表示方法。其主要目的是理解底层肌肉活动与视觉信息之间的复杂联系。通过同时建模两种模态，模型已经被调整为生成与肌肉激活一致的动作。
这个项目的主要部分是建立视频中人体动作与sEMG信号反映的内部肌肉活动之间关联的框架。研究团队分享的研究论文简要概述了人体活动分析、条件运动生成、多模态学习、肌电图和基于物理的人体动作生成等相关工作。随后对多模态数据集进行了详细描述和分析。
为了评估，研究人员对内部分布的参与者和锻炼进行了实验，同时还对外部分布的主体和锻炼进行了实验，以确定他们的模型的性能如何。他们对与训练分布不同的数据以及与其训练数据相似的数据进行了测试。这种评估有助于验证方法的泛化能力。
总之，在计算机视觉系统中利用肌肉具有许多潜在的用途。通过理解和模拟内部肌肉活动，可以产生更丰富的虚拟人体模型。这些模型可以在各种实际场景中使用，包括与体育、健身以及增强现实和虚拟现实相关的场景。