人类动作捕捉已经成为各个行业的关键工具,包括体育、医疗和娱乐领域的角色动画。动作捕捉在运动中使用多种目的,包括预防受伤、分析伤病、视频游戏行业动画,甚至为电视广播提供信息可视化。传统的动作捕捉系统在大多数情况下可以提供可靠的结果。但是,它们昂贵且耗时,设置、校准和后处理困难,难以广泛应用。对于游泳等水上活动而言,这些问题更加严重,例如标记器反射或水下摄像机的安装。
最近的进展使得能够使用简单、可负担得起的设备从RGB照片和电影中捕捉动作。这些实时单摄像头系统可以利用现有的实时视频数据,在体育赛事中广泛应用动作捕捉。它可以用于小型结构,以增强业余运动员的培训计划。然而,由于需要更多数据,使用基于计算机视觉的游泳动作捕捉面临着一些障碍。无论是2D关节点、身体分割还是3D关节点、虚拟标记,每个人体姿态和形状(HPS)估计方法都必须从图像中提取信息。然而,基于传统数据集训练的计算机视觉算法在处理水上数据时需要帮助,因为它与训练图片差异很大。
HPS估计的最新进展表明,合成数据可以替代或补充真实图片。他们推出了SwimXYZ,以扩展基于图像的动作捕捉技术在游泳中的应用。SwimXYZ是一个人工数据集,其中包含用真实游泳池拍摄的特定于游泳的电影,并标注了2D和3D关节点。SwimXYZ的11520部电影共340万个帧,拍摄角度、主题和水质、灯光以及动作都有所不同。除了240个合成游泳动作序列以SMPL格式呈现,SwimXYZ还提供了各种身体形态和游泳动作。
这项研究由CentraleSupélec、IETR UMR、Centrale Nantes和Université Technologique de Compiègne的研究人员创建了SwimXYZ,这是一个庞大的人工游泳动作和电影集合,将在论文被接受后在线发布。SwimXYZ的实验证明了在游泳中进行动作捕捉的潜力,他们的目标是帮助其更广泛地应用。未来的研究可能会运用SMPL格式的动作来训练姿势和运动先验或游泳划水分类器,以及使用SwimXYZ提供的电影来训练2D和3D姿势估计模型。SwimXYZ在主题(性别、体型和泳装外观)和场景(室外环境、池底)方面的缺乏多样性可以在后续工作中得到纠正。其他改进可能包括其他注释(如分割和深度图)或添加其他游泳动作,如跳水和转身。