基于骨架的人体动作识别是一种计算机视觉领域，通过分析视频数据中的骨骼关节位置来识别人体动作。它使用机器学习模型来理解时间动态和空间配置，从而在监控、医疗、体育分析等领域应用。
自从这个研究领域出现以来，科学家们遵循了两种主要策略。第一种策略是手工制作的方法：这些早期技术应用3D几何操作来创建输入经典分类器的动作表示。然而，它们需要人工辅助来学习高级动作线索，导致性能过时。第二种策略是深度学习方法：深度学习的最新进展已经改变了动作识别的方式。最先进的方法专注于设计能够捕捉空间拓扑和时间运动相关性的特征表示。更准确地说，图卷积网络（GCNs）已经成为基于骨架的动作识别的强大解决方案，在各种研究中取得了令人印象深刻的结果。
在这个背景下，最近发表了一篇新文章，提出了一种名为“骨架大核关注图卷积网络”（LKA-GCN）的新方法。它解决了基于骨架的动作识别中的两个主要挑战：
- 长程依赖性：LKA-GCN引入了骨架大核关注（SLKA）算子，以有效捕捉关节之间的长程相关性，克服了现有方法中的过度平滑问题。
- 有价值的时间信息：LKA-GCN采用手工制作的关节运动建模（JMM）策略，专注于具有显著关节运动的帧，增强了时间特征，提高了识别准确性。
该方法将骨架数据作为图形进行时空图建模，其中空间图形捕捉人体关节的自然拓扑，而时间图形编码相邻帧中相同关节之间的相关性。图形表示是从骨架数据生成的，它是表示随时间变化的人体关节的一系列三维坐标。作者引入了SLKA算子，将自注意机制与大核卷积相结合，以高效地捕捉人体关节之间的长程依赖关系。它通过更大的感受野聚合间接依赖关系，同时最小化计算开销。此外，LKA-GCN还包括JMM策略，通过计算反映局部范围内平均关节运动的基准帧，专注于信息丰富的时间特征。LKA-GCN由时空SLKA模块和识别头组成，利用多流融合策略来提高识别性能。最后，该方法采用多流方法，将骨架数据分为三个流：关节流、骨流和运动流。
为了评估LKA-GCN，作者使用了各种实验对三个基于骨架的动作识别数据集（NTU-RGBD 60、NTU-RGBD 120和Kinetics-Skeleton 400）进行了实验研究。将该方法与基准进行了比较，并分析了SLKA算子和关节运动建模（JMM）策略等不同组件的影响。还探讨了两流融合策略。实验结果表明，LKA-GCN优于最先进的方法，证明了其在捕捉长程依赖关系和提高识别准确性方面的有效性。视觉分析进一步验证了该方法捕捉动作语义和关节依赖性的能力。
总之，LKA-GCN解决了基于骨架的动作识别中的关键挑战，捕捉了长程依赖关系和有价值的时间信息。通过SLKA算子和JMM策略，LKA-GCN在实验评估中优于最先进的方法。其创新方法在各种应用中有望实现更准确、更稳健的动作识别。然而，研究团队也意识到一些限制。他们计划扩展他们的方法，包括深度图和点云等数据模态，以获得更好的识别性能。此外，他们还计划使用知识蒸馏策略来优化模型的效率，以满足工业需求。