近年来，周期性数据的识别和理解已经成为各种实际应用的重要组成部分，从监测天气模式到检测医疗环境中的关键生命体征。周期性学习在环境遥感等领域中已经证明是不可或缺的，可以准确预测天气变化和地表温度波动。同样，在医疗领域中，基于视频测量的周期性学习已经显示出在识别关键医疗状况（如心房颤动和睡眠呼吸暂停）方面取得了有希望的结果。
为了利用周期性学习的威力，研究人员开发了一些监督方法，如RepNet，可以识别单个视频中的重复活动。然而，这些方法需要大量的标记数据，通常资源密集且具有挑战性。这种限制促使研究人员探索自监督学习（SSL）方法，如SimCLR和MoCo v2，利用大量的无标签数据来捕捉周期性或准周期性的时间动力学。尽管它们在解决分类任务方面取得了成功，但是SSL方法在全面理解数据中固有的周期性和创建适用于周期性或频率属性的鲁棒表示方面存在困难。
为了应对这些挑战，谷歌研究人员引入了SimPer，这是一个专门设计用于学习数据中周期性信息的新颖自监督对比框架。该框架通过时间自对比学习利用周期性目标的时间属性，其中正样本和负样本来自相同输入实例的周期性不变和周期性变化的扩充。
为了在周期性学习的背景下明确定义相似度的测量，SimPer提出了一种独特的周期性特征相似性构建方法。该公式使模型能够在没有任何标记数据的情况下进行训练，并允许微调以将学到的特征映射到特定的频率值。研究人员为无标签输入设计了伪速度或频率标签，即使原始频率未知，也使SimPer在实际应用中具有很高的适应性。
传统的相似度度量（如余弦相似度）强调特征向量之间的严格接近性，导致对于具有索引位移、反转特征和频率变化的特征敏感。然而，周期性特征相似性侧重于对于具有轻微时间位移或反向索引的样本保持高相似度，同时在特征频率变化时捕捉连续的相似度变化。这通过频域中的相似度度量实现，比如两个傅里叶变换之间的距离。
为了进一步提高框架的性能，研究人员设计了一个广义对比损失，将经典的InfoNCE损失扩展为软回归变体。这使得SimPer适用于连续标签（频率）上的对比，并使其适用于回归任务，其中目标是恢复连续信号，如心跳。
SimPer的评估结果显示，在六个不同的周期性学习数据集上，它相比包括SimCLR、MoCo v2、BYOL和CVRL在内的最先进的SSL方案表现出更高的性能。这些数据集涵盖了人类行为分析、环境遥感和医疗等各种实际任务。SimPer胜过现有方法，并展现出出色的数据效率、对假相关性的鲁棒性以及对未见目标的泛化能力。
凭借对周期信号学习强大特征表示的直观灵活方法，SimPer在从环境遥感到医疗等多个领域具有广泛的应用前景。SimPer能够在没有大量标记数据的情况下准确捕捉周期模式，使其成为解决各种领域复杂挑战的理想解决方案。
总之，SimPer的自监督对比框架为周期性学习这一关键任务提供了突破性的解决方案。通过利用时间自对比学习和引入新颖的周期特征相似性和广义对比损失，SimPer为实际应用中更高效、准确和鲁棒的周期性学习应用铺平了道路。随着SimPer代码库向研究社区的提供，我们期待进一步的进展和在各个领域中更广泛的应用。