在数字时代，自动化欺骗检测系统已经成为各个领域的重要组成部分。准确检测的需求在商业、医学、教育、执法和国家安全领域都是显而易见的。人类面试者的局限性存在着错误指控和无效检测的风险。为了解决这些挑战，东京理科大学的研究人员提出了一种结合面部表情和脉搏数据的机器学习方法，以实现全面的欺骗检测。其目标是开发一个公正可靠的系统，能够协助对犯罪受害者、嫌疑人和心理健康问题个体进行面试。研究人员强调了准确嫌疑人分类的重要性，以避免误认和维护道德和法律的考虑；他们提出了一种人工参与的方法。这种创新方法确保了道德合规性，同时在关键决策过程中实现了广泛的应用。
在相关研究中，以往的研究探索了使用各种方法进行欺骗检测。一项研究开发了一个“欺骗分析和推理引擎”，利用视频中的多模态信息来检测欺骗，AUC约为87%。另一项研究则专注于识别真实和欺骗演讲者之间的情感价值和唤醒差异，使用情感、视觉、音频和语言特征，实现了91%的AUC。AUC是欺骗检测等二元分类任务中常用的度量标准。此外，还使用了机器学习方法来基于非语言行为（NVB）检测欺骗，通过识别面部微动、凝视变化和眨眼率等线索，实现了约80%的准确率。然而，在一些研究中观察到了一些限制，因为数据收集采用了不自然的角色扮演方法。
与传统方法相比，这项创新研究引入了一种自然的方法，其中受试者自由地即兴表演欺骗行为，以提高欺骗检测的准确性。所提出的方法采用机器学习，特别是随机森林（RF）技术，创建了一个结合面部表情和脉搏数据的欺骗检测模型。数据是从四名男研究生进行随机图像讨论时进行收集的。面部表情是使用网络摄像头记录的，而脉搏率是在面试期间使用智能手表测量的。
该过程涉及标准的机器学习步骤，包括数据收集、标记、特征提取、预处理和分类。受试者被展示了各种图像，并被鼓励表达他们的想法，包括欺骗性陈述。所得到的数据集是基于受试者的意图进行标记的，特别关注的是有意的欺骗行为，而不是错误或虚假记忆。使用OpenFace库提取了记录视频中的面部关键点，并从这些关键点中提取了各种面部特征，如眉毛倾斜度、眼睛纵横比、嘴巴面积、眨眼率、凝视、头部倾斜度和脉搏率。预处理包括去除缺失值、过滤异常值，并应用欠采样来平衡正负案例。
随机森林（RF）使用10折交叉验证进行训练和评估，使用准确率、精确率、召回率和F1分数等性能指标来评估其效果。值得注意的是，通过实际的远程工作面试进行的实验显示出与交叉验证结果相似的性能，证实了该方法的实际适用性。特征重要性分析突出了特定的面部特征、脉搏率以及凝视和头部运动作为不同受试者欺骗的重要指标。例如，在某些情况下，口部面积的变化、沉默和眨眼表明了欺骗行为，而其他情况则显示出欺骗过程中脉搏率和凝视方向的显著变化。
总体而言，这项研究提供了一种实用且有前景的方法，利用机器学习和面部特征分析来检测远程面试中的欺骗陈述，为实际应用提供了宝贵的见解。所提出的方法消除了人为偏见，在不同受试者中表现出了令人满意的准确度和F1分数，分别介于0.75和0.88之间。观察到了与面部表情和脉搏率相关的共同特征。然而，需要进一步研究来处理多类别分类，并包括心理评估以进行更全面的分析。尽管数据集规模有限，但这项研究为有兴趣利用自动化欺骗检测系统的面试者提供了基础，同时强调了在应用中道德考虑和合规性的重要性。