基于时空图神经网络的隐私保护疼痛评估：通过面部标志点动态分析实现视频序列疼痛强度估计

《IEEE Transactions on Biometrics, Behavior, and Identity Science》：Pain Level Estimation From Videos by Analyzing the Dynamics of Facial Landmarks With a Spatio-Temporal Graph Neural Network

本文针对传统疼痛评估方法存在的隐私泄露和动态特征捕捉不足等问题，报道了一种基于面部标志点时空图神经网络(STAGCN)与门控循环单元(GRU)的疼痛强度估计新方法。研究通过分析面部标志点的短时动态特征和长时程模式，在BioVid和MIntPain数据集上实现了77.30%的二元分类准确率和32.09%的多级分类准确率，显著优于现有基于标志点的方法。该研究为ICU患者、新生儿等特殊群体的无创疼痛监测提供了隐私安全的解决方案。

　　

在医疗监护领域，准确评估疼痛强度对于无法言语表达的患者群体具有至关重要的意义。新生儿、重症监护室患者以及患有严重神经系统疾病的患者，往往无法准确描述自身的疼痛感受，这使得开发自动化的疼痛评估系统成为临床实践的迫切需求。然而，传统的基于面部图像的分析方法存在明显的局限性：一方面，完整的面部图像会暴露患者身份信息，引发严重的隐私担忧；另一方面，疼痛作为一种动态变化的状态，其强度会随时间波动，单一帧的图像分析难以捕捉其时序特征。

现有的疼痛评估方法主要分为两类：基于外观的方法和基于面部标志点的方法。前者使用完整的面部图像，虽然能够提供丰富的纹理信息，但存在隐私泄露风险，且对光照变化和面部遮挡敏感；后者使用面部关键点的几何坐标，虽能保护隐私，但传统方法往往未能充分挖掘其时空动态特性。此外，疼痛表达与某些负面情绪（如愤怒、恐惧）在面部动作上存在重叠，增加了准确识别的难度。

针对这些挑战，来自意大利佛罗伦萨大学的研究团队在《IEEE Transactions on Biometrics, Behavior, and Identity Science》上发表了一项创新研究，提出了一种基于视频分析的隐私保护疼痛评估方法。该方法的核心创新在于将面部标志点构建为时空图结构，并利用深度学习技术同时捕捉短时和长时的疼痛动态特征。

研究人员开发了一个包含两个主要组件的回归模型：短期动态网络使用时空注意力图卷积网络(STAGCN)从连续帧序列中提取短时特征；长期动态网络则通过门控循环单元(GRU)处理短时特征序列，学习整个序列中的长时模式。这种分层架构使模型能够同时捕捉疼痛表达的瞬时变化和持续模式。

关键技术方法包括：从视频帧中提取68个3D面部标志点（排除下颌点后保留51个），构建时空图结构；使用STAGCN块进行空间卷积和时间卷积，结合注意力机制突出疼痛相关区域；通过GRU层建模长时依赖关系；在BioVid热疼痛数据集（包含87名健康受试者在五个疼痛水平下的8700个视频）和MIntPain数据集上进行验证，采用留一受试者交叉验证(LOSO)等多种评估协议。

研究结果

模型性能评估：在BioVid数据集A部分（无传感器）的二元分类（无疼痛vs剧烈疼痛）中，模型在留一受试者交叉验证(LOSO)协议下达到77.30%的准确率；在多分类（0-4级疼痛）中达到32.09%的准确率，平均绝对误差(MAE)为1.09。在B部分（面部贴有EMG传感器）的表现甚至更优，二元分类准确率达79.84%，表明模型对部分遮挡具有鲁棒性。

短时与长时特征贡献分析：消融实验表明，结合STAGCN和GRU的双层时序模型性能最优（73.67%），显著优于仅使用短时特征（67.40%）或长时特征（72.05%）的模型。t-SNE可视化显示，GRU层输出的长时特征能更好地区分疼痛与无疼痛状态。

特征有效性验证：位置坐标(x,y)与运动特征(dx,dy)的组合效果最佳。空间注意力可视化证实模型能自动聚焦于与疼痛表达相关的区域（眉部、眼部、鼻部和口部）。

模型鲁棒性测试：在节点配置变化（如减少标志点数量）和帧率降低的情况下，模型性能仅轻微下降，展示了在实际应用中的潜力。

疼痛与基本情绪的混淆分析：在BioVid D部分（包含七种表情）上的实验表明，模型容易将厌恶和恐惧误判为疼痛，反映了这些情绪在面部动作上的相似性。同时，模型对中间疼痛强度（1-3级）的区分也存在挑战。

计算效率：模型参数量为302万，远小于典型CNN模型。在GPU上推理速度为每帧0.1毫秒，结合OpenFace标志点检测（CPU上每帧33毫秒），适合实时应用。

研究结论与意义

该研究成功开发了一种基于面部标志点动态分析的隐私保护疼痛评估框架，通过时空图神经网络和循环神经网络的结合，有效解决了传统方法在隐私保护和动态特征捕捉方面的局限性。实验结果表明，该方法在保持竞争性性能的同时，显著降低了对患者隐私的侵犯，对部分面部遮挡和光照变化具有更好的鲁棒性。

研究的创新性主要体现在四个方面：首次提出纯基于面部标志点的隐私保护疼痛评估方法；通过GRU实现连续帧序列的高效处理；在标志点信息量远少于完整面部图像的情况下达到与基于外观的方法相当的精度；首次使用BioVid B部分（带EMG传感器）的面部视频数据并保持有效性能。

然而，研究也揭示了多级疼痛强度估计的挑战（最高准确率40.4%），这主要源于序列级标注的粗糙性以及标注与真实表情的不完全一致性。此外，疼痛与某些负面情绪在面部动作上的重叠仍是区分难点。

这项研究为临床环境中的长期、非侵入式疼痛监测提供了可行的技术路径，特别适用于重症监护、新生儿护理等对隐私保护要求较高的场景。未来工作可探索多模态信号融合、更精细的标注策略以及针对个体差异的个性化建模方向，进一步提升疼痛评估的准确性和实用性。