基于时空交互三流Transformer网络的新生儿疼痛表情识别研究

本文推荐一项创新性研究：作者团队提出时空交互三流Transformer网络（SITTNet），通过融合Transformer的全局位置特征提取能力与残差网络的局部时空特征捕捉优势，显著提升新生儿疼痛表情识别准确率。该网络独创时空特征交互模块（通过交换查询矩阵实现），在VFENP数据库测试中展现出优越性能，为临床新生儿疼痛评估提供了自动化解决方案。

　　

Highlight

• 我们提出时空特征交互模块，使空间信息更聚焦表情变化区域，同时时间信息也能关注表情空间纹理特征

• 提出时空交互三流Transformer网络（SITTNet），可有效学习新生儿疼痛表情的时空及区域位置特征，通过特征交互获取更关键信息，实现更高识别率

• 在CASME II和VFENP数据集开展实验，与多种前沿网络架构进行对比评估

Network Overview

为解决新生儿疼痛表情识别任务，本研究提出新颖的三流架构SITTNet，通过整合位置特征、空间特征和时间特征实现鲁棒分类。网络包含四大模块：位置特征提取模块（使用Transformer捕捉面部区域位置嵌入）、时空特征提取模块（结合残差网络与自注意力机制）、时空特征交互模块（通过交换查询矩阵增强特征交互）。如图1所示，相比单流模型...

Video Neonatal Pain Facial Expression Dataset

针对新生儿疼痛数据库稀缺现状，我们从南京医科大学附属儿童医院十年临床数据中构建VFENP数据库。该库将视频样本分为疼痛/非疼痛两类，其中疼痛类别进一步细分为轻度疼痛（如疫苗接种）和重度疼痛（如术后疼痛），所有样本均经三名儿科专家标注确认。

Computational Resource Analysis

SITTNet模型总计算复杂度约41.035 GFLOPs，参数量达1.138亿，具备强大的时空特征表征能力。虽然适合大规模数据集训练，但为适应临床实时应用（如NICU监护场景），我们采用模型剪枝和量化技术，在保持95%准确率的同时将推理速度提升3倍。

Conclusions

本研究提出的SITTNet通过创新性时空特征交互机制，显著提升新生儿疼痛表情识别性能。在ICU等临床场景中，基于该网络的自动化疼痛监测系统具有重要应用价值——既能实现婴儿疼痛的精准连续评估，又能避免传统量表法的主观性和滞后性。