基于多模态数据的体态情感识别数据集BER2024及其在医疗监控中的应用研究

针对医疗场景中体态情感识别数据集匮乏的问题，研究人员开发了包含面部图像、体态图像和骨骼关键点的多模态数据集BER2024，通过CNN模型实现四类情感分类（负面/中性/疼痛/积极），最高测试准确率达96.25%。该研究为临床决策提供了自动化监测工具开发基础。

　　

在医疗场景中，准确识别患者的非语言情绪信号对临床决策至关重要。然而，现有研究面临两大瓶颈：一是传统面部表情数据集（如AffectNet）的七类情感分类难以适配医疗需求，二是缺乏整合面部、体态和骨骼数据的多模态资源。尤其对于卧床患者，面部可能被遮挡，使得单一模态分析失效。这种数据缺口严重阻碍了自动化情绪监测工具的研发。

针对这一挑战，巴西国家科学技术发展委员会（CNPq）资助的研究团队开发了创新性体态情感识别数据集BER2024。该数据集包含9名志愿者模拟的四种医疗相关情绪状态（负面、中性、疼痛、积极）的多模态数据，通过三种CNN模型（面部/体态/骨骼关键点）进行验证，最高取得96.25%的分类准确率。相关成果发表于《Computers in Biology and Medicine》，为医疗监控领域提供了首个专注于体态情感分析的标准数据集。

研究方法上，团队采用迁移学习技术，分别基于ImageNet预训练模型处理体态图像、AffectNet优化面部分类器。骨骼关键点数据通过OpenPose等工具提取后，采用全连接网络分析。所有模型通过K折交叉验证评估性能，最终测试集包含严格划分的未参与训练数据。

研究结果呈现三大发现：

1. 面部表达分类器：EfficientNetB4架构表现最优，验证准确率95.59±0.89%，显著高于ResNet50等传统模型。
2. 体态图像分析：尽管分辨率较低，但InceptionResNetV2仍达95.59%测试准确率，证明体态特征对情绪判断的有效性。
3. 骨骼关键点模型：准确率仅67.53%，揭示单纯姿态数据的信息局限性，需与其他模态融合提升性能。

讨论部分指出，BER2024的价值在于：
• 首次定义医疗场景专用情感分类体系，将模糊的"恐惧/惊讶"等类别转化为临床可操作的疼痛/积极等标签；
• 通过模拟数据补充真实医院数据集的类别不平衡问题（如疼痛样本稀缺）；
• 验证了多模态融合的必要性——当面部被遮挡时，体态图像仍能保持95%以上的分类精度。

该研究的局限在于样本规模较小（9人）和模拟数据的真实性差异。未来工作将拓展真实临床数据采集，并开发多模态融合算法。作为医疗AI领域的基础设施建设，BER2024为开发患者异常行为预警系统、优化医患沟通效率提供了关键数据支撑，尤其对改善长期卧床患者的情绪监测具有重要实践意义。