《Frontiers in Computer Science》:Graph-based multimodal affect recognition in children using prototypical networks
编辑推荐:
本文针对儿童情感识别面临的生理信号数据有限、个体差异大、运动伪影干扰等难题,研究团队构建了一种新型多模态情感计算框架。该框架结合原型网络与图神经网络(GNN),对来自15名儿童的表皮电活动(EDA)、多波长光电脉搏波(PPG)和惯性测量单元(IMU)数据进行融合分析,以识别积极、消极和中性情感状态。研究结果表明,相较于单模态基线方法,该多模态融合模型将分类准确率提升了8%–10%,达到83%的总体准确率,为解决儿科情感计算中数据效率低、泛化性弱的问题提供了有效方案,对开发儿童友好型人机交互与辅助技术具有重要价值。
情感,是人类内心世界的晴雨表,对儿童而言更是理解其需求、支持其发展的重要窗口。然而,要读懂孩子们的情绪并非易事,他们可能不擅用语言表达,而观察行为又常常受到情境限制。近年来,利用心率、皮电、脑电等生理信号来客观识别情绪的技术,为情感计算领域打开了新的大门。尽管针对成人的研究已相当深入,但在儿童情感识别这片蓝图上,仍存在显著的空白与挑战。儿童的生理反应模式并非成人的“缩小版”,会随着发育成熟而动态演变,这要求研究方法必须是“儿童专属”的。此外,儿童好动的天性导致生理数据中运动伪影多,个体差异大,高质量标注数据的获取也异常困难,这使得依赖海量数据训练的传统模型往往“水土不服”。如何利用有限的数据,开发出精准、通用且能抗干扰的儿童情感识别模型,成为了一个亟待攻克的核心难题。近期,一项发表在《Frontiers in Computer Science》上的研究,为这一难题提供了创新性的解决方案。
为了应对上述挑战,研究团队设计并实现了一套专门针对儿童的多模态情感识别框架。该研究的核心在于将两种前沿的人工智能技术——原型网络(Prototypical Networks)与图神经网络(Graph Neural Networks, GNN)——巧妙结合。研究人员招募了15名8-13岁的儿童,使用非侵入式的EmotiBit腕戴设备,采集了他们在观看能诱发积极、消极和中性情绪的视频片段时的多种生理信号,包括:反映情绪唤醒度的表皮电活动(Electrodermal Activity, EDA)、可捕捉心血管及血流动力学变化的多波长光电脉搏波(Photoplethysmography, PPG),以及能指示身体姿态与运动的9轴惯性测量单元(Inertial Measurement Unit, IMU)数据。经过严格的数据预处理和针对性的数据增广,研究团队从这些信号中提取了丰富的特征。随后,他们为每种信号模态(如EDA、不同波长的PPG、IMU等)分别训练了一个原型网络,为每类情绪(积极、消极、中性)学习出一个代表性的“原型”嵌入。这些来自不同模态的原型,并非简单拼接,而是被用来构建一个动态的K近邻(KNN)图,图中的节点代表样本,边则表征了不同样本在多模态特征空间中的相似性关联。最后,一个图神经网络(GNN)被用于处理这个包含了丰富跨模态关系的图结构,并最终完成情感状态的分类。这种“原型学习+图结构建模”的策略,旨在让小样本下的学习更高效,并让模型能理解并利用不同生理信号之间复杂的相互作用。
3.1 研究设计与参与者
研究在受控环境中进行,参与者为15名8-13岁的健康儿童。通过EmotiBit设备同步采集了EDA、红外/红/绿三波长PPG、皮肤温度以及9轴IMU(加速度计、陀螺仪、磁力计)信号。使用适合儿童观看的视频片段(如幽默片段诱发积极情绪,轻度紧张片段诱发消极情绪)来引发目标情绪,并在刺激间设置了中性休息期以获得基线数据。整个实验流程严格遵守伦理规范,获得了家长知情同意和儿童本人的同意。
3.2 信号预处理与数据增广
对采集的原始生理信号进行了细致的预处理。例如,对EDA信号使用了巴特沃斯高低通滤波和中值滤波以去除噪声和基线漂移;对PPG信号应用了带通滤波和移动平均/中值滤波以消除伪影;对IMU数据则通过Madgwick滤波器估计方位以去除重力影响,并计算了运动强度指数来量化运动伪影,以便在后续融合中为受运动污染的信号分配较低权重。为了增加数据多样性并防止模型过拟合,研究还对训练数据实施了模态特定的增广策略,包括对EDA和PPG信号的幅度缩放、小波噪声添加和时间扭曲,以及对IMU信号的幅度缩放和三维旋转。
3.4 特征提取
研究采用了两种互补的特征提取方法。一是连续小波变换(Continuous Wavelet Transform, CWT),用于生成能同时展现信号时间和频率细节的尺度图(Scalograms)。二是深度小波散射网络(Deep Wavelet Scattering Network, DWSN),这是一种结合了小波变换和深度学习的层次化特征提取方法,能够提取对平移和微小形变稳定的特征。此外,还从IMU数据中提取了熵、均方根、过零率等一系列时域和动态特征。
3.5 特征选择与模型构建
为了从高维特征中筛选出最具判别力的信息,研究采用了主成分分析(PCA)结合随机森林(Random Forest)的两阶段特征选择方法。最终,为每种信号模态(共7种:EDA, PPG-PI, PPG-PR, PPG-PG, ACC, GY, MG)各选取了10个最优特征。这些特征随后被输入到一个多层感知机(MLP)中,生成低维的模态特异性嵌入。每个模态都配备了一个独立的原型网络,用于在支持集样本上计算每类情感的原型。之后,利用所有模态的原型嵌入为每个样本构建一个图,图中节点是样本,边由样本在多模态原型空间中的K近邻关系定义。这个图被送入一个图神经网络(GNN)进行消息传递和节点特征更新,最终通过一个分类层输出情感类别预测。
4. 结果
4.1 模型性能评估
研究采用留一被试交叉验证(Leave-One-Subject-Out Cross-Validation)来评估模型的泛化能力。提出的多模态原型图网络模型在测试集上取得了显著的性能提升。
4.2 与基线方法比较
所提出的框架达到了83%的整体分类准确率。与单独使用EDA、PPG或IMU等单模态基线模型相比,性能提升了8%至10%。同时也优于简单的特征级拼接或决策级投票等传统的多模态融合方法。这证明了图神经网络在建模跨模态交互关系方面的有效性。
4.3 消融实验分析
通过消融实验验证了框架中各个组件的重要性。当移除图神经网络,仅使用原型网络进行分类时,性能出现下降,表明图结构对捕获样本间关系至关重要。同样,如果移除原型网络,直接对原始特征进行图构建和分类,性能也会受损,这凸显了原型学习在提炼类别代表性信息、应对小样本问题上的优势。
4.4 模态重要性分析
通过分析模型注意力或特征重要性,研究发现不同模态对情感识别的贡献度不同。EDA和PPG信号在区分情绪唤醒度(积极/消极 vs. 中性)方面作用显著,而IMU信号(特别是加速度计)则能提供与身体动作相关的互补信息,有助于进一步区分情绪的效价(积极 vs. 消极)。多波长PPG中,不同波段(红外、红、绿)也提供了略有差异的血流动力学信息。
5. 讨论与结论
本研究成功开发并验证了一个面向儿童的多模态生理信号情感识别框架。该框架的核心创新在于将原型网络的小样本学习能力与图神经网络的关联建模能力相结合。原型网络直接应对了儿童情感数据标注稀缺的难题,通过学习每个类别的“原型”,使模型能够在有限的样本下快速适应。而图神经网络则通过构建自适应KNN图,巧妙地建模了不同生理模态之间以及不同样本之间复杂的、非线性的相互作用,从而实现了信息互补,提升了模型的判别力和鲁棒性。
研究结果表明,基于图的多模态融合策略能够更准确地捕捉儿童生理信号在情感加工过程中的复杂 interplay,为儿科情感计算提供了一条更为精确的技术路径。相较于现有方法,本框架在数据效率和跨被试泛化性能上均表现出优势。这不仅对于发展先进的、情感感知的儿童人机交互系统(如教育科技、辅助诊疗)具有重要的应用价值,其方法论本身也为处理其他存在数据有限、个体差异大、多源信息融合挑战的生物医学信号分析问题提供了有益的参考。未来工作可以探索融入更多模态(如面部表情、语音),并在更大、更多样化的儿童群体中进行验证,以进一步推动该领域的发展。