基于变压器模型的生理情绪识别技术在自闭症干预支持中的应用

《IEEE Transactions on Affective Computing》：Transformer-Based Physiological Emotion Recognition for Autism Intervention Support

　　

摘要：

通过可穿戴设备获取的生理数据来进行情绪识别，可以在行为线索异常或自我报告有限时提供及时、个性化的支持。这一需求对于自闭症谱系障碍（ASD）患者在应用行为分析（ABA）治疗期间尤为迫切，因为治疗师通常需要间接且实时地推断他们的内部状态。尽管Transformer架构在建模复杂的时间依赖关系方面表现出色，但大多数生理情绪识别模型都是基于神经典型人群开发的，并且很少在与治疗相关的验证协议下进行评估，也未被整合到实际的ABA工作流程中。在这里，我们展示了一种基于Transformer的模型，该模型可以处理连续的一维生理时间序列数据，能够实现实用的情绪识别，从而对ASD患者的干预产生积极影响，并且显著改善了治疗效果。我们严格使用治疗师的标注作为训练目标（而非输入特征），并在一个由专家整理的数据集上对该模型进行了测试。该数据集包含来自{1,459,337n=12名ASD患者在真实治疗会话中收集的生理数据。模型的留一法（LOSecO）特定受试者准确率分别为：情绪价值84.28%、情绪唤醒85.73%、五类情绪识别80.26%。在另一项独立的用户研究（N=33次治疗会话）中，将此系统整合到ABA会话中后，学生的表现相较于传统方法有显著提升。该系统已在香港、新加坡和加拿大的88个站点为超过2,000名学生提供服务，每窗口的推理延迟为18毫秒，三个月内的平均运行时间为99.97%。我们的结果表明，基于Transformer的生理情绪识别技术可以在大规模特殊教育平台的限制下可靠地实施，实现了从算法性能到实际干预应用的转化。