PhysioSync：基于生理同步的时序与跨模态对比学习方法，用于脑电图（EEG）驱动的情绪识别

《IEEE Computational Intelligence Magazine》：PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition

EEG情绪识别研究提出PhysioSync框架，通过跨模态对比学习和时间分辨率对比学习，融合EEG与PPS信号，解决模态间动态同步和语义一致性不足的问题，在DEAP和DREAMER数据集上验证了有效性。

　　

摘要：

脑电图（EEG）信号能够无意识地反映与情绪状态相关的大脑活动，相较于面部表情等行为线索具有显著优势。然而，EEG信号通常存在噪声干扰，容易受到伪迹的影响，并且因个体差异而有所不同，这给情绪识别带来了复杂性。虽然多模态方法已经利用了皮肤电反应（PPS）等外周生理信号来补充EEG数据，但这些方法往往忽略了不同模态之间的动态同步性和语义一致性。此外，PPS中情绪波动的时间动态在不同时间分辨率下的研究还较为有限。为了解决这些问题，我们提出了PhysioSync这一新型预训练框架，该框架借鉴了生理同步现象，采用了时间和跨模态对比学习（CM-CL）技术。PhysioSync通过跨模态一致性对齐（CM-CA）来模拟EEG与互补PPS之间的动态关系，从而实现不同模态之间的情绪同步。同时，它还引入了长期和短期时间对比学习（LS-TCL），以捕捉同一模态内不同时间分辨率下的情绪同步现象。预训练完成后，跨分辨率和跨模态特征会被分层融合并进行微调，以提高情绪识别能力。在DEAP和DREAMER数据集上的实验表明，PhysioSync在单模态和跨模态条件下均表现出优异的性能，凸显了其在基于EEG的情绪识别中的有效性。

引言

通过生理信号识别情绪状态是人机交互、疾病诊断和康复领域中一项关键且具有挑战性的任务，近年来受到了大量研究关注[1]、[2]、[3]、[4]。与面部表情相比，脑电图（EEG）作为一种非侵入性、成本效益高的技术手段，具有较高的时间分辨率，能够直接且无意识地反映情绪状态，因此成为情绪识别研究的基石[5]、[6]、[7]。尽管EEG具有诸多优势，但其情绪识别仍面临一些挑战，例如容易受到生理伪迹的噪声干扰，以及对个体差异的不敏感[8]。最近的研究[9]、[10]、[11]、[12]指出，通过结合外周生理信号（PPS）可以缓解这些问题，从而提供补充信息。值得注意的是，一些研究表明EEG更适用于预测情绪唤醒程度，而PPS则更适合评估情绪的效价[13]，这表明整合这两种信号具有互补作用。生理同步是指由相同情绪刺激引发的多个生理信号在时间上的同步，它能够捕捉到协调的身体反应，在增强多模态情绪识别中发挥着关键作用[14]、[15]、[16]、[17]。从这个角度来看，仅仅简单地结合不同模态并不足以解决个体差异的问题，甚至可能加剧模态间的异质性，从而成为多模态情绪识别发展的障碍。