MMDA：一种多模态多源领域自适应方法，用于从脑电图（EEG）和眼动信号中实现跨受试者情感识别

《IEEE Transactions on Computational Social Systems》：MMDA: A Multimodal and Multisource Domain Adaptation Method for Cross-Subject Emotion Recognition From EEG and Eye Movement Signals

多模态情感识别结合EEG和眼动信号，提出跨主体域适应方法解决负迁移问题，通过边际条件分布对齐、优先相关模态特征融合及EEG高区分性特征提取提升性能，在四个数据集验证中优于SOTA。

　　

摘要：

从脑电图（EEG）和眼动信号中进行的多模态情感识别已被证明是一种有前景的方法，能够提供关于人类情感状态的更具区分性的信息。然而，目前大多数研究依赖于受试者依赖的方法，这限制了它们对新用户的适用性。最近，一些研究探索了多模态领域适应机制，通过将已知受试者的信息转移到新受试者上来解决上述问题。不幸的是，现有方法仍然存在负面迁移现象，因为受试者之间的分布对齐不够理想，同时无关信息也没有被剔除。在本文中，我们提出了一种多模态多源领域适应（MMDA）方法，该方法采用了以下三种策略：1）必须在每个已知受试者和新受试者之间进行边缘分布和对条件分布的对齐；2）必须优先考虑相关分布的对齐以避免负面迁移；3）通过从EEG信号中提取更具区分性的特征并在不同模态间选择相关特征来改进模态融合结果。我们的方法在四个公共数据集（SEED、SEED-GER、SEED-IV和SEED-V）上使用了留一法交叉验证进行了评估。实验结果表明，当将不同会话的受试者数据合并到一个数据集中时，我们的方法优于现有最佳方法。此外，在单独评估每个会话时，MMDA在11个不同会话中的8个会话中都超越了现有最佳方法。

引言

情感是日常生活中的一种认知体验，对人类的感知、判断和决策行为有着重要影响[1]、[2]。使机器能够解释情感信息对于人机交互（HCI）至关重要，因为这样可以为用户在医疗保健、教育和客户服务等领域提供更加和谐和个性化的应用[1]。情感的表达通常涉及多种模态，这些模态可以通过外部或内部数据来测量[3]。外部数据包括手势、声音和面部表情，而内部数据则包括从中枢和周围神经系统提取的生理信号，如脑电图（EEG）、眼动（EM）、体温、呼吸频率（RR）和心电图（ECG）。与外部数据相比，内部数据的优势在于其客观性和对情感状态反应的敏感性[4]，因为人类可能会通过控制外部行为来隐藏自己的情感。在内部数据模态中，EEG被计算模型广泛用于预测情感状态，因为它们与人脑的特定区域及其神经活动相关。然而，EEG信号可能会受到噪声和伪迹的干扰，甚至受到外部因素的影响，这使得准确区分细微的情感变化变得困难[5]、[6]。为了解决这个问题，已经使用了从EEG和眼动信号中进行的多模态情感识别（MER）方法，利用它们的互补性和协同能力，相比单一模态能够更准确地识别人类情感[7]、[8]、[9]。然而，MER的主要挑战在于有效的信息融合，因为必须有效地利用多种模态的异质性和相关性才能实现准确的情感识别性能。