具有领域泛化能力的多视图多尺度自适应挤压激励网络，用于跨主题情感识别

《Expert Systems with Applications》：Multi-view Multi-scale Adapter Squeeze Excitation Network with Domain Generalization for Cross-Subject Emotion Recognition

多视图多尺度自适应塞舌尔注意力机制与领域泛化提升EEG情绪识别准确性和跨主体泛化性。实验表明优于现有方法。

　　在当前快速发展的脑机接口（BCI）技术背景下，情绪识别成为了一个极具研究价值的领域。特别是利用脑电图（EEG）进行情绪识别，因其无创性、实时性以及能够反映真实情绪反应的特点，受到了广泛关注。然而，尽管已有大量研究投入其中，EEG情绪识别仍然面临诸多挑战。这些挑战主要体现在两个方面：一是如何有效建模EEG信号在空间、时间与频谱三个维度上的多尺度情绪模式；二是如何克服EEG信号的非平稳性和高度个体化特征，从而实现跨被试的情绪识别。为了解决这些问题，本文提出了一种全新的多视图多尺度适配器挤压激励网络（MMASE-DG）框架，旨在提升基于EEG的情绪识别在跨被试场景下的准确性和泛化能力。

情绪识别的核心在于准确提取与情绪相关的特征，并利用这些特征进行分类。EEG信号作为大脑活动的直接反映，包含了丰富的信息，如空间结构、时间变化和频谱特征。然而，传统的特征提取方法往往依赖于人工设计的特征，例如时间域、频率域或时频域的统计量。这些方法虽然在一定程度上能够捕捉情绪变化，但其依赖专家经验，且难以适应不同个体之间的差异。近年来，随着深度学习技术的兴起，卷积神经网络（CNN）、图神经网络（GNN）和循环神经网络（RNN）等模型被广泛应用于EEG数据的自动特征学习。这些模型在提高识别性能方面取得了显著进展，但仍存在一些关键问题。首先，大多数研究仅关注单一视图或仅融合两个视图，未能充分利用EEG信号的多维特性；其次，现有的融合策略缺乏对多尺度特征的系统性建模，难以有效捕捉情绪在不同层次上的表现；最后，由于EEG信号具有高度的非平稳性和个体差异性，跨被试情绪识别的泛化能力仍然有限。

为了克服上述问题，本文提出了一种结合多视图、多尺度和领域泛化的统一框架MMASE-DG。该框架首先通过多视图多尺度因果卷积模块，分别从空间、时间与频谱三个维度提取多尺度特征。这种模块设计使得模型能够同时捕捉局部和全局的情绪模式，从而丰富情绪表示的多样性。随后，引入了一种增强型的挤压激励（SE）模块，该模块通过适配器单元对多视图特征进行逐层融合，以增强模型对情绪特征的表达能力。最后，为了提升跨被试情绪识别的泛化能力，本文还整合了一种基于对抗学习的领域泛化策略。该策略将每个训练被试视为独立的领域，并鼓励模型学习出具有领域不变性但与情绪相关的关键特征。通过这三种模块的协同作用，MMASE-DG框架能够有效应对EEG信号的多维特性、多尺度表达以及跨被试差异性，从而实现更鲁棒和准确的情绪识别。

MMASE-DG框架的创新点主要体现在三个方面。首先，它引入了一种多视图多尺度因果卷积模块，该模块能够从EEG信号的三个主要维度（空间、时间、频谱）提取多尺度特征。空间视图关注大脑不同区域之间的连接性，时间视图描述情绪相关信号随时间的变化趋势，而频谱视图则捕捉特定频率带的振荡模式。通过在不同尺度上提取这些特征，模型能够更全面地理解情绪的多层次表现。此外，因果卷积的设计使得模型能够保留信号的时间顺序信息，从而更准确地捕捉情绪随时间演化的动态特性。这种多尺度建模方式不仅提高了特征的丰富性，还增强了模型对复杂情绪模式的适应能力。

其次，本文提出了一种增强型的挤压激励模块（Adapter SE）。传统的SE模块主要用于调整通道间的响应权重，以提升模型对关键特征的表达能力。然而，在MMASE-DG框架中，我们进一步引入了适配器单元，该单元能够在不同视图之间进行特征增强和调整，从而提升模型的表达能力。适配器单元通过引入可学习的参数，使得模型能够根据不同的视图和尺度动态调整特征的重要性。这种设计不仅保留了SE模块的优势，还使得模型能够在多视图融合过程中更加灵活地选择最具判别性的信息。此外，Adapter SE模块的逐层融合策略使得模型能够逐步整合来自不同视图的特征，从而实现对情绪特征的更深层次理解。

第三，MMASE-DG框架整合了一种基于对抗学习的领域泛化策略。由于EEG信号具有高度的非平稳性和个体差异性，模型在训练过程中难以泛化到不同的被试群体。为了解决这一问题，本文采用了一种将每个被试视为独立领域的方法，并利用对抗学习技术来提升模型的跨被试鲁棒性。对抗学习通过引入一个判别器，鼓励模型学习出具有领域不变性但与情绪相关的特征。这种方法不仅减少了被试之间的差异对模型性能的影响，还提高了模型在不同实验条件下的适应能力。通过将领域泛化策略与多视图多尺度建模相结合，MMASE-DG框架能够在保持情绪特征表达能力的同时，有效提升模型的跨被试泛化能力。

为了验证MMASE-DG框架的有效性，本文在三个广泛使用的EEG情绪识别数据集上进行了大量实验，包括DEAP、SEED和SEED-IV数据集。DEAP数据集由32名被试观看40个一分钟的视频片段，每个被试对视频的 arousal（唤醒度）、valence（愉悦度）、liking（喜好度）和 dominance（支配度）进行了评分。SEED和SEED-IV数据集则分别由15名和45名被试参与，涵盖了不同的情绪状态和更丰富的实验条件。实验结果显示，MMASE-DG框架在这些数据集上的识别准确率显著高于现有的主流方法。这表明，该框架在捕捉多尺度特征、融合多视图信息以及提升跨被试泛化能力方面具有明显优势。

此外，本文还对MMASE-DG框架进行了详细的讨论。首先，该框架通过多视图多尺度因果卷积模块，能够同时建模空间、时间与频谱三个维度的情绪特征，从而提供了更全面的表示。这种多维建模方式不仅增强了模型对情绪模式的理解，还提高了其对复杂情绪变化的适应能力。其次，MMASE-DG采用了一种渐进式的融合策略，使得模型能够在不同层次上逐步整合多视图特征。这种策略避免了简单拼接多视图特征可能带来的信息冗余和噪声干扰，从而提升了模型的表达能力和识别精度。最后，领域泛化策略的引入使得模型能够在不依赖特定被试数据的情况下，更好地适应不同个体的EEG信号特征。这种方法不仅提高了模型的泛化能力，还减少了因个体差异导致的性能下降。

在实际应用中，EEG情绪识别具有广泛的意义。例如，在人机交互（HCI）领域，能够准确识别用户情绪的系统可以为智能设备提供更人性化的交互体验。在心理健康评估方面，EEG情绪识别技术可用于抑郁症等心理疾病的早期检测和干预。此外，在教育和娱乐领域，情绪识别系统可以帮助优化学习内容或娱乐体验，使其更加符合用户的心理需求。因此，提升EEG情绪识别的准确性和泛化能力对于推动相关技术的应用和发展具有重要意义。

综上所述，本文提出的MMASE-DG框架在多个方面对EEG情绪识别进行了创新和改进。通过多视图多尺度建模，模型能够更全面地捕捉情绪的多层次特征；通过适配器增强的挤压激励模块，模型能够更有效地融合不同视图的信息；通过领域泛化策略，模型能够更好地适应不同个体的EEG信号特征。实验结果表明，MMASE-DG在多个数据集上的表现优于现有方法，具有较高的识别准确率和良好的跨被试泛化能力。未来的研究可以进一步探索如何优化多视图融合策略，以及如何在更广泛的实验条件下验证该框架的有效性。此外，结合其他类型的生理信号（如眼动数据或肌电信号）进行多模态情绪识别也是一个值得深入研究的方向。