AT-PMF：结合对抗训练的渐进式多模态融合方法，用于生理情绪识别

《Pattern Recognition》：AT-PMF: Progressive Multi-modal Fusion with Adversarial Training for Physiological Emotion Recognition

情绪识别中多模态生理信号融合方法研究，提出AT-PMF框架，通过时空卷积和通道增强提取PPS特征，时空卷积与空间注意力提取EEG特征，利用对抗训练分离互补与一致特征，结合渐进多模态融合策略提升情绪识别精度。

　　这项研究聚焦于通过生理信号进行情绪识别，其核心在于如何提升模型的准确性和效率。随着人工智能技术的快速发展，情绪识别已被广泛应用于智能人机交互和健康监测等领域。情绪识别技术能够帮助系统通过生理信号、面部表情和语音等多种方式识别个体的情绪状态，从而增强设备的智能化水平，并支持更具情感表达力的内容生成。例如，在多模态大语言模型中，情绪识别可以提升模型对用户情感的感知能力，使系统能够更自然地与用户进行交互。

在多种情绪识别方法中，基于生理信号的方案因其客观性和实时性而受到关注。尤其是脑电图（EEG）信号，因其直接反映大脑活动，具有高时间分辨率和细致的情绪信息，成为情绪识别研究中的重要工具。然而，EEG信号在实际应用中也面临一些挑战，如噪声干扰和空间分辨率有限等问题，这限制了其在情绪识别任务中的表现。为了克服这些限制，研究者们逐渐将目光转向多模态数据融合，希望通过结合不同类型的生理信号，如眼动信号（EOG）、肌电图（EMG）、心电图（ECG）和皮肤电反应（GSR）等，提升情绪识别的准确性和鲁棒性。

这些辅助生理信号在情绪识别中发挥着重要作用。例如，EOG能够捕捉眼动信息，EMG反映面部肌肉活动，ECG和GSR则指示自主神经系统活动。这些信号在一定程度上可以弥补EEG信号的不足，尤其是在噪声环境下的表现。因此，将EEG与这些信号进行融合，不仅有助于提升情绪识别的准确性，还能增强模型对不同情绪状态的区分能力。然而，当前的研究在多模态数据融合方面仍存在一些不足，尤其是在如何系统地构建一个能够充分挖掘多模态之间复杂关系的框架方面。

目前，多模态情绪识别的研究主要集中在两个方面：特征提取和融合策略设计。特征提取是将原始生理信号转化为具有信息量的表示形式，而融合策略则是将这些特征进行整合，以获得更全面的情绪识别结果。对于EEG信号，由于其具有内在的空间结构，研究者们通常采用卷积神经网络（CNN）和图神经网络（GNN）等方法，以捕捉电极之间的关系。相比之下，PPS信号的特征提取方法则相对较少，许多研究仍然依赖于基于EEG的方法，这忽视了PPS信号与EEG信号之间的关键差异。

在特征提取和融合策略的基础上，一些研究还引入了多模态特征解耦技术，以提升模型的表现。这些方法受到多视角学习理论的启发，特别是互补性和共识性原则，旨在将模态特征分解为互补和一致的两个部分。互补性特征能够捕捉不同模态提供的独特信息，而一致性特征则反映模态之间的共享模式。通过解耦这些特征，可以增强多模态表示的多样性，同时强化共同模式，从而提升情绪识别的鲁棒性。

然而，当前的多模态情绪识别方法在模态贡献的平衡性方面仍存在一定的问题。一些研究指出，不同模态之间的贡献可能存在不平衡，这种不平衡会影响最终的情绪识别结果。例如，Yin等人提出了一种基于多模态通道注意力的融合方法，以自适应地调整EEG和EOG信号的权重；Xu等人则开发了一种层次化的跨模态注意力框架，用于融合EEG和视频特征；Qin等人设计了一种双适应融合模块，以应对不完整的多模态三维形状聚类问题。这些研究均表明，模态贡献的不平衡在多模态任务中是普遍存在的，而明确考虑这种不平衡可以显著提升模型的性能。

基于这些研究发现，本文提出了一种新的多模态情绪识别框架，即基于对抗训练的渐进式多模态融合框架（AT-PMF）。该框架将学习过程分为两个阶段：单模态建模和对抗训练，随后进行渐进式多模态融合。在单模态建模阶段，分别从PPS和EEG信号中提取模态特定的特征。针对PPS信号，设计了一种时间卷积和通道增强模块（TCCE），以解决其低维性问题；针对EEG信号，提出了一种时间卷积和空间注意力模块（TCSA），以捕捉其丰富的时空模式。这些模态特定的特征随后通过对抗训练进行解耦，将其分为互补性和一致性特征。由于EEG信号与神经活动有直接关联，因此在解耦过程中，将其视为主导模态，并首先使用低秩多模态融合（LMF）对PPS信号进行融合，以强调EEG在特征学习中的引导作用。

在对抗训练阶段，模型通过优化策略，将互补性和一致性特征分离出来。互补性特征捕捉不同模态提供的独特信息，而一致性特征则反映模态之间的共享模式。这种解耦过程有助于增强多模态表示的多样性，同时强化共同模式，从而提升情绪识别的鲁棒性。在渐进式多模态融合阶段，模型采用一种逐步融合策略，将解耦后的特征进行整合和优化，以更有效地捕捉局部和全局的交互关系。最终，这种分层融合策略能够生成更具判别力的情绪状态表示，从而提升情绪识别的准确性。

本文的主要贡献包括以下几个方面：首先，提出了一种新的渐进式多模态融合策略，通过结构化的三步流程，将EEG和PPS信号进行整合，以实现有效的局部交互建模、互补性特征增强和一致性特征优化。其次，提出了一种基于LMF和对抗训练的方法，用于解耦互补性和一致性特征，从而提升多模态表示的鲁棒性和判别能力。第三，针对EEG和PPS信号，分别设计了专门的特征提取模块：TCCE模块用于PPS信号，以解决其低维性问题；TCSA模块用于EEG信号，以捕捉其丰富的时空模式。第四，通过在DEAP和MAHNOB-HCI数据集上的大量对比和消融实验，验证了所提出方法在性能和参数数量上的优势，表明每个模块在提升模型表现方面都具有重要作用。

为了进一步验证所提出方法的有效性，本文在两个广泛使用的多模态情感计算数据集上进行了实验：DEAP和MAHNOB-HCI。这两个数据集提供了丰富的生理信号和情绪标注，记录了在情绪诱发视频刺激下的个体反应。DEAP数据集包含32名参与者（16名男性，16名女性）观看40个一分钟的音乐视频，并记录了EEG、EOG、GSR、EMG、呼吸、血氧饱和度（BVP）等生理信号以及主观情绪评分。MAHNOB-HCI数据集则包含多个模态的生理信号和情绪标注，用于评估多模态情绪识别模型的性能。

通过在这些数据集上的实验，本文验证了AT-PMF框架在情绪识别任务中的有效性。实验结果表明，该框架在分类准确性方面优于现有的方法，同时在参数数量上也具有优势。这表明，AT-PMF框架不仅能够提升模型的性能，还能在资源消耗方面表现出较高的效率。此外，实验结果还表明，每个模块在提升模型表现方面都具有重要作用，进一步验证了该框架的结构化设计的有效性。

本文的结构安排如下：第二章回顾了相关领域的研究进展；第三章介绍了所提出的多模态情绪识别方法的模型和理论；第四章讨论了实验设计、结果和分析；第五章总结了研究工作，并提出了未来的研究方向。通过这样的结构安排，本文系统地介绍了AT-PMF框架的设计思路、实现方法以及实验验证过程，为后续的研究提供了理论支持和实践指导。

在具体实现方面，AT-PMF框架通过分阶段的处理流程，逐步提升情绪识别的准确性。首先，通过专门的特征提取模块，将PPS和EEG信号转化为具有信息量的表示形式。其中，TCCE模块能够有效提升PPS信号的特征表达能力，而TCSA模块则能够捕捉EEG信号中的丰富时空模式。接着，通过对抗训练策略，将这些特征进行解耦，以区分互补性和一致性特征。这一过程不仅有助于提升多模态表示的多样性，还能强化共同模式，从而提升情绪识别的鲁棒性。最后，通过渐进式多模态融合策略，将解耦后的特征进行整合和优化，以生成更具判别力的情绪状态表示。这种分层融合策略能够有效捕捉局部和全局的交互关系，从而提升模型的整体性能。

在实验分析方面，本文在DEAP和MAHNOB-HCI数据集上进行了大量的对比和消融实验。实验结果表明，AT-PMF框架在分类准确性方面优于现有的方法，同时在参数数量上也表现出较高的效率。此外，实验结果还表明，每个模块在提升模型表现方面都具有重要作用，进一步验证了该框架的结构化设计的有效性。这些实验不仅为AT-PMF框架的性能提供了有力支持，也为未来的研究提供了方向。

总体而言，AT-PMF框架通过分阶段的处理流程，有效提升了多模态情绪识别的准确性。该框架不仅能够解决传统方法在特征提取和融合策略方面的不足，还能通过对抗训练策略，增强多模态表示的鲁棒性和判别能力。同时，该框架通过渐进式多模态融合策略，逐步整合和优化特征，从而生成更具判别力的情绪状态表示。这些创新点使得AT-PMF框架在多模态情绪识别任务中表现出色，为后续的研究提供了理论支持和实践指导。

此外，本文还探讨了未来的研究方向。随着多模态情绪识别技术的不断发展，未来的研究可能会更加关注如何进一步提升模型的泛化能力，以及如何在不同应用场景下优化多模态融合策略。例如，在智能人机交互系统中，如何将情绪识别结果与交互行为进行结合，以提升系统的智能化水平；在健康监测系统中，如何通过情绪识别技术，及时发现个体的情绪异常，以提供更精准的健康服务。这些未来的研究方向不仅能够拓展多模态情绪识别的应用范围，还能进一步提升其在实际场景中的表现。

在多模态情绪识别的研究中，如何平衡不同模态之间的贡献是一个重要的问题。本文通过引入对抗训练策略，有效解决了这一问题，使得EEG信号在多模态融合过程中能够发挥主导作用。这种设计不仅能够提升模型的性能，还能在资源消耗方面表现出较高的效率。此外，本文还通过结构化的三步流程，实现了有效的局部交互建模、互补性特征增强和一致性特征优化，进一步提升了模型的整体表现。

总的来说，本文提出的AT-PMF框架在多模态情绪识别任务中表现出色，为未来的研究提供了新的思路和方法。通过分阶段的处理流程，该框架能够有效提升模型的准确性，同时在资源消耗方面表现出较高的效率。这些创新点使得AT-PMF框架在多模态情绪识别领域具有重要的应用价值。