EmoKD：基于知识蒸馏的鲁棒多模态情感识别方法，适用于不完整模态数据

《Neurocomputing》：EmoKD: Robust multimodal emotion recognition with knowledge distillation for incomplete modalities

　　林雪卓|吴庆峰|张文中国福建省厦门市361005，厦门大学摘要多模态情感识别系统通常依赖于生理活动与面部行为等不同类型信号的联合使用。然而在现实的情感计算场景中，由于传感器故障、信号损坏或环境遮挡，常常会缺少一种或多种信号模式，这会导致系统性能大幅下降。针对信号不完整的情况，现有的处理方法主要分为两种范式：信号重建与鲁棒融合。前者试图恢复缺失的原始数据，但往往存在生成问题及语义漂移；后者则在架构层面提升了系统对缺失数据的容忍度，却可能无法保留从完整数据中学习到的跨模态区分结构。为解决这一难题，我们提出了EmoKD，这是一种用于处理信号不完整的多模态情感识别的、能够保持结构特征的知识蒸馏框架。EmoKD并非尝试重建缺失的原始信号，而是将完整模态多模态“教师”模型在潜在空间中的结构化区分知识传递给信号不完整的“学生”模型。具体而言，“教师”模型运用双向交叉注意力机制来建模脑电图的时空模式与面部行为动态之间的跨模态交互，而“学生”模型则通过结合分布对齐与基于原型的拓扑对齐的双层蒸馏策略进行优化。这样的设计使得单模态或部分模态模型不仅能继承预测结果，还能获得多模态表示空间中的类级几何结构。在SEED和EaV数据集上的大量实验表明，在信号缺失的情况下，EmoKD的性能始终优于常见的生成式及鲁棒融合基准方法。尤其是经过蒸馏后的学生模型在信号不完整的推理任务中表现出更高的准确率，证明了保持结构特征的知识传递对于实现强大的多模态情感识别具有重要作用。引言人类大脑本质上是一个具有强大适应能力的多模态学习系统，能够高精度地处理复杂的情感信号。近期研究强调了上下文信息在准确解码人类情感状态中的关键作用[1]。在认知神经科学领域，人们早已认识到，将内部生理状态（如神经振荡，详见[29]）与外部行为线索（如面部表情和眼动）相结合，是实现精确情感感知的基础[51][55]。最近的综述[62]以及系统级研究[61][64]进一步凸显了在现实环境中应用强大多模态情感识别所面临的实际挑战。此外，还有研究受到生物神经架构的启发，探索了分层感知机制[63]，以及基于张量的融合技术与自监督多任务处理方法[46]，这些都反映出人们为捕捉不同模态间的互补情感线索而不断尝试多样化的技术手段。在特征级处理方面，非局部注意力机制与多分支融合技术的进展[5]也体现了捕捉长距离依赖关系及跨尺度特征的重要性，而这些同样适用于多模态信号整合。生物神经网络的一个显著特点在于它们具有应对感官缺失的强适应性——即便某些感官输入暂时被遮挡或消失，它们仍能保持感知的准确性[30][35]。例如，在没有视觉接触的情况下听到声音时，大脑皮层会利用之前完整的感觉运动体验中建立的跨模态关联来推断缺失的语义信息[35]。然而，在人工神经网络中复制这种生物学的可塑性却是一项艰巨的任务。为克服单模态方法的局限性，Yilmaz等人[10]对基于脑电图的融合策略进行了全面总结，指出将生理信号与行为线索有效结合能够显著提升识别的鲁棒性。在现实的情感计算场景中，由于各种不可避免的环境因素，如信号损坏（例如肌肉伪迹污染脑电图记录）或传感器故障（例如监控视频流中的视觉遮挡）[53]，系统常常面临模态不完整的问题。与生物大脑不同，传统的深度融合模型往往缺乏补偿此类结构扰动所需的内在动态机制[3]。因此，当在模态不完整的条件下运行时，这些模型通常会出现性能大幅下降的情况，无法将从完整数据中学到的知识泛化应用。目前为解决模态不完整性问题而设计的计算方法主要遵循两种范式[53]，而这两种方法都存在理论上的局限。第一种范式是信号重建，它将问题视为一个生成任务，利用自编码器或扩散模型等架构，从部分输入中合成缺失的原始数据[47][57]。从学习理论的角度来看，从稀疏的生理信号中重建高维感官数据（如像素级的视频帧）属于一个病态的逆问题，因为从低维生理状态到复杂视觉场景的映射本质上是非唯一且具有随机性的。因此，这种生成过程常常会导致语义漂移——即合成数据虽然在统计上看似合理（即视觉上真实），但却无法保留用于准确情感分类的区分性语义特征[7]。第二种范式是鲁棒融合，它通过门控机制或零填充策略来绕过缺失的输入。虽然这种方法提高了计算效率，但它实际上忽略了跨模态流形结构。由于将这些缺失数据视为零值，这类方法无法利用那些对于区分细微情感状态至关重要的潜在协同知识，比如在高维特征空间中区分“平静”与“中性”。为克服基于重建和基于融合的方法的局限性，我们提出了EmoKD（情感知识蒸馏），这是一种受生物感知联想学习机制启发的框架。其核心思想是，处于模态不完整条件下的学生网络不应被迫重建缺失的原始感官信号，而应继承在完整数据上训练得到的多模态教师模型所学习的结构化区分知识。这样一来，模态缺失时的推理问题就被转化为潜在空间中的知识传递问题，而非原始输入的生成问题。具体而言，EmoKD构建了一个教师-学生框架，其中教师模型能够捕获来自完整脑电图-视频输入的高阶跨模态相关性，而学生模型则仅通过单模态或部分模态的观测数据来学习模仿教师的推理逻辑。这样的设计使得学生模型不仅能保持预测的一致性，还能保留教师模型多模态特征空间中的类级几何结构，从而减少因模态缺失而带来的语义模糊。这项工作的核心创新之处在于提出了一种用于处理信号不完整的多模态情感识别的、能够保持结构特征的知识蒸馏框架。EmoKD并非试图重建缺失的原始输入或简单忽略缺失的模态，而是将完整模态多模态教师模型所学到的结构化区分知识传递给信号不完整的 student模型。通过这种方式，该框架使得单模态或部分模态模型不仅能获得预测结果，还能拥有多模态表示空间中的类级几何结构。基于这一核心理念，这项工作的主要贡献有三点：•一种用于处理信号不完整情况的、能够保持结构特征的蒸馏范式：我们提出了EmoKD，这是一种专为处理信号不完整的情感识别而设计的知识蒸馏框架。与试图合成缺失原始信号的信号重建方法，以及主要在架构层面容忍缺失输入的鲁棒融合方法不同，EmoKD直接在潜在空间中将知识从完整模态的教师模型传递给信号不完整的student模型。这种设计为在模态缺失的情况下保留情感区分信息提供了更为精准的手段。•一种具备类级结构保持功能的多模态教师-学生设计：我们开发了一种配备多头双向交叉注意力机制的多模态教师模型，用以捕获脑电图的时空模式与面部行为动态之间的跨模态交互。在此基础上，我们引入了一种双层蒸馏策略，结合软目标分布对齐与基于原型的拓扑对齐，从而将预测结果以及多模态表示空间中的类级几何结构一并传递给信号不完整的student模型。•在完整与不完整场景下的全面实证验证：在SEED[59]和EaV[21]这两个基准数据集上进行的大量实验表明，EmoKD在完整模态与不完整模态场景下都具有出色的性能。实验结果显示，该框架不仅能够实现强大的多模态识别能力，还能持续提升单模态student模型的性能，使其优于直接接受监督训练的模型，从而证明了保持结构特征的蒸馏方法对于实现稳健的情感识别具有重要意义。总而言之，EmoKD的真正创新之处并不在于使用了知识蒸馏技术本身，而在于对其蒸馏目标的重新定义：它并非像基于关系的知识蒸馏那样传输批量实例间的关联，也不是像生成式插补那样重建缺失的输入，而是引入了类条件原型作为持久且与批次无关的蒸馏目标，这些原型能够体现完整模态教师模型的类级几何结构。正是这种机制层面的变革——而非对现有模块的简单工程组合——使得知识能够在模态边界之间实现稳定的传递。章节节选信号不完整情况下的学习范式在实际应用场景中，情感计算系统常常会遇到推理时数据不完整的问题，表现为特定输入通道出现随机性损坏或完全缺失。这种差异会导致训练数据与测试数据之间的分布出现显著偏移，可用公式表示为。从信号不完整学习的角度来看，现有的处理方法可以更清晰地划分为四种范式：生成式插补、鲁棒融合、方法论在本节中，我们将介绍所提出的EmoKD框架，其整体架构如图1所示。EmoKD通过两阶段的教师-学生学习范式来解决模态不完整的问题。在第一阶段，一个高性能的多模态教师模型会在完整的脑电图-视频输入数据上进行训练，以捕捉高阶跨模态交互，并构建出一个具有区分能力的多模态表示空间。在第二阶段，这些知识会被传递给结构较为轻量的单模态或部分模态模型实验为了严格评估EmoKD框架的有效性与鲁棒性，我们在两个代表不同情感激发方式的基准数据集上进行了大量实验。我们分析了在完整模态与不完整模态条件下的性能表现，通过消融实验验证了各项设计选择，可视化了特征分布，并对计算效率进行了全面分析。神经认知可解释性在总结EmoKD的更广泛意义之前，从认知神经科学的角度来解读这一框架是有意义的。我们的研究灵感来源于这样一个观察：在感官输入不完整的情况下，生物感知并不会在原始感官层面真正重建缺失的信号。相反，大脑会依靠基于先前完整体验建立的联想记忆与跨模态推理。从这个意义上说，EmoKD中的教师-学生设计可以被理解为CRediT作者贡献声明林雪卓：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究，形式分析，数据整理。吴庆峰：写作——审稿与编辑，资源获取，项目管理，数据整理。张文：写作——审稿与编辑，资源获取，项目管理，资金筹集。利益冲突声明作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：报告与某方的关系，其中包括：拥有某项待批专利。如果有其他作者，他们声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。致谢本研究得到了福建省自然科学基金的支持，项目编号为2024J01026。林雪卓拥有福州大学的学士学位，目前就读于厦门大学，攻读计算机科学技术硕士学位。她的研究兴趣包括多模态情感识别与情感计算领域。