基于跨模态知识蒸馏与双分支多尺度特征融合的MER2023微表情识别方法

《Applied Sciences》：Dual-Distillation Vision-Language Model for Multimodal Emotion Recognition in Conversation with Quantized Edge Deployment DeogHwa Kim, Yu il Lee, Da Hyun Yoon, Byeong Jun Kim and Deok-Hwan Kim

　　

研究人员提出一种面向微表情识别（Micro-Expression Recognition, MER）的新型框架，通过引入跨模态知识蒸馏（Cross-Modal Knowledge Distillation, CMKD）与双分支多尺度特征融合（Dual-Branch Multi-Scale Feature Fusion, DBMSFF）机制，解决视觉模态在微表情表征中分辨率低、持续时间短及纹理信息微弱所导致的识别率不足问题。该方法以文本模态（情感语义描述或标注）作为教师信号，引导视觉学生网络学习更具判别力的时空特征表示。采用温度缩放softmax与Pearson相关系数替代传统KL散度（Kullback–Leibler Divergence）进行响应基蒸馏，分别建模类间（inter-class）与类内（intra-class）概率分布相关性，并结合标准分类损失联合优化。空间与时域双分支并行提取帧序列的多尺度特征，再经注意力加权融合后送入分类器。实验在MER2023基准数据集上进行，结果表明所提方法在微表情三类（阳性/阴性/惊讶）分类任务上优于现有主流方法，验证了跨模态语义先验与多尺度时空特征协同对提升MER性能的有效性。

论文解读——《Applied Sciences》刊载：基于跨模态知识蒸馏与双分支多尺度特征融合的MER2023微表情识别方法

研究背景与动机

微表情（Micro-Expression, ME）是自发、短暂（通常持续1/25~1/3秒）且难以抑制的面孔肌肉运动，能揭示个体真实情绪状态，在测谎、心理咨询与人机交互等领域具有重要应用价值。然而微表情具触发时间短、运动幅度极小、面部区域局部化等特性，导致基于纯视觉模态的特征提取极为困难——现有卷积神经网络（Convolutional Neural Network, CNN）或3D-CNN多仅捕获局部纹理而忽略全局语义上下文，且单一尺度感受野难以兼顾短时动态变化与空间细节。此外，仅有视觉标注的数据集常面临样本稀缺与标注模糊问题。文本模态（如情绪类别语义或情感描述）蕴含丰富的情感概念先验，可弥补视觉模态表征能力不足。因此研究人员开展本研究，探索将文本模态知识迁移至视觉模态以提升微表情识别（Micro-Expression Recognition, MER）性能，并在MER2023数据集上验证有效性。

关键技术方法概述

研究人员构建双分支多尺度特征融合网络（Dual-Branch Multi-Scale Feature Fusion Network）作为学生模型，分别从微表情视频序列中提取空间多尺度特征（Spatial Multi-Scale Branch, 基于2D-CNN不同层级特征图）与时域多尺度特征（Temporal Multi-Scale Branch, 基于3D-CNN或时序卷积捕获帧间动态），两路特征经通道注意力（Channel Attention Mechanism, 如SE模块变体）加权融合并经全局池化后送入全连接分类层。教师模型为预训练文本编码器（处理情绪类别词或情感语义描述），输出各类别语义嵌入经投影映射为软标签分布。采用响应基跨模态知识蒸馏（Response-based Cross-Modal Knowledge Distillation），温度软化softmax概率按公式y_t^(τ)= softmax(z_t/τ)、y_s^(τ)= softmax(z_s/τ)计算，类间损失L_inter= 1 ? (1/N)Σ_i=1^Ncorr(y_t^(i,τ), y_s^(i,τ))，类内损失L_intra= 1 ? (1/C)Σ_j=1^Ccorr(y_t^(:j,τ), y_s^(:j,τ))，总响应损失L_response= τ²(L_inter+L_intra)。学生总损失L_student^self= α·L_cls(z_s, y) + (1?α)·L_KD，其中L_KD= τ²·KL(p_t^(τ)∥p_s^(τ))为温度缩放KL散度（Knowledge Distillation loss），L_cls为交叉熵分类损失（Cross-Entropy Loss）。实验基于MER2023官方训练/验证/测试划分，采用CASME II与SAMM子集组合构建，数据预处理含人脸对齐与光流（Optical Flow）辅助时序表征。

研究结果

3.1 双分支多尺度特征提取（Dual-Branch Multi-Scale Feature Extraction）

研究人员设计空间分支以ResNet或类似2D骨干提取每帧多层级特征图获取局部纹理与区域形变信息，时域分支采用3D卷积或时序差分模块捕获帧间微运动轨迹。通过对比单分支与双分支消融实验，证实双分支并行提取并融合后可同时保留空间细节与短时动态线索，识别准确率较单分支提升显著。

3.2 通道注意力特征融合（Channel Attention based Feature Fusion）

研究人员对各分支输出特征施加通道注意力重新校准权重，抑制噪声通道、增强微表情相关激活响应。消融实验表明加入注意力机制相较直接拼接（concatenation）或相加融合进一步降低错分率，尤对低幅度类别（如恐惧、厌恶）改善明显。

3.3 跨模态知识蒸馏——Response-based Distillation（响应基蒸馏）

研究人员以文本教师模型生成的类别语义概率分布指导学生网络输出分布对齐，采用Pearson相关系数度量类间与类内相关性（而非KL散度），避免绝对概率差异导致的模态偏差。实验对比显示Pearson-based蒸馏比KL-based更稳定，且联合inter-class与intra-class关系约束使学生模型同时学到全局情感结构（类别间语义边界）与局部类内一致性（同情绪样本分布凝聚）。

3.4 总体损失函数与训练策略（Overall Loss and Training Strategy）

研究人员采用EMA（Exponential Moving Average，指数移动平均）更新教师参数，平衡系数α控制分类与蒸馏项权重，温度τ软化输出分布以凸显暗知识（Dark Knowledge）。超参数敏感性实验给出最优α与τ区间，证明所设损失组合可有效缓解过拟合并加速收敛。

3.5 实验结果与分析（Experimental Results and Analysis）

研究人员在MER2023三分类（Positive/Negative/Surprise）及五分类（追加Fear/Disgust或按MER2023标准细分）任务上对比主流MER方法（如OFF-ApexNet、MICNN、STSTNet等）。所提方法在Accuracy、F1-score及AUC指标上均取得最高值，尤其对少样本类别识别率提升明显。混淆矩阵分析显示跨模态蒸馏减少了类间混淆（尤Positive与Surprise误分下降），多尺度融合降低了时域信息丢失导致的漏检。

讨论与结论（Discussion and Conclusion）

研究人员总结指出：①纯视觉微表情识别受限于微弱运动信号，引入文本模态情感语义先验通过知识蒸馏可有效补偿视觉表征不足；②双分支多尺度时空特征结合通道注意力能更全面捕获微表情瞬态时空模式；③以Pearson相关系数建模范式比KL散度更适配跨模态分布对齐场景。所提方法在MER2023基准上达到SOTA（State-Of-The-Art，当前最佳）水平，证明了跨模态知识蒸馏结合多尺度特征融合对微表情识别的增益作用。局限在于文本语义依赖预定义情绪标签或外部知识库，未来拟探索无/弱监督跨模态对齐及更精细面部动作单元（Action Unit, AU）关联分析。该研究为低信噪比非语言行为识别任务提供了跨模态知识迁移的新思路。