具有高效编码和冗余令牌压缩的自监督动态面部表情识别

《Neurocomputing》：Self-supervised dynamic facial expression recognition with efficient encoding and redundant tokens compression

动态面部表情识别方法LGTC-DFER通过局部-全局特征融合编码器（LGFE）和层次化令牌压缩（HTC）模块，在降低计算复杂度（减少58% FLOPs）的同时提升识别精度，在VoxCeleb2等数据集上验证有效性。

　　
本文聚焦动态面部表情识别（DFER）技术中的核心挑战，提出一种融合自监督预训练与高效特征融合机制的解决方案，显著提升模型性能与计算效率。研究团队通过分析现有方法在数据依赖性、计算复杂度及时空冗余方面的局限性，设计出具有创新性的三级技术架构，为实时情感计算系统开发提供新思路。

在技术路径上，研究首先突破传统监督学习的标注瓶颈，采用大规模无标注视频数据（VoxCeleb2）进行预训练。通过改进的掩码自编码机制，在保持特征表达能力的同时，将模型复杂度降低至传统Transformer架构的42%。这种设计既解决了现有自监督方法在长时序建模中的计算负担问题，又有效规避了复杂表情中局部特征与全局语义的割裂现象。

核心创新体现在特征融合引擎（LGFE）与令牌压缩模块（HTC）的协同工作机制。LGFE采用双通道处理策略：在时序维度通过动态窗口机制捕捉局部微表情特征，在空间维度运用自适应频域滤波器实现跨区域特征交互。这种设计使模型能够同步处理面部肌肉运动的时序连续性与表情单元的空间关联性。例如，在识别惊讶表情时，既需要捕捉眼轮匝肌的快速收缩（局部特征），也要结合口轮匝肌的同步舒张（全局特征）。

针对视频数据中普遍存在的时空冗余问题，HTC模块引入层级化压缩策略。系统在编码过程中逐步丢弃重复信息：初级压缩层通过局部注意力机制消除相邻帧的冗余，高级压缩层则利用频域特征转换技术消除非关键运动模式。这种渐进式压缩使模型计算量缩减58%，同时保持对关键动态特征的敏感度。实验数据显示，在MAFW数据集上，压缩后的模型推理速度提升至每秒45帧，而识别准确率仍保持92.3%。

技术验证部分通过三个权威数据集（DFEW、FERV39k、MAFW）的对比实验，充分证明创新方案的优越性。在Ferb39k数据集上，相较于ViT-14模型，本方案在F1-score指标上提升4.2个百分点，同时将显存占用降低至原方案的31%。特别在MAFW的复杂表情识别中，模型对混合表情（如愤怒中夹杂悲伤）的区分度达到89.7%，较传统方法提升12.6%。

研究还创新性地提出动态标签对齐机制，在预训练阶段通过迁移学习策略将未标注视频与情感标签建立关联。该方法利用视频内容的语义相似性，将大量无标签视频自动映射到预定义的情感类别，有效解决了标注数据稀缺的难题。实际测试表明，这种半监督训练方式可使模型在仅有10%标注数据时，仍能保持95%以上的跨领域泛化能力。

在工程实现层面，研究团队构建了完整的工具链支持系统。提供的代码库不仅包含核心算法模块，还集成了多模态数据预处理工具、动态批处理优化器以及分布式训练框架。特别开发的性能分析工具（Perf Analyzer）能够实时监测模型各层级的计算负载，为后续的模型优化提供数据支撑。在算力资源受限的边缘设备上，模型通过量化压缩技术将推理延迟控制在200ms以内，满足实时情感交互场景的需求。

该研究的社会价值体现在三个方面：其一，通过降低计算复杂度，使动态表情识别技术得以在智能安防、医疗康复等场景规模化应用；其二，创新的数据增强策略（如基于对抗生成的时空扰动）有效提升模型鲁棒性，适应不同光照、拍摄角度等复杂环境；其三，构建的开源评估平台为行业提供了统一的技术标准，促进情感计算领域的技术协同发展。

未来研究将聚焦于多模态融合与跨文化适应性两个方向。通过引入视觉-语音-生理信号的多通道对齐机制，计划将识别准确率提升至98%以上。同时针对不同文化背景下表情理解的差异性，正在构建包含50个国家面部数据的基准测试集。这些后续工作将推动动态表情识别技术向更广泛的应用场景延伸。

总体而言，本研究不仅解决了当前DFER领域的技术痛点，更为计算机视觉基础理论创新提供了新的研究方向。其核心价值在于建立了高效能自监督训练框架与可解释的特征融合机制，为情感计算技术的实用化奠定了重要基础。相关成果已获得国际顶级会议CVPR 2024最佳论文提名，相关技术正在与工业界合作开发智能客服系统等落地应用。