《Alexandria Engineering Journal》：High-performance contrastive learning and ensemble swin transformers for scalable pose-invariant facial expression recognition
编辑推荐：
虚拟和增强现实环境中对无缝和直观交互的需求日益增长，极大地加速了面部表情识别（Facial Expression Recognition, FER）领域的进展。虽然卷积神经网络（Convolutional Neural Networks, CNNs）在FER中
虚拟和增强现实环境中对无缝和直观交互的需求日益增长，极大地加速了面部表情识别（Facial Expression Recognition, FER）领域的进展。虽然卷积神经网络（Convolutional Neural Networks, CNNs）在FER中已显示出有效性，但姿态变化、计算复杂度和可扩展性等挑战仍阻碍其实世界部署。在本研究中，研究人员提出了一种基于高性能计算（High Performance Computing, HPC）的姿势感知FER框架（HPC_FER），该框架通过大规模并行计算集成了对比学习（Contrastive Learning）和Swin变换器（Swin Transformers），以提高识别精度和计算效率。所提出的双分支混合架构通过预训练CNN进行局部特征提取，并通过Swin变换器进行全局上下文建模。为确保姿态不变性和鲁棒泛化，姿势感知的对比学习将不同头部朝向的表达嵌入对齐，同时堆叠神经网络集成（Stacked Neural Network Ensemble, SNNE）使用置信度和姿势感知权重动态融合多个基于变换器的分类器。空间变换网络（Spatial Transformer Networks, STNs）进一步改善了极端姿态变化下的面部对齐。为解决该架构的高计算需求，研究人员集成了MPI用于分布式集群训练、OpenMP用于优化的多线程CPU执行，以及基于CUDA的GPU加速，实现了可扩展的大规模并行学习和实时推理。在RAF-DB数据集上的实验评估表明，所提出的方案达到了97.2%的最先进精度，同时显著减少了训练和推理时间，突显了其在沉浸式虚拟和增强现实系统中用于现实世界高吞吐量应用的强大潜力。
**论文解读：基于高性能并行计算与混合深度学习的姿态不变面部表情识别框架**
**一、研究背景、问题与意义**
随着虚拟现实（Virtual Reality, VR）和增强现实（Augmented Reality, AR）技术的快速发展，对无缝、直观人机交互的需求日益迫切，面部表情识别（Facial Expression Recognition, FER）作为关键感知技术，受到广泛关注。传统卷积神经网络（Convolutional Neural Networks, CNNs）在FER任务中虽已取得良好效果，但面对真实世界中常见的头部姿态变化、计算复杂度和可扩展性瓶颈，其性能显著下降。具体而言，姿态变化会导致面部关键特征（如眼睛、嘴、眉毛）的空间构型扭曲或部分遮挡，手工特征与深度特征均难以保持判别力；同时，现有数据集多偏向正面或近正面姿态，缺乏多姿态样本，限制了模型泛化能力；此外，姿态估计误差会直接传播至下游识别任务，加剧分类错误。为解决上述问题，研究人员提出了一种基于高性能计算（High Performance Computing, HPC）的姿态感知FER框架（HPC_FER），集成对比学习、Swin变换器及三级并行计算技术，旨在在保证高识别精度的同时，大幅提升计算效率与可扩展性。该研究发表在《Alexandria Engineering Journal》上，为多姿态、高吞吐量的人机交互系统（如VR/AR）提供了新的解决方案。
**二、主要关键技术与方法**
研究人员为构建HPC_FER框架，采用了以下关键技术方法：1) **三级并行计算架构**：利用MPI（Message Passing Interface）进行集群级分布式训练与梯度同步，OpenMP实现节点内多线程CPU预处理与集成融合，CUDA则加速GPU上的深度神经网络前向传播、STN变换及对比学习算子；2) **双分支混合特征提取**：预训练CNN（ResNet-50, EfficientNet-B7）提取局部纹理特征，Swin Transformers通过移位窗口自注意力机制建模全局上下文依赖；3) **姿态感知对比学习**：采用SimCLR和MoCo框架，将不同头部朝向下的同一表情嵌入对齐，增强姿态不变性；4) **空间变换网络（STN）**：学习仿射变换参数，对输入图像进行动态几何对齐，矫正极端姿态偏差；5) **堆叠神经网络集成（SNNE）**：动态融合多个基于变换器的分类器输出，根据置信度与姿态信息自适应加权；6) **XGBoost分类器**：作为最终分类器，处理非线性特征交互；7) **GAN数据增强**：生成合成样本，缓解过拟合，丰富多姿态数据。数据集采用Radboud Faces Database（RaFD），包含8640张高分辨率图像，涵盖57名参与者、8种基本表情及5种头部姿态（±90°, ±45°, 0°）。
**三、研究结果**
**3.1 整体分类精度**
在RaFD数据集上，采用PCA特征与400个SNNE基学习器，HPC_FER达到97.2%的顶尖准确率，显著优于传统PCA-400和HOG-400基线（分别约90%和88%）。消融实验表明，去除Swin Transformer模块导致准确率下降3.1%，去除对比学习则下降2.4%，证实了各模块的有效性。
**3.2 不同姿态下的性能**
- **正面姿态（0°）**：XGBoost分类器平均准确率达97.8%，优于KNN（92.4%）和SVM（90.2%）。
- **左侧姿态（-45°）**：SNNE-400配置下XGBoost达96.8%，KNN和SVM分别为92.1%和89.4%。
- **左侧极端姿态（-90°）**：XGBoost仍保持95.2%，KNN和SVM降为90.8%和88.0%。
- **右侧姿态（+45°）**：400 SNNE下XGBoost达96.5%，KNN和SVM为91.3%和88.0%。
- **右侧极端姿态（+90°）**：XGBoost达96.9%，KNN和SVM为90.5%和87.2%。
结果表明，HPC_FER在极端姿态下仍保持高识别率，XGBoost始终优于传统分类器。
**3.3 不同SNNE深度的影响**
400个SNNE深度配置平均准确率最高（97.2%），320个为95.6%，240个为93.1%，说明更深集成可提升泛化能力。
**3.4 表情识别分析**
Happiness和Surprise在所有姿态下准确率均超过96%，Fear和Contempt在极端姿态下表现最差（最低分别89%和90%），但相较基线仍有显著提升。
**3.5 与现有方法对比**
与TriCAFFNet（92.17%）、FER-Former（未提供精确值）、VTFF（88.14% on RAF-DB）相比，HPC_FER均取得更优或持平结果，且计算效率更高。
**四、讨论与结论**
**讨论总结**：
HPC_FER的优势在于其融合对比学习与Swin Transformer的混合特征表示，能有效编码局部细节与全局结构，并通过自适应集成机制动态调整分类器权重。与依赖手工特征或固定预训练提取器的现有方法相比，框架在多姿态、遮挡及光照变化下表现出更强的鲁棒性。此外，轻量级二值神经网络集成与三级并行计算架构使系统在实时性与可解释性间取得平衡，适用于人机交互、医疗保健、教育等场景。但微表情识别及跨文化大尺度数据集上的泛化仍有待提升。
**研究结论翻译**：
在本研究中，研究人员引入了HPC-FER，一个高性能、姿态感知的面部表情识别框架，它集成了对比学习、基于Swin Transformer的全局上下文建模，以及结合XGBoost的堆叠集成学习。在RaFD数据集上的实验结果确认，HPC-FER达到了97.2%的顶尖准确率，显著优于现有FER模型如TriCAFFNet、FER-Former和Visual Transformers with Feature Fusion。这一改进的主要原因是对比预训练（SimCLR和MoCo）增强了类内紧凑性并最大化类间可分性，从而在极端姿态变化（±90°）、遮挡和光照变化下实现可靠识别。与依赖HOG或PCA等手工特征的传统方法不同，HPC-FER融合了从ResNet-50、EfficientNet-B7和Swin Transformer提取的层次化深度特征，确保了局部纹理与全局结构的均衡表示。自适应堆叠集成机制通过XGBoost对姿态特定预测进行动态加权，进一步优化了分类，其表现优于SVM和KNN等传统分类器。值得注意的是，在基线系统中常被误分类的Fear和Contempt等困难表情，在框架内获得了更高的识别率，而Happiness和Surprise等更明显的表情在所有姿态下准确率均超过96%。HPC-FER的一个关键优势在于其泛化性和可扩展性。通过集成空间变换网络（STN）进行姿态引导对齐，并在集成中利用轻量级二值神经网络，该框架实现了计算效率与可解释性的平衡，使其适用于实时应用。这种平衡在人机交互、医疗保健、教育、行为分析和情感计算等需要可靠情绪识别的领域尤为宝贵。总之，HPC-FER通过结合Transformer驱动的特征建模、对比学习和自适应集成融合，为多姿态面部表情识别树立了新基准。虽然模型表现出稳健性能，未来工作将聚焦于解决微表情和细微情绪线索识别的剩余挑战，并将框架扩展到跨文化和大规模野外数据集。总体而言，HPC-FER为下一代智能、情感感知系统的开发提供了一条可扩展、准确且可解释的路径。
