FER-FL: 异构环境下面部表情识别的鲁棒联邦学习

《Pattern Recognition》：FER-FL: Robust federated learning for facial expression recognition in heterogeneous environments

　　

研究人员引入了一种用于面部表情识别的联邦学习框架。FER-FL 解决了联邦面部表情学习中的非独立同分布（non-IID）挑战。客户端原始-对偶更新减少了漂移并稳定了局部训练。使用公共数据的服务器微调提高了全局准确性和鲁棒性。FER-FL 在三个面部表情识别（FER）数据集上优于最先进的联邦学习（FL）方法。

### 论文解读：FER-FL——面向异构环境下面部表情识别的鲁棒联邦学习

#### 研究背景与问题
面部表情识别（Facial Expression Recognition, FER）旨在从面部图像自动推断人类情感状态，是计算机视觉和情感计算的核心问题。深度学习驱动的FER系统在智能监控、人机交互、虚拟助手、医疗健康和心理健康评估等领域展现出巨大潜力。然而，实际部署FER面临三大挑战：首先，敏感面部数据的集中收集受隐私法规和伦理限制，难以大规模汇聚；其次，面部表情受年龄、性别、种族、姿态、光照和个体表达风格影响，导致数据在不同用户和设备间高度异质（非独立同分布，non-IID）；最后，现有深层次视觉模型对细微类间差异和类别不平衡敏感。联邦学习（Federated Learning, FL）允许多个客户端协作训练模型而不共享原始图像，为隐私保护提供了新范式，但直接应用通用FL方法（如FedAvg、SCAFFOLD、FedDyn）到FER时，客户端标签分布严重倾斜和身份特异性模式导致“客户端漂移”问题，全局模型收敛慢、不稳定，且对少样本情感类别表现不佳。因此，亟需一种专门针对FER异构特征的联邦优化框架。

#### 研究内容与结论
研究人员提出了FER-FL，一个专门用于异构客户端分布下面部表情识别的联邦学习框架。FER-FL在客户端侧引入方差缩减的原始-对偶（primal-dual）更新机制，以减少客户端漂移并调节局部-全局差异；在服务器侧利用公共数据集进行全局决策边界校准。通过在FERPlus、RAF-DB和FER2013三个基准数据集上，对比七种先进FL方法（FedAvg、SCAFFOLD、FedDyn、FedCM、FedSpeed、FedGamma、FedGloss）的实验，FER-FL在Top-1准确率、收敛速度、计算效率和类别级性能上均取得一致提升。该研究强调了在联邦FER中处理表达模糊性、类别不平衡、身份偏差和局部-全局失配的重要性，为隐私敏感场景下的FER部署提供了有效方案。论文发表在《Pattern Recognition》上。

#### 关键技术方法
FER-FL的核心方法包括两个模块：**客户端方差缩减原始-对偶局部优化**，其中包含梯度校正项（基于历史更新与平均更新的偏差）和客户端对偶变量（惩罚局部模型与全局模型的差异），两者共同抑制客户端漂移；**服务器端公共数据校准**，使用一个来自AffectNet的小型公共代理数据集（表1），通过知识蒸馏（KL散度最小化）将客户端预测集成共识传递给全局模型，细化决策边界。公共数据集仅用于服务器，不参与客户端训练，且与测试集无重叠。

#### 研究结果
**5.1 与先进方法比较**：在40%客户端参与率下，FER-FL在FERPlus上比FedAvg高6.6%–7.0%，在RAF-DB上高3.6%–5.3%；在80%参与率下，依然保持最佳，相对于FedGamma和FedGloss提升约0.3%–0.7%。在更高异质性D1设置下，FER-FL的标准差更小，表明训练稳定性增强。

**5.2 收敛与计算效率**：FER-FL达到目标准确率所需通信轮次最少，例如FERPlus D2 40%参与率下，FER-FL仅需165轮，而FedAvg在500轮内未达标，SCAFFOLD需276轮。尽管每轮耗时略高于FedAvg，但总训练时间最短，体现了收敛速度与计算开销的权衡优势。

**5.3 细粒度性能分析**：在FERPlus上，FER-FL显著提升了“Contempt”（61.5%）和“Fear”（59.4%）等困难类别的识别率，混淆矩阵显示其更好地区分了“Fear”与“Surprise”等语义相似表情。Macro-F1分数达到67.7%，证明其对多数类和少数类均有平衡改进。

**5.4 公共代理数据分析**：与添加知识蒸馏（KD）的基线（FedAvg+KD等）相比，FER-FL仍高出0.86%–3.05%，表明增益不仅来自公共数据。代理数据规模从5%增至100%时，准确率从63.45%升至66.79%，但50%后收益递减，说明FER-FL对公共数据规模不敏感。

**5.5 敏感性分析**：参与率从0.2增至1.0时准确率提升，但0.8后趋于饱和；局部间隔从1到20变化时，FER-FL性能相对稳定，证明漂移控制机制有效。超参数α=0.1和τ=4时达到最优，过大或过小均导致性能下降。

**5.6 消融研究**：移除梯度校正（GC）后准确率下降至64.13%，移除对偶正则化（DR）后降至59.18%，移除公共校准后降至63.05%，完整FER-FL达66.79%且收敛最快（165轮），表明三个组件共同提升准确率和收敛效率。

#### 讨论与结论
讨论部分指出，FER-FL在准确率、收敛速度和类别级性能上均优于现有方法，但存在局限性：服务器校准依赖公共代理数据集，当代理数据域严重不匹配时效果可能下降；模型更新仍可能泄露信息，实际部署需结合安全聚合、差分隐私或加密协议；客户端对偶变量增加本地存储，服务器校准带来额外计算，未来需针对资源受限设备优化。结论部分翻译如下：本文提出了FER-FL，一个用于异构客户端数据下面部表情识别的联邦学习框架。FER-FL将方差缩减的原始-对偶局部优化与服务器侧公共数据校准相结合。客户端更新减少了由非独立同分布局部面部数据引起的漂移，而服务器校准在不要求客户端共享原始面部图像的情况下细化全局决策边界。在FERPlus、RAF-DB和FER2013上的大量实验表明，FER-FL在Top-1准确率、收敛速度、计算效率和类别级识别性能上持续提升。与公共数据增强基线的公平比较以及公共数据敏感性分析进一步表明，性能提升并非仅源于公共代理数据的使用。对于FER和模式识别领域，FER-FL强调了在联邦FER中处理表达模糊性、类别不平衡、身份偏差和局部-全局失配的重要性。