面部情绪识别数据集的三轴偏差量化与跨数据集泛化能力分析

《Scientific Reports》：Bias quantification across demographic, visual-condition, and generalization axes in facial emotion recognition datasets

　　面部情绪识别（FER）是情感计算的基础。随着自主系统和多模态系统越来越依赖FER进行情感推断，其公平性严重依赖于训练基准——然而，现有FER数据集的系统偏差尚未得到充分研究。本文对跨越约二十年的公开FER数据集进行了全面的偏差量化分析。我们提出了一种三轴偏差分类体系，涵盖人口统计变量（性别、种族和年龄）、视觉条件变量（照明和遮挡）以及跨数据集泛化能力——据我们所知，这是首个细粒度的三轴FER偏差量化研究。我们设计了一条少样本混合标注流水线，并通过标注者间一致性验证，在大规模上统一了所有十个基准的元数据。实验发现，尽管人口统计偏差普遍存在——13至35岁男性群体平均覆盖超过60%的标注样本，且白人和亚裔子群体占主导地位——但视觉条件偏差更为严重：在大多数数据集中，"光线充足"和"无遮挡"的面部样本总共占超过80%，对"光线昏暗"和遮挡子群体的FER表现产生了负面影响。此外，在所有十个基准上进行的留一数据集实验表明，跨数据集泛化能力在三个轴上严重且不均匀地退化：在分布偏移下，人口统计属性的绝对准确率平均下降13.04%（其中年龄属性的相对损失高达26.38%，是最不可迁移的属性），而视觉条件属性的退化幅度不到0.1%。这种不对称性还受到数据采集机制的影响，摆拍到摆拍以及野外采集到野外采集的迁移表现始终优于跨机制迁移，表明基准层面的偏差对标注者在三个轴上的迁移能力产生了不均匀的影响。