《Electronics》：Unifying Inconsistent Emotion Labeling Criteria Across Datasets via Prototype-Guided Multimodal Alignment for Facial Expression Recognition
编辑推荐：
面部表情识别（Facial Expression Recognition，FER）在人机交互（Human–Computer Interaction）与情感计算（Affective Computing）中具有重要作用。尽管将多个FER数据集结合进行联合训练有望提
面部表情识别（Facial Expression Recognition，FER）在人机交互（Human–Computer Interaction）与情感计算（Affective Computing）中具有重要作用。尽管将多个FER数据集结合进行联合训练有望提升模型泛化能力，但跨数据集情绪标注准则不一致的问题对其形成了明显制约。为解决这一问题，研究人员提出了一种面向多数据集FER的原型引导多模态对齐联合训练框架。该方法的核心思想是：利用视觉—语言模型（Vision–Language Models，VLMs）从目标数据集中学习得到的图像—文本对齐知识，作为跨数据集统一的情绪标注准则；同时从视觉特征中构建原型（prototype），将其作为潜在空间中的情绪锚点，以实现可靠的特征对齐。基于语义预测、原型距离预测以及辅助标签三者之间的一致性，方法从辅助数据中筛选出语义一致的辅助样本，并在统一标注准则下进行联合训练。大量实验表明，所提出框架在采用表征修正模块（Amending Representation Module，ARM）作为骨干网络时，在RAF-DB数据集上达到93.74%的准确率，在CAER-S数据集上达到98.31%的准确率，取得了当前最优（state-of-the-art）性能。实验结果表明，在跨数据集场景下建立语义一致的标注准则，是实现多数据集FER学习的有效策略。
该文发表于《Electronics》，聚焦于面部表情识别（Facial Expression Recognition，FER）中一个基础但长期未被充分解决的问题：不同数据集之间的情绪标注准则不一致。传统深度学习FER模型通常依赖大规模高质量标注数据，而多数据集联合训练本应能够扩展样本多样性、增强模型泛化能力，但现实中不同数据集在采集环境、标注协议、文化背景、标注主体主观性以及人群属性等方面存在显著差异，导致相同或近似的表情在不同数据集中可能被赋予冲突的情绪类别标签。这种跨数据集语义不一致会直接削弱简单拼接数据集或常规迁移学习方法的效果，甚至可能降低识别性能。因此，如何在多数据集FER学习中建立统一、可靠的标注准则，成为提升联合训练有效性的关键问题。
围绕这一问题，研究人员提出了原型引导多模态对齐联合训练框架（Prototype-Guided Multimodal Alignment Joint Training，PMAJT）。该框架的基本思想是，不再将离散情绪标签仅视作独立类别编号，而是将其看作与面部视觉外观相对应的语义描述，并利用视觉—语言模型（Vision–Language Model，VLM）中的图像—文本共享语义空间来表征目标数据集的标注准则。研究中首先在目标数据集上微调基于CLIP的模型，使其学习面部图像与情绪文本描述之间的判别性对齐关系；同时依据目标数据集视觉特征的类均值构建情绪类别原型，作为潜在特征空间中的几何锚点。随后，将该已学习到的目标标注准则迁移到辅助数据集，对辅助样本分别生成基于图像—文本余弦相似度的语义预测，以及基于马氏距离（Mahalanobis distance）的原型距离预测，并结合辅助数据原始标签进行一致性筛选，构建与目标数据集标注准则相一致的辅助子集。最后，在目标数据集和筛选后的辅助子集上进行联合训练，以提升目标任务FER模型的性能。
从研究意义上看，该工作并未停留于一般性的“噪声标签处理”或“跨域适应”层面，而是更具体地针对“跨异构FER数据集标注准则不一致”这一核心障碍，提出了兼具语义建模与几何约束的解决方案。其主要创新在于：以CLIP图像—文本对齐知识作为统一情绪语义标准；以类别原型稳定特征分布、增强类内紧致性和类间可分性；通过双重预测互补机制筛选语义一致的辅助样本，从而实现真正意义上“准则统一”后的多数据集联合学习。实验结果显示，该方法在RAF-DB和CAER-S两个目标数据集上均优于已有方法，证明建立语义一致标注准则是提高多数据集FER学习效果的有效路径。
方法上，研究使用RAF-DB或CAER-S作为目标数据集，AffectNet作为辅助数据集，三者共享七种基本表情类别。技术流程主要包括三步：其一，在目标数据集上微调CLIP ViT-B/32，仅训练视觉编码器、冻结文本编码器，通过监督式对称对比损失学习图像—文本多模态对齐，并以指数滑动平均（EMA）更新类别原型；其二，在辅助数据集上用冻结编码器计算语义预测与基于马氏距离的原型预测，按“任一预测与原标签一致”原则筛选辅助样本；其三，采用ResNet-18或ARM作为FER骨干网络，在目标集上预热训练后，再按设定频率引入筛选后的辅助子集进行交替联合训练。
以下依据原文结果部分的小标题，对论文主体内容进行凝练解读。
4.1. Datasets
研究在三个常用“自然场景”FER数据集上开展实验：RAF-DB、CAER-S和AffectNet。RAF-DB包含30,000幅面部图像，实验使用其中七类基本情绪对应的12,271个训练样本与3068个测试样本；CAER-S包含68,771幅图像，其中训练集48,170个样本、测试集20,601个样本；AffectNet原始标注规模更大，研究仅使用与前两者一致的七类基本表情，共283,721个训练样本，不使用其测试集。数据集设定表明，该工作主要考察在共享标签空间下，如何从大规模辅助集AffectNet中筛出与目标集标注准则一致的样本，以改进目标FER性能。
4.2. Implementation Details
实验中，目标数据集采用RAF-DB或CAER-S，辅助数据集固定为AffectNet。研究人员对输入面部图像进行了对齐、裁剪、缩放与标准化处理，并采用随机水平翻转、随机擦除等增强方式。Step 1中使用CLIP ViT-B/32在目标集上进行20个epoch微调，得到多模态对齐模型和类别原型；Step 2对AffectNet所有辅助图像执行一次离线前向计算，完成样本筛选；Step 3中使用ResNet-18或ARM作为最终FER骨干网络进行160个epoch训练。值得注意的是，最终推理模型不包含CLIP分支，因此该方法不会增加推理阶段的额外开销。
4.3. Comparisons with Other FER Methods
在与现有FER方法比较时，PMAJT表现出明显优势。以RAF-DB为目标数据集、ARM为骨干时，方法取得93.74%的总体准确率和88.58%的平均类别准确率，优于单数据集训练方法、辅助集预训练方法以及其他多数据集联合训练方法。与仅在RAF-DB上训练ARM得到的90.42%准确率相比，性能提升显著，说明经筛选的辅助样本能够提供有效补充监督。与DCJT、SSPA-JT等多数据集联合训练方法相比，PMAJT仍取得更优结果，表明其优势并非单纯来源于额外数据量，而在于通过图像—文本对齐显式学习目标数据集的标注准则，并在统一准则下选择语义一致样本。以CAER-S为目标集时，采用ARM骨干可达到98.31%的准确率，同样优于比较方法，进一步说明该框架在不同目标数据集上均具有稳定有效性。
4.4. Confusion Matrix Analysis
混淆矩阵分析进一步揭示了类别层面的判别性能。在RAF-DB上，Happy与Neutral分别达到97.30%和99.12%的识别率，显示学习到的特征空间具有较清晰的语义边界；剩余混淆主要集中于Disgusted与Sad、Fearful与Surprised之间，与人类感知中这些表情的肌肉模式重叠相一致。在CAER-S上，七个类别的识别率均超过92%，其中Surprised、Fearful和Disgusted接近完美识别，说明方法在复杂上下文变化条件下也能保持较强稳定性。该部分结果支持了语义—几何一致性对齐确实提升了整体及类别级识别能力。
4.5. Ablation Study
消融实验系统验证了各组成模块的贡献。
4.5.1. Effectiveness of Alignment Modules
在RAF-DB上，逐步加入联合训练（JT）、多模态对齐（MA）和原型一致性对齐（ProtoCA）均带来持续性能提升。JT相较基线已能改善结果，说明筛选后的辅助子集具有训练价值；MA进一步提升准确率，证明图像—文本语义对齐有助于降低跨数据集语义不一致；加入ProtoCA后，ResNet-18和ARM均再获增益，表明原型几何约束能够稳定类内结构并扩大类间间隔。该结果说明三者具有互补性，共同构成PMAJT性能提升的关键基础。
4.5.2. Effectiveness of Auxiliary Subset Construction Strategies
在辅助子集构建方面，研究分别考察了基于语义预测的子集、基于原型预测的子集，以及两者并集。以RAF-DB为目标集时，基于语义预测可从AffectNet保留172,202个样本，基于原型预测保留169,480个样本，两者并集为189,884个样本，占辅助集的66.9%。换言之，约33.1%的辅助样本与两种准则均不一致，定量验证了跨数据集标注准则不一致问题的客观存在。实验还表明，单独使用任一种预测筛样都优于仅用目标集训练，而两者并集效果最佳，说明语义预测与原型预测确实提供了互补信息。
4.5.3. Effectiveness of Loss Functions
针对损失函数的分析显示，仅使用对比损失
Lcon即可通过增强语义判别性而提高性能；仅使用原型一致性损失
Lpro也可促进特征向类别原型聚集，但由于缺乏显式语义监督，性能相对较低。联合优化两种损失时结果最佳，表明实例层面的语义判别和类别层面的几何正则相结合，最有利于在统一标注准则下学习稳健表征。
4.5.4. Effectiveness of Mahalanobis Distance Metric
在原型匹配的距离度量选择上，马氏距离相较欧氏距离在ResNet-18和ARM两种骨干下均带来稳定提升。这说明在高维视觉特征空间中，考虑特征维度间相关性及尺度差异，比简单欧氏距离更适合进行原型距离建模，也进一步证明PMAJT中的统计几何建模设计具有合理性。
4.5.5. Effectiveness of Hyperparameters
超参数实验分析了文本提示模板、CLIP微调批大小、EMA动量系数与损失权重λ的影响。结果表明，“a photo of a [class] facial expression”这一模板效果最佳，说明显式面部表情上下文能提供更具判别性的语义引导；批大小128取得最优性能；EMA动量系数取0.9时在稳定性与适应性之间达到最佳平衡；损失权重λ=0.1时，多模态语义对齐与原型一致性约束的权衡最优。总体而言，PMAJT在合理参数范围内表现稳定。
4.6. Visualization
4.6.1. Feature Distribution Visualization
t-SNE可视化显示，在Step 1完成多模态与原型一致性对齐后，RAF-DB训练样本在特征空间中的类内聚集性明显增强，类别间边界更加清晰。进一步在Step 3的共享特征空间中观察RAF-DB训练样本与筛选后的AffectNet样本，后者能形成与目标集一致的类别簇结构，说明筛选得到的辅助子集在统一标注准则下与目标集实现了较好对齐。
4.6.2. Visualization of Sample Selection
辅助样本可视化表明，被保留的AffectNet样本在视觉表现与语义标签之间具有更合理的一致性，而被丢弃样本中则更多存在表情歧义或标签不匹配现象。该结果直观支持了所提筛样策略能够有效剔除与目标数据集标注准则不一致的样本。
4.7. Limitations and Future Work
论文也指出了若干局限。首先，文化、年龄、性别等人口统计学因素虽被视为潜在不一致来源，但本文未对其进行定量评估；其次，方法依赖预训练VLM提供合理图文嵌入，对于远离CLIP预训练域的任务，其收益可能下降；第三，实验仅覆盖三个数据集中共享的七类基本表情，对于更大规模、细粒度且标签空间不完全一致的情形，仍需进一步系统研究。
讨论部分可概括为：PMAJT的有效性来源于将“标注准则”显式建模为图像—文本对齐模式，并辅以原型几何结构约束，从而使跨数据集联合训练不再依赖原始标签的表面一致，而是建立在更深层的语义一致基础上。语义对齐减少了不同数据集的标注偏差影响，原型一致性稳定了特征空间结构，互补筛样则提高了辅助监督的可靠性。多组实验、消融分析、混淆矩阵和可视化结果共同表明，该框架不是通过简单增加样本规模获得提升，而是通过构建统一标注准则提升了联合训练质量。
结论部分可译为：本文针对多数据集面部表情识别中一个基础但研究不足的问题——跨数据集标注准则不一致——提出了解决方案。研究并未直接合并多个数据集进行训练，而是利用视觉—语言模型学习到的图像—文本对齐关系建模统一标注准则，从而借助大规模预训练的语义知识。所提出的PMAJT框架整合了多模态对齐、原型一致性对齐和样本选择机制。多模态对齐通过将图像与标签文本映射到共享嵌入空间，缓解了跨数据集语义不一致；原型一致性对齐通过类别级情绪锚点稳定特征的几何结构并促进类内紧致性；互补样本选择则构建出语义一致的辅助子集，使目标数据集与辅助样本能够在统一标注准则下进行稳定可靠的联合训练。基于两个广泛使用FER数据集的大量实验表明，PMAJT取得了当前最优性能。通过原型引导多模态对齐与互补样本选择建立语义一致的标注准则，该框架为提升FER系统准确率提供了具有前景的研究路径。
