AU-GRACE：融合动作单元瓶颈的反事实面部表情识别与补救方法

《Computers》：Action-Unit-Constrained Graph Learning with Counterfactual Recourse for Auditable Facial Expression Recognition

　　面部表情识别（FER）系统通常利用显著性图来解释预测结果，但这类方法既无法指出具体的面部行为，也无法说明决策将如何改变。我们提出了AU-GRACE，该方法将动作单元（AU）关系图与显式的AU瓶颈相结合，以反事实补救的形式提供合理AU编辑的小集合。面部动作编码系统（FACS）/EMFACS知识提供带有可靠性门控的软约束，允许数据支持较弱的先前边关系产生偏离。情绪头通过AU向量和带范数惩罚的残差访问图像，因此AU编辑可以干预决策过程。摊销求解器可在6.4毫秒内生成编辑。AU-GRACE在RAF-DB、AffectNet-7和FERPlus数据集上分别达到了96.78%、69.19%和94.92%的准确率（根据各数据集作者定义的评估协议）。反事实有效性为94.8%，编辑的AU数量为2.3个，可信度为86.4%。在一项小型专家研究中，与六名认证FACS编码员的评分一致率达到95.8%，接近他们之间的编码员间一致率。这些编辑在经过渲染并由独立模型重新分类后仍然有效。这些结果表明，对于本文研究的基本表情类别，通过显式的AU瓶颈，可以将有竞争力的识别准确率与AU级别的补救能力结合起来。