《Knowledge-Based Systems》：DLRM-FER: Self-evolving dual-loop neuro-symbolic learning via dynamic rule memory for explainable facial expression recognition
编辑推荐：
基于深度学习的面部表情识别（Facial Expression Recognition, FER）模型取得了显著进展，但大多数仍缺乏可解释性，且现有的可解释模型往往在追求可解释性时牺牲了准确性。为解决这一瓶颈，研究人员提出了一种自适应注意力驱动的动态规则库闭环
基于深度学习的面部表情识别（Facial Expression Recognition, FER）模型取得了显著进展，但大多数仍缺乏可解释性，且现有的可解释模型往往在追求可解释性时牺牲了准确性。为解决这一瓶颈，研究人员提出了一种自适应注意力驱动的动态规则库闭环可解释学习框架。该框架引入了一种自适应双流情感选择注意力（Adaptive Bi-Stream Emotion-Selective Attention, ABESA）机制，通过自适应加权捕获全局情感语义和局部肌肉激活。通过利用注意力显著性，该框架在不依赖动作单元（Action Unit, AU）标注或先验知识的情况下构建了一个自演化的符号规则库。这些规则基于注意力-类别一致性实时持续更新，被强化或丢弃。这些可解释规则既作为解释信号，也作为纠正反馈来指导模型决策，构建了首个具有两个明确回路的自主神经符号系统：训练时学习回路（规则一致性监督通过反向传播重塑注意力）和推理时自校正回路（不确定性触发的规则查找与修正）。该方法在主要FER数据集上进行了评估。研究结果与可解释FER模型的最先进方法相比具有优势，并与主流不可解释FER深度学习方法相比达到了竞争性性能，从而验证了其在情感计算中平衡高准确性与强自解释能力。
论文解读：DLRM-FER框架——自演化双回路神经符号学习实现可解释面部表情识别
**研究背景与问题**
面部表情识别（Facial Expression Recognition, FER）在情感计算中扮演关键角色，连接人类情感认知与人工智能，广泛应用于医疗、驾驶监控和社交机器人等领域。然而，现有深度学习FER模型多为黑箱系统，虽准确性高但缺乏可解释性。传统后处理方法（如Grad-CAM）仅能可视化注意力区域，无法解释推理过程或纠正错误。此外，已有可解释FER模型往往以牺牲性能为代价换取可解释性，且在训练和推理中缺乏闭环反馈机制。因此，如何构建一个既能保持高识别准确率又能提供强自解释性、并具备自纠正能力的FER系统成为核心问题。
**研究内容与结论**
针对上述问题，研究人员提出了一种名为DLRM-FER（Dynamic Rule Memory for FER）的自演化双回路神经符号学习框架。该框架首次在FER中实现了两个明确的闭环：训练时学习回路与推理时自校正回路，通过动态规则记忆将注意力与符号推理统一。经在FER2013、RAF-DB和AffectNet三个主流数据集上的实验验证，该方法在可解释FER模型中达到最优性能，并与主流不可解释深度学习方法相比具有竞争力，有效平衡了高准确性与强自解释性。
**主要技术方法**
研究人员采用了以下关键技术：1）自适应双流情感选择注意力（ABESA）机制，基于ConvNeXt骨干网络提取多尺度特征，通过局部流（捕捉细微面部动态）和全局流（建模整体配置模式）并利用可学习融合权重自适应平衡，再经交叉注意力生成语义一致的显著性图；2）动态符号规则库，将显著性图划分为3×3网格并量化AU代理（AU-proxy）描述符，通过指数移动平均（EMA）统计和每类Top-K（K
max=3）规则选择，构建并更新区域-情感可执行规则；3）双回路闭环学习，训练时利用规则一致性损失（经真实标签一致性掩码过滤）反向传播重塑注意力，推理时基于置信度与熵阈值触发规则查找并执行最高支持规则进行预测校正。样本队列来源：FER2013、RAF-DB、AffectNet。
**研究结果**
1. **与现有方法对比**（Table 1）：在FER2013、RAF-DB和AffectNet上，DLRM-FER在精确率、召回率、F1分数和准确率上均优于代表性可解释FER方法（如SCN、FERAtt、ViT-Explain等），并接近主流黑箱方法（如POSTER++、HSM-Net）。例如，在RAF-DB上准确率达85.06%，显著高于最接近的可解释方法。
2. **消融研究**（Table 2-6）：通过逐步添加模块（V1至V5）验证了ConvNeXt特征提取、ABESA机制、动态规则库和闭环自校正机制的有效性。完整模型V6（含真实标签一致性掩码）在FER2013上准确率达70.81%，比无闭环的V4提高3.24个百分点。ABESA消融表明双流融合优于单流，可学习融合优于固定权重。
3. **规则表示设计探索**（Table 3）：对比五种规则表示方案（R1-R5），AU代理类特定动态规则库（R5）在规则覆盖率44.3%下达到最高保真度76.1%、最低冲突规则监督率9.3%和最大校正增益+3.2个百分点，验证了其有效性与可解释性。
4. **真实标签一致性掩码效果**（Table 5）：引入掩码后，冲突规则监督率从9.3%降至0.0%，保真度从76.1%提升至77.8%，校正增益从+3.2个百分点增至+3.8个百分点，准确率从70.16%提升至70.81%。
5. **ABESA消融**（Table 6）：完整ABESA在FER2013上准确率67.57%，优于仅全局流（65.92%）或仅局部流（64.45%），固定融合（66.93%）和移除平衡正则化（67.17%）也均下降，表明适应性融合与双流互补的重要性。
6. **熵阈值敏感性**（Table 7）：在三个数据集上，ΔAcctrig始终为正，且存在稳定性能区域，支持所选阈值（FER2013: 0.60, RAF-DB: 0.65, AffectNet: 0.70）。
7. **规则支持定义比较**（Table 8）：类条件支持P((R,q)|y)相比后验归一化P(y|(R,q))具有更高覆盖率（43.3% vs 37.2%）和校正增益（+3.8 vs +3.0个百分点），虽冲突率略高，但更适于保留共享模式。
8. **最大规则数K
max敏感性**（Table 9）：K
max=3在三个数据集上取得最佳权衡，如FER2013覆盖率达43.3%、保真度77.8%、校正增益+3.8个百分点、准确率70.81%。
9. **规则重叠图与演化**（Fig. 6, Table 10-11）：规则重叠图显示不同情感类别具有独特的空间激活模式；规则演化过程（如RAF-DB上从初始至最终规则）表明规则库随训练逐步稳定。
10. **闭环可靠性分析**（Table 13, Fig. 7）：训练时反馈使保真度从75.4%升至80.6%，推理时校正带来+2.7个百分点增益，完整双回路模型达到+4.5个百分点增益和85.06%准确率，证明两回路互补。
11. **规则覆盖与保真度跨数据集**（Fig. 8, Table 14-15）：在FER2013、RAF-DB和AffectNet上，规则覆盖率分别为43.3%、41.5%、25.1%，保真度分别为77.8%、80.6%、69.3%。AffectNet上覆盖率较低源于复杂环境下的保守规则弃权行为，而非过度依赖强统计模式。
**总结讨论**
研究人员翻译并总结了结论部分：研究提出了一种用于FER的可解释闭环学习框架，将动态规则库与自演化神经符号推理系统相结合。ABESA机制联合建模全局情感语义和局部肌肉级线索，产生语义对齐的显著性图，可离散化为人类可读符号。基于这些注意力导出的AU代理描述符，模型自主挖掘、更新和选择代表性符号规则，形成可执行记忆，支持训练时一致性学习和推理时不确定性下的自校正。该框架显式实例化双回路行为：规则库在训练时提供规则一致性监督以重塑注意力，在推理时执行不确定性触发的规则查找与修正。在多个基准上的实验表明，该方法在提供透明可检查决策理由的同时取得竞争性性能，并克服了可解释FER模型常以性能换可解释性的局限，实现了准确性与可解释性的更好平衡。尽管结果令人鼓舞，但研究仍存在局限性：当前规则库在数据集内独立学习与评估，其在更多样、无约束现实条件下的跨域迁移性有待进一步研究；此外，在静态FER上表现良好，融入语音韵律或时间动态等多模态线索可进一步增强在模糊场景下的鲁棒性，是未来方向。总体而言，该工作向统一可靠性、可解释性和高识别准确率的实用自纠正深度模型迈进一步。
