RHRAF：基于残差超图细化和自适应融合的开集面部表情图像检索方法

《Pattern Recognition Letters》：RHRAF: Residual Hypergraph Refinement With Adaptive Fusion for Open-set Facial Expression Image Retrieval

开放集面部表情图像检索方法RHRAF解决训练与检索类别不重叠问题，通过自适应融合一致性嵌入模块融合外观与地标特征，结合残差超图精修单元优化表示，在OS-JAFFE、OS-SFEW、OS-KDEF三个新基准上验证有效，mAP提升6.15%。

　　

陶苏|段波武|滕旭阳|高原宇

杭州电子科技大学通信工程学院，中国杭州，310018

摘要

现有的面部表情图像检索（FEIR）方法通常是在封闭集假设下开发的，当训练和检索类别不重叠时，这些方法的泛化能力较差。在本文中，我们研究了在训练和检索类别不重叠的开放集环境下进行FEIR的问题，并提出了一种名为“具有自适应融合的残差超图细化”（RHRAF）的检索框架。RHRAF解决了FEIR中的两个实际挑战：异构面部表情表示的融合以及未见类别检索的表示细化。具体来说，我们引入了自适应融合一致性嵌入（AFCE）模块来对齐外观特征和与地标相关的特征，并通过模态级自注意力将它们融合在一起；进一步利用残差超图细化单元（RHRU）通过对样本之间的高阶关系进行建模来细化融合后的嵌入。我们还为这种环境构建了三个基准测试集，分别是OS-JAFFE、OS-SFEW和OS-KDEF。实验结果表明，RHRAF在这些基准测试集上取得了良好的检索性能，在OS-KDEF上的平均精度（mAP）提升了6.15%。

引言

面部表情图像检索（FEIR）的目标是从给定的查询图像中检索出在视觉和情感上相似的样本。现有的FEIR方法大多是在封闭集假设下开发的，即所有测试类别在训练过程中都已被观察到。然而，在实践中这一假设经常被违反，因为测试样本可能属于训练集中没有的表情类别。在这种情况下，检索模型不仅要避免对已知类别的过拟合，还要保持一个特征空间，使得语义上相似的未见表达仍然可以被有效检索到。

开放集FEIR（OFEIR）也与相关任务不同。与封闭集FEIR不同，它考虑了在存在未见表情类别的情况下进行检索。它也不同于开放集识别（OSR），后者主要关注检测或拒绝未知样本以避免误分类。相比之下，OFEIR要求模型测量和排名未见类别样本之间的相似性，以便能够从图像库中检索出具有新颖表情的样本。在这项工作中，我们关注的是训练和检索类别不重叠的环境。

为了解决这个问题，我们提出了在训练和检索类别不重叠的环境下用于OFEIR的“具有自适应融合的残差超图细化”（RHRAF）。RHRAF解决了未见类别面部表情检索中的两个问题：异构线索的融合和表示细化。具体来说，我们引入了自适应融合一致性嵌入（AFCE）模块来对齐外观特征和与地标相关的特征，并通过模态级自注意力将它们融合在一起；进一步引入了残差超图细化单元（RHRU）通过残差注入来建模样本之间的高阶关系，从而细化融合后的嵌入。本工作的主要贡献总结如下：•

我们在训练和检索类别不重叠的环境下研究了OFEIR，并构建了三个相应的基准测试集，分别是OS-JAFFE、OS-SFEW和OS-KDEF。

•

我们为OFEIR提出了RHRAF，将模态级自注意力融合与残差超图细化集成用于未见类别检索。

•

我们分别设计了AFCE和RHRU用于异构线索融合和高阶关系建模，并通过广泛的实验和消融验证了它们的有效性。

章节片段

面部表情识别

情感计算领域的最新研究主要集中在面部表情识别上。代表性的方法包括POSTER [1]，它通过双流架构结合了图像外观和地标几何信息；ResEmoteNet [2]，它通过残差和挤压-激励设计增强了微妙的面部线索建模；以及POSTER++ [3]，它引入了一个轻量级的多尺度交互模块以实现更高效的token级特征聚合。此外，Ma等人[4]也进行了相关研究。

方法

RHRAF的总体架构如图1所示。RHRAF是一个针对训练和检索类别不重叠环境下的OFEIR的任务自适应框架，旨在解决未见类别检索中的两个实际挑战：异构特征融合和表示细化。因此，它由两个主要组件组成：（1）AFCE模块，用于结合外观特征和与地标相关的线索；（2）RHRU模块，用于通过

OFEIR数据集构建

据我们所知，目前还没有专门为本文考虑的训练和检索类别不重叠的开放集面部表情图像检索环境设计的公共基准测试集。因此，我们基于原始的JAFFE [17]、SFEW [18]和KDEF [19]数据集，分别构建了三个数据集，即OS-JAFFE、OS-SFEW和OS-KDEF。

每个源数据集包含七个基本表情类别。遵循开放集评估标准

结论

在本文中，我们研究了在训练和检索类别不重叠的环境下的面部表情图像检索（FEIR），并为此提出了一种名为RHRAF的方法。通过结合外观特征和与地标相关特征的自适应融合以及残差超图细化，RHRAF为未见类别检索学习了更有效的嵌入。我们还构建了三个基准测试集，即OS-JAFFE、OS-SFEW和OS-KDEF，用于评估这种环境。实验结果表明，RHRAF

CRediT作者贡献声明

陶苏：撰写——原始草稿、方法论、形式分析、数据整理。段波武：监督、项目管理。滕旭阳：撰写——审阅与编辑、监督。高原宇：验证、调查。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。