RetFER：通过纹理架构建模利用视网膜关系表示进行面部表情识别

《Neurocomputing》：RetFER: Exploiting Reticular Relationship Representation via Textural Architectonics Modeling for Facial Expression Recognition

　　摘要：面部表情识别任务因遮挡、光照条件以及面部姿态随意性等问题而面临诸多挑战。为解决这些难题，我们提出了一种新的基于网状关系与纹理架构的表示方法。该方法利用不同面部结构领域的网状关系来实现高效学习。研究得出了两个重要发现：1）深层网状关系动态；2）表面级纹理语义编码。在此基础上，该模型引入了网状关系挖掘、纹理架构校准以及自适应特征合成模块。考虑到面部解剖学特征，网状关系挖掘模块用于利用网状结构的空间耦合关系。据我们所知，这是首项在面部表情识别任务中运用网状关系来挖掘架构表示的研究。此外，纹理架构校准模块用于优化不同网状群体之间的架构匹配度，而自适应特征合成模块则用于筛选关键的纹理特征。在RAF-DB、KDEF和RaFD数据集上的实验结果表明，所提出的RetFER模型优于现有最先进方法。RetFER的源代码将于日后公开。

引言：在面部表情识别领域取得优异性能可显著提升下游应用的效果，比如驾驶安全[1]以及人机交互[2]。通过深度图像分析实现自动表情分类，有助于有效监测情绪行为，进而提高智能监控系统的可靠性[3]。然而，由于面部表情本身存在类内方差大且类间相似性高的特点，再加上复杂的自然环境，面部表情识别仍是一项极具挑战性的任务。鉴于面部肌肉和皮肤的特殊内在特性，面部表情识别任务面临着诸多限制，难以进一步提升识别精度（见图1）。

i）任意姿态：现实场景中往往存在头部姿态的变化（见图1(a)–1(d)），这些变化会大幅改变面部特征的空间分布。从偏航到俯仰的各种姿态变化都会妨碍对面部关键点及其用于表情分类的独特网状结构的识别。

ii）遮挡：面部部位常常会被背景或配饰遮挡（见图1(e)–1(h)）。由于人类行为习惯，面部经常被手、眼镜或其他物体部分覆盖，从而导致图像中出现结构不连续和信息不完整的情况。

iii）光照条件：极端的光照条件（见图1(i)–(l)），如阴影不均或过度曝光，会掩盖精细分析所需的细微纹理架构细节。即便被识别对象的表情相同，由于光照影响，其外观也会出现显著差异，从而增加提取一致且可靠的生理特征的难度。

尽管存在图1所示的视觉干扰，面部的底层解剖学网状结构仍保持拓扑稳定性。这一生理学先验有效地弥合了复杂外部环境与稳健特征表示之间的差距。人类在识别表情时的经验表明，人们通常会结合深层生理特征与表面视觉细节来判断情绪状态。首先，面部表情是由底层肌肉群的协同运动产生的，这些运动形成了特定的网状动态；其次，这些内部激活会在皮肤表面表现为具有区分度的纹理架构模式。基于这一生物学先验，我们总结出以下两项发现：

发现一：深层网状关系动态。人类通常会利用深层生理特征来捕捉这些微妙的表情表现。第一类特征是面部肌肉的边界，可视为全局轮廓信息；第二类特征涉及肌肉群之间的网状关系，反映了具体的内部细节信息。总体而言，这些特征可被称为深层网状关系动态。不同的网状结构呈现出特定的耦合关系（见图2(a)–2(c)）。对这些深层关系的统计分析表明，该模型能够放大这些差异，从而降低识别混淆表情的难度。即便某些重要部位被遮挡，不同类型肌肉群的网状关系仍有助于减轻遮挡对识别任务的影响。

发现二：表面级纹理语义编码。某些具有辨识度的特征通常出现在皮肤表面的特定区域。这些特征可称为纹理架构，准确定位这些区域有助于表情识别。例如，特定肌肉的激活会在眼睛和嘴巴周围形成独特的纹理场（见图2(a)）。这些纹理架构的独特统计特性可作为区分不同表情类别的重要依据。这些深层网状关系并非静态存在，而是表现为宏观状态转换，即所谓的“网状起源激活”。如图2(h)–(o)底部面板所示，从中性面部到不对称表情的动态变化（见图2(h)至2(i)），或是表情的放大效果（见图2(n)至2(o)），都直观展现了这种耦合网状动态。追踪这些条纹状网状结构在不同激活状态下的起源表现，能够提供重要的时空上下文，进一步提升模型对细微或动态变化的表情的识别能力。

基于上述发现，我们认为虽然面部表情识别任务侧重于捕捉细微的局部关键特征，但也不应忽视面部动态中固有的独特网状结构差异。我们提出了RetFER模型，将上述理论模型转化为三个专用模块，从而将这些生理学见解有效转化为计算框架。具体而言，我们设计了网状关系挖掘模块和纹理架构动态分析模块，用以揭示不同网状群体之间的全局关联（对应发现一）；同时引入了自适应特征合成模块，作为强大的局部特征提取工具，用于捕获具有高度区分度的纹理架构特征（对应发现二）。我们开展这项工作的目的是整合这些模块，以检测不同的网状结构和纹理特征，从而为面部表情识别任务学习出有效的表示方法。

与以往在复杂场景下表现不佳的面部表情识别研究不同，我们的研究通过将研究范式从表层特征提取转变为深层生理建模，解决了这一缺陷。现有的方法，从传统的卷积神经网络[3]到最新的视觉变换器[4]，大多专注于学习一般的视觉模式，如局部形状变化或全局像素依赖关系。然而，这些方法往往将面部表情视为静态的图像纹理，很大程度上忽视了面部肌肉运动的固有网状动态及背后的解剖学约束。因此，在面对部分遮挡或极端姿态变化等挑战时，这些模型难以捕捉到可靠的特征，因为它们无法建模不同类型肌肉群之间的耦合关系，也无法从可见部分推断整体特征。

我们提出了一种新的基于网状关系与纹理架构的表示框架（RetFER），该框架将生物学先验明确纳入深度学习架构之中。与仅依赖表面特征的先前研究不同，我们的方法将面部视为一个具有结构特性的动态系统。我们引入了网状关系挖掘模块和纹理架构校准模块，用于捕捉深层的网状结构差异，并优化肌肉群之间的空间相互作用。此外，我们还设计了自适应特征合成模块，用于精准定位关键的纹理架构区域，从而有效从皮肤表面提取具有区分度的特征。这种协同作用使得我们的模型能够学习出与人类生理感知相一致的、稳健且具有决定性的表示方法。我们的工作贡献可归纳为三个方面：1）提出了一种新的基于网状关系与纹理架构的面部表情识别表示方法，该方法利用不同功能面部区域的空间网状动态实现高效学习，同时明确建模了不同网状群体与局部架构之间的关联，以增强特征区分能力；2）设计了网状关系挖掘模块，用于提取网状结构的空间统计特性，作为一种独特的表示方式来区分不同表情；同时引入了纹理架构校准模块来优化空间相互作用，还设计了自适应特征合成模块，用于识别对准确分类情绪状态至关重要的典型纹理架构特征；3）在RAF-DB、KDEF和RaFD数据集上的实验结果表明，所提出的RetFER方法优于现有最先进的面部表情识别方法。在多种不同数据集上均表现出的一致优势，证明了明确捕捉基于解剖学原理的结构动态与细粒度纹理特征，能够有效克服传统整体方法的局限性，为复杂情绪解码提供了一种高度稳健且可解释的研究范式。

本文的其余结构如下：第2节介绍一些相关研究；第3节阐述RetFER方法，包括算法细节与实现考虑因素；第4节展示该方法在基准数据集上的实验结果与性能评估，并进行进一步分析；最后，第5节给出结论。

片段摘录：

面部表情识别：面部表情识别的目标是识别人类的情绪状态[5]。然而，由于相近表情之间存在细微差别，这一任务颇具挑战性。早期的研究[6]、[7]利用深度学习技术提取特征，而近期的进展则进一步探索了在标签噪声较多及聚类任务复杂的背景下实现稳健的表示学习[8]、[9]。深度面部表情识别方法大致可分为基于局部特征学习的面部表情识别方法和基于非局部特征学习的面部表情识别方法。

架构概述：RetFER由三个核心组件构成（见图3）。第一个组件是网状关系挖掘模块，它将面部图像转换为特征，并学习能够反映底层生理连接关系的网状结构。第二个组件是纹理架构校准模块，该模块采用一种创新的架构校准方案，用于优化面部架构领域中不同网状群体之间的复杂相互依赖关系与交互作用。第三个组件是自适应特征合成模块，其功能在于筛选出最显著的特征。

实验结果与讨论：本研究旨在全面评估所提出的RetFER框架在捕捉网状关系动态与纹理架构方面的稳健性与有效性。为此，我们在三个广为认可的基准数据集——RAF-DB[20]、KDEF[21]和RaFD[22]上进行了严格评估。首先，我们对这些数据集及实验实现细节进行了简要介绍，随后对RetFER与其他方法的性能进行了系统比较分析。

结论：在本研究中，我们提出了一种结合网状关系与纹理架构建模的面部表情识别新方法。通过将面部不同区域间的网状动态与纹理架构信息相结合，该方法能够在复杂环境中实现精确的表情识别。网状关系挖掘模块用于提取耦合的生理关系，以提高表情区分度；纹理架构校准模块则用于优化不同网状群体之间的空间相互作用。此外，还设计了自适应特征合成模块……

未引用参考文献：[30]；[39]

CRediT作者贡献说明：
刘婷婷：撰写——初稿，指导，项目管理，调研，形式分析。
邓丽倩：撰写——初稿，可视化，方法论，概念设计。
李友福：撰写——初稿，指导，方法论，概念设计。
刘海：撰写——审阅与编辑，撰写——初稿，验证，资源获取，调研，概念设计。
张兆立：撰写——审阅与编辑，可视化，方法论，概念设计。
韩琴蕾：无

利益冲突声明：无

李友福（IEEE会士）于1993年在英国牛津大学工程科学系获得机器人学博士学位。1993年至1995年，他在英国威尔士阿伯里斯特威斯大学计算机科学系担任研究员。1995年，他加入香港城市大学，目前担任该校机械工程系的教授。他的研究兴趣包括机器人感知、机器人视觉以及视觉跟踪。在这些领域，他……
张兆立|赵立|韩琴蕾|邓丽倩|刘婷婷|刘海|李友福
中国武汉430079，华中师范大学国家教育技术研究中心