用于高效面部表情识别的形态学卷积神经网络 作者:罗伯特(Robert)、萨里富丁·马登达(Sarifuddin Madenda)、苏里亚迪·哈曼托(Suryadi Harmanto)、米歇尔·潘达沃因(Michel Paindavoine)以及迪娜·因达蒂(Dina Indarti)

《Journal of Imaging》:Morphological Convolutional Neural Network for Efficient Facial Expression Recognition Robert, Sarifuddin Madenda, Suryadi Harmanto, Michel Paindavoine and Dina Indarti

【字体: 大 中 小 】 时间:2026年04月16日 来源:Journal of Imaging 3.3

编辑推荐:

  **摘要** 本研究提出了一种形态学卷积神经网络(MCNN)架构,该架构将形态学操作与卷积神经网络(CNN)层相结合,用于面部表情识别(FER)。传统的基于CNN的FER模型主要依赖于外观特征,可能对光照和人口统计变化敏感。本研究探讨了形态学结构表示是否能为卷积特征提供补充信息。

  **摘要** 本研究提出了一种形态学卷积神经网络(MCNN)架构,该架构将形态学操作与卷积神经网络(CNN)层相结合,用于面部表情识别(FER)。传统的基于CNN的FER模型主要依赖于外观特征,可能对光照和人口统计变化敏感。本研究探讨了形态学结构表示是否能为卷积特征提供补充信息。通过结合CK+、JAFFE、KDEF、TFEID以及新收集的印度尼西亚面部表情数据集,构建了一个多源和多族群的FER数据集,共包含326名受试者的3684张图片,涵盖了七种表情类别。为了确保评估的可靠性,采用了与受试者无关的数据分割方法和10折交叉验证。实验结果显示,所提出的MCNN1模型的平均准确率为88.16%,而最佳版本的MCNN2模型准确率达到88.7%,其性能与MobileNetV2(88.27%)、VGG19(87.58%)和基于形态学的基线MNN(50.73%)相当。此外,该模型还提高了计算效率,推理延迟降低了21%,GPU内存使用量减少了64%。这些结果表明,将形态学表示集成到卷积架构中可以在FER性能上带来适度但持续的提升,并在异构数据条件下增强模型的泛化和效率。

**1. 引言** 近几十年来,随着工业自动化的进步以及医疗保健、教育和社会互动领域新兴应用的推动,智能机器人系统研究迅速发展[1,2,3,4]。虽然焊接和组装系统等工业机器人已经得到广泛应用,但越来越多的关注集中在设计用于日常环境中与人类自然互动的社会机器人上[4,5]。在这些场景中,非语言交流起着至关重要的作用,而面部表情是传达人机情感互动信息的主要来源之一[5]。尽管在对话系统和语音理解方面取得了进展,许多机器人平台在解读复杂面部线索和真实世界条件下的情感动态方面仍然存在局限性。因此,人工智能(AI)被广泛用于解决面部表情识别(FER)及相关视觉感知问题[6,7]。早期的FER流程主要基于经典机器学习方法,这种方法使用手工制作的描述符(如局部二值模式(LBPs)、Gabor特征或局部单调模式(LMPs),并结合支持向量机(SVMs)或K最近邻(KNNs)等分类器[8,9,10,11,12]。尽管这些系统在计算上高效且易于解释,但在噪声、光照变化、姿势变化或数据集域偏移的情况下,其性能往往会下降。深度学习(DL),特别是卷积神经网络(CNN),通过直接从数据中学习层次化特征,显著提高了许多FER基准测试中的识别准确性[13,14,15,16]。然而,基于CNN的模型通常需要大量的参数和大量的训练数据,这可能会阻碍其在实时或资源受限的机器人系统中的部署,尤其是在推理延迟和内存使用方面。此外,卷积滤波器主要捕获依赖于外观的特征(如光照和肤色),这在应用于异构数据时可能降低模型的鲁棒性。这种在准确率和计算效率之间的权衡激发了人们对将关于面部几何或形状的先验知识嵌入学习流程的混合方法的兴趣。同时,成像研究的最新进展越来越强调数学形态学作为捕捉视觉数据中结构和形状特征的有效范式。传统的灰度形态学已经扩展到多通道图像的序空间表述,展示了形态学框架超越单通道表示的灵活性[17]。形态学运算符在生物医学成像中也显示出其价值,可用于量化组织细胞性和组织结构的影像[18]。在面部分析研究中,也出现了互补的方向。使用面部动作编码系统(FACS)对面部肌肉活动进行显式建模,促进了基于图的实时微表情识别[19],而对表情类别的系统研究强调了客观类别定义和注释一致性对于跨数据集进行可靠基准测试的重要性[20]。这些研究突出了基于成像的情感计算中的两个反复出现的主题:结构特征建模的持久相关性和数据集设计的核心作用。在这些趋势的交叉点上,几项近期工作提出了将形态学运算符嵌入深度神经网络的方法。形态学感知的卷积模型在超光谱图像分类等任务中表现出更高的形状敏感性[21],而独立的形态学神经网络(MNNs)被证明可以在包括MNIST和德国交通标志识别基准测试在内的数据集上减少参数数量的同时保持竞争力[22]。然而,尽管基于深度CNN和Transformer的FER模型在基准数据集上取得了高准确率[13,16,23],但许多高性能架构(如MobileNetV2[24]和基于VGG的模型[16])主要依赖于外观驱动的特征学习,对结构和几何表示的关注有限。因此,目前尚不清楚基于形态学的结构表示是否能在异构数据条件下提供超出传统卷积特征的补充优势。在这种情况下,基于形态学的操作预计可以提供补充的结构信息,从而增强模型的鲁棒性和计算效率。

**2. 方法论**
2.1. 数据集获取与预处理
为了提高数据集的多样性,本研究通过结合公开可用的数据集和自收集的IFE数据集构建了一个多源数据集。IFE数据集是在受控条件下从印度尼西亚参与者那里收集的,每位受试者展示了七种基本面部表情(愤怒、厌恶、恐惧、快乐、中性、悲伤和惊讶),以引入受试者内部的变异性并提高对姿势变化的鲁棒性。所有数据收集程序都遵循了伦理标准,并获得了所有参与者的知情同意。公开可用的数据集包括TFEID、JAFFE、CK+和KDEF。每个数据集中的受试者数量如下:CK+(123人)、JAFFE(10人)、KDEF(140人)、TFEID(40人)和IFE(13人)。表1总结了每个收集的数据集中的图像分布,图1展示了来自多源数据集的样本面部表情。
在预处理过程中,CK+数据集中的背景噪声(如文本注释)可能会影响模型性能,因此使用了Viola-Jones算法(VJA)进行面部检测,以确保每张图片仅包含面部区域[31,32]。这一步有助于消除不相关信息并标准化后续处理的输入。由于检测失败和错误检测,约有621张图片(初始数据集的14.4%)在此阶段被排除。这些被排除的样本对应于面部检测器失败或错误定位非面部区域的情况。
由于所提出的模型使用需要灰度输入的形态学运算,所有检测到的面部图像都使用YCbCr颜色空间的亮度(Y)分量从RGB转换为灰度[33,34]。这种转换保留了结构信息,同时降低了计算复杂性。不同数据集中的检测到的面部区域大小不一,而模型需要固定的输入尺寸,因此所有图像都使用双三次插值调整为160×160像素,以确保神经网络的输入尺寸一致[35]。预处理后,样本总数减少到3684张图片。表2总结了预处理后每个数据集和表情的图像分布。

2.2. 数据集分割与交叉验证
为了确保评估的可靠性和无偏性,采用了与受试者无关的数据分割策略。在这种方法中,属于同一受试者的图像严格划分到训练、验证和测试子集中。在FER任务中,这种策略至关重要,可以防止模型由于身份和表情之间的纠缠而无意中学习到特定于受试者的特征,从而导致对未见个体的性能高估和泛化能力差。因此,广泛推荐在FER研究中采用与受试者无关的评估作为标准协议,以确保在不同受试者之间的鲁棒泛化[11,36]。
模型性能使用10折交叉验证方案进行评估。数据集根据受试者身份被划分为十个子集,确保每个子集包含互斥的受试者。在每次迭代中,一个子集用于验证,其余子集用于训练。最终性能指标是所有折叠的平均值。与单一的训练-测试分割相比,这种协议提供了更可靠和统计上更稳健的模型性能估计,特别是对于异构数据集[37,38]。
为了确保可重复性,在数据洗牌和划分过程中使用了固定的随机种子42。可重复性是深度学习研究的重要方面,因为它能够跨不同运行一致地比较和验证实验结果[39]。本研究没有应用额外的数据平衡技术。如表2所示,预处理后的类别分布没有显著不平衡。应用激进的不平衡方法(如欠采样)可能会降低数据多样性,并可能移除有信息量的样本,特别是在多源FER数据集中[40]。因此,保留了原始的数据分布以保持代表性。
数据增强仅应用于训练集,以改善泛化能力和减少过拟合。增强技术包括将像素值缩放到[0, 1]范围、水平翻转、缩放(最多10%)、宽度和高度移动(最多5%)以及亮度调整(80–120%)。这些变换模拟了面部外观的真实变化,如姿势、比例和光照变化,这些是FER任务中的常见挑战[40]。由于预处理中使用的Viola-Jones面部检测算法对旋转变化敏感,因此没有应用旋转增强。

2.3. 数学形态学
数学形态学是一个非线性图像处理框架,它基于像素和结构元素之间的空间关系分析图像中的几何结构。形态学运算符强调图像中的结构特征,如边缘、轮廓、连通性和形状特性。数学形态学的理论基础最初由Serra引入,后来扩展到灰度图像分析,形成了许多结构图像处理技术的基础[43,44,45]。
在本研究中,形态学操作应用于灰度面部图像,以突出与面部表情识别相关的面部组件的结构特征。因此,形态学变换是在灰度数学形态学框架内制定的。设???? :?? →?表示一幅灰度图像,其中?? ??2表示图像的空间域,?????(??)表示像素位置?? =(??,??)处的强度值。形态学变换使用结构元素来定义用于探测图像结构的局部邻域[43,44]。
所提出的方法使用平面(二值)结构元素,这些元素仅指定邻域的空间支持,而不为像素分配额外的强度权重。因此,尽管输入图像是灰度的,结构元素是二进制掩码,决定了应用形态学变换的局部邻域。在这个意义上,采用的公式对应于使用平面(二值)结构元素的灰度数学形态学[45]。使用了两种结构元素形状,即正方形和圆盘形,每种的大小都是7×7像素[46]。正方形结构元素能够捕捉水平和垂直的空间结构,而圆盘形结构元素则保持各向同性的邻域结构。选择7×7像素的大小是为了捕捉有意义的局部面部结构,同时避免过度平滑精细的面部细节。对于大小为160×160像素的输入图像,7×7的结构元素覆盖的区域足够大,可以捕捉到眉毛和嘴巴的轮廓形状,同时又足够小,可以保留诸如眼角或鼻唇沟等微妙的细节,这些细节对于区分某些表情(例如,恐惧与惊讶)至关重要。使用不同结构元素大小(3×3、5×5、7×7、9×9、15×15)进行的初步实验表明,7×7的配置在结构敏感性和特征保留之间提供了最佳的平衡。本研究中使用的结构元素示例在图2中展示。图2. 7×7正方形和圆盘形结构元素的示例。在灰度数学形态学中,基本操作是膨胀和腐蚀,它们分别对应于由结构元素定义的邻域内的最大值和最小值变换[43,44,45,46]。设?? ??2表示一个平面(二值)结构元素,???? ={??+??∣??∈??}表示以像素位置x为中心的平移。膨胀操作会扩展图像中的明亮区域并增强物体边界。图像????的灰度膨胀通过结构元素B定义为?????(??)=(????⊕??)3(??)=max??∈?????????(??)(1),其中⊕表示膨胀操作。该操作将每个像素赋值为由结构元素定义的平移邻域????内的最大强度值。腐蚀操作则执行膨胀的相反操作,通过缩小明亮区域并抑制小结构来实现。灰度腐蚀定义为?????(??)=(???????)3(??)=min??∈?????????(??)(2),其中?表示腐蚀操作。该操作将每个像素赋值为由结构元素定义的平移邻域????内的最小强度值。通过膨胀和腐蚀可以构造更复杂的变换,即开运算和闭运算。开运算定义为腐蚀后跟着膨胀:????=????°??=(???????)⊕??(3),开运算可以平滑物体轮廓,去除小的明亮结构,并消除细小的突起,同时保持较大区域的整体形状。闭运算定义为膨胀后跟着腐蚀:????=????·??=(????⊕??)???(4),闭运算可以填充小孔洞,连接附近的结构,并平滑物体边界,同时保持较大区域的几何特性。为了强调与面部表情识别相关的结构特征,形态学残差图像是通过原始图像与形态学变换图像之间的差异计算得出的。由于不同的形态学操作可能会增加或减少像素强度值,因此应用方向减法来避免负值并保持有意义的结构对比度。对于膨胀和闭运算,变换后的图像通常会产生比原始图像更高的强度值。因此,残差表示计算为???????=?????????(5)和???????=?????????(6),其中????和????分别代表膨胀和闭合后的图像。对于腐蚀和开运算,变换后的图像通常会产生比原始图像更低的强度值。因此,残差表示计算为???????=?????????(7)和???????=?????????(8),其中????和?????分别代表腐蚀和开运算后的图像。这些残差图像突出了边缘、轮廓和面部组件的变形模式等几何结构。由于面部表情主要通过眼睛、眉毛和嘴巴等面部区域的几何变化来表征,强调这些结构信息使模型能够专注于与表情相关的特征,同时对光照变化不敏感。图3展示了使用不同形态学操作生成的形态学残差图像的示例,说明了膨胀、腐蚀、开运算和闭运算如何强调面部图像中的互补结构模式。图3. 形态学残差图像的示例,每个残差都突出了面部表情组件的不同结构特征。如图3所示,不同的形态学操作强调了面部组件的不同结构特征。对残差图像的定性视觉分析表明,膨胀和闭合倾向于突出眼睛、眉毛和嘴巴等显著的面部区域,而腐蚀则抑制了均匀区域并保持了更清晰的结构边界。开运算通常产生的结构响应较弱,因为在腐蚀阶段会去除小的明亮结构。这些定性观察表明,不同的形态学操作从面部图像中提取了互补的结构特征。由于面部表情主要通过面部组件的几何变形来表征,强调这些结构特征使模型能够专注于与表情相关的特征,同时对光照变化和肤色的差异不敏感。

2.4. 提出的MCNN和基线模型
2.4.1. 提出的形态学CNN(MCNN)框架
本研究提出了MCNN框架,该框架将数学形态学与卷积神经网络相结合,以增强面部表情识别的结构特征表示。该框架的主要目标是将基于形态学的变换作为传统卷积操作的补充特征提取机制,如形态学感知深度学习方法中所探讨的[21,22]。与主要依赖于基于外观的特征的标准CNN流程不同,提出的框架明确强调了面部组件的结构和几何特性。这是通过使用基本形态学操作(包括膨胀、腐蚀、开运算和闭运算)从灰度面部输入生成形态学残差图像来实现的,如2.3节所述。这些残差表示突出了与面部表情相关的局部结构变化,如边缘、轮廓和变形模式,促使网络强调与形状相关的特征,而不仅仅是基于强度的模式。如图4所示,MCNN框架包括三个主要阶段:(1)形态学特征提取,(2)使用卷积层进行特征学习,以及(3)分类。在第一阶段,输入图像被转换为一组增强了形态学的残差表示。生成多个残差图像并通过通道连接合并为卷积骨干的多通道输入。在第二阶段,这些表示由卷积骨干处理以学习层次化特征。最后,提取的特征使用全连接(FC)层和softmax分类器映射到表情类别。图4. 提出的MCNN框架概述,展示了形态学特征提取、卷积特征学习和分类的集成。提出的框架的一个关键设计原则是其在选择卷积骨干方面的灵活性。该框架设计为与从零开始训练的定制CNN架构和预训练的深度网络兼容。这使得可以系统地研究在不同学习范式下基于形态学的特征集成。基于此框架,本研究开发了两个模型家族。第一个称为MCNN1,它采用定制的卷积架构来评估在完全受控环境中基于形态学的表示的有效性。第二个称为MCNN2,它将形态学特征集成到预训练的MobileNetV2架构中,以检查它们在迁移学习框架中的影响。这种分离允许在基于零开始和迁移学习环境中控制性地分析形态学的贡献。

2.4.2. 提出的MCNN1(定制CNN架构)
为了在受控环境中评估基于形态学的特征表示的有效性,开发并从头开始训练了一个定制的卷积神经网络架构,称为MCNN1。与预训练模型不同,MCNN1可以直接评估形态学操作的贡献,而不受先前学习表示的影响。该模型源自2.4.1节描述的一般MCNN框架,重点是一个完全定制的卷积骨干。如图5所示,MCNN1模型以160×160的灰度面部图像作为输入。输入首先通过形态学特征提取阶段处理,其中应用了四种基本操作——膨胀、腐蚀、开运算和闭运算,如2.3节所定义。每种操作产生一个残差图像,即膨胀残差(???????)、腐蚀残差(???????)、开运算残差(???????)和闭运算残差(???????)。这些残差表示突出了与面部表情相关的结构变化,如边缘、轮廓和局部变形。图5. 提出的MCNN1架构示意图,展示了形态学特征提取阶段、通道连接以及随后的卷积特征学习和分类层。然后将得到的残差图像通过通道连接组合形成多通道表示,作为卷积网络的输入。特征学习阶段包括四个卷积块,每个块由一个卷积层、一个批量归一化层、一个修正线性单元(ReLU)激活函数和一个最大池化层组成。这四个卷积块分别使用128、256、512和1024个滤波器,从而能够从增强形态学的输入中逐步提取层次化特征。输出的特征图随后被展平为一维特征向量,并通过带有ReLU激活的FC层进行处理。最终输出层包含七个神经元,对应于七个面部表情类别,后面是一个softmax激活函数用于分类。这种定制架构提供了一个轻量级且完全可控的框架,用于分析基于形态学的特征表示对FER的贡献。

2.4.3. 提出的MCNN2
为了进一步研究在迁移学习框架中基于形态学的特征整合的有效性,开发了第二个模型家族,称为MCNN2,它将形态学表示集成到预训练的MobileNetV2架构中。与从零开始训练的MCNN1不同,MCNN2利用从ImageNet初始化的预训练权重来捕获高级语义特征,同时整合了增强形态学的输入。MobileNetV2最初是为接收三通道RGB图像而设计的[24]。然而,在本研究中,面部图像以灰度(单通道)形式表示。为了使输入适应预训练架构同时保持形态学信息,采用了多通道输入策略。具体来说,MCNN2的输入是通过将原始灰度图像与选定的形态学残差图像结合来构建的,形成与MobileNetV2兼容的三通道复合输入。如图6所示,MCNN2的总体架构基于标准的MobileNetV2骨干。在这个框架中,只有输入表示被修改,而骨干架构保持不变。形态学特征提取过程与2.4.1节中描述的过程相同,而卷积特征学习是使用预训练的MobileNetV2网络进行的。图6. 基于MobileNetV2的提出的MCNN2模型的统一架构。为了系统地评估不同形态学操作的贡献,定义了六种输入组合,如表3所示。每种组合对应于一个不同的MCNN2变体,通过将原始图像与两个形态学残差图像配对来构建。这种设计允许在一致的骨干架构下控制性地分析不同结构表示对识别性能的影响。表3. MCNN2变体的输入通道配置。每种输入组合都被输入到MobileNetV2骨干中,后者使用深度可分离卷积提取层次化特征表示。然后通过FC层处理得到的特征图,随后通过softmax分类器进行面部表情类别的预测。这种设计允许在一致的骨干架构下系统地比较不同的形态学特征组合的效果。

2.4.4. 基线和比较模型(MobileNetV2、MNN和VGG19)
为了全面评估提出的MCNN框架,使用了三个基线模型进行比较,即MobileNetV2、VGG19和形态学神经网络(MNN)。这些模型代表了三种不同的建模范式:轻量级卷积神经网络、深度高容量卷积架构和基于形态学的神经网络。这种选择使得可以系统地比较基于外观的、基于结构的和混合特征表示。MobileNetV2[24]被用作轻量级CNN基线,因为它基于深度可分离卷积和反向残差块的有效架构。这些设计原则显著降低了计算复杂性,同时保持了竞争性能。在本研究中,MobileNetV2使用预训练的权重进行初始化,并使用与提出的MCNN2模型相同的输入分辨率(160×160)和训练配置进行调整。通过保持骨干架构不变,只修改MCNN2中的输入表示,这种设置确保任何观察到的性能差异都可以主要归因于形态学特征的引入,而不是网络容量或训练策略的差异。VGG19被用作高容量深度CNN基线,这在最近的FER研究中很常见[16]。与MobileNetV2相比,VGG19采用了更深的架构和更多的参数,从而能够提取丰富的层次化特征。该模型使用预训练的ImageNet权重进行初始化,并在目标数据集上进行了微调。根据[16]中描述的迁移学习策略,早期的卷积层被冻结以保留通用的低级特征表示,而更深层次的层则被训练来捕获与面部表情相关的特定任务模式。这种配置为评估形态增强表示是否优于传统的深度CNN提供了强有力的基准。除了基于CNN的方法外,还采用了基于Shen等人[22]工作的MNN作为基于结构的基线。与卷积神经网络不同,MNN利用形态学操作作为主要的特征提取机制,而不依赖于卷积滤波器。因此,该模型完全在形态学域中操作以进行特征提取。与MNN的一般公式一致,该架构包括一个形态学层、一个减法层、一个展平层和全连接层。然而,在这项研究中,该架构被调整以适应FER任务和预处理流程。具体来说,该模型接受160 × 160的灰度图像作为输入,并在形态学层中使用固定的7 × 7圆盘形结构元素。如图7所示,实现的MNN使用开运算作为形态学变换。然后将得到的图像(????)与原始输入图像(????)通过减法运算(???? ? ????)结合,生成一个形态学残差图像(???????)。这种残差图像强调了面部组件的边缘和几何变化等结构特征,同时抑制了均匀强度区域。图7. 基于Shen等人[22]的调整后的MNN架构。与Shen等人[22]提出的原始MNN不同,后者可能包含多个结构元素和可学习参数,本研究中的实现采用了单一的固定结构元素和单一的形态学操作。这种设计选择确保了与提出的MCNN模型进行可控的比较,使得基于形态学的表示的贡献可以更清晰地分离出来。由于MNN仅依赖于形态学变换而不进行卷积特征提取,它作为一个纯粹基于结构的基线。这使得可以直接评估将形态学操作集成到CNN架构中(如在提出的MCNN框架中)是否提供了额外的好处。为了确保公平和一致的比较,所有基线模型都在相同的实验条件下进行训练和评估,包括相同的数据集、预处理流程、与主体无关的数据分割和评估指标。此外,只要适用,所有模型都应用相同的优化设置和训练程序。这种统一的实验设置确保了性能差异主要归因于特征表示和架构设计的差异,而不是数据或训练配置的变化。总体而言,选定的基线模型能够全面评估形态学操作是否提供了超出传统卷积特征提取的补充结构信息。2.5. 实施细节和训练配置所有模型都是使用Python 3.10.11和TensorFlow/Keras框架实现的,并在配备了NVIDIA RTX 3060笔记本电脑GPU(6 GB内存)和32 GB RAM的GPU启用的环境中进行训练。为了确保可重复性,数据集分割、数据洗牌和数据增强始终使用固定的随机种子42。所有模型的输入大小设置为160 × 160像素,遵循第2.1节中描述的预处理程序。对于基于CNN的模型,输入像素值从[0, 255]重新缩放到[0, 1]。形态学操作按照第2.3节中的描述应用于灰度图像。所有模型都使用Adam优化器进行训练,初始学习率为0.00001,损失函数为稀疏分类交叉熵。批量大小为32,训练最多进行100个周期。基于验证性能应用提前停止策略,选择具有最佳验证准确率的模型。对于迁移学习模型(MobileNetV2、VGG19和MCNN2),使用来自ImageNet的预训练权重进行初始化。在基于MobileNetV2的模型中,包括MCNN2,预训练的骨干网络在FER数据集上进行了微调。对于VGG19,迁移学习策略遵循[16],其中早期卷积层被冻结以保留通用的低级特征,而更深层次的层被微调以捕获特定任务的表示。对于MCNN2,与基线MobileNetV2相比唯一的修改在于输入表示。原始的灰度图像与选定的形态学残差图像结合形成三通道输入。骨干架构和训练程序保持不变,以确保与基线MobileNetV2模型进行公平比较。MNN模型使用相同的优化器、学习率和训练计划进行训练。尽管MNN在结构上与基于CNN的模型不同,但保持相同的训练设置,以确保性能差异主要归因于架构设计而不是训练配置。模型评估使用第2.2节中描述的与主体无关的10折交叉验证进行。性能指标是根据所有折叠的平均值计算的。2.6. 评估指标为了评估本研究中所有模型的性能,使用了四个评估指标:准确率(训练、验证和测试)、宏精度、宏召回率和宏F1分数。此外,还使用混淆矩阵可视化进一步分析模型性能,以提供关于类别预测的洞察力。准确率(Acc)衡量所有类别中正确分类样本的总体比例。如方程(9)所示,它通过将每个类别????的真阳性TP?(????)之和除以混淆矩阵????,??中的样本总数来计算。 ?????????(??reduced)=∑????=1TP?(????)∑????=1∑????=1????,?? (9) 精度(PPV)衡量模型避免误报的能力。如方程(10)所示,宏平均精度是通过计算所有N类中每个类别精度?????????(????)的算术平均值来计算的,无论样本大小如何都给予相同的权重。 ?????????(??????????????)=1?????∑??=1?????????(????) (10) 召回率(TPR)衡量模型检测所有阳性样本的能力。如方程(11)所示,宏平均召回率是通过计算所有N类中每个类别召回率?????????(????)的算术平均值来计算的,确保少数类别对最终分数的贡献相等。 ?????????(??????????????)=1?????∑??=1?????????(????) (11) F1分数是精度和召回率的调和平均,提供了一种平衡两者的度量。如方程(12)所示,宏平均F1分数结合了?????????(??????????????)和?????????(???????????),惩罚那些为了一个指标而牺牲另一个指标的模型。 ??1?(??????????????)=2·?????????(??????????????)·?????????(??????????????)?????????(??????????????)+?????????(??????????????) (12) 除了分类性能之外,还评估了计算效率。具体来说,测量了模型参数总数、推理延迟和峰值GPU内存使用量。推理延迟是通过在固定测试样本上重复运行100次后计算预测时间的平均值来计算的,而峰值GPU内存使用量是在推理过程中记录的。这些指标为提出的模型在现实世界中的部署提供了额外的洞察。3. 结果与分析 3.1. 训练结果在训练过程中,过拟合被确定为主要挑战。如图8所示,初始训练配置导致训练准确率和验证准确率之间存在明显差距,表明模型倾向于记住训练数据而不是有效泛化。尽管应用了dropout作为正则化技术,但它不足以完全缓解这个问题。图8. 调整模型之前的MCNN2v5训练历史,仅应用了dropout。为了解决过拟合问题,引入了额外的正则化策略,包括L2正则化(1 × 10?3)和在平台期降低学习率。如图8所示,这些技术有助于减少训练和验证性能之间的差距。然而,它们也导致整体准确率下降,表明在泛化能力和模型容量之间存在权衡。因此,通过降低全连接层的复杂性进行了进一步调整。实验结果表明,将神经元数量减少到16有效地提高了泛化能力,同时保持了竞争性能。如图9所示,最终配置在训练和验证准确率及损失之间实现了稳定收敛,表明模型成功平衡了拟合和泛化。图9. 在模型上应用L2和平台期学习率降低器后的MCNN2v5训练历史。鉴于学习率对模型性能的显著影响,随后移除了平台期的学习率降低。然后,调整过程集中在密集层的复杂性上,通过改变神经元数量(从16到1024)。实验结果表明,将密集层中的神经元数量减少到16有效地减轻了过拟合,同时保持了整体模型性能。图10展示了调整后的训练历史示例。结果表明,训练和验证准确率及损失趋于一致,选定的模型对应于虚线和橙色垂直线所示的周期。图10. 调整全连接层复杂性后的MCNN2v5训练历史,展示了训练和验证准确率及损失之间的收敛。表4总结了使用10折交叉验证的所有评估模型的平均训练准确率、验证准确率、训练时间和参数数量。在评估的模型中,MCNN2变体,特别是MCNN2v5,实现了最高的验证准确率(90.82%),性能与MCNN2v4和VGG19相当。值得注意的是,MCNN2模型的训练和验证准确率之间的差距很小,表明其具有强大的泛化能力。相比之下,VGG19的差距较大(超过6%),表明由于其较高的模型容量,它有过拟合的倾向。表4. 模型训练总结。MCNN1也显示出中等差距(约4%),表明其泛化性能合理,但仍然不如MCNN2稳定。另一方面,尽管MNN的参数数量相对较多,但其验证准确率显著较低(51.92%)。这表明缺乏分层特征提取机制(如卷积层和池化层)限制了其有效捕捉区分性面部特征的能力。在模型复杂性方面,MobileNetV2和所有MCNN2变体具有相同的参数数量,因为形态学操作没有引入额外的可学习参数。VGG19具有最多的参数数量,而MNN也由于其架构设计而具有相对较高的参数数量。MCNN1在模型复杂性和性能之间提供了平衡。在训练效率方面,尽管参数数量相同,MCNN2变体显示了比MobileNetV2更短的训练时间。这表明形态学增强的输入可能简化了特征学习并提高了优化效率。MCNN1也显示出相对较快的训练时间,可能是因为其更简单的架构。另一方面,MNN显示最快的训练时间,这可以归因于其相对较浅和线性的结构。总体而言,这些结果表明,将形态学表示集成到CNN架构中可以提高泛化能力,同时保持计算效率,特别是在与高容量模型(如VGG19)相比时。3.2. 测试结果近年来,基于深度卷积神经网络和变换器架构的最先进FER方法在基准数据集上展示了出色的性能。例如,最近的基于变换器的方法在CK+等数据集上报告了非常高的识别准确率,达到99%,在受控实验设置或数据集特定条件下[23],这可能无法完全反映跨数据集或与主体无关的情景。现有方法包括在CK+和JAFFE等基准数据集上评估的手工制作和基于深度学习的方法。例如,LBP结合高阶奇异值分解(HOSVD)[11]专注于独立于人的面部表情识别,通过在CK+数据集上实现大约82%的准确率。同时,更新的基于CNN的方法,如基于三层卷积神经网络的多层特征识别算法(HFT-CNN)[13]和使用VGG19等架构的迁移学习模型[16],在包括CK+和JAFFE的数据集上进行了评估,并在某些实验设置下报告了更高的准确率,达到98%。然而,这些方法通常在依赖于主体或随机分割的协议下进行评估,其中训练和测试样本可能具有相似的主体特征。因此,报告的性能受到评估协议的强烈影响,可能无法完全反映现实世界场景中的泛化能力。为了解决这些限制,本研究采用了更具挑战性和现实性的评估设置,包括与主体无关的10折交叉验证方法,然后将其应用于MobileNetV2、VGG19以及提出的MCNN1和MCNN2模型,这些模型在异构多源数据上进行了测试。表5展示了所有评估模型在准确率、精度、召回率和F1分数方面的测试性能,平均值基于10折交叉验证。总体而言,MobileNetV2在所有评估指标上都表现均衡,证实了其在一致实验条件下的有效性作为轻量级基线模型。相比之下,MNN模型在所有模型中表现最差,这表明仅基于形态学的架构在没有卷积特征提取的情况下不足以捕捉复杂的面部表情模式。VGG19取得了有竞争力的性能,但仍然略低于MobileNetV2、MCNN1以及所有MCNN2变体。训练、验证和测试性能之间的明显差距进一步表明了过拟合的倾向,这与它的大量参数和高模型容量是一致的。MCNN1改进了MNN的基线性能,展示了将形态学操作与卷积层结合的好处。然而,其性能仍略低于MobileNetV2,表明从头开始训练的模型在处理异构多源数据集时可能不如基于迁移学习的方法有效。表5 使用不同指标的模型测试总结。在所有评估的模型中,MCNN2变体取得了最一致且具有竞争力的性能。特别是,MCNN2v5的测试准确率最高(88.7%),比MobileNetV2(88.27%)略有提升,表明性能有所提升但保持稳定。几个MCNN2变体(v3、v4和v5)在保持相同骨干架构和训练配置的情况下略微优于MobileNetV2。这表明观察到的改进主要归因于形态学特征表示的引入,而不是网络容量的差异。对形态学组件的更详细分析显示,包含侵蚀操作的变体(v1、v4和v5)的平均准确率略高于其他组合。这表明侵蚀操作在增强判别特征方面起着重要作用。与扩张不同,扩张会扩大明亮区域,而侵蚀则会抑制均匀区域,同时保持结构边界,如眼睑、眉毛和嘴巴轮廓。由于面部表情主要通过几何变形来表征,而不是纹理变化,这种行为使网络能够专注于具有结构意义的特征。在计算效率方面,尽管参数数量相同,MCNN2变体的训练时间也比MobileNetV2短。这表明增强形态学的输入可能简化了特征学习并提高了优化效率。此外,形态学残差图像中存在零值区域可能会在卷积操作期间减少计算开销,从而加快收敛速度。尽管准确率的提高幅度相对较小,但在多个MCNN2变体中都是一致观察到的。这表明形态学引导的表示提供了补充的结构信息,增强了模型的鲁棒性,而不会增加模型复杂性。MCNN2v4和MCNN2v5之间的比较进一步突出了操作顺序的重要性。如图11所示,通过闭合和打开操作生成的特征图具有不同的结构特征。闭合由于初始的扩张步骤会产生更密集的激活,可能会合并邻近的结构并降低特征的可区分性。相比之下,首先进行侵蚀可以有效地抑制噪声并去除虚假激活,然后扩张恢复剩余的结构。因此,打开操作产生的特征图更加清晰且空间定位更准确,与表情相关的几何模式更加一致,从而略微提高了识别性能。图11 闭合和打开操作之间的特征图可视化。为了进一步分析所提模型的类别性能,图12展示了MCNN2v5的混淆矩阵。结果表明,该模型在大多数表情类别中都取得了高准确率,特别是在快乐(59/59)和中性(59/61)类别中,显示出强大的判别能力,能够清晰区分表情。然而,在某些类别中也观察到了一些误分类。特别是,恐惧经常被误分类为悲伤(6个样本),而厌恶也被误分类为悲伤(6个样本)。这表明悲伤类别可能是一个混淆源,可能是由于多个表情之间共有的面部特征重叠,如眉毛下垂和微妙的嘴巴变形。此外,还观察到了次要的混淆模式。例如,厌恶被误分类为愤怒(4个样本),愤怒被误分类为中性(4个样本),表明这些表情之间的面部肌肉激活模式部分重叠。尽管这些错误的发生频率低于主要误分类,但它们突显了区分具有相似结构特征的表情的剩余挑战。图12 在独立于受试者的10折交叉验证下提出的MCNN2v5模型的混淆矩阵。较深的颜色表示较高的值。从表示的角度来看,这些发现与形态学特征提取的行为一致。特别是,MCNN2v5中使用侵蚀和打开操作强调了通过抑制噪声和不相关的强度变化来突出细微的结构细节。这使模型能够更好地捕捉面部组件的局部几何模式。然而,结构配置高度相似的表情(如恐惧和悲伤)仍可能产生重叠的特征表示,导致残余混淆。总体而言,误分类的情况有限,且不影响整体性能。这些发现表明,该模型有效地捕捉了具有判别性的结构特征,同时在不同的表情类别中保持了鲁棒性。

3.3 消融研究
为了评估所提出的形态学特征提取的贡献,对MCNN1和MCNN2架构进行了消融实验。结果报告为10折交叉验证的平均值±标准差。对于MCNN1,消融研究关注输入层之后应用的四个形态学分支(扩张、侵蚀、打开和闭合)的作用。在消融配置中,这些形态学操作被移除并替换为简单的通道复制,即将灰度输入图像复制四次后再传递到卷积层。这种设计保持了相同的输入维度和整体模型复杂性,确保了公平的比较,任何观察到的差异都可以归因于形态学变换的存在或缺失。如表6所示,完整的MCNN1模型的测试准确率为88%(±2%),而消融版本的准确率为87%(±4%)。尽管平均准确率的提高幅度不大(约1%),但在性能稳定性方面观察到了更明显的效应,标准差从±2%增加到±4%。这表明形态学残差表示有助于跨折叠进行更稳定和一致的学习。表6 提出的模型MCNN1的消融研究。结果报告为10折交叉验证的平均值±标准差。在计算成本方面,两种配置的性能相似。MCNN1的推理延迟为165毫秒(±2),而消融版本的推理延迟为156毫秒(±3),同时GPU内存使用量和训练时间也相当。这表明引入形态学操作仅引入了最小的计算开销。这些结果表明,形态学残差表示提供了无法通过简单通道复制来复制的补充结构信息。特别是,形态学操作强调了边缘、轮廓和面部组件的局部变形等几何变化,这对于区分面部表情至关重要。对于MCNN2,消融研究旨在隔离迁移学习框架内形态学操作的贡献。完整的MCNN2v5模型与几个变体进行了比较:(1)移除侵蚀并用通道复制代替,(2)移除打开并用复制代替,(3)完全移除这两种形态学操作。如表7所示,基线MobileNetV2的测试准确率为88%(±3%),而MCNN2v5的准确率为89%(±2%),显示出轻微但一致的改进。当单独移除侵蚀或打开时,性能基本保持不变(89%),表明每个操作都提供了有用的结构信息。然而,当移除两种形态学操作时,性能下降到88%,回到了基线水平。表7 提出的模型MCNN2v5的消融研究。这些发现表明,性能的提升不依赖于特定的形态学操作,而是依赖于至少存在一个能够丰富输入表示的结构信息的有意义形态学变换。在计算效率方面,MCNN2v5与基线MobileNetV2相比有了显著改进。具体来说,推理延迟从281毫秒减少到222毫秒(约21%的减少),GPU内存使用量从2231 MB减少到约800 MB(约64%的减少),训练时间从26分钟减少到约12分钟(约54%的减少)。这些结果表明,所提出的形态学流程提供了更高效的输入表示,而没有增加模型复杂性。从表示的角度来看,消融结果表明,基于形态学的变换作为一个结构化的预处理步骤,通过抑制噪声和无关的强度变化来丰富灰度输入。与简单的复制不同,形态学操作生成了多样的特征图,引导网络朝向更具判别性的表示。总体而言,消融研究证实了集成形态学操作可以提供适度但一致的性能提升,提高了模型稳定性,并提高了计算效率。

3.4 跨数据集验证
为了进一步评估所提出模型的泛化能力,使用留一数据集外部协议进行了跨数据集验证实验。在这种设置中,模型在CK+、JAFFE、KDEF和IFE数据集的组合上进行了训练,而TFEID数据集完全从训练中排除,仅用于测试。这种设置确保了测试数据来自不同的分布,从而允许在域偏移条件下进行评估。对训练数据进行了独立于受试者的分割,以防止训练和验证子集之间的任何身份受试者泄漏。所有实验都遵循10折交叉验证方案,以确保可靠的性能估计。表8展示了跨数据集验证结果,包括训练、验证和测试准确率,以及精确度、召回率和F1分数。表8 跨数据集验证结果(留一数据集外部:在CK+、JAFFE、KDEF、IFE上训练;在TFEID上测试)。如表8所示,MCNN2v5和MCNN1在未见过的TFEID数据集上的表现都很强。MCNN2v5的测试准确率为89.28%,与其在多源交叉验证设置中的表现相当,并略有提高。MCNN1也表现出稳定的性能,测试准确率为87.41%。这些结果表明,所提出的模型在不同特征的数据集上泛化能力良好,包括种族、光照和获取条件的变化。MCNN2v5的强大跨数据集性能可以归因于形态学特征表示的纳入。通过强调边缘、轮廓和面部组件的几何变形等结构特征,模型对基于外观的变化(如光照条件和肤色差异)不太敏感。这使得模型能够专注于在数据集中更不变的与表情相关的特征。此外,使用独立于受试者的训练和评估协议确保了模型学习的是与表情相关的模式,而不是特定于受试者的特征。这在跨数据集设置中尤为重要,因为在训练和测试集之间,身份和数据分布可能存在显著差异。尽管观察到的改进幅度较小,但结果与标准评估环境中的结果一致,表明形态学引导的表示有助于实现稳健和可迁移的特征学习。总体而言,这些发现表明,所提出的MCNN框架为现实世界场景中的面部表情识别提供了一种可靠的方法,其中训练和测试数据可能来自不同的来源。

4. 结论
本研究提出了一个将数学形态学与卷积架构结合的MCNN框架用于面部表情识别。此外,通过结合几个公开可用的数据集和一个新收集的IFE数据集,构建了一个多源和多民族的数据集,增加了数据多样性和评估的鲁棒性。实验结果表明,所提出的MCNN2模型与传统的CNN基线相比取得了有竞争力的性能。特别是,MCNN2v5的测试准确率最高(88.7%),略高于MobileNetV2。虽然性能提升的幅度不大,但在多种配置中都是一致的,表明形态学引导的特征表示是有效的。消融研究证实,形态学操作的整合有助于提高稳定性和鲁棒性,而不仅仅是增加了模型复杂性。结果表明,基于形态学的变换提供了无法通过简单通道复制来复制的补充结构信息。此外,跨数据集验证表明,所提出的方法对未见数据有良好的泛化能力,在完全独立的数据集上实现了89.28%的准确率。这表明形态学引导的表示有助于减少对基于外观的变化(如光照和人口统计差异)的敏感性,从而实现了更可迁移的特征学习。除了性能提升外,所提出的MCNN框架还在计算效率上具有优势。结果显示,推理延迟减少,GPU内存使用量降低,训练时间缩短,同时保持了相当的模型复杂性。总体而言,这些发现表明,将形态学表示集成到卷积神经网络中可以提供适度但一致的性能提升,同时增强了泛化和效率。所提出的方法为异构环境和现实世界中的图像伪装(FER,Filtered Forensic Recording)问题提供了一种实用且有效的解决方案。未来的研究可以探索将形态学操作更高级地整合到深度学习架构中的策略,包括自适应或可学习的结构化元素,以及对这些结构化元素大小的敏感性分析。此外,还可以通过引入近年来FER研究中广泛使用的其他基准数据集,并在一致的评估协议下进行直接比较来进一步评估该方法。这包括在不受研究对象影响和跨数据集的设置中,使用常用的数据集来评估该方法,以便与最新的先进方法进行更加全面和公平的对比。此外,所提出的框架还可以扩展到其他涉及结构特征分析的计算机视觉任务中。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号