多模态融合与混合注意力机制的并行深度学习技术在牛油果成熟度识别中的应用
《IEEE Access》:Multimodal Fusion Hybrid Attention Parallel Deep Learning for Avocado Ripeness Classification
【字体:
大
中
小
】
时间:2026年04月17日
来源:IEEE Access 3.6
编辑推荐:
摘要: climacteric果实的一个重大挑战是,其成熟过程会在从树上采摘后开始。这导致了对成熟度的频繁误解,对全世界的零售商和消费者产生了显著影响。本文提出了一种使用多模态融合混合注意力并行卷积神经网络(MHA-PCNN)来分类哈斯鳄梨成熟度的方法。该模型将可见光和近红外卷积
摘要: climacteric果实的一个重大挑战是,其成熟过程会在从树上采摘后开始。这导致了对成熟度的频繁误解,对全世界的零售商和消费者产生了显著影响。本文提出了一种使用多模态融合混合注意力并行卷积神经网络(MHA-PCNN)来分类哈斯鳄梨成熟度的方法。该模型将可见光和近红外卷积神经网络(VNIR-CNN)与混合注意力并行卷积神经网络(HA-PCNN)相结合,后者在VGG-16和EfficientNet(B0–B7)之间并行提取特征,然后采用混合注意力机制。评估过程中使用了包括准确性、精确度、敏感性、特异性、F1分数、负预测值和分类交叉熵损失在内的性能指标。数值结果表明,所提出的MHA-PCNN架构比现有的最先进方法具有更高的准确性。这一验证证实了所提出方法分类哈斯鳄梨成熟度的能力。CCBY - IEEE并非该材料的版权所有者。请通过https://creativecommons.org/licenses/by/4.0/遵循说明以获取全文文章和API文档中的规定。
第一节 引言
鳄梨(Persea americana)是一种原产于中美洲(尤其是墨西哥)的营养丰富的水果[1],也可以在热带地区成功种植。成熟的鳄梨果肉柔软细腻,呈绿黄色,味道浓郁,带有坚果风味。鳄梨富含维生素、矿物质、蛋白质、膳食纤维和低脂挥发性油,有助于减肥[2]。尽管成熟的鳄梨营养价值很高,但食用未成熟的果肉可能会因为含有杀菌毒素(称为persin)而引起消化问题[3]。鳄梨属于 climacteric 果实,只有在从植株上采摘后才会成熟[4]。收获后,成熟过程开始启动,果肉变软,果皮变暗,尤其是哈斯品种,通常会变成深绿色或接近黑色。然而,判断哪些鳄梨已经成熟可以食用需要技巧和经验。消费者往往难以判断鳄梨的成熟度,可能导致购买后过久而腐烂,而一些其他 climacteric 果实如香蕉、芒果和木瓜的成熟度可以通过视觉进行评估。
目前,深度学习有助于进行分类,特别是卷积神经网络(CNN),在基于图像的分类任务中非常流行。已经开发并广泛使用了多种网络架构,如 Visual Geometry Group-16(VGG-16)、EfficientNets 和自定义设计的 CNN 模型,用于分类包括鳄梨在内的 climacteric 果实的品质、成熟度和熟度[5]、[6]、[7]、香蕉[8]、[9]、[10] 和榴莲[11]、[12]、[13]。这些网络分析水果图像的空间模式、颜色变化和纹理特征。大多数研究使用基于 CNN 的模型和图像处理来分类水果成熟度。这些模型包括训练新数据集、预训练、迁移学习和微调以提高准确性。此外,集成注意力机制(如卷积块注意力模块(CBAM),它结合了通道注意力和空间注意力,提高了模型在特征提取方面的效率。尽管 CBAM 架构较为轻量级,但它缺乏建模远距离图像区域之间关系的机制,这对于捕捉长距离依赖性和全局模式至关重要,这是由于空间子模块接受域的局限性[14]。将自注意力添加到空间和通道注意力中,使模型能够捕捉更多的空间和长距离依赖性以及全局模式[5]。此外,多模态融合通过捕获互补信息来提高分类性能。例如,使用基于 CNN 的模型通过颜色(红色、绿色和蓝色或 RGB)和高光谱图像来估计香蕉的成熟度[15]。这包括使用 RGB 图像、光谱数据和触觉信号高效分类番茄的成熟度[16]。在鳄梨成熟度分类等应用中,结合多模态数据(包括 RGB 图像和硬度(触觉感知)已经成功地使用 ResNet-34 进行了成熟度分类[17]。然而,这种方法需要时间和专用工具来测量鳄梨的硬度。另外,结合 RGB 图像、高光谱图像以及可见光和近红外(VNIR)光谱的空间和光谱特征可以提高准确性[7]。然而,CNN 模型的效率结果可能因数据集和其他架构的不同而有所差异,某些架构可能更适合特征提取。因此,使用多个 CNN 架构可能增加捕获更多特征的可能性。例如,并行化 VGG-16 和 EfficientNet-B0 可以提高鳄梨成熟度分类的准确性[18]。
以往的研究使用了不同的方法来分类鳄梨的成熟度,例如基于光谱的多模态数据混合深度学习方法[7],其中每个输入只被送入一个 CNN 后再融合输出。然而,这种方法有一个局限性:如果 CNN 没有合适的架构,分类性能可能会下降。与并行 CNN 不同,并行 CNN 将单一输入类型传递给多个 CNN 架构时,可以获得更全面的特征集[18]。然而,无论使用 VGG-16 还是 EfficientNet 中的一个或两个 CNN,并联使用时,只能得到特征图的一小部分区域,可能无法捕捉不同成熟度水平下的水果形状、果皮颜色和鳄梨果皮之间的关系。此外,添加注意力机制可以通过捕捉空间和全局特征来提高模型性能,如 [5] 中所示,该方法在 CNN 之后添加了混合注意力来分类鳄梨成熟度。尽管如此,那项研究仅使用了一个 CNN 和一种输入类型,通过使用多个 CNN 和多模态输入仍然可以进行改进。
像鳄梨这样的 climacteric 果实的成熟度分类具有挑战性。未来的系统将采用越来越复杂的架构。这些设计可能会整合各种技术,如注意力机制、多模态数据融合和平行结构,以及结合不同的深度学习模型和分类器,或将手动设计的特征与自动提取的特征合并,以显著提高整体性能[19]。为了克服现有成熟度分类研究的局限性(这些研究通常缺乏足够的架构深度来完全捕捉特征关系),本研究引入了一个用于鳄梨成熟度分类的多模态融合框架。所提出的模型使用包括 VGG-16 和 EfficientNet 的并行架构结合图像和光谱输入。此外,还实现了结合通道注意力、空间注意力和自注意力的混合注意力机制,以解决空间复杂性并优化全局特征提取。
本文的其余部分组织如下:第二节介绍相关研究和相关工作;第三节概述鳄梨成熟度分类的研究方法和模型开发;第四节展示研究结果和讨论;第五节总结研究。
第二节 背景和相关工作
A. 并行深度学习
深度学习是机器学习的一个子领域,通过人工神经网络使机器能够从复杂数据中学习,从而显著推进了各个领域的发展。由于在处理线性可分问题方面的能力有限,Rosenblatt[20]于20世纪50年代中期提出了深度学习的概念。由于这一限制,人们创建了具有非线性激活函数和隐藏层的多层感知器(MLPs),从而实现了复杂的建模。深度学习已经发展成为一种强大的工具,用于图像识别、自然语言处理和强化学习等任务,取得了经常与人类表现相当或超越人类表现的结果[21]、[22]。特别是二维卷积神经网络(2D CNN)在水果成熟度分类方面取得了革命性的进展,例如香蕉[8]、[9]、榴莲[11]、[12]、[13],它能够从不同成熟度水平的水果图像中提取出稳健的高维特征。这些模型利用了诸如 DenseNets、EfficientNets、MobileNets、ResNets 和 VGGNets 等先进架构来提高特征提取和预测准确性[23]、[24]。此外,使用 ResNet-50、MobileNet-V2、DenseNet-121、NASNetA、EfficientNet-B0、EfficientNet-B1 和 EfficientNet-B2 对苹果和香蕉进行了分级。实验结果表明 EfficientNet-B2 的性能最高[25]。然而,上述大多数研究使用单一基于 CNN 的模型来提取特征和分类类别。
并行深度学习是另一种方法,它使用多个深度神经网络同时提取特征,然后可以在每个网络内进行分类,或者将获得的特征结合在一起再进行分类。这种方法有助于提高模型的效率并实现更高的准确性。例如,开发了一个使用图像数据对肺部肿瘤进行分类的模型,同时并行应用空间和通道注意力机制[26]。还使用 VGG-16 和 AlexNet 的并行深度学习方法对 COVID-19 进行了分类[27]。此外,还并行开发了 VGG-16 和 EfficientNet-B0 来分类 COVID-19[28]。对于鳄梨成熟度分类,使用六通道图像作为输入,将 VGG-16 和 EfficientNet 并行使用。通过利用 VGG-16 和 EfficientNet 等架构,这些网络分析了鳄梨图像中的空间模式、颜色变化和纹理特征[18]。上述研究表明,并行 CNN(PCNN)模型可以提高准确性。大多数图像数据使用 VGG-16,这是一种简单而深层次的架构,使模型能够学习复杂的图像特征和模式。对于 EfficientNet-B0,它在较少的参数下有效平衡了深度、宽度和分辨率[28]。VGG-16 使用线性或顺序架构,由13个卷积(Conv)层组成,每个卷积层使用小的3×3滤波器,最后有三个全连接(Dense)层,并穿插了最大池化(MaxPool)层以减少空间维度同时加倍通道深度。此外,EfficientNet 的架构基于 Mobile Inverted Bottleneck Convolution(MBConv)块,该块利用深度卷积(DWConv)后跟批量归一化(BN)和 Swish 激活函数来保持高准确性同时减少计算量。在这些块中,Squeeze-and-Excitation(SE)块可以自适应地重新校准通道级特征,以强调重要信息。网络从标准卷积层开始进行初始特征提取,并以全局平均池化(AvgPool)结束,将空间维度减少为固定向量,与传统的全连接(FC)层相比大幅减少了参数数量。VGG-16 和 EfficientNet-B0 的架构如图 1 所示。
图 1. VGG-16 和 EfficientNet-B0 的架构
B. 注意力机制
注意力机制使神经网络能够动态关注输入数据中最重要的信息,涵盖空间和通道领域[29]。注意力机制为特定区域或通道分配不同的权重,而不是平等对待所有特征。这使得模型能够专注于特定任务中最具信息量的特征,例如确定水果的成熟度。常见的 CNN 中使用的注意力机制包括空间注意力、通道注意力和自注意力。空间注意力关注图像中重要信息的位置[30]。它识别对任务贡献最大的区域,对于某些区域内某些信息量较大的任务特别有用。例如,它可以突出水果表面的成熟斑点或缺陷。通道注意力关注哪些特征图(通道)更重要[31],例如相关通道上的复杂模式。在水果成熟度识别中,它可能更关注与颜色相关的特征或纹理细节。自注意力允许特征图的每个部分相互关联,帮助模型捕捉长距离依赖性而不仅仅是局部特征。自注意力特别适用于需要全局上下文的任务。在自注意力过程中使用通道来确定注意力分数[30]。
此外,多个注意力模块被集成到基于 CNN 的模型中,特别是通道注意力和空间注意力。例如,CBAM 首先应用通道注意力模块(CAM),然后应用空间注意力模块(SAM)来细化特征[32]。CBAM 也被用于提高水果成熟度的分类效率,例如蓝莓[33] 和橄榄[34]。CBAM 在捕捉全局模式和长距离依赖性方面的能力有限,因此缺乏捕捉图像中远距离区域之间关系的工具。相反,它专注于在空间和通道维度内细化局部特征。然而,有一项研究将 SAM、CAM 和自注意力模块(S-AM)结合为混合注意力(HA)模块,并与基于迁移学习的 CNN 模型结合使用来分类鳄梨成熟度[5]。该研究发现,使用 HA 模块可以获得比单独使用任一或两种注意力模块更好的结果。
C. 多模态融合
单一类型的数据通常无法捕捉到准确理解所需的所有信息。因此,最近深度学习模型中融合了多模态数据作为输入,这种现象越来越普遍。多项研究利用包含RGB图像和光谱数据(图像或信号)的数据集来训练深度学习模型,特别是用于分类蔬菜的成熟度和水果的熟度。RGB图像和高光谱图像被用作基于CNN的模型的输入,包括AlexNet、VGG-16、VGG-19、ResNet-50、ResNeXt50、MobileNet和MobileNet-V2。研究结果表明,AlexNet、VGG-16和VGG-19这三种模型都取得了最高的准确率[15]。番茄的成熟度是通过颜色图像、VNIR光谱数据和触觉信号数据来分类的。这些数据在经过VGG-16、一维CNN(1D CNN)和长短期记忆(LSTM)特征提取后被合并。研究结果表明,使用多模态融合数据在分类番茄成熟度方面比使用单一数据源获得了更高的准确率[16]。此外,在鳄梨成熟度分类中使用了三种类型的输入数据,包括VNIR光谱数据、高光谱图像和RGB图像。VNIR光谱数据被输入到1D CNN中,而高光谱和RGB图像分别被输入到两个VGG-16网络中[7]。因此,输入数据的多样性越大,模型提取重要特征的能力就越强。然而,可能需要开发廉价的仪器或传感器来测量这些值,因为高光谱成像设备和相机相当昂贵[35]。
第三部分:材料与方法
本研究中使用多模态混合注意力并行卷积神经网络(MHA-PCNN)对鳄梨成熟度进行分类,包括八个步骤:鳄梨成熟度采集、VNIR增强、图像增强、数据标准化、可见光和近红外卷积神经网络(VNIR-CNN)、混合注意力并行CNN(HA-PCNN)、多模态融合混合注意力并行CNN(MHA-PCNN)建模以及模型评估。所提出的研究模型框架如图2所示。
**A. 鳄梨成熟度采集**
本研究中使用的模态数据用于1D CNN和2D CNN。这些数据包括2023年7月至9月在澳大利亚、秘鲁和新西兰收获的360个未成熟哈斯鳄梨的VNIR光谱和RGB图像(每个来源国家每月40个果实),这些果实被进口到泰国。本研究将鳄梨的成熟度分为五个阶段或类别:坚硬、开始变软、成熟、过熟和腐烂。通常,从植株上采摘的未成熟鳄梨是坚硬的。4到9天后,它们会逐渐成熟,进入开始变软的阶段。再过1到3天,它们就成熟了,可以食用。几天后,它们会进入过熟阶段,之后开始腐烂,标志着腐烂阶段的开始[5]。每个鳄梨都存放在一个开放式纸板箱中,放置在室温大约28至32摄氏度的非温度控制房间里,这个温度与泰国零售店或开放式鲜果市场的温度相当。
每个鳄梨的成熟度以RGB图像和光谱数据的形式被记录下来,涵盖了五个成熟阶段。鳄梨的成熟度图像是用Android智能手机内置的相机镜头拍摄的,该镜头会自动设置焦点、曝光、光圈、快门速度和白平衡,使用的是自然光源。照片设置必须是3,024×3,024像素的正方形,并且相机镜头与鳄梨果实之间的垂直距离为20厘米。因此,将有1,800张处于五个成熟阶段的鳄梨图像(每个类别360张)。同时,每个鳄梨果实都被拍摄下来,并从果实上收集光谱数据,探针放置在赤道区域,与果实之间的垂直距离为3.5至4.0厘米。ASD LabSpec 4 Standard-Res实验室分析仪以10纳米的采样间隔收集400纳米到2,500纳米之间的波长。因此,光谱点的数量为(2,500?400)/10+1=211个。在收集这两种数据类型(RGB图像和VNIR光谱)的同时,会立即分配一个类别标签。数据采集的示意图如图3所示,收集的RGB图像和光谱数据的示例如图4所示。
**B. VNIR增强**
VNIR光谱数据经常会因为样本颗粒大小、形状、包装密度和物理条件导致的光散射而产生变化。这种散射效应和基线偏移会作为噪声和斜率失真,对有意义的分析是不利的,并妨碍了对细微光谱特征的检测。有几种技术可以改善光谱数据。本研究应用了乘性散射校正(MSC)和标准正态变量(SNV)来提高光谱数据的质量。MSC技术通过使用参考光谱(通常是所有样本的平均光谱)来校正由光散射和基线偏移引起的失真,从而减少光谱数据中的伪影。同时,SNV方法有助于纠正散射效应并标准化光谱数据,从而提高数据的一致性和质量[7]。首先应用MSC来校正光谱数据中的加性和乘性散射效应,然后应用SNV来通过标准化每个光谱来减少散射效应。它通过中心化和缩放、减去平均值以及除以光谱的标准差来标准化每个光谱。SNV确保每个光谱都是一致且可比较的,专注于用于分类或回归的有意义的变化。
**C. 图像增强**
有时,CNN模型在训练小型数据集时可能会过拟合。它 memorizes 训练图像而不是学习通用特征。图像增强引入了变异性,防止模型仅仅依赖于精确的训练图像,并鼓励模型学习强大的模式。因此,本工作中的图像数据集使用了四种技术进行增强:颜色变换、核滤波、噪声注入和几何变换。颜色抖动是本工作中使用的另一种颜色变换方法,它随机调整图像的亮度、对比度和饱和度以及色调。通常,亮度和色调的调整幅度相对较小,以防止哈斯鳄梨成熟度的语义变化。这种成熟度主要通过果皮颜色从绿色变为深紫色/黑色的转变来表示。然而,较大的色调变化幅度(例如>0.1)可能会导致成熟的深色鳄梨看起来像是坚硬的或腐烂的,从而导致模型错误地将它分类为坚硬或腐烂。此外,对比度和饱和度的范围(例如0.7到1.3)模拟了不同零售环境中的照明光谱,从光线昏暗的室内市场到阳光充足的室外摊位。
基于核滤波,高斯模糊被广泛用于减少噪声和平滑图像。它应用高斯函数来计算权重,给予中心附近的像素更大的重要性,而对远处的像素给予较少的权重。对于哈斯鳄梨来说,成熟度通常通过果皮颜色的细微变化和果皮纹理来确定。较大的高斯核大小,如5×5或7×7,起到强大的低通滤波器的作用,模糊掉鳄梨的颗粒状凸起和果皮特征。在本工作中,选择了一个3×3的高斯核,以精确平衡噪声减少和特征保留,模拟真实的传感器柔和度,同时保持对特征提取至关重要的清晰边缘。
高斯噪声注入模拟了真实的图像退化。它向像素强度添加从高斯分布中采样的值。这种技术模拟了来自低光照相机传感器等源的噪声。噪声强度的范围故意保持较低,以便准确模拟微小的图像变化,如传感器缺陷。高强度噪声会掩盖模型用于分类的细微纹理和果皮特征。因此,随机标准差范围为5到11,专门模拟了智能手机传感器在低光照条件下的电子噪声和热点像素,而不扭曲核心内容。这增强了模型的鲁棒性和泛化能力。关键是,它避免了显著扭曲图像的核心内容。
由于不同的成像条件,结果可能包含多种视角和模式。因此,本研究应用了五种方法来进行随机几何变换:翻转、旋转、剪切、平移和缩放。进行了初步实验以定义参数约束,以减轻数据失真,同时确保鲁棒性。因此,在这些范围内随机实例化增强设置,以反映标准的视角和捕获条件,如表1所示。启用水平和垂直翻转可以确保模型识别出成熟度特征(如果皮纹理和颜色),无论果实的方向如何。这有效地使训练集的空间多样性翻倍,而不改变语义标签。对于旋转,0到180度的范围(包括翻转)覆盖了完整的360度。它迫使模型变得旋转不变,意味着它学会了果实成熟度与其在框架中的方向无关。此外,剪切沿着一个轴倾斜图像,模拟这些斜视角。0.2到0.8的范围专门模拟了手持电话的倾斜角度,确保模型即使在视角扭曲的情况下也能识别出鳄梨的形状和纹理。进一步地,将图像移动其总宽度的0.2到0.5倍,模拟了错位。它教导模型相关特征可能出现在输入空间的任何位置,提高了网络的空间鲁棒性。此外,在现实世界中,智能手机相机与鳄梨之间的距离是不一致的。模拟了特写视图(缩放范围为0.2到0.5),迫使模型专注于局部果皮纹理。模拟了远距离视图(缩放范围为1.2到1.5),即使分辨率较低也能识别出果实。
**D. 数据标准化**
所有收集的VNIR光谱(通过MSC和SNV技术增强)和RGB图像都进行了标准化。本工作中使用了两种数据标准化技术:均值减法和最大最小值缩放。这两种技术都可以应用于VNIR光谱数据的数值数据,也可以用于RGB图像数据。
1) 均值减法
均值减法是一种预处理技术,它将输入数据围绕零均值中心化。通过减去均值来标准化数据,使模型在训练过程中更容易收敛。这对于减少数据集中的冗余和方差特别有用,确保特征更均匀地贡献于学习过程。例如,计算了RGB图像的红色、绿色和蓝色通道的均值。然后,从图像的每个通道中减去这个均值。对于坐标为(x,y)的特定像素k,均值减法值(均值强度)和零中心化的像素值可以分别在(1)和(2)中计算:
$$
\mu_kI'al_k(x,y) = \frac{1}{w \times h} \sum_{x=0}^{w-1} \sum_{y=0}^{h-1} I_k(x,y) \tag{1}
I'al_k(x,y) = I_k(x,y) - \mu_k \tag{2}
$$
其中:
- μk 是RGB图像通道k的平均强度;
- h 是RGB图像的高度;
- w 是RGB图像的宽度;
- Ik(x,y) 是RGB图像中坐标为(x,y)的像素强度;
- I'al_k(x,y) 是新的、零中心化的像素值。
对于VNIR光谱数据,均值减法可以在(3)和(4)中计算:
$$
\mu_v'i = \frac{1}{n} \sum_{i=1}^{n} v_i \tag{3}
v'i = v_i - \mu \tag{4}
$$
其中:
- μ 是光谱的平均强度;
- n 是光谱的总波长数;
- vi 是光谱中第i个波长的强度;
- v'i 是第i个波长的均值减法后的强度。
2) 最大最小值缩放
最大最小值缩放用于将输入数据调整到定义的范围内,通常是[0, 1]或[-1, 1]。它确保输入特征保持统一的比例,防止由于数值范围较大而导致的特定特征占主导。这有助于避免由于特征值范围不同而引起的问题,加快收敛速度,并通过避免计算中的溢出或下溢问题来提高数值稳定性。典型的最大最小缩放(xscaled)在公式(5)中给出:
$$
x_{scaled} = \frac{x - \min(X)}{\max(X) - \min(X)} \cdot (b - a) + a
$$
其中:
- $x$ 是数据集 X 中的单个数据点或像素;
- $\min(X)$ 是数据集 X 中的最小值;
- $\max(X)$ 是数据集 X 中的最大值;
- $a$ 是缩放后所需的最小值(默认为 0);
- $b$ 是缩放后所需的最大值(默认为 1)。
如果所需的范围内是 [0,1],则最大最小缩放公式简化为:
$$
x_{scaled} = \frac{x - \min(X)}{\max(X) - \min(X)}
$$
平均减法和最大最小缩放的结合被策略性地用来协调多模态输入。平均减法确保分布以零为中心,从而加速了所提模型中的梯度收敛。同时,最大最小缩放将光谱和图像特征映射到一个统一的范围内,防止一种模态在数值上占据优势,确保混合注意力机制在融合过程中能平等地权衡来自 VNIR 和 RGB 源的特征。然而,每个数据集在平均减法和最大最小缩放之间的步骤顺序不同。对于 VNIR 光谱数据,首先进行平均减法以使数据围绕零对齐,然后进行最大最小缩放以将调整后的光谱数据规范化到一个统一的范围内。对于 RGB 图像,第一步是平均减法,即减去均值(按通道或数据集范围),使像素强度围绕零居中。这一步对于在不改变特征动态范围的情况下提高训练收敛性至关重要。减法之后,应用最大最小缩放将像素强度规范化到特定范围。
**E. VNIR-CNN**
VNIR-CNN 是一个一维卷积神经网络(1D CNN),它以增强后的 VNIR 光谱作为输入。它由一个初始的卷积层(Conv layer)、三个残差块(residual blocks)、一个挤压-激发块(Squeeze-and-Excitation block)和一个全局平均池化层(global average pooling layer)组成。VNIR-CNN 的架构如图 6 所示。
首先是一个具有 64 个滤波器的初始卷积层,接着是一个 ReLU 激活函数(ReLU activation function),一个批量归一化层(BN layer)和一个最大池化层(max pooling layer)。然后是三个残差块,它们的滤波器数值分别为 64、128 和 256。每个残差块包含三个按顺序排列的 3×1 滤波器的卷积层(Conv layers)。在残差块的末尾,应用一个 ReLU 激活函数。将残差块纳入 1D CNN 可以提高模型提取有意义特征的能力,避免过拟合,并处理光谱数据的固有复杂性和高维性。它们有助于维持梯度流,提高训练效率,并使网络能够学习到更深入、更细致的光谱数据表示,从而在分类、回归和异常检测等任务中提高性能。每个残差块之后都跟着一个最大池化层。
**F. 混合注意力并行 CNN (Hybrid Attention Parallel CNN, HA-PCNN)**
混合注意力并行 CNN(HA-PCNN)是所提出的 MHA-PCNN 架构的第二部分。它包括并行 CNN(parallel CNN)、CAM(Channel Attention Module)、SAM(Spatial Attention Module)和 S-AM(Self-Attention Module),如图 7 所示。每个组件的详细信息如下:
1) **并行 CNN (Parallel CNN)**
该组件并行结合了 VGG-16 和 EfficientNet,以平衡丰富的特征提取。VGG-16 被广泛认为是一个能够捕获复杂特征的简单深度卷积网络,但计算成本较高。相比之下,EfficientNet 在计算成本和大规模、高精度任务方面更高效,但需要调整。EfficientNet 提供了多种网络架构,从 EfficientNet-B0 到 EfficientNet-B7 及更高版本。本研究将每个 EfficientNet 模型(从 EfficientNet-B0 到 EfficientNet-B7)与 VGG-16 架构并行使用。因此,共有八个并行卷积网络。这些架构将训练参数的数量从 1.3836 亿减少到 1471 万,对于 VGG-16 来说减少了约 89.37%,对于 EfficientNet 来说减少了 3.84% 到 24.02%。VGG-16 和 EfficientNet 的参数数量在输入尺寸为 224×224×3 的情况下如表 2 所示。每个网络的输出随后被串联起来,作为混合注意力模块的输入,该模块包括 CAM、SAM 和 S-AM。
2) **通道注意力模块 (Channel Attention Module, CAM)**
CAM 是本研究中提出的混合注意力模块的第一部分。通过首先应用 CAM,网络可以强调重要特征,如颜色和纹理,这些特征对于区分牛油果的不同成熟度阶段至关重要。该模块有助于在过程早期过滤掉不太相关的信息。它从通过串联 VGG-16 和 EfficientNet 的输出获得的卷积特征图开始,然后进行全局平均池化(global average pooling)和全局最大池化(global max pooling),接着是一个共享卷积-全连接层(包含一个共享的 1×1 卷积层和两个共享的密集层,带有 ReLU 激活函数)。第一个密集层的滤波器数值设置为其通道数除以 8。之后,通过一个 Sigmoid 激活函数,并将其乘以初始输入,以产生精细化的通道注意力特征图。
3) **空间注意力模块 (Spatial Attention Module, SAM)**
在利用 CAM 识别重要特征后,SAM 帮助在图像中定位这些特征。该模块有助于识别指示成熟度的牛油果特定区域,例如斑点或变色。来自 CAM 的精细化通道注意力特征图作为该 SAM 的输入。它从平均池化层和最大池化层开始,然后将两个输出串联起来。接着是两个 3×3 卷积层(带有 ReLU 激活函数)和一个 3×3 卷积层(带有 Sigmoid 激活函数),所有滤波器都设置为 1。最后,卷积输出与初始输入(精细化的通道注意力特征图)相乘,以产生空间注意力精细化特征图。这个输出相当于 CBAM 获得的输出。
4) **自注意力模块 (Self-Attention Module, S-AM)**
自注意力在计算上可能非常密集,最好在初始特征提取和定位步骤之后应用。它通过考虑整个牛油果图像的全局上下文信息来细化特征。S-AM 扩展了现有的 CBAM,从而提出了一个混合注意力模块。S-AM 通常从三个并行的 1×1 卷积层(用于查询、键和值)开始。查询输出与转置后的键输出相乘,然后应用 softmax 激活函数。之后,将其与输出值相乘,并传递到 1×1 卷积层,得到自注意力特征图。然而,在本研究中,S-AM 在初始阶段增加了一个与最大池化层并行的平均池化层。输出通过一个 7×7 卷积层和 Sigmoid 激活函数串联起来。然后将上一步骤获得的自注意力特征图与这个输出相乘,得到最终的自注意力精细化特征图。混合注意力模块的架构,包括 CAM、SAM 和 S-AM,如图 8 所示。混合注意力模块的输出(自注意力精细化特征图)随后通过全局平均池化处理,并与 VNIR-CNN 输出串联起来。
**G. 多模态融合混合注意力并行 CNN (Multimodal Fusion Hybrid Attention Parallel CNN)**
本研究利用多模态输入,结合了牛油果的光谱数据和 RGB 图像。因此,VNIR-CNN 和 HA-PCNN 的特征输出被串联起来,然后应用了dropout(0.5),并将结果特征输入到全连接层(FC layers)中以分类牛油果的成熟度,如图 9 所示。全连接层由三个带有批量归一化(batch normalization)、ReLU 激活函数和 dropout 的密集块组成。然后在带有 softmax 激活函数的密集层中对牛油果的成熟度进行分类。这三个密集块的输出维度分别设置为 512、256 和 128。每个密集层使用 L2 正则化(衰减为 1e-5)来防止过拟合。L2 正则化在损失函数中添加了一个与神经元权重大小成正比的惩罚项。此外,三个 dropout 层的比率分别为 0.5、0.4 和 0.3。
所提出的模型称为 MHA-PCNN,它将 VNIR-CNN 的特征输出与并行化的 VGG-16 和 EfficientNet(HA-PCNN)的混合注意力模块特征输出串联起来。整个模型和预测类别可以表示为(7)至(9):
$$
\begin{align*}
\hat{y} &= \text{FC} \left(\text{VNIR}_{\text{CNN}}(x_{\text{spec}}\right) \left\| {\mathcal{A}_{\text{Hybrid}}(z)\right\) \\
{\mathcal{A}_{\text{Hybrid}}(z) &= \text{SelfAttn}\left(\text{SpatialAttn}\left(\text{ChannelAttn}(z)\right)\right) \\
z &= \text{VGG}_{16}(x_{\text{rgb}) \parallel \text{EfficientNet}(x_{\text{rgb})
\end{align*}
$$
其中:
- $\hat{y}$ 是预测的类别输出;
- $FC()$ 是全连接层(分类头);
- $VNIRCNN()$ 是 VNIR-CNN 的特征提取器;
- $AHybrid()$ 是混合注意力机制;
- $\left\| \right\|$ 是串联操作;
- $SelfAttn()$ 是 S-AM;
- $SpatialAttn()$ 是 SAM;
- $ChannelAttn()$ 是 CAM;
- $x_{\text{spec}}$ 是光谱输入数据;
- $x_{\text{rgb}}$ 是 RGB 图像输入数据;
- $VGG16()$ 是基于 VGG-16 架构的特征提取器;
- $EfficientNet()$ 是基于 EfficientNet-B0 到 EfficientNet-B7 架构的特征提取器;
- $z$ 是并行化 VGG-16 和 EfficientNet 架构的特征输出。
在这项工作中,使用了不同版本的 EfficientNet(从 EfficientNet-B0 到 EfficientNet-B7)来开发模型。因此,总共提出了八个模型,即 MHA-PCNN-B0、MHA-PCNN-B1、MHA-PCNN-B2、MHA-PCNN-B3、MHA-PCNN-B4、MHA-PCNN-B5、MHA-PCNN-B6 和 MHA-PCNN-B7,其中 -B0 到 -B7 分别表示在 MHA-PCNN 架构中应用 EfficientNet-B0 到 EfficientNet-B7。考虑到每个网络在 MHA-PCNN 架构中的最终嵌入维度(D),VNIR-CNN 输出一个 256 维向量,VGG-16 架构输出一个 512 维向量。对于 EfficientNet 架构,其最终嵌入维度在其不同版本中变化,范围从 1,280 维到 2,560 维。例如,MHA-PCNN-B7 模型使用 EfficientNet-B7 架构输出一个 2,560 维向量;HAPCNN 架构(VGG-16 和 EfficientNet-B7)输出一个 3,072 维向量;当与 VNIR-CNN(256 维)串联时,特征输出为 3,328 维。一旦确定了 MHA-PCNN 的整体架构,就用数据集的 70:15:15 随机划分来训练、验证和测试这八个模型,确保原始数据和增强数据在每个类别中保持平衡。例如,在“成熟”类别中,360 张原始图像被随机分为 252:54:54的比例,2,880 张增强图像被随机分为 2,016:432:432 的比例用于训练、验证和测试。这种划分在原始数据和增强数据之间严格保持一致,以防止数据泄露并确保性能指标。虽然初始参数限制是由初步实验确定的,但基于模型的架构和硬件限制建立了一个分析上有限的搜索空间。为了确保分析的严谨性,最终超参数选择是通过系统性的网格搜索优化的,通过预定义的值网格训练和评估模型来验证最佳点。学习率(1e-3、5e-4 和 1e-4)和批量大小(32 和 64)的网格搜索空间受到双主干架构(VGG-16 和 EfficientNet)的收敛行为和高维特征空间的限制。通过系统评估,选择了导致最高验证准确率的配置——学习率为 1e-4,批量大小为 64——因为它在不超出 8 GB VRAM GPU 内存限制的情况下提供了最稳定的梯度估计。因此,最终的超参数设置为批量大小为64,学习率为1e-4,使用Adam优化器,训练 duration 为100个周期。然而,为了防止过拟合,还配置了自动学习率调度器,其降低因子为0.2,耐心值为3,最小学习率为1e-6,以防止学习率降得太低而使模型无法学习到任何东西,并且还添加了验证损失监控。此外,还增加了耐心值为5的提前停止机制。因此,MHA-PCNN架构中八个模型的可训练参数数量如表3所示。这些模型在配备Intel Core i9-14900HX CPU、32 GB RAM、8 GB VRAM的NVIDIA GeForce RTX 4060 GPU以及512 GB NVMe M.2 PCIe 3.0固态存储的笔记本电脑配置上进行了训练、验证和测试。
表3 MHA-PCNN架构中提出模型的参数数量
H. 模型评估
所有八个模型在训练、验证和测试过程中都进行了评估。本研究的评估指标包括准确性、精确度、灵敏度、特异性、阴性预测值(NPV)、F1分数和分类交叉熵损失(如(10)至(16)所示。
准确度(Accuracy)= (TP + TN) / (TP + TN + FP + FN) (10)
精确度(Precision)= TP / (TP + FP) (11)
灵敏度(Sensitivity)= TP / (TP + FN) (12)
特异性(Specificity)= TN / (TN + FP) (13)
阴性预测值(Negative Predictive Value)= TN / (TN + FN) (14)
F1分数(F1-score)= 2 × 精确度 × 灵敏度 / (精确度 + 灵敏度) (15)
其中:
- TP:模型正确预测为正类的实例数量;
- TN:模型正确预测为负类的实例数量;
- FP:模型错误预测为正类的实例数量;
- FN:模型错误预测为负类的实例数量。
分类交叉熵损失(Categorical Cross-Entropy Loss)= -∑i=1 to x ∑j=1 to y zi,j log(pi,j) (16)
此外,使用k折交叉验证(k=5)对模型进行了验证,以考虑数据集和训练-测试分割引入的偏差-方差trade-off。与单次训练-测试分割相比,性能估计的方差降低了。k次分割的平均性能分数提供了更稳定和可靠的估计。此外,为了评估所提出方法与传统的基于深度学习的CNN模型的性能,该研究还包括和排除了HA模块以及并行CNN的消融研究。在这项消融研究中使用了六种架构模型:1D CNN、2D CNN、混合注意力CNN(HA-CNN)、并行CNN(PCNN)、混合注意力并行CNN(HA-PCNN)和所提出的模型多模态混合注意力并行CNN(MHA-PCNN)。构建并比较了四十三个模型以确定准确性。每个模型的详细信息如下:
- 1D CNN是一种仅接受光谱数据作为输入的VNIR-CNN模型(无图像数据)。
- 2D CNN共有九个模型,包括VGG-16、EfficientNet-B0、EfficientNet-B1、EfficientNet-B2、EfficientNet-B3、EfficientNet-B4、EfficientNet-B5、EfficientNet-B6和EfficientNet-B7。输入数据仅为RGB图像。
- HA-CNN是九种扩展了混合注意力模块的2D CNN模型:HA-VGG-16、HA-EfficientNet-B0、HA-EfficientNet-B1、HA-EfficientNet-B2、HA-EfficientNet-B3、HA-EfficientNet-B4、HA-EfficientNet-B5、HA-EfficientNet-B6和HA-EfficientNet-B7。输入数据仅为RGB图像。
- PCNN使用了相同的图像输入对两个CNN(VGG-16和EfficientNet)进行了并行化,并连接了它们的特征输出。这些模型是从EfficientNet-B0修改而来的,总共有八个模型:PCNN-B0、PCNN-B1、PCNN-B2、PCNN-B3、PCNN-B4、PCNN-B5、PCNN-B6和PCNN-B7。输入数据仅为RGB图像。
- HA-PCNN是在PCNN基础上扩展了混合注意力模块的八个模型:HA-PCNN-B0、HA-PCNN-B1、HA-PCNN-B2、HA-PCNN-B3、HA-PCNN-B4、HA-PCNN-B5、HA-PCNN-B6和HA-PCNN-B7。输入数据仅为RGB图像。
- MHA-PCNN是所提出的模型,它连接了VNIR-CNN和HA-PCNN的特征输出,总共有八个模型,如表3所示。这些模型接受光谱数据和RGB图像作为输入。
IV. 结果与讨论
A. MHA-PCNN中的模型效率
评估了MHA-PCNN架构中的八个模型在训练、验证和测试方面的准确性。考虑到前五名的准确性值,结果显示,结合了VNIR-CNN与VGG-16和EfficientNet-B7的并行HA的MHA-PCNN-B7比MHA-PCNN中的其他模型具有更高的准确性。该模型在训练、验证和测试中的准确性分别达到了98.97%、96.95%和96.17%。接下来排名靠前的模型是MHA-PCNN-B6、MHA-PCNN-B5、MHA-PCNN-B4和MHA-PCNN-B3,其训练准确性值分别为98.86%、98.72%、98.54%和98.25%。这些模型的验证准确性值分别为96.81%、96.66%、96.43%和96.12%。此外,这些模型的测试准确性值分别为96.05%、95.92%、95.61%和95.33%。MHA-PCNN架构中所有模型的效率值分别显示在表4、表5和表6中。
表4 MHA-PCNN中训练的模型的效率结果
表5 MHA-PCNN中验证的模型的效率结果
表6 MHA-PCNN中测试的模型的效率结果
结果表明,模型的效率在训练阶段最高,其次是验证阶段,然后是测试阶段。精确度或阳性预测值略高于特异性,表明MHA-PCNN架构中的模型对真正例的分类能力高于假正例。同样,灵敏度(真正例率)略高于阴性预测值,这与假负例率相比也是如此。此外,F1分数略高于准确性。
在所有八个模型中,基于VGG-16和EfficientNet-B7的MHA-PCNN-B7模型由于具有更大的网络复杂性和规模,其准确性高于基于VGG-16和EfficientNet系列(B0到B6)且网络规模较小的其他MHA-PCNN模型。然而,更大的网络规模仅在准确性上略有提高,但代价是更高的计算成本。例如,MHA-PCNN-B5、MHA-PCNN-B6和MHA-PCNN-B7在准确性上只有轻微的差异。另一方面,较不复杂的模型(如MHA-PCNN-B0到MHA-PCNN-B4)在准确性上有显著差异。特别是,MHA-PCNN-B0和MHA-PCNN-B1在训练、验证和测试准确性上的差异约为0.50%。因此,较低的模型(MHA-PCNN-B0和MHA-PCNN-B1)由于容量的显著提高而显示出较大的准确性提升。相比之下,较高的模型(MHA-PCNN-B5、MHA-PCNN-B6和MHA-PCNN-B7)虽然准确性较高,但提升幅度较小。
B. 可视化注意力图
可视化注意力图显示在图10中,用于评估MHA-PCNN架构识别牛油果成熟度分类的关键特征的能力。这些可视化图表突出了模型优先关注的水果特定区域,展示了空间注意力如何有助于提高架构的分类性能。对坚硬、成熟和过熟类别的注意力图分析显示,高强度区域分布在水果表面的大部分区域。这种广泛的覆盖表明,模型将全局特征(特别是表面纹理和果皮颜色)作为分类的主要因素。由于原始或坚硬的水果具有均匀的绿色果皮且无瑕疵,成熟和过熟的水果也具有均匀的果皮颜色(通常是深黑色或非常深)。模型将关注全局特征以确认整体纹理和果皮颜色。相比之下,破裂类别在某些模型(如MHA-PCNN-B0、MHA-PCNN-B1和MHA-PCNN-B2)中显示出分布不均匀或环状的注意力中心,而较大的模型(MHA-PCNN-B6、MHA-PCNN-B7)开始填充更多的区域。这与这个阶段水果的特性一致,即果皮颜色从绿色不均匀地变为黑色。在破裂阶段,果皮颜色开始不均匀地变化。较简单的模型可能会捕捉到颜色渐变边缘的特征,而较大的模型则开始捕捉更细微的纹理模式。
图10. MHA-PCNN中模型的可视化注意力图
最有趣的是 rotten 类别,在这个类别中,所有模型都能精确且区分地定位输入图像中牛油果果皮上的病变(腐烂点),而不是像其他类别那样只看整体图像。模型能够准确找到这些异常。这就是通道和空间注意力通过从整体视图中提取局部特征(微小瑕疵)来进行工作的机制。因此,模型可以智能地根据这些瑕疵区分成熟和腐烂的水果,而不仅仅是基于果皮颜色。此外,在比较EfficientNet-B0和EfficientNet-B7时,发现焦点位置的准确性非常高稳定。尽管更复杂的模型(例如MHA-PCNN-B6、MHA-PCNN-B7)显示出更平滑的热图区域和对表面区域的更好覆盖,但总体而言,较小的模型(如MHA-PCNN-B0)仍然能准确捕捉到重要特征。
C. 标准化混淆矩阵
MHA-PCNN-B7模型的标准化混淆矩阵对牛油果成熟度进行分类的结果显示,坚硬类别在训练、验证和测试中的准确性最高,分别为0.9925、0.9733和0.9655。成熟、腐烂、破裂和过熟类别的准确性值分别较低。训练的预测准确性值分别为0.9893、0.9875、0.9839和0.9822。验证的预测准确性值分别为0.9712、0.9684、0.9621和0.9594。此外,模型测试的预测准确性值分别为0.9623、0.9576、0.9561和0.9544,如图11所示。标准化混淆矩阵表明,将牛油果成熟度分类为坚硬、成熟和腐烂是首要任务。此外,破裂和过熟类别的预测准确性介于早期和后期成熟阶段之间。例如,破裂阶段位于坚硬和成熟阶段之间,而过熟阶段位于成熟和腐烂阶段之间。对于MHA-PCNN-B7模型来说,这两个类别的错误预测率分别在2.10%到2.32%之间。然而,在标准化混淆矩阵中,MHA-PCNN-B7模型对牛油果成熟度的分类效率在训练、验证和测试中都超过了95.00%。此外,在成熟度转换过程中,由于水果形状、果皮颜色或果皮的轻微变化,可能会发生错误分类。例如,在测试集中,成熟类别的准确率为0.9623,而错误分类为破裂或过熟类别的比率分别为0.0185和0.0192。成熟类别被错误分类为破裂是因为破裂的水果几乎已经成熟,因此与成熟的水果相似。同样,成熟类别被错误分类为过熟是因为过熟的水果已经超过了可食用阶段。
D. 模型学习成果
此外,MHA-PCNN-B7模型在初始的十一个训练和验证周期中显示出准确性和损失的显著变化。随后,这两个指标的变化速率缓慢,最终在第47个周期后趋于稳定并保持几乎不变。模型在第52个周期停止训练,此时训练损失为0.0221,验证损失为0.0528。还发现训练损失和验证损失在这个周期下降并稳定,表明模型达到了最佳拟合状态,既没有过拟合也没有欠拟合,如图12所示。
图12. MHA-PCNN-B7模型的训练和验证准确度/损失
E. k折交叉验证
采用了k折交叉验证(k=5)来评估MHA-PCNN架构。交叉验证结果在预期范围内:低于验证分数但高于测试分数,证实了模型的一致性。MHA-PCNN架构中每个模型的交叉验证性能显示在图13中。
图13. MHA-PCNN中模型5折交叉验证的效率结果
对MHA-PCNN架构的定量评估显示,随着模型复杂性的增加,分类性能呈单调提升。该系列显示了对数效率曲线:基线MHA-PCNN-B0在3440万个参数时建立了94.25%的稳健基础,而最大变体MHA-PCNN-B7达到了96.42%的最高性能。然而,当将MHA-PCNN-B7与MHA-PCNN-B0进行比较时,虽然整体性能提升了2.17%,但计算成本显著增加,参数数量几乎增加了四倍,达到1.2167亿个。这一趋势表明,虽然更轻量级的模型更高效,但MHA-PCNN-B7的更深层次和更宽的架构对于识别中等成熟度阶段特有的细微类别边界是必要的。至关重要的是,在整个缩放过程中,灵敏度(召回率)指标始终优于特异性,MHA-PCNN-B7的灵敏度达到了96.55%。在水果质量控制中,高灵敏度至关重要,因为它表明该模型在正确识别牛油果的实际成熟度方面非常出色,从而减少了将成熟牛油果错判为未成熟的情况。相反,特异性(96.29%)略低于灵敏度,表明存在轻微但可控的假阳性倾向。不过,随着模型规模的扩大,灵敏度和特异性之间的差距从MHA-PCNN-B0的1.47%缩小到MHA-PCNN-B7的0.26%,这表明更深的架构能够学习到更通用的特征表示,有效减少了相邻成熟度类别之间的混淆。
对准确率与参数数量比的分析揭示了一个明显的收益递减规律,这对实时部署至关重要。初期缩放带来了显著的收益;从MHA-PCNN-B0到MHA-PCNN-B1的转变仅增加了0.76%的准确率,但参数数量有所增加。相比之下,从MHA-PCNN-B6到MHA-PCNN-B7需要增加2970万个参数才能实现0.10%的准确率提升。因此,MHA-PCNN-B5成为最佳的架构折中方案,其准确率为96.25%(比MHA-PCNN-B7低0.17%),且参数数量显著减少(7352万个)。因此,MHA-PCNN-B5在高吞吐量处理和牛油果成熟度分类之间提供了最理想的平衡。
F. 消融研究的结果
在卷积神经网络(CNN)的背景下,消融研究可以通过系统地移除各个组件或特征并观察它们对模型效率的影响来帮助理解它们的贡献。此外,传统的基于CNN的模型(不包含个别组件)可以作为比较所提模型性能的基准。这项消融研究使用了六种架构模型:1D CNN(VNIR-CNN)、2D CNN、HA-CNN、PCNN、HA-PCNN和MHA-PCNN。模型的准确率比较结果见表7和图14。
表7 消融研究的效率结果
图14. 按模型架构分类的消融研究中的模型准确率比较
根据表7,总体结果显示,所提出的MHA-PCNN架构实现了最高的准确率,特别是MHA-PCNN-B7,在训练、验证和测试阶段分别达到了98.97%、96.95%和96.17%的准确率。其次是HA-PCNN架构,它是结合了EfficientNets的VGG-16,并采用了混合注意力机制(不包含VNIR-CNN)。在仅使用2D(RGB图像)作为输入的HA-PCNN架构中,MHA-PCNN-B7的准确率最高,分别为96.80%、94.38%和93.21%。第三位是HA-CNN架构,从HA-EfficientNet-B3到HA-EfficientNet-B7。在这类架构中,HA-EfficientNet-B7的准确率最高,分别为96.03%、93.67%和92.62%。第四位是仅使用光谱数据作为输入的VNIR-CNN模型,其准确率分别为95.09%、92.67%和91.57%。PCNN架构排在第五位,其中PCNN-B7在训练、验证和测试阶段的准确率分别为95.01%、92.53%和91.48%。第六位是HA-CNN架构中的其他模型,从HA-EfficientNet-B0到HA-EfficientNet-B2以及HA-VGG-16,这些模型都包含了HA机制。HA-VGG-16在HA-CNN架构中的准确率最高,分别为93.68%、91.06%和90.05%。2D CNN架构排在最后,其准确率低于上述所有模型。EfficientNet-B0的准确率最低,分别为86.80%、85.83%和85.51%。
考虑到消融研究的结果,HA-CNN架构中的模型比2D CNN(单一基于CNN的模型)具有更高的准确率。这意味着添加HA机制可以提高模型性能。与HA-CNN架构类似,只有HA-EfficientNet-B3到HA-EfficientNet-B7的准确率高于VNIR-CNN和PCNN架构中的模型。然而,PCNN架构仅在HA-EfficientNet-B0、HA-EfficientNet-B1和HA-EfficientNet-B2上比VGG-16和HA-CNN架构的准确率更高。这表明,在某些模型中,两个CNN之间的并行处理比单个CNN结合HA机制的性能更好,例如HA-EfficientNet-B0、HA-EfficientNet-B1和HA-EfficientNet-B2。此外,仅使用光谱数据的VNIR-CNN在准确率上略高于PCNN架构中的模型,而PCNN架构又与VGG-16和EfficientNet相似,两者都仅使用RGB图像作为输入。因此,在本研究中,VNIR光谱数据对预测牛油果成熟度的贡献大于图像数据。此外,结合了VGG-16和EfficientNet的HA-PCNN在性能上显著优于HA-CNN、PCNN、2D CNN和VNIR-CNN。然而,HA-PCNN架构中的模型准确率低于包含VNIR-CNN的MHA-PCNN架构中的模型。因此,消融研究结果表明,所提出的MHA-PCNN架构的准确率优于其他五种不同架构的模型。特别是表现最佳的MHA-PCNN-B7模型,它包含了由CAM、SAM和S-AM组成的混合注意力机制。
F. 模型中注意力机制的有无对性能的影响
在消融研究的背景下,通过系统地移除各个组件并观察其对模型效率的影响,可以了解各个组件或特征的贡献。此外,传统的基于CNN的模型(没有个别组件)可以作为比较所提模型性能的基准。这项消融研究中使用了六种架构模型:1D CNN(VNIR-CNN)、2D CNN、HA-CNN、PCNN、HA-PCNN和MHA-PCNN。模型准确率的比较结果见表7和图14。
表7 消融研究的效率结果
图14. 按模型架构分类的消融研究中的模型准确率比较
根据表7,总体结果显示,所提出的MHA-PCNN架构实现了最高的准确率,尤其是MHA-PCNN-B7,在训练、验证和测试阶段分别达到了98.97%、96.95%和96.17%。其次是HA-PCNN架构,它是VGG-16与EfficientNets的并行版本,并采用了混合注意力机制(不包含VNIR-CNN)。在仅使用2D(RGB图像)输入的HA-PCNN架构中,MHA-PCNN-B7的准确率最高,分别为96.80%、94.38%和93.21%。第三位是HA-CNN架构,从HA-EfficientNet-B3到HA-EfficientNet-B7。在HA-EfficientNet-B7中,训练、验证和测试阶段的准确率分别为96.03%、93.67%和92.62%。第四位是仅使用光谱数据的VNIR-CNN模型。该模型的准确率分别为95.09%、92.67%和91.57%。PCNN架构排在第五位,其中PCNN-B7在训练、验证和测试阶段的准确率分别为95.01%、92.53%和91.48%。第六位是HA-CNN架构中的其他模型,从HA-EfficientNet-B0到HA-EfficientNet-B2和HA-VGG-16,这些模型都包含了HA机制。HA-VGG-16在HA-CNN架构中的准确率最高,分别为93.68%、91.06%和90.05%。2D CNN架构排在最后,其准确率低于上述所有模型。EfficientNet-B0的准确率最低,分别为86.80%、85.83%和85.51%。
考虑到消融研究的结果,HA-CNN架构中的模型比2D CNN(单一基于CNN的模型)具有更高的准确率。这意味着添加HA机制可以提高模型性能。与HA-CNN架构类似,只有HA-EfficientNet-B3到HA-EfficientNet-B7的准确率高于VNIR-CNN和PCNN架构中的模型。然而,PCNN架构仅在HA-EfficientNet-B0、HA-EfficientNet-B1和HA-EfficientNet-B2上的准确率高于VGG-16和HA-CNN架构。这表明,在某些模型中,两个CNN之间的并行处理比单个CNN结合HA机制的性能更好,例如HA-EfficientNet-B0、HA-EfficientNet-B1和HA-EfficientNet-B2。此外,仅使用光谱数据的VNIR-CNN在准确率上略高于PCNN架构中的模型,而PCNN架构与VGG-16和EfficientNet相似,两者都仅使用RGB图像作为输入。因此,在本研究中,VNIR光谱数据对预测牛油果成熟度的贡献大于图像数据。此外,结合了VGG-16和EfficientNet的HA-PCNN在性能上显著优于HA-CNN、PCNN、2D CNN和VNIR-CNN。然而,HA-PCNN架构中的模型准确率低于包含VNIR-CNN的MHA-PCNN架构中的模型。因此,消融研究结果表明,所提出的MHA-PCNN架构的准确率优于其他五组不同架构的模型。
考虑到表现最佳的MHA-PCNN-B7模型,它包含了由CAM、SAM和S-AM组成的混合注意力机制。因此,这项工作测试了添加每个注意力模块对模型性能、参数数量和推理时间的影响,用于测试集上的牛油果成熟度分类。结果如图15和表8所示。
表8 MHA-PCNN-B7模型在有无注意力机制下的测试结果效率
图15. 消融研究中具有注意力机制的MHA-PCNN-B7模型的测试结果比较
根据图15,不含注意力机制的MHA-PCNN-B7模型大约有8140万个参数,与包含SAM的模型规模相似。此外,推理时间也有轻微差异,不含注意力机制的模型推理时间为10.59毫秒,包含SAM的模型为10.72毫秒。仅添加CAM后的推理时间为11.82毫秒,参数数量为8391万个,比不含SAM或不含注意力机制多251万个参数。然而,添加S-AM后的推理时间为16.04毫秒,参数数量增加到约1.1916亿个,比不含注意力机制多3776万个参数。比较只包含一个注意力模块的模型的准确率时,添加CAM后的准确率为93.26%,高于SAM(92.61%)、S-AM(92.23%)和不含注意力机制(91.54%)。发现添加S-AM显著提高了0.69%的准确率,但代价是参数数量和推理时间的增加。相比之下,添加CAM或SAM虽然增加了参数数量,但提高了准确率。添加CAM使准确率提高了1.72%,添加SAM使准确率提高了1.07%。当添加两个注意力模块时,准确率为95.50%,高于分别添加CAM和SAM(94.35%)或同时添加CAM和S-AM(93.71%)。添加两个注意力模块略微增加了推理时间,不过添加S-AM的模型比没有添加S-AM的模型推理时间更长。然而,对于已经包含其他注意力模块的模型,再添加S-AM会进一步提高其性能。例如,由CAM、SAM和S-AM组成的混合注意力模块的准确率为96.17%,比仅添加CAM和SAM(95.50%)的模型高0.67%。不同注意力模块添加方式的效率值见表8。结果表明,加入CAM的贡献更为显著,因为牛油果成熟度主要通过全局生理变化来表征,如皮肤颜色变化(从绿色变为深黑色)和整体质地的变化,这些变化可以通过通道间关系建模有效捕捉。虽然SAM和S-AM对于定位特定异常(如病斑或腐烂点)至关重要,但CAM作为基础过滤器,优先考虑了整个图像中最具信息量的光谱和颜色相关特征图,从而对整体分类准确率有更大影响。尽管添加S-AM会增加推理时间,但它显著提高了模型性能,尤其是在牛油果成熟度由较深的颜色和皮肤瑕疵决定的情况下。自注意力更多地关注变色或轻微瑕疵区域,而不是未成熟牛油果的主要特征——光滑的绿色皮肤。此外,所提出的MHA-PCNN的表现(MHA-PCNN-B7的准确率为96.17%)与其他最先进的牛油果成熟度分类方法相比具有优势,如表9所示。
表9 所提方法与其他研究的测试准确率比较
考虑到MHA-PCNN的每个主要架构组件,它们对性能提升的贡献如下:
- 并行CNN主干网络(VGG-16和EfficientNet):该组件能够同时提取多种类型的特征。VGG-16捕捉广泛而稳健的空间模式和颜色变化,而EfficientNet(B0-B7)提供更细致、参数效率更高的纹理分析。选择并行化VGG-16和EfficientNet是为了在捕捉低级颜色特征和表示高级纹理细节之间取得平衡,这些特征在不同牛油果果实和光照条件下差异显著。消融研究证实,这种并行结构(PCNN)的性能优于单一主干网络的2D CNN,PCNN-B7的测试准确率为91.48%,而单独的EfficientNet-B7为87.39%。
- VNIR-CNN(用于光谱数据的1D CNN):这种专用的1D CNN处理可见光和近红外光谱,以捕捉RGB相机无法捕捉的内部生理变化(例如水分和油脂含量)。结果表明,VNIR-CNN单独使用就优于某些基于2D图像的并行模型(例如PCNN-B7),突显了光谱数据在成熟度分类中的关键重要性。
- 混合注意力模块(CAM、SAM和S-AM):该模块在三个领域动态重新校准特征。CAM首先优先考虑信息量最大的特征图(例如与颜色相关的通道);然后SAM定位特定的成熟度指标,如皮肤瑕疵和凹凸不平,这些都与纹理特征相关。最后,S-AM捕捉标准CNN经常遗漏的长距离依赖性和全局上下文。将S-AM添加到标准的CBAM(CAM和SAM)中,旨在解决果实从未成熟阶段转变为成熟阶段时整个果皮变暗的全局模式。因此,整合这种HA机制提高了测试准确率,优于基线2D CNN模型。
- 多模态融合层:这个最终组件融合了来自视觉(HA-PCNN)和光谱(VNIR-CNN)路径的高级特征向量。虽然RGB图像提供了外部视觉线索,但VNIR光谱提供了非破坏性的内部化学状态窗口。融合层确保模型不会仅依赖皮肤颜色,因为皮肤颜色有时会误导对果实实际成熟度的判断。通过结合这些互补的模态,MHA-PCNN-B7模型实现了最高的测试准确率,远高于单独的2D(HA-PCNN-B7)或1D(VNIR-CNN)模型。
数据集的多样性带来了更高的分类准确率。本研究的数据集涵盖了来自不同地理来源的牛油果,包括澳大利亚、秘鲁和新西兰的牛油果,这些牛油果在多个 Months 内收获,导致果实形状、皮肤质地和成熟度的自然变化。然而,来自其他国家(如墨西哥)的哈斯牛油果可能具有不同的油脂含量,这可能导致同一成熟度类别内的光谱数据有所不同。因此,应考虑收集其他国家的牛油果数据作为额外学习和测试的数据集。此外,不同品种的牛油果(如梨形的哈斯、圆形的里德和细长的平克顿)在大小和形状上存在显著差异。尽管极端品种差异可能会导致精度略有变化,但MHA-PCNN架构专门设计用于将生理成熟度指标与几何属性分离。EfficientNet和VGG-16使用分层学习。最底层识别皮肤的纹理和边缘(对成熟度指标至关重要),而更深层次的层评估整体结构。此外,空间注意力关注特定的成熟度指标,如瘀伤或果皮质地,同时忽略水果的轮廓。通道注意力优先考虑那些无论物理大小如何都保持一致的关键可见近红外(VNIR)光谱带。自注意力捕捉长距离依赖关系,提供水果表面在不同形状下的全局上下文。因此,CNN的混合注意力机制与VNIR数据的化学洞察之间的协同作用确保了模型在各种形状和大小的牛油果上都能保持强大的性能,并在实际的、异构环境中保持高分类准确性。
在收集照片以评估不同类别牛油果的成熟度时,仍然使用自上而下的视图和单个水果的拍摄。这可能导致模型主要只识别这种视角。考虑添加额外的视角有助于防止过拟合。另外,对于大规模牛油果成熟度分类,需要结合多种物体检测技术来裁剪单个水果图像,从而减少拍摄时间。为了进一步提高泛化能力并降低过拟合风险,本研究实施了广泛的图像增强技术,通过几何变换、缩放和角度剪切来模拟真实世界的手机摄影。模型的鲁棒性还体现在其在5折交叉验证中的一致表现上,证实学习到的特征不会偏向于特定数据子集。
在实际应用中,提出的MHA-PCNN-B7模型在精确的牛油果成熟度分类方面具有最高的灵敏度,但对计算资源和延迟提出了重大挑战。该模型具有1.2167亿个参数,并且推理时间约为18.57毫秒,对于标准边缘设备(如智能手机或低功耗物联网传感器)来说资源密集型。这种复杂性主要是由于VGG-16和EfficientNet-B7骨干网络的并行集成,以及自注意力机制在捕捉全局模式时增加了浮点运算的开销。然而,为了便于实际应用,可以根据具体应用环境的需求考虑几种实用的实施方案,例如最佳架构折中、基于云的部署以及模型压缩和优化。
在现实世界的适用性方面,MHA-PCNN-B5变体被认为是设备上部署的最佳架构折中。与B7变体相比,它提高了准确率并显著减少了约40%的参数数量。由于其较低的延迟,它适合未来的开发和应用部署。对于基于云的部署,应用需要MHA-PCNN-B7模型提供尽可能高的灵敏度。基于云或服务器端的架构是最可行的路径。在这种设置中,边缘设备作为客户端,捕获RGB图像和VNIR光谱,并将它们传输到配备高性能GPU的云服务器进行推理。这减轻了移动硬件上的1.2167亿个参数的计算负担,即使在最大的模型变体下也能保证快速反馈。这是在不受限于本地硬件的情况下充分利用其性能的最实用方法。然而,仅使用移动设备收集VNIR光谱可能不可行,这需要进一步考虑。对于模型压缩和优化,未来的工作可以侧重于使用先进的压缩技术来进一步降低部署障碍。INT8量化可以将32位浮点权重转换为8位整数,从而将内存占用减少近75%,而不会显著损失准确性。此外,权重剪枝可以消除并行骨干网络中的冗余连接。同时,知识蒸馏可以让较小的学生模型(例如B0或B1)模仿B7教师模型的高性能特征。这些策略将使MHA-PCNN架构的复杂特征提取能力在电池供电的农业传感器的严格能源和内存限制下运行。最后,对于实际的牛油果成熟度分类,最佳架构折中与模型压缩和优化的结合可能是最合适的实际部署建议(零售商和消费者)。具体来说,可以考虑使用MHA-PCNN-B5,并应用压缩和优化来获得一个资源消耗更少的实用模型。
**第五节 结论**
本研究开发了一个深度学习模型,将牛油果的成熟度分为五个阶段:硬质、开始变软、成熟、过熟和腐烂。实验设计使用了360个Hass牛油果的多模态数据集,生成了1,800张RGB图像(360个水果×5个成熟度阶段)和相应的VNIR光谱数据(400–2,500纳米)。每张RGB图像被增强以生成8张新图像,从而使数据集总数达到16,200张。可重复性通过标准化的图像采集设置(固定的20厘米距离和使用智能手机相机进行自动曝光)和光谱采样间隔(10纳米)得到支持,包括MSC和SNV来校正散射效应、规范数据并减少噪声。在将数据作为输入到MHA-PCNN之前,这两个数据集都通过均值减法和最大最小值缩放进行了规范化。MHA-PCNN由两部分组成:HA-PCNN和VNIR-CNN。HA-PCNN包括一个VGG-16骨干网络,与EfficientNet骨干网络(在EfficientNet-B0和EfficientNet-B7之间)并行,然后是一个混合注意力模块,分别包括CAM、SAM和S-AM。最后,VNIR-CNN和HA-PCNN的输出被连接起来,然后对牛油果的成熟度进行分类。为了确保评估的可靠性和透明度,数据被随机分为训练集、验证集和测试集,比例为70:15:15,每个类别中的原始图像和增强图像保持平衡。通过5折交叉验证进一步评估了模型在不同数据子集上的一致性。结果显示,在本研究中,MHA-PCNN-B7在分类牛油果成熟度方面表现最佳。研究结果表明,将并行化的VGGNet和EfficientNet架构与自注意力增强的CBAM结合应用于多模态数据,可以获得比现有技术更高的分类准确性,从而验证了所提出的MHA-PCNN技术在牛油果成熟度分类方面的鲁棒性。
未来的工作可以专注于开发一个模型,用于提取不同品种牛油果的成熟度特征,结合公共和现有数据集中的图像以及保质期指标,构建作为一个性能基准的综合模型。
**数据可用性**
支持本研究发现的数据可以在合理请求下从相应作者处获得。
**利益冲突**
作者声明没有利益冲突。
**致谢**
作者感谢Suan Sunandha Rajabhat大学的研究与发展研究所和科学技术学院的支持,并感谢他们提供了这项研究机会。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号