基于卷积神经网络与多光谱成像的果实缺陷分类

《Journal of Agriculture and Food Research》：Classification of fruit defects using convolutional neural networks and multispectral imaging

　　

苹果表面缺陷是采后自动化检验中的关键挑战，因其直接影响市场价值与消费者接受度。研究人员旨在通过分析应用于CAPA数据集多光谱图像的卷积神经网络架构来提升缺陷检测性能。方法学部分对基线及注意力增强的CNN模型进行基准测试，包括DenseNet121、集成压缩激励(Squeeze-and-Excitation, SE)模块的MobileNetV1与MobileNetV2，在二分类（健康与缺陷）和多分类方案下开展实验。实验包含光谱波段消融以评估各波长贡献，以及集成二分类与多分类阶段的级联设计。结果表明，MobileNetV2结合SE模块并经微调取得最优性能，多分类准确率达96.9%，F1-score为0.956。绿色光谱波段被证明最具判别力，而红边与红外波段提供互补信息。结论是，所提两阶段CNN框架在CAPA数据集评估条件下提升了分类准确率。

研究背景方面，采后水果处理中早期缺陷检测是关键挑战，肉眼难以察觉初期损伤。人工视觉检验依赖操作员判断、劳动密集且无法检测潜伏缺陷，导致经济损失可达产量的44%。现有方法多依赖高维高光谱系统或经典机器学习像素级光谱签名，成本高昂或难以捕捉空间上下文，且多数研究仅做二分类（健康vs缺陷），忽视腐烂、碰伤、气候应激斑等多类缺陷对仓储与分选的差异影响。为此，研究人员基于公开CAPA多光谱苹果数据集，开展多光谱成像与CNN结合的多分类及级联框架研究，以解决工业分选线对高效、低成本、多类缺陷识别的需求。该文发表于《Journal of Agriculture and Food Research》。

关键技术方法上，研究人员选用CAPA数据集（MultiSpec Agro-Imager?采集四波段：450nm蓝、500nm绿、750nm红边、800nm红外，1280×1024分辨率，经几何配准与平场校正），将原始类别重标为六类（碰伤、腐烂、气候应激斑、健康、萼洼、果柄），对完整多光谱立方体施加旋转、翻转、转置与仿射等几何增强（每样本扩10倍）以保持波段间像素对齐；选取DenseNet121、MobileNetV1+SE、MobileNetV2+SE作骨干，以ImageNet预训练初始化、分类头重训后解冻末十层微调，采用类别加权交叉熵应对不均衡；评估指标含准确率、精确率、召回率、F1-score及宏/加权平均；开展留一波段消融（leave-one-band-out）量化各波段贡献；构建二分类筛查（健康vs缺陷）接多分类的级联框架，并与CRRA-DL 2022级联及单阶段模型对比。

研究结果如下。二分类筛查（健康vs缺陷）中，MobileNetV2+SE最优，F1-score 0.969、缺陷类召回0.98，约2%缺陷样本在二阶段漏检不可恢复。多分类与光谱波段消融显示，全波段下MobileNetV2+SE多分类准确率96.9%、宏F1 0.956；移除绿波段(GR, 500nm)致整体准确率跌至44%，移除蓝(BL)约80%、红边(RE)约79%，证实绿波段最具判别力，红边与红外(IR)提供叶绿素降解、细胞结构及含水量变化的互补线索。混淆矩阵表明错误多发生于气候应激斑误为腐烂、碰伤偶判健康，但六类总体稳健。与CRRA-DL 2022级联同条件对比（去萼洼、果柄，健康送入次阶段），二分类准确率96.0%优于其95.6%，多分类96.9%准确率与95.6宏F1显著优于其87.1%与82.2；与文献[52]波段组合实验比，全四波段二分类96.0%超越其最佳双波段(450+500nm)91.25%；单阶段MobileNetV2+SE多分类为95.0%准确率、0.930宏F1，级联带来1.9百分点准确率与0.026宏F1提升。

讨论部分指出，MobileNetV2倒残差结构配SE动态重标定波段权重，在可控CAPA域内兼顾效率与精度；绿波段优势由训练—验证—微调一致涌现，非先验设定，但跨数据集稳定性未验；重标气候应激斑降低语义歧义，立方体级增强避免伪光谱签名；级联存在二阶段漏检不可恢复、两次推理开销及少数类不均衡残留等局限；单数据集与几何增强不构成独立生物变异，泛化至其他品种/光照待考。

结论部分翻译：本研究利用CAPA多光谱数据集全面考察了苹果缺陷检测与分类的多种深度学习策略。集成压缩激励(SE)注意力、微调与数据增强的MobileNetV2在二分类筛查与多分类中均取最优，且轻量特性利于未来实时分选评估。光谱消融认定绿(GR)波段对早期缺陷最具判别力，红边(RE)与近红外(IR)提供互补线索，为工业多光谱传感器波段选型提供成本—性能权衡指导。所提级联框架（健康vs缺陷后再分类）通过早分选、差异仓储与标准统一直接支撑采后决策，较CRRA-DL 2022级联多分类准确率96.9%对87.1%显著提升，二分类筛查超越文献[52]波段基线，在评估条件下具更强鲁棒性与流程适用性。未来需扩至多品种、多季候、多采集系统数据集，并引入严重度分级与轻量检测头实现定位—分类一体。