利用高光谱成像与一维卷积神经网络实现受背实蝇侵害的苹果果实的早期检测与成熟度预测

《Vibrational Spectroscopy》：Early detection and firmness prediction of apple fruit infested by Bactrocera dorsalis using hyperspectral imaging combined with 1D Convolutional Neural Network

　　邵圆圆|姜妙妙|王永贤|宣冠涛|薛晓敏中国山东省泰安市山东农业大学机电工程学院及农业装备智能工程实验室，邮编271018摘要为准确评估受B. dorsalis侵害的苹果品质，本研究提出了一种基于高光谱成像技术并结合一维卷积神经网络的高灵敏度早期检测与硬度预测方法。首先，使用400–1000纳米范围的高光谱成像系统连续两年对健康苹果、受B. dorsalis侵害的苹果以及外观相似的有疤痕苹果三类样本进行成像，并同步测量其硬度。接着，运用连续投影算法和竞争自适应加权采样算法分别筛选出与苹果类别和硬度相关的特征波段。最后，通过整合偏最小二乘判别分析、反向传播神经网络、一维卷积神经网络、随机森林、支持向量机以及一维卷积神经网络，构建了早期检测与硬度预测模型。实验结果表明，采用10个选定特征波段的SPA–1D-CNN检测模型表现优异，整体分类准确率为94%，精确度、召回率均为0.94，F1值也为0.94。在硬度预测方面，该模型同样表现良好：在校准集上的Rc2值为0.87，RMSEC值为0.76；在预测集上的Rp2值为0.86，RMSEP值为0.79。此外，还在光谱图像上实现了逐像素硬度预测，从而可直观显示苹果的硬度分布情况。研究表明，高光谱成像结合一维卷积神经网络是一种有效的手段，可用于早期评估受B. dorsalis侵害的苹果品质，为相关检测设备的研发提供了理论依据。引言苹果是全球种植和消费最广泛的果实之一，富含多种维生素，果肉细腻，酸甜适中，在农业经济和人类饮食中具有重要意义。近年来，随着生产模式的创新，苹果种植逐渐从传统套袋方式转变为无套袋模式。这种模式不仅能够节省劳动力和材料成本，提高经济效益，还具有更好的环保性且操作更为简单，符合现代水果生产可持续发展的趋势。然而，无套袋模式也增加了苹果遭受病虫害的风险[1]。其中，B. dorsalis是一种适应性极强且危害严重的检疫性害虫，对无套袋苹果构成严重威胁。其幼虫会在苹果果肉内部取食，破坏细胞结构，导致苹果硬度下降、质地变软，进而造成产量和品质的显著损失。这不仅会给果农带来经济损失，还会制约苹果产业的可持续发展[2]、[3]。因此，实现B. dorsalis侵害的早期检测与损害评估对于保障苹果产量、减少采后损失、提升苹果产业的生产效率与品质具有至关重要的意义。本文所指的“早期侵害”是指B. dorsalis雌成虫产卵后，幼虫已成功钻入果肉开始取食，造成内部组织损伤，但苹果表面尚未出现明显的后期症状，如明显穿孔、腐烂或表面塌陷的阶段。在此阶段，受侵害的苹果外部特征极为隐蔽，通常仅有小的黑色产卵点以及周围果皮轻微的黄化或褐变现象，这些特征很容易被误认为是自然形成的疤痕、化学伤害痕迹或生理性锈斑。因此，探索能够捕捉早期侵害细微生理信号的无损检测策略，对于检疫性害虫的早期预警及采后品质管理具有重要的理论价值和实践意义。由于早期侵害阶段的特征极为隐蔽，受感染的苹果在初期往往没有可见症状，这使得检测B. dorsalis在果实中的侵害情况面临巨大挑战。传统的检测方法，如目视检查和实验室分析，存在主观性强、效率低以及可能损坏果实样本的问题，无法满足现代水果产业对快速、无损检测的需求[4]。高光谱成像技术结合了传统光谱学和成像技术，能够获取连续的光谱反射率和吸收特性，为无损评估果实内部品质和病虫害侵害提供了一种新方法[5]、[6]。Mu和Lu[7]利用高光谱成像技术检测高丛蓝莓中的斑翅果蝇侵害，通过连续投影算法提取特征波段，再结合偏最小二乘判别分析和支持向量机算法构建分类模型。他们的PLS-DA模型表现优异，对受感染果实的整体准确率达97.2%，召回率为95.7%。Rady等人[8]获取了受苹果蠹蛾侵害的苹果的高光谱图像，并构建了多个分类模型，发现通过顺序向前选择法筛选出的五个波段构成的决策树模型具有最高的分类准确率，健康苹果的准确率为81%，而受苹果蠹蛾侵害的苹果的准确率为86%。Dahiya等人[9]利用高光谱成像技术获取了受斑翅果蝇侵害和未受侵害的蓝莓的高光谱图像，他们通过萨维茨基-戈莱一阶导数处理结合标准正态变量变换对光谱数据进行了预处理，随后运用六种机器学习分类器构建了斑翅果蝇侵害的分类模型。实验结果表明，支持向量机的准确率最高，为87.99%，其次是线性判别分析，为87.18%，偏最小二乘判别分析的准确率为86.21%。Tian等人[10]利用高光谱成像技术获取了芒果果实的高光谱图像，他们对光谱数据进行了乘法散射校正和标准正态变量变换处理，随后通过连续投影算法、竞争自适应加权采样算法和遗传算法筛选特征波段，构建了芒果可溶性固形物含量的预测模型，其中SNV–CARS-PLS模型的表现最佳，Rc2值为0.9019，Rp2值为0.9001，RMSEC值为0.4861，RMSEP值为0.6162。Zhu等人[11]获取了经过三种套袋处理（不套袋、网套袋和纸套袋）的苹果的高光谱图像，通过移动平均平滑等方法对数据进行预处理后，利用竞争自适应加权采样算法筛选与苹果颜色指数和可溶性固形物含量相关的特征波段，再通过多元线性回归建立四个品质指标的定量分析模型。CARS-MLR模型取得了最佳的预测效果，Rc2值为0.8713，Rp2值为0.8526，RMSEC值为0.5881，RMSEP值为0.6262，相对误差为2.3938。Li等人[12]开发了一种基于近红外高光谱成像技术和几何影响校正的旋转测量系统，通过360°扫描获取苹果的全表面高光谱数据和三维形态数据，再通过高度和角度校正消除曲面几何干扰，将两步主成分分析与全局分割相结合，实现了苹果早期碰伤的全表面检测。在碰伤后6小时，该方法对中心部位碰伤的识别率为83.3%，对边缘部位碰伤的识别率为61.1%。Li等人[13]进一步将该方法应用于三种大小差异较大的苹果品种，通过几何影响校正和光谱级主成分分析提取通用波长加载系数，结合局部奥茨分割方法进行碰伤识别，使得6小时内的分类准确率提升至91.53%-95.83%，中心部位碰伤的检测率提升至73.6%-90.3%，边缘部位碰伤的检测率提升至45.8%-72.2%，同时大幅缩短了达到最佳检测精度所需的时间。尽管这些研究展示了高光谱成像技术在水果病虫害检测和品质评估方面的潜力，但针对B. dorsalis侵害苹果的系统性研究仍处于初步阶段，还需要进一步深入探讨。随着人工智能技术的发展，以卷积神经网络为代表的深度学习方法已被成功应用于水果品质检测，其模型性能优于传统的机器学习方法[14]、[15]。Gai等人[16]通过连续投影算法提取与苹果品质相关的特征波段，进而构建了融合卷积神经网络、支持向量机和随机森林方法的碰伤分类模型。他们设计的结合了Inception模块和残差结构的光谱卷积神经网络模型在原始光谱数据上的表现优于其他模型，准确率达到了97.45%。Wang等人[17]利用高光谱成像系统获取了苹果和梨的高光谱图像，通过连续投影算法和竞争自适应加权采样算法提取与可溶性固形物含量相关的特征波段，再结合一维卷积神经网络和偏最小二乘回归方法构建了可溶性固形物含量的预测模型。实验结果表明，对于苹果而言，SPA–1D-CNN模型的预测性能最佳，Rc2值为0.845，Rp2值为0.808；对于梨而言，CARS–1D-CNN模型的预测效果最优，Rc2值为0.887，Rp2值为0.762。Shanthini等人[18]利用高光谱成像技术获取了挪威野生蓝莓的高光谱图像，他们将ResNet、VGGNet和NorBlueNet等深度学习架构与随机森林等传统机器学习方法相结合，构建了可溶性固形物含量的预测模型。实验结果表明，NorBlueNet模型的预测性能最佳，R2值为0.98，均方根误差为0.0136，剩余预测偏差为9.3759。Li等人[19]利用分光光度计获取了来自四个不同地理区域的枣类的近红外光谱数据，他们将卷积神经网络与其他分析方法相结合，构建了用于判断枣类地理来源的分类模型。实验结果表明，卷积神经网络模型在小型数据集（400个样本）上的准确率为86.67%，在大型数据集（700个样本）上的准确率为0.9043。Li等人[20]同时利用高光谱成像技术和近红外光谱技术获取了砀山梨的光谱数据，通过多传感器光谱融合方法构建了砀山梨可溶性固形物含量的评价模型。实验结果表明，1D–GC-CNN模型的预测性能最佳，Rp2值为0.9012，预测的均方根误差为0.2788，预测的均值绝对误差为0.2216。上述研究都表明，卷积神经网络在光谱数据的定量和定性分析方面都具有良好的性能，体现了深度学习技术在处理高光谱信息方面的优势。不过，这些研究大多集中在机械损伤（如碰伤）或可见表面病害的检测上，而将高光谱成像技术与卷积神经网络结合用于检疫性害虫的无损诊断，尤其是B. dorsalis幼虫早期侵害的检测，相关研究还十分少见。这一问题的核心难点在于，早期侵害阶段幼虫钻蛀取食造成的内部组织损伤在苹果表面几乎没有任何可见症状，很容易被误认为是自然形成的疤痕。这种极高的类间相似性使得传统的视觉分类方法无法发挥作用，因此亟需探索能够捕捉早期害虫侵害细微光谱响应特征的新检测策略。为此，本研究选择了健康苹果、受B. dorsalis侵害的苹果以及外观相似的有疤痕苹果三类苹果样本，利用高光谱成像技术连续两年收集光谱数据，旨在实现B. dorsalis侵害的早期检测以及苹果内部品质的精准评估。为此，本研究设计了两个一维卷积神经网络，分别用于分类任务和回归任务。诊断网络将特征提取与分类输出功能相结合，其特征提取阶段通过两个级联的卷积层（采用2×1核）和最大池化层逐步提取并整合光谱特征，最终生成16到32个特征图。随后，分类阶段通过全连接层和Softmax函数将这些特征映射为三类苹果对应的概率值，从而实现对侵害状态的端到端识别。回归网络则专注于对品质参数（硬度）的定量预测，为提升模型的非线性建模能力，其在卷积层之间引入了批量归一化和修正线性单元激活函数，同时应用了率为10%的丢弃机制以防止过拟合。最终，一个全连接回归层会输出连续的品质指标值。这两个分别用于分类和回归的网络，旨在为监测B. dorsalis侵害以及实现苹果的无损品质评估提供一种可行的分析方法。整个研究流程如图1所示。样本采集本研究以未经套袋处理的“红富士”苹果作为研究对象，于2024年9月和2025年9月两个采收期，从位于山东省泰安市的山东果树研究所（东经117°11′，北纬36°20′）采集样本。整个采样过程在经验丰富的果园管理人员的指导下进行，以确保样本分类的标准性和准确性。这些样本被分为三类，图4通过光谱曲线分析展示了三类苹果（健康苹果、受B. dorsalis侵染的苹果以及有伤痕的苹果）的总光谱曲线和平均光谱曲线。在蓝光波段（400-500纳米）内，这三类苹果的反射率都相对较低，且曲线较为平滑，不过仍存在明显的反射率差异。有伤痕的苹果反射率明显高于健康苹果，这可能是由于蜡层受损以及细胞结构破坏，从而增强了蓝光的吸收和散射。受侵染的苹果

讨论
本研究通过构建包含健康苹果、受B. dorsalis侵染的苹果以及有伤痕的苹果的多样化样本集，系统地探索了一种基于HSI和1D-CNN的早期害虫检测及果实硬度预测技术方法。通过使用SPA和CARS对校准集的光谱进行特征选择，筛选出了与B. dorsalis侵染及果实硬度密切相关的敏感波段。同时借助强大的自动局部特征提取和非线性建模技术

结论
本研究提出了一种基于HSI和1D-CNN的“先分类再量化”的综合分析方法，该方法能够有效实现对受B. dorsalis侵染的苹果的早期无损检测，并对果实硬度进行定量评估。在连续两年中，使用HSI系统获取了三类苹果——健康苹果、受B. dorsalis侵染的苹果以及有伤痕的苹果的高光谱图像，同时测量了果实的硬度参数。

作者贡献说明
邵媛媛：撰写——审稿与编辑、概念设计。宣广涛：监督、调研。薛晓敏：项目管理、形式分析。蒋苗苗：撰写——初稿、软件操作。王永贤：可视化处理、资源协调。

利益冲突声明
作者们声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了中国博士后科学基金会（2025M772484）、山东省博士后创新计划（SDCX-ZG-202503062）以及CARS-27专项基金的支持。