《Frontiers in Plant Science》：An integrated instance segmentation and deep feature fusion model for robust leaf species classification in natural environments
编辑推荐：
引言：在自然环境中进行叶片分割与物种识别是一个困难过程，原因包括亮度变化、背景杂乱过多以及叶片重叠；与面向现场应用相比，使用实验室扫描时，这些因素会导致准确率下降20–40%。
方法：本研究提出一个统一的深度学习框架，包括基于Mask R-CNN（Mask
引言：在自然环境中进行叶片分割与物种识别是一个困难过程，原因包括亮度变化、背景杂乱过多以及叶片重叠；与面向现场应用相比，使用实验室扫描时，这些因素会导致准确率下降20–40%。
方法：本研究提出一个统一的深度学习框架，包括基于Mask R-CNN（Mask Region-based Convolutional Neural Network，掩膜区域卷积神经网络）的实例分割和深度特征融合，以克服该问题。通过Detectron2完成多叶片提取，并将包含ResNet-50和VGG-16的多流提取器与其他描述性方法结合，提供6,148维联合表示。分类器按三种方法训练：基线（Baseline）、PSO（Particle Swarm Optimization，粒子群优化）和Grid search（网格搜索）。
结果：掩膜融合系统在保留重要植物学特征的同时去除了背景噪声，实现了平均交并比（mean Intersection-over-Union，mIoU）等于0.752、检测精确率98.39%以及mAP@0.5为0.8291。采用PSO技术增强的ResNet-50模型在基于ResNet-50的其他技术中表现最佳（准确率90%，F1分数0.9002），而Grid search技术在ResNet-50加传统特征等特定技术中显示略高结果（F1分数=0.9135），这意味着该方法的效率取决于特征类型，而非技术是否优于其他技术。
讨论：比较和消融数据分析证明了实例分割与多模式融合结合使用的效率，尤其是在易遮挡条件下。该系统为智能农业和生物多样性监测提供了可扩展应用，同时是弥合自动化环境智能差距的良好例子。
论文解读：
研究背景方面，全球粮食安全与生物多样性保护需求推动自动化植物识别系统发展，这类技术是精准农业、生态监测与植物保护的前置技术。尽管深度学习模型在Flavia或Swedish Leaf等实验室数据集上可取得高精度，但面对不可预测的野外条件时，性能差距仍达20–40%。自然环境中亮度变化、背景杂乱、阴影、叶片重叠、部分遮挡和风致运动模糊会使全局分类器性能受阻。传统依赖GLCM（Gray-Level Co-occurrence Matrix，灰度共生矩阵）或Fourier描述子的方法在自然遮挡下存在困难，而现代卷积神经网络（Convolutional Neural Network，CNN）也可能无意中将背景噪声纳入特征向量。现有研究多将分割仅作为预处理，或仅用单一深度学习架构和骨干网络提取特征。因此，研究人员开展本研究的动机是构建一种面向野外、对非受控环境精确的框架，并用自建自然户外数据集验证其泛化能力。
研究人员开展的核心工作是提出“Masked Fusion Design”，即分割引导掩膜特征融合策略，将Mask R-CNN实例分割、ResNet-50与VGG-16深度特征以及手工形态特征结合。研究人员还在同一实验条件下比较元启发式PSO与系统化Grid Search，并考察真实环境因素如风致运动和叶片重叠的影响。研究所用样本来源为印度Chennai自然户外采集的自定义数据集，包含392幅图像、10种地中海树种：Hedera helix L.、Morus alba L.、Viburnum tinus L.、Corylus avellana L.、Quercus ilex L.、Laurus nobilis L.、Pittosporum tobira、Crataegus monogyna Jacq.、Cercis siliquastrum L.、Acer campestre L.；另用公开Flavia数据集做外部验证。主要结论是：分割引导的掩膜融合能抑制背景噪声并保留植物学特征；ResNet-50加传统形态特征在2052维配置下取得最佳分类表现；Grid Search在高维融合特征上较稳定，而PSO在单一ResNet-50编码器上有效；该方法在遮挡、光照变化、阴影和运动模糊条件下仍保持较强鲁棒性，对智能农业、生物多样性监测和生态监测具有应用意义。
为开展研究，作者采用的主要关键技术方法可概括为：以Mask R-CNN完成叶片实例分割并生成像素级掩膜与边界框；用ImageNet预训练的ResNet-50和VGG-16双流网络提取深度特征；提取面积、周长、圆度、偏心率四种手工形态描述；实施掩膜融合设计，将深度特征与形态特征拼接为6148维表示；采用Baseline、Grid Search和PSO进行超参数优化；使用分层5折交叉验证，并在自建392幅、10种地中海树种自然户外图像与Flavia数据集上评估。
研究结果如下。3.1 分割性能：通过Mask R-CNN评估，模型达到Mean IoU=0.752、mAP@0.5=0.8291、mAP@0.75=0.8144、检测率98.39%、检测精度86.07%、BBox F1=0.8940，表明中高IoU水平定位保真度较好，但锯齿边缘和重叠叶片带来边界敏感性。3.2 分类结果：比较多种特征表示与优化方法，ResNet-50加传统几何描述子的2052维配置用Grid Search达到91.00%准确率和0.9135 F1；ResNet-50的2048维配置用PSO达到90.00%准确率和0.9002 F1；ResNet-50与VGG-16组合的6144维未改善准确率，VGG-16表现较低，传统特征单独最低。5折统计验证显示优化改进的p值低于0.05。3.3 环境条件鲁棒性分析：正常条件准确率92.4%，光照变化91.2%，阴影90.4%，多叶重叠89.6%，部分遮挡88.8%，运动模糊87.7%，所有条件下F1均高于0.87。3.4 物种级性能：混淆矩阵显示预测主要沿对角线分布，误分类多发生在形态相似物种之间，如Laurus nobilis L.与近缘类群；宏平均与加权平均接近，Accuracy=0.9100、Macro F1=0.9135、Weighted F1=0.9138。3.5 消融研究：ResNet-50单独基线0.87、PSO 0.90；传统特征单独仅0.32；ResNet-50加传统特征经Grid Search达0.91；ResNet-50加VGG-16达0.86；全部特征6148维为0.87，说明特征融合和优化有效但高维并不必然更好。3.5.1 掩膜融合设计消融：去除掩膜后准确率从91.00%降至88.50%，F1从0.9135降至0.8892，证明像素级掩膜提升特征判别。3.5.2 背景噪声消除量化：通过背景降低比率（Background Reduction Ratio，BRR）评估，掩膜融合设计在392幅图像上平均去除68.4%±12.3%背景像素噪声，密集冠层中最高去除85%。3.6 与现有工作比较：论文比较代表性叶片分类方法，强调所提方法结合Mask R-CNN实例分割、分割驱动特征融合、ResNet-50、VGG-16和手工形态特征，并在同条件下系统比较PSO与Grid Search，主要差异在于自然遮挡场景与背景感知融合。3.7 Flavia数据集外部验证：在Flavia上，ResNet-50加VGG-16加传统特征配置表现最佳，PSO达0.9420、Grid Search达0.9385、基线0.9310，支持泛化潜力。3.8 混淆矩阵与误差分析：错误多由部分遮挡截断显著叶脉、强烈高光冲淡边缘细节、掩膜后叶柄/叶片连接处残余背景碎片触发，与IoU>0.5到IoU>0.75的下降一致。3.9 计算效率分析：与VGG 16、ResNet 50、MobileNet V2比较，所提框架参数约208.0百万，平均推理68.5 ms，内存845 MB，可在标准GPU工作站近实时运行。3.10 训练动态分析：3.10.1 分类训练与验证准确率曲线显示两者平滑收敛至约0.90，验证初期略高与dropout有关；3.10.2 分类训练与验证损失曲线单调下降且无发散。3.11 分割模型训练收敛：Mask R-CNN总损失随迭代收敛至稳定状态，与mAP@0.5=0.8291、Mean IoU=0.752一致。3.12 Mask R-CNN损失收敛图：mask、box回归、RPN分类、RPN box和ROI分类损失均一致衰减。3.13 Mask损失、box损失与RPN损失：各损失组件相对初始值降低73–74%，总损失约从2.60降至0.38，降幅85%，最终mask损失约0.13，支持高IoU与mAP@0.75。
讨论部分总结：ResNet-50在多数配置中优于VGG-16，归因于残差学习可提取层次特征并保留叶脉、叶缘和形状等结构信息，而VGG-16参数较多，在小数据集上更易过拟合。深度特征与手工形态特征融合可提供互补视觉信息，Mask R-CNN分割有助于减少背景干扰。PSO收敛有效，但Grid Search在高维融合特征中有时更优，因其离散穷举更完整。实际意义在于精准农业、药用植物管理、生物多样性保护与生态监测。局限性包括数据集仅392幅、10种、地理区域有限，计算复杂度较高，分类依赖分割质量，未来需在Swedish Leaf、LeafSnap、PlantVillage等数据集进一步验证。结论翻译：本研究创建并提出了一个基于分割原则的宽泛系统，可在严苛户外环境中对药用植物叶片进行分类。该系统借助基于Mask R-CNN的实例分割、ResNet-50和VGG-16的多流特征提取以及形态特征构建。不同于基于叶片图像和实验室实验的植物鉴定方法，所提研究考虑了实际分割相关研究中常见的因素。分割过程得到平均交并比（mIoU）0.752和平均精度均值（mAP@0.5）0.8291，强调叶片区域的精确识别。此外，图像给出准确率和F1分数为0.90，证实深度学习特征与手工特征的结合有益。所取数据还评估了当前方法的可靠性。通过交叉验证过程有力建立所提框架的耐久性，表现为低标准差、紧密的95% bootstrap置信区间以及t检验提供的统计支持。这些发现使研究人员能够确认，该框架在自动药用植物识别实施背景下兼具耐久性和可扩展性，在精准农业、生物多样性保护、生态监测和智能作物管理中具有巨大应用潜力。未来研究将扩大数据集，包括地理审查物种，在不同数据集上交叉验证并利用域适应，研究用于边缘的轻量分割或特征提取架构，并探索基于Transformer和自监督模型进行分类。
