《Agriculture》：Research on a Strawberry Fruit Instance Segmentation Method Integrating Multi-Scale Features
编辑推荐：
温室图像中的小果实和被部分遮挡的轮廓使草莓实例分割变得困难。本研究从YOLO11l-seg出发开发PMH-YOLO11-seg，以检验更精细的空间特征和辅助定位监督是否改善掩码预测。一个步长为4的P2分支扩展了原有的P3/P4/P5特征层级。MultiSEAM
温室图像中的小果实和被部分遮挡的轮廓使草莓实例分割变得困难。本研究从YOLO11l-seg出发开发PMH-YOLO11-seg，以检验更精细的空间特征和辅助定位监督是否改善掩码预测。一个步长为4的P2分支扩展了原有的P3/P4/P5特征层级。MultiSEAM模块处理P2/P3/P4，而P5直接连接至分割头。增强后的P2特征同时提供掩码原型和中心热图分支。在训练期间，中心分支使用误差加权二元交叉熵（BCE）学习由边界框推导的高斯目标；在推理期间该分支被绕过。评估使用包含1132个草莓实例的200张图像的独立测试集。在重复训练实验中，中心损失权重为0.4的模型分别达到掩码mAP50和mAP50–95为%和%（均值±样本标准差）。相对于基线均值的相应提升分别为1.33和3.71个百分点。在单次运行消融中，完整模型在mAP50–95上仅比P2 + MultiSEAM高出0.03个百分点（四舍五入前计算）。需要重复的组件比较以确定这一微小额外增益是否在多次训练运行中保持一致。
研究背景方面，草莓实例分割在温室图像中面临小果实和被部分遮挡轮廓的挑战，叶片、邻近果实以及中断的可见轮廓使单果 delineation 复杂化。现有研究已评估YOLOv8分割配置用于成熟和未成熟果实，以及使用YOLOv11边界框提示SAM2生成掩码，但这些方法均需应对遮挡带来的轮廓不完整问题。此外，背景干扰可通过特征处理或额外图像信息解决，如Transformer–CNN融合、注意力机制以及RGB-NIR融合，但对于本研究采集的RGB图像，可用的干预手段是改变网络从现有相机输入中提取和加权特征的方式。产生实例掩码相对于检测器定位和计数也改变了处理需求，实时检测和实例分割架构使推理速度成为模型设计的一部分。尺度变化可通过切片辅助推理或架构内多尺度检测和特征融合解决，特征加权引入相关空间问题，坐标注意力将位置信息纳入通道注意力。定位监督涉及网络如何学习区分候选果实区域，GFLV2和VarifocalNet将定位质量纳入候选排序，Anchor DETR通过锚点分配对象查询显式空间参考。针对小果实、叶片遮挡和漏检实例，本研究开发PMH-YOLO11-seg，通过联合调整特征提取和训练监督，贡献在于一个协调架构，其中这些机制塑造用于可见区域掩码预测的共享表示。
研究人员开展了以下研究：构建PMH-YOLO11-seg模型，从YOLO11l-seg扩展一个步长为4的P2分支，将原P3/P4/P5特征层级扩展为四尺度架构；MultiSEAM模块处理P2/P3/P4以增强遮挡下的特征，P5直接连接分割头；增强的P2特征同时供给掩码原型生成器和中心热图辅助分支，训练时中心分支学习由边界框推导的高斯目标，推理时绕过。评估使用包含1132个草莓实例的200张图像独立测试集，并进行重复训练实验和消融实验。结论为：在重复训练实验中，中心损失权重为0.4的PMH-YOLO11-seg达到掩码mAP50和mAP50–95分别为%和%（均值±样本标准差），超过基线均值1.33和3.71个百分点；P2 + MultiSEAM单次运行达到84.32%，使中心分支的微小增量贡献尚未明确。重要意义在于提出了一种针对遮挡草莓可见区域分割的架构与监督联合设计，P2和MultiSEAM分别解决空间细节不足和遮挡下特征退化问题，中心监督主要针对漏检，同时量化了精度提升与计算成本之间的关系，为部署配置选择提供依据。
关键技术方法方面，研究人员采用YOLO11l-seg作为基线框架并在此基础上构建PMH-YOLO11-seg，引入步长为4的P2高分辨率特征分支进行多尺度融合，集成MultiSEAM多尺度注意力增强模块处理P2/P3/P4特征，设计仅训练阶段使用的中心热图辅助分支以误差加权二元交叉熵学习高斯目标，训练采用AdamW优化器、100个 epoch、确定性执行并禁用自动混合精度，使用种子0、1、2进行重复训练以评估稳定性，评估指标包括掩码精确率、召回率、mAP50和mAP50–95。实验数据来自河北保定清苑区嘉禾农场2025年5月至11月采集的1800张草莓图像，覆盖四个温室和四个室外种植地块，使用三星S20智能手机配合伸缩臂在约20 cm距离、35 ± 10 cm高度和25 ± 10°角度采集，原始分辨率4032 × 3024像素，调整至1008 × 756像素，固定划分1400张训练、200张验证、200张测试，测试集图像单独采集且测试植株未出现在训练或验证子集中。
研究结果方面， comparative experiments with different models：在200张图像测试集（1132个实例）上比较模型，包括YOLO26l-seg，重复训练实验中PMH-YOLO11-seg达到掩码mAP50为%和mAP50–95为%，超过基线均值1.33和3.71个百分点，其平均mAP50–95比单次运行YOLO26l-seg结果高3.75个点，无重复运行的比较仍为描述性。Ablation experiments：在相同测试划分上比较八种单次运行配置，完整模型使用中心损失权重0.4，P2将掩码mAP50–95从80.54%提升至83.82%，P2 + MultiSEAM达到84.32%，接近完整模型的84.36%，完整配置在这些运行中具有最高mAP50（97.49%）和mAP50–95，相对基线提升1.77和3.81个百分点；在P2 + MultiSEAM上添加Center仅使mAP50–95增加0.03个点、mAP50增加0.39、召回率增加1.59，同时精确率降低0.64，P2 + Center和MultiSEAM + Center低于其对应单组件mAP50–95结果，Center的效果在这些单次运行中依赖于配置。Center-loss weight sensitivity：在补充固定输入COCOeval协议下比较禁用Center和四种损失权重，权重0.4在该回顾性比较中给出最高的总体、小目标和中目标AP50–95，相对于禁用Center，总体和小目标AP分别增加0.58和0.98个点，大目标AP下降0.31，增加权重至0.6无进一步增益。Analysis of visualization results：比较正常、接触、遮挡和小目标示例，在正常果实示例中PMH-YOLO11-seg减少重复检测，在接触果实示例中检测全部10个果实实例且平均匹配IoU从0.85增至0.91，在遮挡果实示例中漏检从2降至1且平均匹配IoU从0.66增至0.75，在小目标示例中检测全部9个实例且平均匹配IoU从0.71增至0.81；归档子组结果显示框架截断（+9.52个点）和小目标（+7.51）增益最大，其次为中度遮挡（+4.84）、中目标（+2.39）和重度遮挡（+1.69），大目标和轻度遮挡显示小幅下降。Challenging cases under fruit contact and severe occlusion：回顾全部200张测试图像的预测，在预测置信度阈值0.25和NMS IoU阈值0.70、640像素推理尺寸和FP32执行下，图10a中两个预测掩码覆盖前景果实和花萼结构后的分离红色果实区域而真值仅覆盖上部区域，图10b,c中重叠叶片和茎留下狭窄注释果实碎片在显示阈值下无预测掩码覆盖，说明严重遮挡下漏检可见区域。
讨论部分总结：Contributions of feature resolution and auxiliary supervision：P2在表4中产生最大精度增益，步长为4的分支改变分割头接收的特征和掩码原型生成器的输入，对于小果实和狭窄暴露区域，更精细的空间采样提供合理解释；中心监督改善某些组件组合而在其他组合中降低mAP50–95，一旦P2和MultiSEAM存在，额外增益在四舍五入前计算为0.03个百分点，尽管重复训练显示完整模型精度高于YOLO11l-seg，但仅完整架构被重复评估，重复P2 + MultiSEAM配置与完整模型有助于确定小差异是否在训练运行中持续。Relationship to agricultural segmentation methods：可见区域注释定义本研究任务，Gené-Mola等使用非模态苹果分割恢复完整果实形状用于大小估计，而本研究掩码遵循暴露的草莓表面包括被叶片或邻近果实分隔的碎片，在此注释方案下成功分割意味着恢复可见区域而非重建隐藏轮廓；草莓研究在掩码获取方式上不同，Gamani等评估YOLOv8配置用于果实发育阶段分割，AgriScan使用YOLOv11检测提示SAM2，PMH-YOLO11-seg保留YOLO掩码预测框架并修改其特征层级和训练监督。Accuracy and computational cost：从YOLO11l-seg到PMH-YOLO11-seg参数从27.62增至81.43百万，估计计算成本从142.67增至322.90 GFLOPs，平均掩码mAP50–95增益3.71个百分点，大部分附加计算来自通过P2处理更高分辨率特征而MultiSEAM更多贡献参数数量；训练期间中心分支在P2 + MultiSEAM上增加110,913个参数，推理时跳过，存储参数仍计入报告模型大小而前向计算排除在推理FLOPs外；YOLO11l-seg和PMH-YOLO11-seg各在单进程内评估五轮计时，基线延迟范围7.053至7.165 ms/图像而PMH-YOLO11-seg范围11.893至11.943 ms/图像，平均前向延迟分别为7.096和11.916 ms/图像，对应平均FPS分别为140.92和83.92，测量排除预处理、后处理和数据加载。Occlusion cases and evaluation scope：图10b,c中叶片和茎留下狭窄注释果实碎片在显示阈值下无预测掩码覆盖，案例(a)更难解释，两个分离红色果实区域接收预测掩码而真值仅覆盖上部区域，在未解决区域间物理对应和注释完整性前分配实例分裂错误为时过早；2025年5月至11月采集图像覆盖四个温室和四个室外地块，单独采集的200张测试集中无植株出现在训练或验证中，评估包括采集设置内先前未见植株，但所有八个地点属于一个农场且采集使用单一成像设备，在其他农场和不同相机测试将扩展评估，收割平台试验将回答分割改进是否值得模型额外计算和内存需求的实践问题。
研究结论翻译：PMH-YOLO11-seg集成高分辨率多尺度特征和中心监督用于尺度变化、果实接触和遮挡下的草莓实例分割。(1) 四尺度P2/P3/P4/P5架构将高分辨率特征融合与实例掩码预测连接，增强P2同时支持掩码原型生成器和辅助中心分支。(2) MultiSEAM以保留通道的投影增强P2/P3/P4，而P5保留至分割头的直接路径。(3) 仅训练的中心目标将边界框推导的高斯目标与增强P2特征上的误差加权软标签BCE耦合，推理时绕过该分支，保留分割解码路径而无其额外前向计算。在重复训练实验中，中心损失权重为0.4的PMH-YOLO11-seg达到掩码mAP50和mAP50–95分别为%和%（均值±样本标准差），超过基线均值1.33和3.71个百分点。P2 + MultiSEAM单次运行达到84.32%，使中心分支的微小增量贡献尚未明确。需要重复消融、外部评估和收割平台试验以评估鲁棒性和部署。
