《Agriculture》:PersimmonDet: A Collaborative Framework for Detecting Near-Color and Occluded Fruits in Orchards
编辑推荐:
果园中柿子的自动检测受到两个主要因素的阻碍:同一品种的果实具有几乎相同的颜色,导致相邻果实实例容易被合并;叶片和茎秆的严重遮挡隐藏了果实表面的大部分区域。这些挑战经常同时出现,并严重降低检测性能。为联合解决这些问题,研究人员提出了PersimmonDet,一个
果园中柿子的自动检测受到两个主要因素的阻碍:同一品种的果实具有几乎相同的颜色,导致相邻果实实例容易被合并;叶片和茎秆的严重遮挡隐藏了果实表面的大部分区域。这些挑战经常同时出现,并严重降低检测性能。为联合解决这些问题,研究人员提出了PersimmonDet,一个协同框架,集成了用于颜色-遮挡解耦的双路径调制融合模块(MFM)、在遮挡下保留边界的调制引导动态上采样算子(M-DySample)、尺度感知轻量级检测头(MB_Head)以及增强排斥的Wise-IoU损失函数。关键创新在于一种隐式协调机制:损失函数基于困难样本产生强梯度,这些梯度反向传播以训练融合和上采样模块,形成闭环优化回路。在自建柿子数据集上的实验表明,PersimmonDet实现了96.13%的mAP@0.5和84.42%的mAP@0.5:0.95,优于多个轻量级检测器。最大的性能提升出现在重度遮挡和密集簇生的果实上。消融研究显示,当所有四个组件组合时性能显著提升,证实了它们的互补贡献。相同的架构在不做修改的情况下在冬枣数据集上重新训练,展现出持续的优势,证明了跨作物迁移能力。这些结果表明,将问题感知调制、边界保持上采样和困难聚焦训练相结合,是果园环境中鲁棒果实检测的一种有前景的方法。
PersimmonDet:面向果园近色与遮挡果实检测的协同框架解读
一、研究背景与意义
果园自动化采摘对果实实例级检测精度提出了极高要求,但柿子等果园果实检测面临两大固有视觉挑战。其一,同一果园内果实通常属于同一品种,表面颜色高度一致,果实间的视觉边界极弱,导致相邻果实易被合并为单个检测框。其二,自然果园场景中叶片和茎秆的严重遮挡会分割可见果实表面,造成边界模糊和漏检。这两个问题往往同时发生并相互影响,进一步削弱了标准检测器的性能。现有注意力机制虽能增强特征表达,但大多作为通用特征增强器,未显式建模颜色相似性与遮挡这两个不同问题。遮挡处理方法如损失函数改进、可变形卷积等,通常将遮挡与颜色混淆独立处理。因此,亟需一种能同时应对近色混淆和部分遮挡的集成化检测方法,以满足可靠选择性采摘的需求。
二、研究内容与结论
针对上述问题,研究人员提出了PersimmonDet协同检测框架,通过渐进集成四个组件:调制感知融合模块(MFM)、调制引导动态上采样算子(M-DySample)、尺度感知轻量级检测头(MB_Head)和增强排斥的Wise-IoU(WIoU)损失函数。这四个组件构成"更好的特征→更清晰的边界重建→高效头部→聚焦回归"的闭环优化回路,其中WIoU的困难样本梯度作为隐式协调器,同时引导MFM和M-DySample聚焦困难特征区域。在自建柿子数据集上,PersimmonDet实现了96.13%的mAP@0.5和84.42%的mAP@0.5:0.95,较基线YOLOv12n分别提升3.41和4.74个百分点,同时参数量减少0.26M(10.32%),FLOPs降低0.60G(10%)。在重度遮挡子集上性能提升达9.20个百分点,表明该框架对遮挡干扰具有更强鲁棒性。该架构无需修改即可迁移至冬枣数据集并保持领先性能,证明其跨作物泛化能力。
三、关键技术方法
研究人员构建了柿子数据集,图像采集自山西省运城市万荣县商业果园,拍摄距离50-80cm,涵盖2021年10月1-15日和2024年10月7-20日两个采收期,使用iPhone智能手机和尼康D7500相机拍摄,分辨率分别为5712×4284和3456×2304像素,共10225张原始图像,涵盖顺光、逆光、晴天、阴天等不同光照条件。数据集按8:1:1比例划分为训练、验证和测试集。关键技术方法包括:(1)双路径调制融合模块(MFM),通过颜色解耦路径和遮挡感知路径分别生成通道级颜色混淆分数和空间遮挡程度图,对多尺度融合特征进行调制;(2)调制引导动态上采样算子(M-DySample),利用MFM增强特征预测采样点偏移,将采样点从遮挡区域移向可见果实区域;(3)尺度感知轻量级检测头(MB_Head),采用移动倒瓶颈卷积(MBConv)结构,通过尺度感知门控机制按特征金字塔层级调整有效感受野;(4)增强排斥的Wise-IoU损失(WIoU),结合动态非单调聚焦机制和类内排斥项,对困难样本产生强梯度。
四、研究结果
主流网络对比实验: 在相同测试集上与YOLOv5n至YOLOv12n、Gold-YOLO、RT-DETR等主流检测器对比,PersimmonDet以2.26M参数和5.42G FLOPs实现最高精度,推理速度达136.80 FPS,仅比基线慢0.37ms。
渐进模块集成消融: 从基线依次添加MFM、M-DySample、MB_Head和WIoU,mAP@0.5从92.72%逐步提升至96.13%。MFM贡献+1.40个百分点,M-DySample贡献+0.36个百分点,MB_Head在降低参数量的同时提升mAP@0.5:0.95达0.78个百分点。测试16种不同插入顺序均得出一致结论。
留一消融实验: 移除任一组件均导致性能下降,其中移除WIoU损失下降最大(mAP@0.5降低1.60个百分点,未熟果实AP降低2.69个百分点),证实损失函数不仅是回归目标,更是协调各模块的核心机制。
组件设计分析: 在融合模块选择中,MFM以94.12%的mAP@0.5优于WFU、HSFPN等六种方案;上采样算子选择中,M-DySample以94.48%的mAP@0.5优于RCM、FCM等组合方案;检测头选择中,MB_Head以94.53%的mAP@0.5和83.66%的mAP@0.5:0.95实现精度与复杂度最佳平衡;损失函数选择中,WIoU以96.13%的mAP@0.5和84.42%的mAP@0.5:0.95优于CIoU、DIoU等12种损失函数。
困难子集性能分析: 按遮挡程度将测试集分为轻度(可见>70%)、中度(可见30%-70%)和重度(可见<30%)三组。PersimmonDet在重度遮挡下较基线提升9.20个百分点,从轻度到重度遮挡的性能下降幅度(-25.60个百分点)小于基线(-32.58个百分点),表现出更强的遮挡鲁棒性。
定性分析与可视化: 检测结果对比显示,PersimmonDet在遮挡场景中显著降低漏检和误检率,在密集近色果实区域能有效分离每个果实。Eigen-CAM热图分析表明,PersimmonDet的激活区域紧密集中于果实表面,背景叶片和枝干保持低温。前景-背景定位比(FBLR)达4.32,约为基线(2.18)的两倍。
冬枣数据集验证: 在不修改架构和超参数的情况下,PersimmonDet在冬枣数据集上保持领先性能,验证了设计的跨作物迁移能力。
五、讨论与结论
讨论部分指出,四个组件的协同训练而非单一模块是PersimmonDet优势的关键,MFM-WIoU组合受益最大。该方法的根本创新在于损失函数梯度隐式协调各模块行为,无需额外困难度图。现有局限包括:极端遮挡(可见表面低于10%)下恢复困难、未针对实时嵌入式部署优化、未利用视频时间信息。未来工作将扩展到实例分割以支持机器人采摘,并引入视频输入利用时间连续性。
研究结论:PersimmonDet通过MFM、M-DySample、MB_Head和WIoU四个组件的渐进集成,有效解决了柿子场景中近色混淆和重度遮挡的耦合挑战。在自建数据集上实现96.13%的mAP@0.5和84.42%的mAP@0.5:0.95,较基线分别提升3.41和4.74个百分点,模型复杂度降低约10%。该设计在冬枣数据集上无需修改即保持优势,表明问题感知调制、边界保持上采样和困难导向训练相结合是提升果园果实检测鲁棒性的有效途径。