《Plant Phenomics》:FG-LCNet: A Two-Stage Foreground-Guided Network for Whole-Tree Litchi Counting
编辑推荐:
从全树图像中准确进行荔枝计数对于产量估算、果园管理和植物表型分析至关重要,但在真实果园中仍具挑战,因为果实以密集、严重遮挡的簇状分布出现,并在尺度、光照和不同成熟阶段外观上差异显著,尤其是绿果与周围叶片相似。现有方法已有进展,但在复杂果园环境中的鲁棒性仍有限。
从全树图像中准确进行荔枝计数对于产量估算、果园管理和植物表型分析至关重要,但在真实果园中仍具挑战,因为果实以密集、严重遮挡的簇状分布出现,并在尺度、光照和不同成熟阶段外观上差异显著,尤其是绿果与周围叶片相似。现有方法已有进展,但在复杂果园环境中的鲁棒性仍有限。为解决这些挑战,研究人员提出FG-LCNet,一种两阶段前景引导(foreground-guided)荔枝计数框架。第一阶段,增强的果实簇检测器(fruit-cluster detector)改善复杂冠层背景下小目标和模糊簇的定位。第二阶段,检测到的前景区域输入带混合注意力(hybrid attention)的密度回归(density-regression)网络,同时引入基于一致性的训练策略以提高对外观和光照变化的鲁棒性。为支持本研究,研究人员建立大规模荔枝计数数据集,包含来自5个果园、跨越3个成熟阶段的1,126张全树图像,约120,000个果实级点标注和超过20,000个簇级边界框(bounding box)。FG-LCNet取得最佳整体计数性能,MAE(Mean Absolute Error,平均绝对误差)为7.44,RMSE(Root Mean Squared Error,均方根误差)为11.01;在高密度果实簇场景和跨果园验证中优势明显,在果园区域和成熟度子集上保持有竞争力结果,并保留适于实际部署的推理效率。结果表明FG-LCNet为鲁棒荔枝计数提供有效方案,并可推广到其他簇状水果计数任务。
《Plant Phenomics》论文解读:FG-LCNet用于全树荔枝计数研究
研究背景方面,荔枝是中国重要热带果树,中国种植面积约524,000公顷,占全球产量约70%。真实果园中,荔枝果实常呈总状花序式密集簇分布,易被叶片和枝条遮挡,且存在小目标、尺度变化大、光照与运动模糊、视角遮挡等问题;早熟青果与叶片颜色相近,导致漏检和误检。传统整树采收称重费时费力且不安全,经验目测主观不稳定,难以满足精准农业和数字果园对高精度、客观、一致计数的需求。现有荔枝研究多依赖实例分割、目标检测等定位策略,在严重重叠和冠层干扰下性能下降;密度回归在局部器官计数有潜力,但推广到全树场景时面临更强背景干扰、尺度变化和成熟度相关外观偏移。因此,研究人员开展本研究,提出前景引导两阶段框架并构建大规模基准数据集。
主要关键技术方法上,研究人员于2023年2月至2024年8月从海口、澄迈、琼海、湛江、茂名5个果园采集近50个荔枝品种图像,按青果、转红、全红三成熟阶段建数据集;样本队列来源即五园三熟期1,126张全树图像。方法包括:第一阶段用改进YOLOv11,加P2/4高分辨率层和GLSA(Global-to-Local Spatial Aggregation,全局到局部空间聚合)模块做果实簇检测;第二阶段将检测框聚合掩去背景,用VGG19骨干加混合注意力块(自注意力+CBAM卷积注意力)做密度回归;损失采用UOT(Unbalanced Optimal Transport,非平衡最优传输)监督损失与强弱增强一致性损失;并以AP50、HitRategreen、MAE、RMSE评价。
研究结果如下。
3.1 果实检测性能:在簇检测对比中,研究人员方法AP50达0.769,HitRategreen为68.07%,优于YOLOv8、YOLOv10、YOLOv11与RT-DETR,说明P2层和GLSA提升小簇敏感性与绿果定位。
3.2 整体计数性能:3.2.1定量比较中,FG-LCNet的MAE 7.44、RMSE 11.01均低于BL、DM-Count、GL、Gramformer、MS2。3.2.2两阶段流程可视化显示,在密簇、重遮挡和强光变下检测框与密度图积分计数和真值一致。3.2.3与主流密度模型定性比较显示,基线在叶丛产生伪密度响应致多计,或漏掉青果小目标致少计;研究人员方法前景集中、背景激活低。
3.3 分层与跨果园分析:3.3.1概述按区域、密度、成熟度分层并做跨园验证。3.3.2区域中心分析显示,d、e区最难,BL等在d、e误差剧增,研究人员方法在d区RMSE 9.82、e区RMSE 14.82仍稳。3.3.3密度中心分析显示,低、中、高密度组MAE分别为5.71、7.70、11.73,中高密度RMSE最低,密度越大研究人员方法IQR更紧。3.3.4成熟度中心分析显示,青、转红、全红阶段RMSE为3.15、21.28、36.50,均低于基线,说明对外观偏移鲁棒。3.3.5跨果园验证中,用a-d训练、e测试,研究人员MAE 15.50、RMSE 20.14,优于DM-Count的17.89/24.64。
3.4 消融实验:3.4.1阶段一消融表明P2与GLSA单独不稳健,联合后AP50 0.769、HitRategreen 68.07%。3.4.2置信阈值τ=0.25最优,τ过低引噪声、过高滤小簇。3.4.3阶段二消融去混合注意力MAE 8.75/RMSE 12.34,去一致性损失MAE 8.30/RMSE 11.65。3.4.4混合注意力分支消融中去自注意力RMSE 16.77、去卷积注意力RMSE 16.85;3个块最优,4—5块因过参数化退化。
3.5 运行与部署:3.5.1在RTX 3090、512×512输入下单图基准。3.5.2阶段一检测器3.84M参数、5.29 ms、188.97 FPS;端到端25.89M参数、21.78 ms、45.91 FPS,虽重于单阶段基线但可交互部署。3.5.3已接入小程序试点,用户传图得簇框与密度图叠加反馈。
讨论与结论翻译:研究人员提出FG-LCNet,通过解耦果实簇定位与簇内计数,比单阶段策略更适配密布、重遮挡和阶段外观变化全树荔枝图。改进检测器增强小且模糊簇敏感性,混合注意力密度回归与一致性监督提升对背景、光照和成熟度偏移鲁棒性;构建含点标注与簇框、多园多品种三熟期数据集,为荔枝计数和植物表型提供基准。实验表明FG-LCNet整体准确,在高密度簇和跨园验证优势最明,区域与成熟度子集有竞争力且推理效率适于部署,说明密度估计前引入显式前景先验可提升复杂果园计数可靠性,并可迁至其他簇果计数。局限包括青果样本偏少、两阶段误传、单视可见果非3D负载、未做边端轻量化;未来将提升青果鲁棒性、降跨段跨园域差、探多视全树产量、做轻量实现及果园/季节级泛化。
Yitao Zhuang、Mingchao Yang、Zhikeng Ke、Riyao Chen、Yuefang Gao、Xianghe Wang、Fuchu Hu在《Plant Phenomics》报告的工作表明,前景引导两阶段密度估计已成为复杂果园簇状果树计数的一类有效范式。