一种适用于机器人番茄采摘中低光照和遮挡场景的全球-局部协同图像增强方法

《Computers and Electronics in Agriculture》：A global–local collaborative image enhancement method for low-illumination and occluded scenes in robotic tomato picking

提出了一种针对低光照和结构遮挡的全球-局部协作图像增强方法，通过多尺度加权引导滤波自适应估计光照，结合主成分分析和韦伯-费希纳模型实现多尺度光照融合，利用改进蝙蝠算法优化全局对比，在番茄采摘机器人场景中验证了该方法在SSIM、NIQE等指标上优于现有方法，并显著提升目标检测和语义分割的准确率，推理速度达47.9ms。

　　

曹毅|卢欣宇|张秉远|李忠|周玲丽|吴倩|任妮

江苏省农业科学院农业信息研究所，南京210014，中国

摘要

为了解决机器人采摘番茄过程中由于光照不足和结构遮挡导致的图像退化问题，本文提出了一种新的全局-局部协作图像增强方法。首先，为了确保数据的多样性和可靠性，在真实的温室环境中构建了一个包含3000张图像的数据集，这些图像涵盖了各种具有挑战性的场景（例如，光照不足、果实重叠和叶片遮挡）。所提出的框架协同整合了三个关键阶段：（1）自适应光照估计：基于多尺度加权引导滤波（MWGF）的算法用于提取具有结构感知的光照先验，有效抑制了暗区域的噪声。（2）多尺度光照融合：采用主成分分析（PCA）和韦伯-费希纳感知模型的融合机制，在增强局部细节的同时最小化伪影。（3）全局对比度优化：提出了一种改进的蝙蝠算法（IBA），用于动态优化对比度系数，平衡可见性和结构保真度。实验结果表明，所提出的方法优于现有的最佳方法，熵值为7.80，SSIM值为0.82，NIQE值为4.21。此外，在下游机器人视觉任务上的广泛验证证实了其实际效用：它在对象检测的平均精度（mAP）上平均提高了2.6%，对于小对象提高了3.8%；同时，它将语义分割的平均交并比（mIoU）提高了3.6%，在严重遮挡的情况下改善了果实边界的清晰度。该方法在标准CPU上的平均推理时间为47.9毫秒，证明了其在实时农业应用中的有效性和效率。

引言

随着全球农业现代化的快速发展，设施农业已成为提高生产力和确保粮食安全的关键组成部分，并正在迅速向智能化管理转型（Yang等人，2021年）。作为设施农业中的典型高价值作物，番茄由于其大规模种植和对精确果实识别的强烈需求，已成为智能农业感知和采摘技术的关键应用目标（Abekoon等人，2024年；Singh等人，2023年）。在劳动力成本上升和农业劳动力短缺的背景下，具有高运行效率和全天候能力的智能采摘机器人正在逐渐取代传统的人工劳动，成为推动农业数字化转型的关键（Fahmida等人，2022年；Rong等人，2022年）。

在采摘机器人中，图像感知模块在实现精确的果实检测、定位和决策中起着关键作用（Yang等人，2021年）。然而，在复杂的设施农业环境中，该模块面临着多维图像退化的挑战，主要源于两类因素：（1）不稳定的光照导致整体光照减弱和颜色失真，例如阴天时的低光照场景、遮阳物造成的光照衰减以及雾或雨造成的视觉干扰（Jiang等人，2021年；Hou等人，2023年）；（2）作物的结构遮挡导致边缘模糊和视觉细节丢失，例如重叠的叶片和部分隐藏的果实（Chen等人，2021年；Yang等人，2024年）。图1展示了在正常光照和阴天/遮挡条件下捕获的番茄图像及其相应的RGB直方图比较。如图1所示，与光照良好的场景相比，在阴天和遮挡条件下捕获的图像在所有三个RGB通道中的动态范围显著压缩（灰度值分布降低到0-100），导致整体对比度和色彩丰富度显著降低。具体来说，红色通道的强度降低，削弱了果实的显著性；绿色通道的能量重叠增加，降低了果实和叶片之间的可区分度；蓝色通道变得平坦，减少了空间深度线索。

为了解决这些图像退化问题，在将图像输入机器人感知模块之前对其进行增强是非常重要的。现有的图像增强方法可以分为三类：基于直方图变换的全局增强方法、基于Retinex的局部增强方法以及基于深度学习的端到端增强方法（Qi等人，2021年）。其中，全局增强方法可以改善光照和对比度，但它们往往会导致局部过度增强和颜色失真（Rahman等人，2023年）。基于Retinex的局部增强方法在非均匀光照下表现良好，能够恢复局部光照和颜色，但在极低光照或遮挡条件下容易产生伪影和结构模糊（Rasheed等人，2022年）。尽管深度学习方法提供了更好的特征表示，但它们通常模型复杂度大且对数据依赖性强，不适合实时、低功耗的农业应用（Tian等人，2023年；Minaee等人，2021年）。

为了克服低光照和结构遮挡造成的复合退化效应，以及现有增强方法的局限性，如全局-局部处理的碎片化和细节保留不足，本文提出了一种适用于机器人采摘番茄过程中低光照和遮挡场景的全局-局部协作图像增强方法。该方法建立了三个处理阶段：光照估计、光照融合和全局对比度优化，实现了从局部感知增强到全局视觉质量提升的统一优化。此外，为了系统评估图像退化对采摘机器人感知模块性能的影响，本文进一步将增强前后的图像输入到各种主流的对象检测和分割模型中，定量分析了图像退化质量提升对检测和分割准确性的影响，并为对象检测和分割模型的选择和实际部署提供了性能参考。主要贡献总结如下：

• •
  提出了一种基于多尺度加权引导滤波的自适应光照估计算法，结合了边缘自适应正则化因子，有效提高了低光照和遮挡条件下的光照重建精度，并为后续增强阶段提供了高质量的先验。
• •
  提出了一种基于主成分分析（PCA）和韦伯-费希纳感知模型的多尺度光照融合机制，允许在不同增强强度下的光照成分进行分解和融合，从而在抑制颜色失真和伪影的同时保留局部细节。
• •
  提出了一种基于改进的蝙蝠算法（IBA）的全局对比度优化算法，用于动态优化全局增强的对比度系数。通过引入时间依赖的扰动策略和综合考虑SSIM、熵和EdgeLoss的多指标适应度函数，所提出的方法有效平衡了全局对比度增强和结构保留。

本文的其余部分组织如下：第2节回顾了农业图像增强方面的相关工作；第3节详细介绍了我们的方法，包括数据采集和方法；第4节提供了实验结果的主观和定量评估；第5节总结了本文并讨论了未来的研究方向。

章节片段

相关工作

农业图像增强已经得到了广泛研究，以解决设施环境中的光照不足和遮挡等问题。现有的农业图像增强方法可以分为三类：基于直方图变换的全局增强方法、基于Retinex的局部增强方法以及基于深度学习的端到端增强方法。

数据采集

番茄图像数据集收集于2024年10月至2025年5月期间，在中国南京的江苏省农业科学院第1智能农业温室。图2展示了数据采集地点、工具和采集结果的示意图。所使用的番茄品种为“Fat Taro”，这是一种中等大小、果实呈粉红色的品种，果实形状规则且颜色均匀，广泛用于设施栽培。

实验结果与讨论

为了评估所提出的图像增强方法的性能和适用性，实验旨在评估退化图像的质量及其对下游农业视觉任务的影响。首先，使用多种指标定量测量增强效果，并在具有低光照和复杂遮挡特征的挑战性场景中进行视觉比较。然后，将增强后的图像输入到番茄检测和分割模型中进行分析

结论

本文提出了一种新的图像增强方法，旨在解决设施农业环境中低光照和严重遮挡带来的挑战，特别是对于机器人采摘番茄而言。所提出的方法将自适应光照估计、多尺度光照融合和全局对比度优化集成到一个协作框架中，显著提高了图像质量和后续的对象检测精度。

（1）该方法从

CRediT作者贡献声明

曹毅：撰写 – 审稿与编辑，撰写 – 原稿，验证，软件，方法论，调查，形式分析，概念化。卢欣宇：撰写 – 审稿与编辑。张秉远：撰写 – 审稿与编辑。李忠：概念化。周玲丽：数据管理。吴倩：数据管理。任妮：撰写 – 审稿与编辑，监督，项目管理，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。