一种针对遮挡及光照变化的番茄成熟度检测方法

《Computers and Electronics in Agriculture》：A tomato maturity detection method against occlusion and variable illumination

　　

•针对传统RGB色彩空间中"亮度与色度耦合"的局限性，准确解决了因光照变化导致的成熟度误判问题。•提出一种新的颜色特征表示方法，增强对红色敏感的Cr通道并与亮度解耦，解决光照条件下的成熟度误判问题。•设计双模块：多尺度渐进融合实现互补集成，遮挡感知学习完成语义补全，提升分割完整性。引言番茄是全球最重要的作物之一，在成熟或半成熟的发育阶段收获番茄有利于保持食用品质并简化采后管理。因此，收获期间的精确成熟度判定对于实现高产量和提高经济收益至关重要（Miao等，2023）。尽管自动化持续努力，大多数番茄收获仍然依赖人工劳动，效率低下。高效的自动化收获系统因此需要准确识别不同成熟阶段的单果。当前文献中的研究主要分为两大类：基于目标检测的方法和基于图像分割的技术。对象检测是番茄成熟度检测的主要研究方向，按技术范式可系统地分为三大主流类别。第一类是两阶段区域检测器，以R-CNN系列为代表（Hsieh等，2021）。第二类是一阶段检测器，以YOLO系列为代表。单阶段检测器将定位和分类统一到一个前向过程中，这一设计显著减少了推理时间。为了满足机器人番茄收获的需求，提出了许多YOLO变体。这些改进模型增强了复杂田间条件下的检测可靠性（Deng等，2025，Hao等，2025），并实现了渐进式成熟度估计（Chen等，2024）。另一类别是基于Transformer的端到端检测器，以DETR家族为代表（Putra等，2025）。通过将检测视为直接的集合预测任务，这类架构消除了锚框生成或NMS等手工设计的组件需求，实现了完全端到端的流水线。尽管基于检测的框架提供了高效性和实时性，但它们只能输出目标果实的边界框，无法提供像素级空间信息，包括果实的精确轮廓、边缘细节和遮挡范围。由于这一局限，在密集遮挡场景中无法满足机器人采摘所需的精度，果实重叠和小目标场景中，边界框无法引导采摘机器人的末端执行器准确避开枝条、叶片和相邻果实。此外，过曝和低光照条件导致果实颜色特征退化，而这些特征是多数检测模型中成熟度分类的核心依据，从而导致果实成熟度严重误判。相比之下，像素级分割方法对图像的每个像素进行成熟度分类，可以准确提取果实的有效区域特征，消除背景和无效像素的干扰，显著减少由光照变化和遮挡引起的误判。因此，像素级精确分割对于精确机器人采摘至关重要。现有的面向果实成熟度判别的分割方法大致可分为传统启发式方法和深度融合学习范式。经典分割启发式方法主要涵盖阈值法、边缘检测和聚类算法。尽管阈值法可以区分不同成熟度的果实，但当果实颜色相似时表现不佳（Niu和Li，2019）。Canny等边缘检测方法利用高斯滤波和Sobel梯度算子，在遮挡和重叠实例中难以应对（Rong等，2014）。聚类方法高度依赖初始化参数，且容易陷入局部最优，导致分割精度不稳定（Junior等，2014，Jothiaruna等，2021）。总体而言，传统方法仅适用于光照均匀且遮挡极少简单收获场景。近十年来，深度学习驱动的方法凭借其卓越的特征提取能力在农业领域得到广泛应用。这些方法自动学习纹理和颜色等视觉特征，已成为番茄成熟度识别的主流（Chen等，2024，Wang等，2024）。尽管这些方法在提取果实特征和准确分割不同成熟阶段果实方面较传统方法有显著改进，但在复杂田间环境中仍面临重大挑战。例如，强光照可导致果实表面过曝，而弱光照降低颜色饱和度，导致RGB色彩空间中的特征偏移，进而造成成熟度误判。此外，在密集遮挡场景中，果实边界周围缺乏视觉线索导致分割不完整和精度下降，限制了现有方法在复杂条件下精准农业中的适用性。这些挑战在图1中有明确展示。针对上述困境，本研究提出了一种基于增强特定色带的方法进行番茄成熟度识别。具体而言，我们观察到RGB色彩空间中色度与亮度的耦合是光照敏感性的主要原因，因为亮度变化直接导致色度特征偏移。现有工作未能将亮度与色度解耦，而是继续联合处理，这阻碍了对颜色误判问题的有效解决（Pisharody等，2025）。因此，我们提出了一种基于Cr通道增强的颜色特征表示方法。通过将图像转换为YCbCr色彩空间，并利用其固有的亮度（Y）和色度（Cb/Cr）分离特性，通过隔离Y通道消除光照强度的影响。随后，我们对天然对红色敏感的Cr通道进行自适应增强，以选择性地增强成熟和半成熟果实的颜色特征。这有效地抑制了背景噪声并减轻了光照变化。此外，为了解决果实遮挡导致的分割不完整问题，我们观察到不同分辨率下提取的特征在遮挡区域具有很强的互补性。高分辨率表示保留了精细的边界特征，而低分辨率表示则包含了被遮挡区域的整体形态信息。先前的工作（Liu等，2024）未能充分利用这种互补性，由于强制融合往往导致细节特征和全局特征之间的混淆。此外，现有方法难以有效提取和利用融合后的特征信息。为此，我们提出了多尺度渐进特征融合（MPFF）模块和遮挡感知特征学习（OAFL）模块。前者通过特征通道加权分配器（WD）对不同分辨率特征的相关通道分配自适应权重，增强关键特征表示，实现多分辨率特征融合。后者通过沿扩展序列双向编码融合特征来建模长程依赖关系，从而捕获全局上下文和详细信息。这有效解决了密集遮挡区域精确分割的挑战。在Laboro Tomato和Yu Tomato数据集（Yu等，2023）上进行的广泛实验证实了所引入方法的实用性。在图2中，与现有最先进（SOTA）基准相比，我们的方法在番茄成熟度识别精度方面具有优势。本文的主要贡献如下：•我们提出了一种新的颜色特征表示策略，利用颜色通道特定增强（CCE）模块增强天然对红色敏感且与亮度解耦的Cr通道，以应对光照变化并减轻不同光照条件下的成熟度误判。•我们提出了多尺度渐进特征融合（MPFF）模块和遮挡感知特征学习（OAFL）模块以应对遮挡问题，分别通过互补多尺度特征集成和遮挡区域的语义补全来改善分割完整性。•我们提出了一种基于特定颜色通道增强的番茄成熟度分割方法，解决了光照变化导致的成熟度误判和果实遮挡引起的分割不准确问题，从而提高了成熟度识别精度和整体分割性能。本文后续章节安排如下。第2节回顾相关工作。第3节详述所提方法。第4节呈现实验结果和实用性评估。最后，第5节结束本论述。各章节片段相关工作自动化番茄成熟度检测技术的研究已逐步从传统图像处理方法演进到以深度学习为中心的现有人工智能范式。本节从传统和深度学习两个角度回顾现有的番茄成熟度检测方法，并系统审视它们各自的优势和局限性。所提方法如图3所示，我们的方法受到不同色彩空间对颜色信息表现出不同敏感性的现象启发。具体而言，输入网络的图像首先被转换到YCbCr色彩域，从中提取Cr通道以抑制光照干扰，同时增强成熟和半成熟果实的颜色特征。增强后的图像随后与其未增强的版本进行拼接。数据集实验在两个公开的数据集上进行，即Laboro Tomato和Yu Tomato。如图5所示，番茄根据成熟阶段分为三类，即熟果、半熟果和未熟果。这两个数据集在温室环境中拍摄。Laboro Tomato。该数据集深入研究了番茄的成熟轨迹，涵盖了叶片遮挡和多果实交叠等具有挑战性的场景。结论基于农业机器人自动化采摘的实际需求，本研究推动了计算机视觉方法在农业场景中的创新。具体而言，我们提出了一种番茄成熟度检测方法。我们观察到不同色彩空间中的特定通道对颜色表现出不同的敏感性。受此观察启发，我们在YCbCr色彩空间中引入了Cr通道的定向增强，以增强模型的CRediT作者贡献声明Bo Fu：审稿与编辑、监督、资源。Wenzhe Li：撰写初稿、方法论。Di Wang：撰写初稿、数据整理、概念化。Hui Zhao：调查研究、形式化分析、数据整理。Ximing Li：审稿与编辑。Dongdong Cui：审稿与编辑、项目管理。Fernando Auat Cheein：审稿与编辑、项目管理。利益冲突声明作者声明不存在可能影响本文工作的已知财务利益或个人关系。致谢本工作由辽宁省教育厅研究基金项目（编号：LJKZ0986）、国家自然科学基金（编号：62276113）和中国博士后科学基金项目（编号：2022M72 1321）资助。Bo Fu | Wenzhe Li | Di Wang | Hui Zhao | Ximing Li | Dongdong Cui | Fernando Auat Cheein