可靠性感知的RGB-D实例分割用于田间玉米穗和丝的三维表型分析

《Computers and Electronics in Agriculture》：Reliability-aware RGB-D instance segmentation for field-based 3D phenotyping of maize ears and silks

　　

• 一个包含1,156对数据的RGB-D数据集，涵盖玉米果穗和花丝表型的三个发育阶段。
• 一种可靠性感知的RGB-D框架，能够在田间条件下实现稳健的果穗和花丝分割。
• 一种不确定性感知的多模态融合策略，增强了RGB-D特征利用，提升田间玉米果穗和花丝分割效果。
• 该框架在玉米果穗和花丝分割任务中实现了93.50%的mAP50。
• RGB-D测量可估算果穗尺寸和花丝长度，而RGB信息支持花丝颜色表征。

**引言**

玉米（*Zea mays* L.）是重要的粮食、饲料和工业原料作物，其果穗发育与产量形成和品质密切相关。以往研究表明，果穗相关性状是玉米生殖发育和产量潜力的重要指标（Ma等，2022；Zhang等，2023）。果穗长度和果穗宽度等表型性状能够反映玉米雌穗的发育状况，其在不同发育阶段的动态变化可在一定程度上表征果穗器官形成、籽粒发育潜力以及对环境胁迫的响应。玉米花丝是授粉和受精的关键生殖结构，其伸长和活力直接影响柱头的有效授粉窗口以及花粉管与胚珠的匹配效率。在授粉前，花丝持续伸长以建立有效的授粉通道并增加配子相遇的概率；授粉后，花丝生长受抑制，组织逐渐枯萎和衰老。此外，花丝在授粉过程中的形态和颜色变化具有系统性，可指示发育阶段和授粉状态。因此，快速、无损、客观地原位获取玉米果穗和花丝的表型数据，对玉米育种、栽培管理和高通量表型分析具有重要意义（Brichet等，2017；Yang等，2020）。

玉米果穗和花丝的表型分析目前仍主要依赖人工测量，这种方式劳动强度大、耗时长且主观性强，无法满足大规模、连续的田间表型分析需求。为满足精准玉米育种和数字化栽培管理的需要，对果穗和花丝发育的连续监测及表型数据的高效获取已成为作物表型研究的重要方向（Brichet等，2017；Wang等，2018；Yang等，2020）。随着计算机视觉和深度学习的发展，基于RGB的检测和分割方法越来越多地应用于农业感知任务，包括作物器官识别和田间表型分析（Kamilaris和Prenafeta-Boldú，2018；Yang和Xu，2021）。这些方法在复杂农业环境下识别可见植物结构方面表现出强大的能力。例如，Gu等（2024）利用改进的YOLOv8算法，基于RGB图像在复杂果园环境中实现了芒果果实和果梗的同时检测。Luo等（2024）提出了用于油茶果实检测的YOLO-CFruit模型，而Xiang等（2024）开发了基于RGB的远距离场景小番茄检测模型。这些研究证明了基于RGB的视觉方法在农业目标识别方面的有效性；然而，仅依靠RGB的方法在复杂田间条件下的稳健表型分析方面仍面临挑战。

尽管基于RGB的检测和分割方法取得了进展，但仅靠RGB图像在复杂田间条件下进行玉米果穗和花丝的稳健表型分析仍然不够。以往研究报告指出，基于RGB的深度学习方法在农业场景中对光照变化、背景干扰、遮挡、重叠和尺度变化仍然敏感（Dalal和Mittal，2025）。这些局限性对于玉米果穗和花丝的原位表型分析尤为突出。一方面，田间自然光照高度多变，直射光、逆光、侧光和阴影交替出现，可能导致图像亮度不均、局部过曝或欠曝，从而影响目标区域的清晰可视化。同时，田间背景通常包含叶片、茎秆、土壤和杂草，目标物常受遮挡、重叠和尺度变化的影响，使得果穗和花丝难以与背景准确分离。另一方面，果穗和花丝本身的形态特征也给稳定识别带来挑战。果穗在不同发育阶段和观测条件下表现出显著的形态差异，其颜色和纹理与周围器官部分相似，容易与背景混淆。花丝细长、柔软、弯曲，容易缠绕，并可能出现局部不连续，对边界表示和连续性建模提出了更高要求。此外，花丝在授粉前后的形态和颜色变化显著。尽管这些变化可为发育评估和授粉状态提供线索，但也增加了稳定检测和精细表型性状提取的难度（Zhang等，2022）。因此，仅靠RGB图像在复杂田间条件下进行玉米果穗和花丝的稳健检测和详细表型分析仍显不足。

为克服仅依靠RGB方法在复杂场景中的局限性，能够同时提供颜色、纹理和深度信息的RGB-D相机近年来受到越来越多的关注。深度信息可增强前景-背景分离，辅助边界勾勒，并为三维尺度恢复和表型测量提供几何约束（Tao和Zhou，2017；Fu等，2020；Gené-Mola等，2019）。RGB-D方法在苹果检测（Nguyen等，2016；Gené-Mola等，2019）、茶芽检测和三维定位（Liu等，2021；Wang等，2024）、果实尺寸估算（Font等，2023）、树干直径估算（Grondin等，2023）、番茄器官三维姿态检测（Ding等，2023）以及动态三维作物表型分析（Peng等，2023；Qi等，2024；Fan等，2022）等方面均表现出优于传统RGB视觉的性能。这些研究表明，融合RGB和深度信息可有效缓解目标分离困难、边界模糊和尺度恢复不稳定等问题，从而为复杂农业环境中的目标感知和定量表型分析提供了一条有前景的技术路线。

然而，将RGB-D融合应用于玉米果穗和花丝的田间表型分析仍面临若干挑战。首先，田间获取的深度图容易受自然光照、反射、遮挡和传感器误差的影响，常导致深度空洞、噪声、局部畸变和对齐误差。在此条件下，简单融合RGB和深度信息不仅可能无法持续改进性能，还可能引入低质量深度的干扰，从而降低检测稳定性（Wang等，2024）。其次，现有研究主要关注相对规则的目标或形式明确的任务，如苹果、茶芽、茎秆和番茄器官，而对玉米果穗和花丝——这些受严重遮挡、边界敏感、细长、易变形且颜色动态变化的目标——的研究仍然有限。综上所述，复杂田间环境中深度信息的不稳定质量，加上现有检测方法适应性的局限性，意味着包括果穗尺寸估算、花丝长度估算和花丝颜色分析在内的自动化表型任务仍缺乏适用于复杂田间条件的综合解决方案。

准确提取玉米果穗和花丝性状对玉米育种和田间管理具有重要的实用价值。果穗长度和宽度等果穗形态性状是评估产量相关特性和筛选优良种质的重要指标。花丝性状提供了关于生殖发育和开花特征的重要信息，可支持对不同发育阶段玉米生长表现的评价。因此，果穗和花丝表型的自动化和可靠测量有助于大规模表型数据的获取，提高育种材料评价的效率，并为精准作物管理提供定量支持。

针对上述问题，本研究聚焦于自然田间条件下玉米果穗和花丝智能表型分析的实际需求。研究搭建了集成RGB-D传感器和边缘计算模块的移动式RGB-D图像采集平台，探讨了复杂田间环境中稳健的果穗和花丝分割方法，并利用深度信息实现目标约束下的三维表型性状提取。具体而言，本研究的目标是：(1) 建立移动式RGB-D图像采集平台，采集不同发育阶段、光照条件和遮挡场景下玉米果穗和花丝的RGB-D图像，构建覆盖复杂田间环境的多模态田间表型数据集；(2) 开发具有可靠性感知融合和全局上下文增强的非对称RGB-D分割方法，用于复杂田间条件下玉米果穗和花丝的分割，以提高实际农业场景中的分割精度和鲁棒性；(3) 提出深度引导的三维测量和颜色分析方法，自动提取果穗长度、果穗宽度、花丝长度和花丝颜色，从而为所采样发育阶段的表型描述提供技术支持。评估环节涵盖整体田间分割、深度可靠性融合、花丝掩膜结构、几何性状估算以及互补的颜色描述。

**片段摘要**

**所提出的RGB-D表型分析框架概述**

所提出的RGB-D表型分析框架将田间数据采集、可靠性感知的实例分割、目标约束的三维性状提取以及基于RGB的颜色分析整合为一个统一的流程，用于玉米果穗和花丝的表型分析。该框架以田间条件下采集的RGB-D图像为输入，输出实例级分割结果、三维几何性状和花丝颜色描述符，实现全面的表型表征。整体工作流程如下图所示。

**不同输入模态的比较**

在复杂田间条件下，深度信息为玉米果穗和花丝的分割提供了互补的几何线索，尽管其贡献取决于深度模态如何被纳入网络。如表2所示，传统RGB-D基线方法直接拼接RGB和深度特征，未采用不确定性感知的自适应多模态融合（UAMF）模块或基于MambaLite2D的全局上下文增强。在相同实验设置下，该方法通常表现……

**结论**

本研究开发了一种可靠性感知的RGB-D实例分割和感兴趣区域约束的三维表型分析框架，用于田间条件下玉米果穗和花丝的分析。所提出的模型在评估的田间条件下改进了玉米果穗和花丝的分割性能，将整体mAP50从RGB基线的90.11%提升至93.50%。对应的mAP50值分别达到玉米果穗的96.56%和玉米花丝的90.44%。该模型并非仅依赖额外的深度……

**数据和代码可用性**

支持本研究发现的RGB-D玉米果穗和花丝数据集已存入Zenodo，可通过doi:10.5281/zenodo.20328621公开获取。源代码、数据划分文件和使用说明将在论文发表后于公开的GitHub仓库中提供。README文件提供了数据集组织、训练和验证划分、模型训练及表型测量程序的详细信息。

**作者贡献声明（CRediT）**

张俊宁：监督、项目管理、概念构思。王美怡：审阅与编辑、原创撰写、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念构思。胡欢：监督、概念构思。张琛：数据整理。龙炎：资源。石策：资源。田西：审阅与编辑、监督、资源、资金获取、概念构思。万翔远：资源。

**生成式AI和AI辅助技术在写作过程中的声明**

在本文准备过程中，作者使用了ChatGPT进行语言润色和语法改进。使用此工具后，作者根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。

**资金支持**

本研究主要得到北京新星计划（20250484967）的资助。

**利益冲突声明**

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

**致谢**

本研究主要得到北京新星计划（20250484967）的资助。

张俊宁 | 王美怡 | 胡欢 | 张琛 | 龙炎 | 石策 | 田西 | 万翔远