超越色彩:用于作物种植场景鲁棒语义分割的先进RGB-D数据增强方法

《Computers and Electronics in Agriculture》:Beyond Color: Advanced RGB-D data augmentation for robust semantic segmentation in crop farming scenes

【字体: 大 中 小 】 时间:2026年01月19日 来源:Computers and Electronics in Agriculture 8.9

编辑推荐:

  近年来,智慧农业(smart farming)的兴起显著提升了人工视觉系统在作物生产中的重要性。在开发鲁棒的语义分割(semantic segmentation)模型时,数据增强对于处理小规模数据集(如选择性杂草控制场景)至关重要。得益于多模态数据融合(mul

  
近年来,智慧农业(smart farming)的兴起显著提升了人工视觉系统在作物生产中的重要性。在开发鲁棒的语义分割(semantic segmentation)模型时,数据增强对于处理小规模数据集(如选择性杂草控制场景)至关重要。得益于多模态数据融合(multi-modal data fusion)的进展,RGB-D图像数据集对提升模型性能做出了实质性贡献。然而,大多数数据增强技术主要针对颜色通道进行修改,往往忽视了深度(depth)通道。为填补这一空白,研究人员提出了三种RGB-D图像增强方法:RGB-D-Aug、Recompose3D和Compose3D。研究人员利用专为不同植物物种语义分割设计的多模态融合网络ESANet开展了实验。RGB-D-Aug在常用的几何变换和颜色变化基础上,引入了人工深度传感器噪声。Recompose3D和Compose3D通过组合背景图像和一组前景植物片段(snippet)生成增强的RGB-D图像及相应的真值(ground-truth)标签。Recompose3D重新排列给定训练图像中的植物,而Compose3D则使用训练数据集中所有可用的植物片段。在旨在评估泛化性能的实验中,研究人员测试了上述三种方法,并将其不仅与ESANet中使用的增强技术(包括几何变换和颜色通道变化)进行了比较,还与扩展版的Copy-Paste方法进行了比较——后者是一种最初针对RGB图像提出的图像合成技术。研究人员提出的三种方法均优于ESANet增强方法。图像合成方法Copy-Paste、Recompose3D和Compose3D表现显著更优,其中Compose3D在所有测试方法中实现了最高的泛化性能。除提升模型鲁棒性外,Compose3D还能够创建逼真的农学图像场景。该研究是开发适用于耕地多种应用的鲁棒且可泛化模型的重要一步。
该研究聚焦于智慧农业背景下作物种植场景的语义分割问题,旨在解决现有RGB-D数据增强方法忽视深度通道、导致模型泛化能力不足的关键瓶颈。当前农业视觉系统面临的主要挑战包括:田间光照快速变化、植物不同生长阶段外观差异显著、以及不同物种早期生长阶段的高度相似性;同时,公开的RGB和RGB-D数据集在图像数量、植物物种覆盖度和环境条件多样性方面均不足以支撑鲁棒模型的训练。为此,研究人员开发了三种专门针对深度信息的新型数据增强方法,以提升模型在未见数据集上的泛化性能。

研究采用的核心技术方法包括:基于多模态融合网络ESANet的语义分割框架,该网络采用双ResNet34编码器分别处理RGB和深度(D)信息,并在五个分辨率阶段进行特征融合;RGB-D-Aug方法引入基于立体视觉系统距离分辨率公式δz=z2·derr·pb·f的高斯传感器噪声,其中基线b=41 mm、焦距f=12 mm、像素尺寸p=5.86×10-3 mm、视差误差derr=0.2 px;Recompose3D与Compose3D方法采用前景-背景(F-B)合成算法,通过距离感知图像叠加(Distance-aware Image Overlay)实现基于深度值的上下文感知植物片段粘贴;所有方法均配合"弹弓效应"(slingshot effect)策略,即在特定训练轮次(100-400 epoch)关闭增强以优化泛化性能。研究使用的数据集包括WE3DS训练集(1540幅图像,衍生出249幅背景图和5122个植物片段)、SOY20大豆测试集(176幅图像,7周采集)以及SBT21甜菜测试集(432幅图像,7周采集)。

**实验结果一:从零开始训练的性能表现**

在随机初始化权重的训练设置下,基线模型(无增强)在SOY20和SBT21数据集上的平均泛化mIoU为47.4%。标准ESANet颜色增强未带来泛化提升,反而使性能下降2.2%。RGB-D-Aug在300 epoch关闭时较基线提升1.5%。三种图像合成方法在配合早期关闭策略后均显示泛化改善:Recompose3D在200 epoch关闭时提升3.8%,Compose3D在400 epoch关闭时提升8.0%,而Copy-Paste在300 epoch关闭时达到57.0%的最高泛化性能,提升9.6%。

**实验结果二:预训练模型的性能表现**

使用ImageNet预训练权重时,基线泛化性能提升至53.7%。ESANet和RGB-D-Aug配合早期关闭仍未能超越基线。三种图像合成方法再次展现优势:Recompose3D在300 epoch关闭时提升6.5%,Copy-Paste在300 epoch关闭时提升8.1%,Compose3D在400 epoch关闭时达到64.5%的最高泛化性能,较基线提升10.8%。值得注意的是,WE3DS验证集性能与测试泛化性能的相关性不足以可靠识别最优模型。

**实验结果三:误差分析与定性评估**

混淆矩阵分析显示,Compose3D减少了杂草与土壤的误判,尤其有利于小株或早期杂草的检测。定性结果表明,SBT21数据集场景从低覆盖度到高遮挡度变化显著,各模型差异较小;而SOY20数据集光照复杂、作物邻近度高、作物-杂草区分困难,基线mIoU仅45.2%,Compose3D将其提升21.9%,实现了令人满意的作物/杂草判别。图7的可视化结果清晰展示了Compose3D在复杂场景下的优势。

**实验结果四:弹弓效应的系统性验证**

研究发现增强方法的"弹弓效应"存在显著差异:ESANet最优关闭点较早(从零训练200 epoch/预训练100 epoch),而复杂合成方法需要更长增强周期(Compose3D为300/300 epoch)。Copy-Paste是唯一无需早期关闭即可持续改进泛化的方法,表现出最小的弹弓效应和最低的实验变异性。这一发现与Gontijo-Lopes等人关于分类任务的研究结论一致。

**讨论与结论**

研究人员指出,深度感知增强在存在遮挡且植物几何结构关键的复杂农业场景中价值突出。Compose3D通过动态调控植物类型和覆盖度创造新颖真实场景,其F-B合成算法虽针对天底(nadir)视角设计,但可扩展至倾斜视角。RGB-D-Aug方法具有传感器无关性,可通过调整噪声参数适配Kinect等不同深度传感器。研究的局限性在于:植物片段提取依赖精细标注数据,且验证物种范围有限。未来研究方向包括将播种密度、播种模式和生长阶段等农艺因素纳入增强框架,以及针对特定目标域特征优化合成参数以进一步提升跨场景泛化能力。

研究结论指出:本研究提出的三种基于RGB-D数据的新型图像增强技术——RGB-D-Aug、Recompose3D和Compose3D,通过修改深度通道改善了植物物种的语义分割效果,其泛化性能优于无增强基线和标准RGB增强方法。在从零开始训练和预训练两种实验设置下,Compose3D方法的泛化性能均最佳,分别较无增强基线提升8.0%和10.8%。Compose3D利用来自土壤的背景图像和从所有可用训练图像提取的植物片段生成新颖的作物种植场景,在生成图像时定义作物和杂草的类型与覆盖度具有显著优势,这使得能够使用训练数据中不存在的设置和组合进行训练。未来研究将集中于将播种密度、播种模式和生长阶段等额外农艺因素整合到该RGB-D增强方法及其他方法中。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号