DMS-Net:一种用于烟草点云语义分割的双重形态语义增强网络

《Computers and Electrical Engineering》:DMS-Net: A dual morphology-semantic enhanced network for tobacco point cloud semantic segmentation

【字体: 大 中 小 】 时间:2026年08月31日 来源:Computers and Electrical Engineering 5.5

编辑推荐:

   摘要烟草是一种重要的经济作物,其生长监测和表型分析对于精准农业至关重要。三维扫描技术的进步使得基于点云的表型分析成为关键研究领域,其中精确的茎叶分割尤为关键。然而,公开数据集稀缺,且烟草复杂的结构带来了诸多挑战:细长的茎部稀疏导致严重的类别不平衡,而连接处的遮挡则引发边界模糊

  

摘要

烟草是一种重要的经济作物,其生长监测和表型分析对于精准农业至关重要。三维扫描技术的进步使得基于点云的表型分析成为关键研究领域,其中精确的茎叶分割尤为关键。然而,公开数据集稀缺,且烟草复杂的结构带来了诸多挑战:细长的茎部稀疏导致严重的类别不平衡,而连接处的遮挡则引发边界模糊问题。为此,我们提出了一种新型分割网络DMS-Net,该网络包含两个核心模块:几何专家导向的双路增强模块(GEODE)和噪声引导的语义增强模块(NGSE)。GEODE利用形态感知编码器和双路专家门控机制,自适应地解耦并增强茎和叶的特征,从而提高边界判别能力。NGSE采用语义感知的注入与提纯范式,结合交叉注意力机制,学习具有遮挡不变性的鲁棒特征。在我们自建的烟草数据集上的实验表明,DMS-Net取得了96.83%的mIoU和94.24%的茎IoU,超越了此前最先进的(SOTA)方法,并实现了更清晰的边界分割。本研究为高质量烟草茎叶分割提供了一种专用解决方案,其思路有可能迁移到类似的三维植物分析任务中。

引言

烟草是一种广泛种植的作物,具有较高的经济价值,并含有潜在的药理活性成分,如消肿、抗菌和抗肿瘤特性[1]。然而,其经济产量以及生物活性成分的丰富程度和组成均受到复杂表型特征的严格调控。植物表型涵盖了所有可观察和可量化的物理及生化特征。实现烟草表型测量的自动化,可以为其复杂的遗传形式提供更系统、更全面的理解[2],这对于阐明基因与环境的交互作用、推进烟草的智能农业和育种具有重要意义[3,4]。例如,实时检测烟草茎可以获取茎的数量、空间分布和尺寸等参数,这些参数可直接应用于叶片纯净度质量控制,从而显著降低劳动力成本并减少主观偏差[5]。
准确识别和分割植物器官(如茎和叶)对于获取可靠的表型参数至关重要[6]。传统人工测量效率低、成本高,且容易受到主观干扰,无法满足高通量、标准化评估的需求[7,8]。近年来,随着深度学习和卷积神经网络(CNNs)的进步,基于二维图像的高通量表型分析已成为主流方法,在一定程度上缓解了人工方法的局限性。然而,在成像技术方面仍存在诸多不足,特别是在解决茎叶相互遮挡、光照条件复杂变化以及三维结构信息缺失等问题上[9]。与二维图像相比,三维点云天然包含物体的空间几何和深度信息,能够更完整地表达三维植物形态,因此被认为更具优势,是表型分析的理想数据源[10,11]。除植物表型分析外,点云技术还被应用于烟草相关的质控领域,例如使用激光扫描测量加工后的烟丝尺寸[12]。这些多样化的应用凸显了三维点云技术在农业和工业领域日益增长的采用趋势。
然而,点云是无序且非结构化的,使得传统的面向规则图像的CNN模型无法适用[13,14]。为解决这一挑战,现有研究大致可分为两类方法。一类是将点云转换为规则表示形式,如基于投影和基于体素的方法。例如,Alnaggar等人[15]通过多视角投影融合和轻量级二维网络设计,在点云语义分割中实现了速度与精度之间的平衡。Saglam等人[16]提出了一种基于体素的方法,采用曲率感知融合来有效处理边界区域,仅需少量参数。Xu等人[17]通过融合体素、点和距离图像表示,提高了激光雷达点云分割的效率。然而,这类转换方法不可避免地会导致几何细节丢失或计算效率低下[18]。
另一种策略是直接以原始点云作为输入进行操作,从而避免了中间表示形式固有的信息损失。PointNet[19]率先利用对称函数实现了无序点集的直接处理,保证了排列不变性,为点云深度学习奠定了基础。在此基础上,PointNet++[20]进一步引入了层次结构和局部特征学习机制,通过多尺度分组有效提升了模型对局部几何的感知能力。此后,一系列基于点的网络相继被提出。例如,RandLA-Net[21]采用随机采样和高效的局部特征聚合,在大规模场景中实现了实时分割。DGCNN[22]利用动态图卷积来捕捉局部邻域内的几何关系。Point Transformer[23]首次将自注意力机制引入点云处理,通过向量注意力实现长距离上下文建模。Stratified Transformer[24]设计了分层注意力以降低计算开销,并以显著低于标准全局自注意力的计算成本成功捕捉了点云中的长距离上下文。Point Cloud Mamba[25]将状态空间模型融入点云学习,以线性复杂度实现了极具竞争力的性能,已成为该领域的另一个新兴研究方向。Zhao等人[26]针对室内点云提出了一种边界感知的双边缘卷积网络,通过显式预测边界点来减少过渡区域的误分类。Zheng等人[27]开发了一种多尺度自适应Transformer网络,结合多尺度自注意力和通道聚合,更好地捕捉不同尺寸物体的上下文信息。
尽管在标准基准上取得了显著进展,通用点云方法在应用于植物特定任务时仍面临严峻挑战,尤其是烟草茎叶分割:(1)由于复杂遮挡和高昂标注成本,公开数据稀缺[28];(2)KPConv[29]等模型对器官特定形态先验(如茎的细长特征、叶片展开特征)的建模不足,导致边界预测模糊;(3)数据饥饿型模型(如PCT[30])在小规模植物数据集上过拟合[31];以及(4)严重的类别不平衡(茎部点数远少于叶部)与遮挡处茎叶交界区域的语义模糊问题叠加,使分割变得极为复杂。
近期已有若干研究尝试从点云中解决植物器官分割问题,包括针对多种植物物种的同步语义分割和实例分割方法PSegNet[2]、基于变形的玉米分割框架[32]以及面向温室番茄的多特征融合网络[33]。针对烟草,Bi等人[34]开发了PE-KPConv,一种结合多尺度注意力和侧向特征复用的改进型KPConv网络。Chen等人[35]提出了一种混合流水线,将图神经网络与区域生长及DBSCAN聚类相结合,用于烟草器官分割和表型提取。
尽管取得了上述进展,现有方法——无论是通用点云网络还是植物特定分割流水线——仍然依赖于通用几何算子,对所有点施加统一的共享卷积。这种隐式处理方式混淆了器官特定的线索,无法捕捉细茎与宽叶之间截然不同的形态先验。同时,面向植物的方法试图通过扩大感受野或启发式聚类来补偿遮挡影响,但缺乏显式解耦跨器官特征或学习遮挡不变表示的机制。为克服这些局限,我们提出了DMS-Net,包含两项核心创新:GEODE模块通过双路专家门控显式解耦以茎为主导和以叶为主导的几何模式,而NGSE模块通过噪声引导的提纯学习鲁棒的语义表示。这种形态解耦设计与通用卷积和植物特定启发式方法截然不同,为在严重遮挡和类别不平衡条件下进行烟草点云分割提供了一种新范式。
本文的主要贡献如下:
  • 1)
    我们通过建立一个包含112株个体的烟草点云数据集,解决了数据稀缺问题。每株点云均配有精确的茎和叶语义标签,并包含XYZ坐标和RGB颜色信息。
  • 2)
    我们提出了GEODE,一种双路形态感知模块,可显式解耦以茎为主导和以叶为主导的几何特征,从而在严重类别不平衡下增强边界判别能力。
  • 3)
    我们提出了NGSE,一种语义增强模块,通过特征空间噪声注入与提纯学习遮挡不变表示。
  • 4)
    我们将GEODE和NGSE整合到一个基于KPConv的端到端分割网络(DMS-Net)中,在烟草茎叶分割任务上实现了最先进的性能。

章节摘要

获取植物点云的技术

三维点云数据的获取是分割工作的基本前提。近年来,随着深度感知和三维扫描技术的快速发展,获取方案日趋多样,相关成本也大幅降低,从而催生了跨学科的广泛研究。在众多常用技术中,激光雷达(LiDAR)因其较高的灵活性和精度而备受青睐,

实验环境

我们的DMS-Net以KPConv为基线,将所提出的GEODE和NGSE模块集成到其编码器中。该网络在我们自建的烟草数据集上进行了训练和评估,用于茎叶分割。数据准备工作在Windows 11上完成。所有模型实验均在Ubuntu 20.04系统上运行,配备Intel Xeon Silver 4310 CPU和NVIDIA RTX 4090 GPU(24GB),使用PyTorch 2.1.0。此外,所有模型均使用SGD优化器,动量为0.98,权重衰减为1e-3。初始学习率为

讨论

为应对烟草点云语义分割中的挑战,我们设计了GEODE和NGSE两个模块,并在KPConv模型基础上加以改进,提出了我们的新方法DMS-Net。DMS-Net在运行于烟草点云语义分割网络时,对长期被欠表示的茎部类别分割取得了显著突破。此外,针对茎叶边界区域,DMS-Net有效减少了语义模糊问题,并表现出更高的

结论

针对精准农业中对烟草植物表型分析的实际需求,本研究聚焦于从烟草三维点云中分割茎和叶,提出了一种新型双形态感知语义增强分割网络——DMS-Net。为应对细茎稀少导致的类别不平衡、遮挡处茎叶交界区域语义模糊等核心挑战,我们为DMS-Net精心设计了两个关键创新模块:GEODE
Le Yang|Ronggang Guan|Shanhui Liu|Chuanbin Xia
江西农业大学计算机与信息工程学院,江西南昌 330045,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号