烟草是一种广泛种植的作物,具有较高的经济价值,并含有潜在的药理活性成分,如消肿、抗菌和抗肿瘤特性[1]。然而,其经济产量以及生物活性成分的丰富程度和组成均受到复杂表型特征的严格调控。植物表型涵盖了所有可观察和可量化的物理及生化特征。实现烟草表型测量的自动化,可以为其复杂的遗传形式提供更系统、更全面的理解[2],这对于阐明基因与环境的交互作用、推进烟草的智能农业和育种具有重要意义[3,4]。例如,实时检测烟草茎可以获取茎的数量、空间分布和尺寸等参数,这些参数可直接应用于叶片纯净度质量控制,从而显著降低劳动力成本并减少主观偏差[5]。
准确识别和分割植物器官(如茎和叶)对于获取可靠的表型参数至关重要[6]。传统人工测量效率低、成本高,且容易受到主观干扰,无法满足高通量、标准化评估的需求[7,8]。近年来,随着深度学习和卷积神经网络(CNNs)的进步,基于二维图像的高通量表型分析已成为主流方法,在一定程度上缓解了人工方法的局限性。然而,在成像技术方面仍存在诸多不足,特别是在解决茎叶相互遮挡、光照条件复杂变化以及三维结构信息缺失等问题上[9]。与二维图像相比,三维点云天然包含物体的空间几何和深度信息,能够更完整地表达三维植物形态,因此被认为更具优势,是表型分析的理想数据源[10,11]。除植物表型分析外,点云技术还被应用于烟草相关的质控领域,例如使用激光扫描测量加工后的烟丝尺寸[12]。这些多样化的应用凸显了三维点云技术在农业和工业领域日益增长的采用趋势。
然而,点云是无序且非结构化的,使得传统的面向规则图像的CNN模型无法适用[13,14]。为解决这一挑战,现有研究大致可分为两类方法。一类是将点云转换为规则表示形式,如基于投影和基于体素的方法。例如,Alnaggar等人[15]通过多视角投影融合和轻量级二维网络设计,在点云语义分割中实现了速度与精度之间的平衡。Saglam等人[16]提出了一种基于体素的方法,采用曲率感知融合来有效处理边界区域,仅需少量参数。Xu等人[17]通过融合体素、点和距离图像表示,提高了激光雷达点云分割的效率。然而,这类转换方法不可避免地会导致几何细节丢失或计算效率低下[18]。
另一种策略是直接以原始点云作为输入进行操作,从而避免了中间表示形式固有的信息损失。PointNet[19]率先利用对称函数实现了无序点集的直接处理,保证了排列不变性,为点云深度学习奠定了基础。在此基础上,PointNet++[20]进一步引入了层次结构和局部特征学习机制,通过多尺度分组有效提升了模型对局部几何的感知能力。此后,一系列基于点的网络相继被提出。例如,RandLA-Net[21]采用随机采样和高效的局部特征聚合,在大规模场景中实现了实时分割。DGCNN[22]利用动态图卷积来捕捉局部邻域内的几何关系。Point Transformer[23]首次将自注意力机制引入点云处理,通过向量注意力实现长距离上下文建模。Stratified Transformer[24]设计了分层注意力以降低计算开销,并以显著低于标准全局自注意力的计算成本成功捕捉了点云中的长距离上下文。Point Cloud Mamba[25]将状态空间模型融入点云学习,以线性复杂度实现了极具竞争力的性能,已成为该领域的另一个新兴研究方向。Zhao等人[26]针对室内点云提出了一种边界感知的双边缘卷积网络,通过显式预测边界点来减少过渡区域的误分类。Zheng等人[27]开发了一种多尺度自适应Transformer网络,结合多尺度自注意力和通道聚合,更好地捕捉不同尺寸物体的上下文信息。
尽管在标准基准上取得了显著进展,通用点云方法在应用于植物特定任务时仍面临严峻挑战,尤其是烟草茎叶分割:(1)由于复杂遮挡和高昂标注成本,公开数据稀缺[28];(2)KPConv[29]等模型对器官特定形态先验(如茎的细长特征、叶片展开特征)的建模不足,导致边界预测模糊;(3)数据饥饿型模型(如PCT[30])在小规模植物数据集上过拟合[31];以及(4)严重的类别不平衡(茎部点数远少于叶部)与遮挡处茎叶交界区域的语义模糊问题叠加,使分割变得极为复杂。
近期已有若干研究尝试从点云中解决植物器官分割问题,包括针对多种植物物种的同步语义分割和实例分割方法PSegNet[2]、基于变形的玉米分割框架[32]以及面向温室番茄的多特征融合网络[33]。针对烟草,Bi等人[34]开发了PE-KPConv,一种结合多尺度注意力和侧向特征复用的改进型KPConv网络。Chen等人[35]提出了一种混合流水线,将图神经网络与区域生长及DBSCAN聚类相结合,用于烟草器官分割和表型提取。
尽管取得了上述进展,现有方法——无论是通用点云网络还是植物特定分割流水线——仍然依赖于通用几何算子,对所有点施加统一的共享卷积。这种隐式处理方式混淆了器官特定的线索,无法捕捉细茎与宽叶之间截然不同的形态先验。同时,面向植物的方法试图通过扩大感受野或启发式聚类来补偿遮挡影响,但缺乏显式解耦跨器官特征或学习遮挡不变表示的机制。为克服这些局限,我们提出了DMS-Net,包含两项核心创新:GEODE模块通过双路专家门控显式解耦以茎为主导和以叶为主导的几何模式,而NGSE模块通过噪声引导的提纯学习鲁棒的语义表示。这种形态解耦设计与通用卷积和植物特定启发式方法截然不同,为在严重遮挡和类别不平衡条件下进行烟草点云分割提供了一种新范式。
本文的主要贡献如下:
- 1)
我们通过建立一个包含112株个体的烟草点云数据集,解决了数据稀缺问题。每株点云均配有精确的茎和叶语义标签,并包含XYZ坐标和RGB颜色信息。
- 2)
我们提出了GEODE,一种双路形态感知模块,可显式解耦以茎为主导和以叶为主导的几何特征,从而在严重类别不平衡下增强边界判别能力。
- 3)
我们提出了NGSE,一种语义增强模块,通过特征空间噪声注入与提纯学习遮挡不变表示。
- 4)
我们将GEODE和NGSE整合到一个基于KPConv的端到端分割网络(DMS-Net)中,在烟草茎叶分割任务上实现了最先进的性能。