基于结构增强与中心先验的多植株水稻点云实例分割网络SPINet：面向产量相关表型的高精度提取框架

《Frontiers in Plant Science》：SPINet: structure-enhanced point cloud instance segmentation network for multi-plant rice phenotyping

　　

摘要 多植株场景下水稻的精准三维表型分析对于评估产量相关性状和支持高通量育种具有重要意义。特别是，基于点云的籽粒级实例分割为量化穗部结构和籽粒数量提供了直接依据。然而，由于密植水稻植株常表现出严重的株间遮挡、器官粘连以及高度相似的局部结构，该任务仍具挑战性，难以同时捕捉全局植株组织结构和细粒度籽粒几何形态。为应对这些挑战，研究提出SPINet，一种面向多植株水稻场景三维表型提取的结构增强点云实例分割网络。该框架引入RiceMamba2编码器，将Mamba2的长距离依赖建模能力与并行卷积分支相结合以增强序列邻域特征，从而有效表征全局空间上下文和局部器官级细节。此外，研究开发了中心先验引导解码器，为实例查询提供显式空间锚点，从而改善密集场景中相邻及粘连水稻器官的分离效果。为进一步提升训练稳定性和收敛速度，研究在优化过程中引入基于DINO的去噪策略。在受控室内群组水稻数据集（Grouped Rice Dataset, GRD）上的实验结果表明，SPINet的平均精度（average precision, AP）达到65.73%，较OneFormer3D高出31.38个百分点。此外，基于预测实例的籽粒计数取得了0.8532的决定系数（R2），证明了SPINet在下游产量相关表型性状提取方面的潜力。上述结果表明，SPINet为复杂多植株场景下的自动化三维水稻表型分析提供了一种有前景的框架。

论文解读

一、研究背景与问题

水稻是全球最重要的主粮作物之一，提高其产量潜力是现代作物育种和粮食安全研究的核心目标。产量形成与植株结构、穗部形态、籽粒数量及冠层内器官空间分布等结构性和生殖性状密切相关，对这些性状的精准表型表征是理解基因型-环境互作、评价种质资源和筛选优良育种材料的基础。然而，传统表型测量依赖人工观察或破坏性取样，劳动强度大、耗时长且难以规模化应用。

随着高通量表型技术的发展，三维（3D）传感为无损作物性状测量提供了新途径。相较于易受视角依赖、光照变化和空间表征不完整影响的二维（2D）图像，3D点云能够显式描述作物形态与空间组织，适用于量化株高、叶面积、器官结构、穗部结构和冠层分布等复杂性状。在水稻表型分析中，3D点云因保留深度信息，能更好地表征密植条件下穗和籽粒的空间排列。

植物点云实例分割是实现器官级和籽粒级表型分析的关键步骤。早期深度学习方法如PointNet和PointNet++直接处理无序点集，但对复杂局部几何的捕捉能力有限；以MinkowskiNet为代表的稀疏卷积网络仅对占据体素运算，虽提升了计算效率，但其感受野受限，难以建模长距离依赖；基于Transformer的架构虽能建模长距离依赖，但二次复杂度往往需要大量下采样，可能丢失细粒度几何细节。

尽管已有诸多进展，现有研究多集中于单株植物、孤立器官或相对稀疏场景。在实际水稻育种和表型鉴定中，植株通常成组或密植生长，相邻植株重叠、叶片与穗相互交织、籽粒空间聚集。当分析从单株结构转向多植株水稻场景，且分割目标扩展到产量关键的籽粒级结构时，任务难度显著增加。密集场景中不同植株或器官的点云常空间接近甚至粘连，难以判断相邻点属于同一生物结构还是不同实例。传统基于聚类的方法对此类空间粘连高度敏感，例如密植条件下玉米单株分割精度据报道显著下降。PlantSegNet虽将实例分割扩展到室外田间环境，但其性能仍高度依赖语义分割质量，且对模糊实例边界较为脆弱。

从农业和计算两个角度，有两个挑战尤为关键。第一，水稻点云包含层级结构信息，既有植株和穗的全局排布，也有籽粒和器官边界的细粒度局部细节。产量相关表型分析必须保留局部籽粒结构，因为小的分割误差会直接影响籽粒计数和性状估算。第二，株间遮挡和器官粘连导致实例归属模糊，遮挡区域中不同植株的籽粒或穗可能呈现相似几何形态和连续空间分布，导致实例合并、分裂或边界误分类，直接降低籽粒数量、穗部紧实度等下游性状的可靠性。

二、研究内容与结论

针对上述挑战，研究提出SPINet（结构增强点云实例分割网络），用于多植株水稻场景的三维表型提取。SPINet是三项关键设计的协调集成：一是提出RiceMamba2编码器，通过将Mamba2的长距离建模能力与并行卷积分支相结合，联合捕捉全局植株级空间上下文和短程序列邻域特征；二是设计中心先验引导解码器，通过将几何中心先验引入查询过程，为密集水稻场景中相邻籽粒和穗的分离提供显式空间锚点；三是引入基于DINO的去噪训练策略，以稳定查询学习并加速收敛，提升模型处理多植株水稻点云中大量小尺寸、高相似度且紧密分布籽粒实例的鲁棒性。

在受控室内群组水稻数据集（GRD）上的实验结果表明，SPINet的平均精度（AP）达到65.73%，较OneFormer3D高出31.38个百分点。基于预测实例的籽粒计数取得0.8532的决定系数（R²），验证了SPINet在下游产量相关表型性状提取方面的潜力，为复杂多植株场景下的自动化三维水稻表型分析提供了有前景的框架。

三、关键技术方法概述

研究构建了群组水稻数据集（GRD），数据采集系统由JAKA机械臂搭载Intel RealSense D435i RGB-D相机组成，沿水稻植株周围圆形轨迹运动实现360°多视角图像采集，每场景录制20秒1920×1080分辨率、30 fps视频，按6 fps提取关键帧，每样本约120幅多视角图像。三维重建采用基于神经辐射场（NeRF）的框架，先以COLMAP估计相机位姿和外参，再用Nerfacto学习连续体积表示，最终转换为RGB点云。点云预处理包括基于高斯分布假设的统计离群点去除和一致性密度下采样。实例级标注在CloudCompare中完成，为每个点赋予籽粒、叶片或茎秆的语义类别和实例ID。GRD数据集共包含150株水稻，籽粒实例5382个、叶片实例158个、茎秆实例150个。

SPINet网络架构包含三大核心模块。RiceMamba2编码器采用三分支结构：第一分支对输入特征前半部分经线性投影和SiLU激活生成门控信号；第二分支对后半部分依次经线性投影、一维卷积和Mamba2的SSM模块建模长距离依赖，再经层归一化；第三分支将输入特征重排为空间特征表示，经两个二维卷积层和SiLU激活提取局部几何特征。最终通过门控全局特征与局部卷积特征的逐元素相加及线性投影产生全局-局部特征表示，并采用缩放残差连接提升训练稳定性。

中心先验引导解码器中，每个查询由可学习内容查询和位置查询组成，位置查询由实例的3D中心坐标经位置编码函数生成。实例几何中心定义为三维有向包围盒（OBB）中心，通过计算质心、对协方差矩阵进行主成分分析（PCA）获得三个正交主轴、投影求边界后得到。解码器维护K=400个可学习参考点，三个坐标分量独立从均匀分布U(0,1)初始化。参考点经两层MLP转换为位置嵌入，与内容查询相加构成初始查询。解码器含L=3个堆叠细化层，每层依次执行交叉注意力、自注意力和前馈网络，共享中心偏移头预测三维残差，在逆sigmoid空间中细化参考点。细化坐标经反归一化映射回点云坐标范围得到中心预测，并通过stop-gradient操作防止后续层梯度递归传播。

DINO对比去噪训练策略中，对每个真值实例的中心坐标和类别标签添加噪声。中心扰动沿三个空间维度独立采样随机因子ρ~U(?1,1)，结合OBB尺寸和噪声比例因子计算偏移。正噪声比例设为0.2生成正去噪查询，较大噪声比例生成负查询。去噪查询仅在训练时与常规查询拼接作为辅助监督，推理时移除。

四、研究结果

RiceMamba2编码器的有效性。 通过消融实验验证了RiceMamba2编码器对分割性能的贡献。将Mamba2与并行卷积分支结合后，模型能够同时建模全局上下文和局部几何细节，在密集多植株水稻点云中有效区分粘连器官和 delineate 实例边界，显著提升了实例分割精度。

中心先验引导解码器的有效性。 通过对比实验验证了中心先验引导解码器的优势。将实例几何中心作为显式空间锚点引入查询初始化后，解码器将实例搜索空间从整个场景缩小到潜在实例中心周围的局部区域，有效减少了株间遮挡导致的实例合并和分裂错误，改善了密集场景中相邻或粘连水稻器官的判别能力。

DINO去噪训练策略的有效性。 通过消融实验验证了DINO去噪训练策略的作用。在训练过程中对中心点和类别标签添加噪声，迫使模型学习更具判别性的实例级特征，有效缓解了密集小实例场景中匈牙利匹配不稳定的问题，减少了重复预测，加速了模型收敛并提升了整体鲁棒性。

整体性能评估。 在GRD数据集上，SPINet的AP达到65.73%，较OneFormer3D高出31.38个百分点，表明SPINet在密集多植株水稻场景的实例分割任务上具有显著优势。基于预测实例的籽粒计数取得R²=0.8532，验证了分割结果在下游产量相关性状提取中的实用价值。

五、讨论与结论

讨论部分指出，SPINet通过RiceMamba2编码器解决了现有特征提取网络难以同时捕捉全局和局部空间信息的问题，通过中心先验引导解码器缓解了株间遮挡导致的实例归属模糊问题，通过DINO去噪训练策略稳定了密集小实例场景下的查询学习过程。三个模块的协同设计使SPINet在保持线性计算复杂度的同时，实现了高精度的高密度点云实例分割。

研究结论为：SPINet是一种面向多植株水稻场景三维表型提取的结构增强点云实例分割网络，通过RiceMamba2编码器、中心先验引导解码器和DINO去噪训练策略的协调集成，有效解决了密植条件下水稻点云实例分割中全局结构与局部细节难以兼顾、株间遮挡和器官粘连导致实例归属模糊等关键挑战。在GRD数据集上的实验结果表明，SPINet的AP达到65.73%，较OneFormer3D提升31.38个百分点，籽粒计数R²达0.8532，为复杂多植株场景下的自动化三维水稻表型分析提供了有前景的技术框架。