CVITrack-GDResYolo:一种基于多视图立体视觉的平菇点云实例分割与跟踪方法
《Computers and Electronics in Agriculture》:CVITrack-GDResYolo: An instance segmentation and tracking method for Pleurotus eryngii point clouds based on multi-view stereo vision
【字体:
大
中
小
】
时间:2026年07月11日
来源:Computers and Electronics in Agriculture 10.3
编辑推荐:
谢 Limin|黄 Yi|王龙基|吴浩宇|叶大鹏|方冰•将2D实例分割结果映射到3D点云,从而实现精确的空间物体定位。•融合视觉信息和深度信息以增强空间理解能力,弥补2D语义与3D几何之间的差距。•通过相似度评分追踪点云实例,实现跨帧的动态物体关联。•实验验证了CVITrack-
谢 Limin|黄 Yi|王龙基|吴浩宇|叶大鹏|方冰•将2D实例分割结果映射到3D点云,从而实现精确的空间物体定位。•融合视觉信息和深度信息以增强空间理解能力,弥补2D语义与3D几何之间的差距。•通过相似度评分追踪点云实例,实现跨帧的动态物体关联。•实验验证了CVITrack-GDResYolo强大的空间理解能力以及所提出的融合策略的有效性。
引言
平菇的表型是遗传因素与环境因素复杂相互作用的结果,对于了解菌盖形态、菌柄发育以及子实体整体生长模式具有重要意义(Yin等人,2024年)。诸如菌盖直径、菌柄高度、子实体体积、菌盖曲率以及基部菌柄直径等关键形态参数,直接关系到产量质量评估和生长周期预测。近年来,随着劳动力短缺以及农业技术的进步,移动式蘑菇栽培系统(即“可移动智能蘑菇室”)越来越受到关注。然而,传统的手动测量方式需要操作人员频繁打开栽培室进行数据采集,这可能会破坏内部环境,进而影响蘑菇的生长(Chen等人,2024年)。此外,手动测量容易受到主观因素的影响,导致精度不一致,使得连续自动监测难以实现。因此,开发用于平菇表型特征自动测量的系统具有重大意义,它有助于减少环境干扰、提高数据精度,并推动在可控栽培环境下对平菇的智能化栽培。
近年来,3D表型测量受到了广泛关注(Yang等人,2020年),而3D重建技术的进步进一步提升了其实际应用可行性(Li等人,2024年、2025年、2026年)。与此同时,多模态数据融合作为一种关键技术方向,被用来解决单一模态方法的固有局限性。Han等人(2025年)和Yang等人(2024年)证实,多源信息融合能够显著提升特征表示和感知精度,为本研究中的灰度-深度融合机制提供了理论依据。在分割领域,Yong等人(2025年)提出了一种改进的零样本语义分割方法,反映了现代分割技术的最新进展。不过,现有方法在平菇表型测量方面仍面临诸多挑战,比如在密集生长环境中视角有限且存在严重遮挡现象。由于准确的参数分析(如菌盖直径和子实体体积)依赖于单个蘑菇的完整点云,因此准确分割这些点云已成为一个关键的必要步骤(Miao等人,2023年;Xu等人,2023年;Yang等人,2020年)。
在农业计算机视觉领域,深度学习已被广泛应用于疾病检测和植物分类(Haw等人,2023年;Bhatti等人,2023年;Uddin等人,2023年;Tee等人,2021年),但针对平菇的高精度3D表型测量研究相对较少。点云分割方法主要分为基于点的方法和基于图像的方法两类(Gharineiat等人,2022年)。在基于点的方法中,传统算法对噪声和不均匀的点云密度较为敏感,且依赖于人工设计的几何特征(Gao等人,2023年;Nguyen和Le,2013年),这使得它们难以适应平菇密集生长和复杂的形态特征。尽管基于深度学习的方法已被应用于玉米和植物器官的分割(Hao等人,2024年;Li等人,2022年;Yan等人,2024年;Zarei等人,2024年),但3D点云标注工作耗时、费力且成本高昂(Zarei等人,2024年),这限制了其在平菇表型测量场景中的实际应用。
在基于图像的点云分割方法中,有一些研究(如Bolouri等人,2024年;Yang等人,2023年)利用多视图/RGB-D数据将2D分割结果映射到3D空间,实现了对奶牛和棉铃的分割与跟踪。然而,这些方法存在一些局限性,包括缺乏多视图实例匹配功能、计算资源消耗高,以及对拍摄角度较为敏感。此外,尽管3D补丁重叠聚类(Ni等人,2021年)、SAM与深度数据的融合(Devanna等人,2025年)以及动态权重融合模块(Kang等人,2025年)等技术为高遮挡作物分割提供了有效解决方案,但它们都没有针对平菇的形态特征和栽培场景设计专门的适配方案。
在基于图像的点云实例分割方法中,物体检测和实例划分的精度在很大程度上取决于2D图像分割的质量。然而,当应用于密集生长的平菇时,现有的分割算法往往难以处理多个实例之间的遮挡问题,难以区分彼此靠近或重叠的物体。这一局限性会导致分割精度下降、实例识别错误,以及重要边缘信息的丢失,从而使边界变得模糊,实例轮廓也不清晰。此外,分割错误还可能引入噪声,干扰后续的特征提取和分析工作。在2D到3D的投影过程中,这些边缘误差会进一步加剧,导致点云边界模糊或出现异常异常值,从而影响实例级匹配的精度。在使用灰度相机的情况下,这类问题尤为突出,因为缺乏颜色信息会妨碍对相似实例的区分。另外,涉及多个视图和目标的场景还会增加复杂性,给基于图像的平菇点云分割方法带来新的挑战。
尤其是在使用灰度相机拍摄的平菇栽培场景中,缺乏颜色信息会使问题更加严重,因为在灰度图像中,处于不同生长阶段的平菇看起来非常相似。仅依靠灰度强度无法分辨出相互重叠的实例之间的层级关系,比如无法区分被菌盖遮挡的菌柄区域。这进一步增加了边界误分类的风险。此外,在多视图成像中,平菇在不同视角下表现出明显的形态差异:从侧面看,菌柄呈现细长状,而从顶部看则呈圆形。密集的生长模式可能导致某些实例在特定视角下被完全遮挡,使得现有算法难以基于不完整的2D特征实现跨视图实例匹配。因此,在最终得到的平菇3D点云分割结果中,常常会出现错误匹配或漏检等问题。
总之,在平菇点云的实例分割与跟踪方面存在着明显的研究空白:基于点的方法受限于较高的标注成本和较差的场景适应性,而基于图像的方法则面临着边界分割精度低、多视图实例匹配困难,以及缺乏针对平菇形态和蘑菇房场景的定制化适配等问题,无法满足平菇表型自动化测量的实际需求。为填补这一空白,本研究确立了明确的目标:提出一种基于多视图立体视觉的点云实例分割与跟踪方法,该方法能够适应平菇的密集生长环境,同时具备较高的精度和实用性。其具体的研究贡献如下:
1. 提出了一种名为GDResYolo的多模态实例分割方法,该方法融合灰度图像和深度图像信息,以提高模型对空间的感知能力,进而提升平菇的边界分割精度。
2. 设计了深度特征提取(DFE)模块和多通道特征融合(MCFF)模块,以便高效地感知深度特征,并实现灰度-深度特征的精准融合。
3. 提出了跨视图3D实例跟踪(CVITrack)算法,该算法能够实现不同视角下相同平菇点云实例的高精度匹配。
4. 构建了一种基于多视图的点云实例分割方法(GDResYolo + CVITrack),该方法将3D点云分割转化为对多个视角下2D图像的逐步处理。实验验证了该方法在平菇处理方面的有效性,以及CVITrack与其他图像实例分割算法的兼容性。
材料与方法
本研究提出了一种基于多视图立体视觉的平菇点云实例分割与跟踪方法,其工作流程如图1所示。整个流程包括数据采集、模型预测、3D映射、点云配准以及实例跟踪几个环节。在数据采集阶段,多视图结构光数据采集平台从多个角度拍摄平菇的图像,然后自动输出灰度图像、深度图以及点云数据。
实验结果与分析
在本节中,通过全面的对比实验和消融实验,验证了所提出的平菇点云实例分割与跟踪方法的有效性。文中详细介绍了实验设置、评估指标、各模块的性能以及整个系统的性能表现。
讨论与未来工作
本文提出的CVITrack-GDResYolo方法在平菇点云实例分割与跟踪任务上取得了阶段性进展,为在类似本研究中所用的受控环境下对平菇进行3D表型分析提供了一种新的技术途径。本节首先将探讨当前研究的局限性,随后明确未来的研究方向和优化目标。
结论
本研究针对在特征信息较少的情况下,基于点的点云分割方法存在的高标注成本和较低处理能力的问题,提出了一种基于多视图立体视觉的点云实例分割方法。为克服2D图像实例分割模型在空间理解和边界划分方面的不足,我们开发了一种融合灰度信息和深度信息的多模态模型。我们提出了用于图像实例分割的GDResYolo方法。
CRediT作者贡献声明
谢 Limin:写作——审稿与编辑,写作——初稿撰写,可视化,验证,方法论,研究。黄 Yi:写作——审稿与编辑,写作——初稿撰写,可视化,验证,方法论。王龙基:软件,形式分析,数据整理。吴浩宇:软件,资源提供。叶大鹏:指导,资金筹集。方冰:指导,方法论,研究,概念构建。
利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
致谢
本研究得到了福建省林业重点科技计划(2023FKJ01)、福建省农业信息传感技术重点实验室建设项目(KIG22052A)以及福建省重点技术创新与产业化项目(2024X0010)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号