基于 L-SuperPoint-LightGlue 的番茄幼苗时序三维点云重建
《Computers and Electronics in Agriculture》:Temporal 3D point cloud reconstruction of tomato seedlings using L-SuperPoint-LightGlue
【字体:
大
中
小
】
时间:2026年10月24日
来源:Computers and Electronics in Agriculture 10.3
编辑推荐:
摘要
• 开发了一个集作物栽培与数据采集于一体的平台。
• 构建了从三维重建到表型性状提取的完整番茄表型分析流程。
• 提出融合LKABlock的L-SuperPoint算法,以提升幼苗图像中的关键点检测能力。
• 结合L-SuperPoint与LightGlue实现
摘要• 开发了一个集作物栽培与数据采集于一体的平台。• 构建了从三维重建到表型性状提取的完整番茄表型分析流程。• 提出融合LKABlock的L-SuperPoint算法,以提升幼苗图像中的关键点检测能力。• 结合L-SuperPoint与LightGlue实现鲁棒匹配与高质量三维重建。• 构建了番茄幼苗生长14天时序点云数据集。引言番茄(Solanum lycopersicum L.)是全球重要的蔬菜作物。番茄生产通常依赖于在三至五片真叶阶段移栽幼苗(Cruz-López等,2024)。幼苗发育状况直接决定了移栽后的恢复速度、田间生长表现及最终产量(Kaya,2025)。幼苗活力是种植后健壮生长的关键,与栽培成功率和产量效益密切相关;株高和冠层面积等形态指标是活力评价和品种筛选的核心依据。准确测量这些性状可支持幼苗评价、品种选育和高产栽培优化。番茄幼苗性状仍普遍采用手动测量方式,该方式耗时且限制了大规模育种和筛选(Yang等,2020)。这些测量通常需要物理接触,可能损伤娇嫩的组织。破坏性采样无法实现对单株幼苗的连续动态追踪,难以完整准确地捕捉幼苗生长规律(Gill等,2022)。计算机视觉提供了一种非破坏性方法来克服这些局限(Song等,2021;Tao等,2022)。其中,二维成像因设备简单、成本低而被广泛使用,但番茄幼苗具有三维空间构型。随着生长过程中叶片遮挡加剧,二维投影无法充分表征空间形态,容易遗漏叶片厚度、空间分布等关键信息,导致表型参数提取出现系统偏差,难以满足高精度评价需求(Akhtar等,2024)。与单视角二维成像相比,多视角成像结合三维点云重建可减少因遮挡导致的信息丢失,支持表型性状的准确提取和幼苗活力评价(Harandi等,2023)。在主流三维采集技术中,激光雷达精度高但成本昂贵,难以大规模推广(Li等,2025);深度相机部署灵活,但分辨率有限且易受光照干扰,稳定性不足(Zhou等,2024)。相比之下,基于运动恢复结构(SfM)和多视角立体匹配(MVS)的方法仅需普通消费级相机,具有成本低、灵活性强的优势,已成为植物三维重建的主流方案(Gaillard等,2023;Wang等,2022)。现有多视角采集系统主要分为两类:"植物转向相机"和"相机环绕植物"(Atefi等,2021)。"植物转向相机"系统依靠转盘驱动植物旋转,容易导致柔嫩叶片发生非刚性形变,违反SfM的静态场景假设,引发特征匹配失败或重建畸变(Yu等,2024)。"相机环绕植物"系统采用植物固定、相机环绕的设计,可确保幼苗姿态稳定,提高重建精度和可靠性(Wu等,2022;Choi等,2024)。然而,在许多"植物转向传感器"表型平台中,植物栽培与图像采集在分离的区域进行,需要反复转运植物以进行时序图像采集。植物运输可能对敏感叶片造成机械扰动或物理损伤,而测量时间和环境条件的变化也可能影响叶片角度等生理变量(Poorter等,2023)。此外,非刚性运动以及植物形态和拓扑结构的变化是时序植物点云配准中公认的难题(Chebrolu等,2021)。因此,减少反复转运植物并保持一致的采集条件是本研究将栽培与成像集成在同一受控平台中的重要动机之一。图像特征提取与匹配对SfM-MVS流程中的相机姿态估计和点云重建有重要影响。传统流程通常将SIFT与FLANN结合使用(Lowe,2004;Zhou等,2024)。然而,人工特征在低纹理区域响应微弱,在相似冠层结构中常产生误匹配,降低了重建效率和精度。基于深度学习的特征方法近年来在图像匹配和三维重建方面取得了改进。将SuperPoint和LightGlue集成到COLMAP-OpenMVS框架中,已实现对多种作物的高效、高保真重建(DeTone等,2018;Lindenberger等,2023;Sun等,2024)。然而,番茄幼苗存在特定的挑战,包括叶缘精细、茎叶连接处复杂以及相邻叶片间形态高度相似。原始SuperPoint网络在判别性纹理有限的区域响应微弱(Li等,2022),导致点云完整性和精度下降,限制了细尺度表型分析(Chen等,2023)。因此,针对番茄幼苗的视觉特征适配特征提取网络对于提升重建质量至关重要。此外,高质量的时序点云数据集是算法验证的基础。现有公共数据集涵盖了大豆和各种大田作物(Sun等,2023;Zhu等,2024;Kimara等,2025),但缺乏从子叶展开到移栽适期阶段番茄幼苗的连续时序三维点云。标准化数据集的缺乏严重限制了幼苗动态生长模型的构建和算法性能验证(Sunvittayakul等,2022;Zarei等,2024)。针对上述技术不足和研究空白,本研究主要目标为:(1) 开发一个具备环境调控、自动灌溉和多视角成像功能的集成化作物栽培与数据采集平台,使幼苗栽培和图像采集在同一受控密封舱内完成,从而减少反复操作植物、保持相对一致的栽培和成像条件,并在番茄幼苗期实现连续、非破坏性和自动化的表型数据采集;(2) 提出改进的特征提取算法L-SuperPoint,在原始SuperPoint编码器末端嵌入自主设计的LKABlock模块,配合LightGlue特征匹配器,增强关键植物结构的特征提取,提高三维点云重建的完整性和精度;(3) 选取两个番茄品种,从子叶展开期到移栽标准期进行连续14天的时序三维重建,构建完整的番茄幼苗时序点云数据集,并验证核心表型参数自动提取的精度。章节摘要作物栽培与数据采集平台所提出的作物栽培与数据采集平台如图1A所示。主体为一个尺寸为4070 mm × 2160 mm × 1840 mm的封闭舱室。该平台包含电气控制、环境调控、幼苗栽培、龙门架抓取与运输、自动称重与灌溉、多视角成像和人机交互模块。这些模块支持环境调控、作物栽培、自动运输、定量灌溉和多视角图像采集。番茄幼苗图像预处理效果评估共使用200张图像评估图像预处理性能,其中MT和LR番茄品种各100张。所选样本涵盖了不同的采集日期和视角。对于自动裁剪,使用X-AnyLabeling v2.5.4对包含番茄幼苗、栽培基质和花盆的真实边界框进行了手动标注和检查。这些边界框与自动生成的裁剪区域进行比较。结论与未来工作番茄幼苗活力的准确评价受到传统测量方法效率低下且可能造成损伤、二维图像空间信息不足以及现有三维设备成本高昂且适用性有限等问题的制约。其他挑战包括某些多视角系统中的幼苗重复运输、弱纹理区域以及复杂或相似叶片结构中的特征匹配错误,以及缺乏专用的时序三维数据集。为应对这些挑战,我们开发了一个CRediT作者贡献声明天禄旭:初稿撰写、软件、资源、概念设计。高向远:审阅与编辑、软件、资源。李航航:软件、资源、数据管理。Mohamed Ahmed Moustafa:指导、资源、调研。康民:指导、资源、调研。付秀清:指导、资源、调研。利益冲突声明作者声明他们不存在已知的财务利益冲突或个人关系可能会影响本文所述工作的内容。致谢资金:本研究由新疆生产建设兵团科技计划项目(项目编号2024ZD001)、阿拉尔市科技计划项目、第一师科技突破计划项目(项目编号2024NY02)、江苏省农业科技自主创新基金(JASTIF)(项目编号CX(23)3619)、海南省崖州湾种子实验室(项目编号B21HJ1005)以及江苏省种业天禄旭|高向远|李航航|Mohamed Ahmed Moustafa|康民|付秀清
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号