《Computers and Electronics in Agriculture》:A low-cost RGB image and point cloud integrated scanning system for wheat phenotyping
编辑推荐:
•开发了一种低成本图像-点云扫描系统,用于小麦表型分析。•近红外相机辅助的间接标定方法实现了RGB相机与单点激光的配准。•建立了一套集成的工作流,涵盖扫描、数据融合与表型分析。引言准确采集和分析作物表型数据对于作物改良和精准田间管理至关重要(Han等,2025b;Dreier
- •
开发了一种低成本图像-点云扫描系统,用于小麦表型分析。
- •
近红外相机辅助的间接标定方法实现了RGB相机与单点激光的配准。
- •
建立了一套集成的工作流,涵盖扫描、数据融合与表型分析。
引言
准确采集和分析作物表型数据对于作物改良和精准田间管理至关重要(Han等,2025b;Dreier等,2025)。尽管基于二维(2D)图像的表型分析可以显著提高测量效率(Zhao等,2023;Cai等,2024;Meraj等,2024),但2D图像在表征三维(3D)结构特征方面存在固有的局限性。相比之下,基于3D点云的表型分析可用于量化各种作物复杂的结构性状(Jin等,2021)。因此,将3D点云与2D图像相结合已成为作物表型分析技术开发的关键方向(Qi等,2025;Gu等,2024b)。多模态融合的一个关键步骤是实现几何和色彩一致性3D表征。虽然光检测与测距(LiDAR)点云仅包含几何信息,但红绿蓝(RGB)点云同时提供结构和颜色特征,有助于器官级别的分割和识别,从而增强表型分析的稳健性和准确性(Zhang等,2026;Zhou等,2026)。然而,在田间条件下以低成本、稳定且及时的方式获取用于表型分析的RGB点云仍然是一项挑战。
RGB点云通过光学传感器的三维扫描获取,根据输入数据可分为两大类方法:基于图像的被动重建和基于深度传感器或扫描仪的主动测量(Yu等,2024)。被动重建方法包括运动恢复结构(SfM)和多视图立体(MVS)(Hartley & Zisserman,2003),以及基于学习 的重建技术,如神经辐射场(Mildenhall等,2022)和3D高斯泼溅(Kerbl等,2023)。这些方法可以使用低成本相机实现,因此易于部署。在受控室内条件和单株尺度下,这些方法已展现出令人前景广阔的性 能(Yang等,2024a;Shen等,2025a),并已扩展到田间场景(Niu等,2024;Fei等,2025)。然而,作物群体表现出强烈的纹理重复性和相似性,这使得多视图图像之间的特征匹配容易出现错误。因此,通常需要额外的标记物,这限制了这些方法在田间条件下的适用性(Li & Tang,2017;Zhang等,2025)。此外,作物复杂的冠层结构和严重的叶片遮挡进一步增加了不确定性,使这些方法对纹理质量和遮挡高度敏感。因此,被动重建方法在田间条件下仍然难以稳定获取高质量的RGB点云。三维扫描仪和红绿蓝深度(RGB-D)相机等主动测量方法可以同时获取精确的几何和颜色信息(Ci等,2025;Xu等,2025a)。虽然三维扫描仪可以生成高密度、低噪声的RGB点云,但其高昂的成本和复杂的操作限制了其在农业中的应用(Gu等,2023)。RGB-D相机成本较低,但这通常意味着较低的空间分辨率和测量精度。此外,它们对光照条件高度敏感,降低了其在室外或可变光照环境中的可靠性(Haider & Hel-Or,2022;Wei等,2024)。虽然FARO SCENE等多站配准软件可以扩展空间覆盖范围,但耗时且可能引入额外误差。无人机(UAV)能够在大面积上快速进行表型评估(Han等,2025a;Shen等,2025b),但多视图立体重建对图像分辨率、重叠度、观测几何、表面纹理和环境条件敏感。作物器官之间的遮挡也会阻碍冠层内部结构的重建并降低性状估计精度(Chen等,2023;Gu等,2024a;Guo等,2025)。在大面积上保持精细的地面采样距离需要密集图像采集和大量计算资源,增加了操作和处理成本(Jiang等,2025;Shen等,2025b)。此外,大多数当前工具主要设计用于数据采集,仍然依赖于复杂的 外部后处理工作流(如FARO SCENE软件),因此需要农学专业知识来进行表型分析(Akhtar等,2024)。这些局限性使其难以满足田间应用需求。因此,低成本传感器对智慧农业越来越具吸引力(Ducanchez等,2025)。
研究人员探索了LiDAR和RGB相机等多传感器数据的采集后融合,以获取RGB点云并提高表型分析精度(Li等,2022;Xu等,2025b)。然而,采样频率、触发模式、通信延迟和内部时钟的差异导致激光测距点与图像像素之间产生时间不匹配(Wang等,2024b)。为了解决这些问题,后端时空同步和外部标定是必不可少的。具有统一触发和共享时间参考的集成解决方案已被研究(Li & Tang,2017;Lin & Zhang,2022)。然而,外部标定误差、平台移动和重复安装偏差会导致空间配准偏差(Beltrán等,2022)。此外,LiDAR集成系统通常价格昂贵,而低成本替代方案往往缺乏颜色信息或依赖棋盘格进行特征匹配和立体重建,这限制了其在田间条件下的适用性。总体而言,在田间条件下使用低成本传感器获取高质量且对齐一致的RGB点云以快速提取表型性状,仍然是作物表型分析研究中的一个主要挑战。
为了解决这些挑战,本研究开发了一套低成本开源的RGB图像与点云集成扫描系统(IPCISS)。该系统的紧凑集成传感器架构固定了空间配准,并通过软件协调的近同步采集和几何对齐实现多模态数据的获取,降低了数据融合的复杂性和成本。为解决单点激光数据缺乏可直接比较特征的问题,提出了一种间接跨模态外部标定方法,利用激光光斑作为可观测的跨模态特征。具体而言,在红外图像中检测到的激光光斑通过相机间几何关系与RGB图像关联,实现准确且可解释的传感器对齐,而不依赖于自然特征的匹配。上述进展被用于建立一套集成的表型分析工作流,涵盖扫描、融合和分析。本研究以小麦为案例,应用IPCISS提取其结构和生理性状,以评估其在田间条件下的性能。
章节摘要
材料与方法
IPCISS实现了RGB图像与3D点云的软件协调近同步采集与融合(图1),由核心传感单元和电子控制单元组成。传感单元负责采集RGB图像和距离测量值,而三维扫描算法通过几何变换重构点坐标,并执行颜色校正以及内参和外参标定。每个重构点包含三维坐标和被赋予的RGB值
间接跨模态外部标定方法的验证
传感器间平均时延差为0.010 ± 0.003秒,最大偏移量为0.020秒,在测试条件下对应的估计空间偏移量小于4毫米。所测得的时延差为测试条件下的RGB-距离数据融合提供了稳定的时间参考。图6比较了颜色校正前后的色差。平均色差从13.2降至2.8,所有24种颜色的色差均有所降低
成本-性能权衡
成本是农业研究的主要限制因素,作物表型分析需要低成本技术(Ducanchez等,2025;Jin等,2025;Yang等,2024b)。虽然现有的三维扫描系统成本高昂且适用性有限,但IPCISS通过集成软硬件来降低硬件支出和后处理需求。
使用紧凑、低成本和低功耗的传感器模块增强了IPCISS对不同表型分析平台的适应性。其
结论
总体而言,IPCISS提供了近距和地块级别的测量能力,同时最大程度减少对外部处理软件的依赖,降低了操作复杂度并提高了部署灵活性。结果表明,在评估条件下,具有稀疏距离采样的低成本传感器可以支持可靠的多维小麦表型分析。IPCISS为育种和作物管理提供了统一的数据和分析框架。IPCISS显示出作为低成本替代方案的潜力
CRediT作者贡献声明
李燕:撰写—原稿、软件、方法论、调查研究、数据管理、概念化。刘素怡:撰写—原稿、可视化、验证、调查研究、数据管理。齐雪蕊:撰写—原稿、验证、形式分析、数据管理。金传静:验证、形式分析、数据管理。庄向新:验证、软件、数据管理。王泽涛:可视化、验证、软件。李进勇:资源、数据管理。赵成铭:
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知的竞争性财务利益或个人关系。
致谢
本研究得到国家重点研发计划(2022YFD2001103)、国家自然科学基金(32171892)和江苏省高校"青蓝工程"的资助。
李燕|刘素怡|齐雪蕊|金传静|庄向新|王泽涛|李进勇|赵成铭|姚霞|田永超|朱燕|曹蔚星|张小虎