《Contact Lens and Anterior Eye》:Three-dimensional analysis of fruit and vegetables: Sensors and methods
编辑推荐:
这篇综述系统地梳理了果蔬三维重建与形态分析领域的最新进展,重点探讨了多种传感技术(如立体视觉、结构光、激光三角测量、飞行时间、LiDAR、X-CT及运动恢复结构)的工作原理、性能(包括成本、精度、误差)及其在果蔬形态(体积、尺寸、缺陷)、表型分析和数字孪生等方面的具体应用。文章旨在为特定果蔬检测任务选择合适的传感器和方法提供指导,并强调了将二维图像处理与人工智能算法相结合在提升三维重建测量精度、降低成本方面的潜力。
传感器与软件用于三维重建
三维重建依赖于特定的硬件与软件。传感器根据其工作原理,主要分为主动式(如结构光、激光三角测量、飞行时间)和被动式(如立体视觉)。立体视觉系统模仿人眼,通过两个相机基线间的视差计算深度。结构光传感器则投射特定图案到物体表面,通过分析图案形变来估算深度。激光三角测量通过测量单束激光的反射角度来精确计算距离,非常适合传送带上的在线检测。飞行时间传感器通过测量光脉冲的往返时间来确定深度。此外,基于RGB相机的摄影测量法(如运动恢复结构技术)利用多视角二维图像,通过特征点匹配和三角测量生成高分辨率三维点云。每种传感器技术都有其优势、成本、精度和适用场景,需根据具体应用需求(如果蔬形状、检测环境、精度要求)进行选择。相关的数据处理软件,如Agisoft Metashape、CloudCompare和MATLAB,用于点云处理、三维网格重建和特征提取,是实现从原始数据到有用信息的关键。
果蔬三维重建的应用
三维重建技术在果蔬领域有广泛的应用,主要目标包括形态评估、质量分级、缺陷检测和表型分析。根据果蔬的几何形状,可以将其大致分为球形/椭球形、不规则形、圆柱形、叶菜类及带果梗类等。对于球形水果(如苹果、橙子),可以利用其对称性,通过部分视图或几何拟合(如RANSAC算法拟合球体)来高效估算尺寸和体积。对于不规则形状的果蔬(如土豆、葡萄串),则需要更全面的扫描和复杂的点云处理技术来准确重建形态并提取特征。圆柱形蔬菜(如胡萝卜、黄瓜)的形态参数(如长度、最大直径)相对容易测量。叶菜类(如卷心菜)的表面缺陷检测则依赖于高分辨率传感器捕捉的曲率等细节特征。对于带果梗的水果,在分析时常需将果梗与果实主体分割开来。此外,数字孪生技术将实物的三维数字模型与实时数据(如环境条件)动态链接,可用于模拟果蔬在采后处理中的生理变化,为过程优化和决策提供支持。
三维重建的主要参数
通过三维重建技术,可以非破坏性地获取并分析果蔬的一系列关键质量参数。尺寸估计对于分级和产量预估至关重要,可通过直接测量点云最大距离或使用最小二乘拟合、RANSAC等算法拟合基本几何形状来实现。体积估计在工业场景中尤为重要,激光雷达、线激光扫描结合深度学习模型等方法已能实现高精度的体积测量,即使对于部分遮挡的物体。纹理与碰伤检测方面,三维模型的表面曲率变化或深度图像纹理特征,结合卷积神经网络,能够有效识别果蔬表面的碰伤等缺陷。内部结构分析则需要X射线计算机断层扫描这类穿透性成像技术,它可以无损地可视化并量化果蔬内部的组织结构(如果肉、种子、空腔),为内部品质评估和生长研究提供独特视角。
传感器选择与二维结合人工智能的对比
为特定应用选择最合适的传感器,需要综合考虑果蔬形态、检测环境、所需精度和成本预算。例如,结构光和激光三角测量在静态、近距离下精度高,但可能受环境光或表面反光影响;飞行时间传感器适合中等距离和动态场景;立体视觉和摄影测量成本较低,在户外多变光照下表现稳健;激光雷达适合大范围场景扫描;X-CT则专用于内部结构分析。文章还专门比较了二维图像结合人工智能与纯三维重建方法的优劣。二维方法成本低、速度快,但在缺乏深度信息的情况下,对形状分析、尺寸估计和遮挡处理存在局限。三维数据能提供更全面的几何信息,但通常系统更复杂、成本更高。将二维图像处理与AI算法(如卷积神经网络)结合应用于三维重建任务,例如改进深度估计、分割目标、预测体积,被证明是提高测量精度、降低系统复杂性和成本的有效途径,代表了该领域一个有前景的发展方向。