编辑推荐:
果蔬作物的采摘长期以来一直受到劳动成本高、采摘效率低和果实损伤率高突出问题的困扰。目标识别技术的应用使采摘机器人在特定农业场景中能够识别、检测和定位作物,实现了一定程度的自动化采摘。然而,这些系统仍存在复杂环境下鲁棒性差、泛化能力不足以及模型部署成本高等缺点,
果蔬作物的采摘长期以来一直受到劳动成本高、采摘效率低和果实损伤率高突出问题的困扰。目标识别技术的应用使采摘机器人在特定农业场景中能够识别、检测和定位作物,实现了一定程度的自动化采摘。然而,这些系统仍存在复杂环境下鲁棒性差、泛化能力不足以及模型部署成本高等缺点,严重限制了其在农业采摘装备中的大规模应用。本文对果蔬目标识别领域的最新文献进行了全面综述,总结了当前研究如何聚焦于主流方法(包括数字图像处理、传统机器学习和深度学习)的实现原理与改进方向,同时指出了当前技术在算法模型实时性、鲁棒性和泛化能力方面仍然存在的问题与挑战。未来,目标识别技术有望通过多模态特征融合、大规模模型和半监督学习等途径实现突破,向更高精度、更快处理速度和更易部署的方向发展,从而为智慧农业的大规模落地提供技术支撑。
1 引言
全球人口增长和膳食结构变化使果蔬需求快速增加,果蔬在全球食品供应中占比近30%。为满足需求,各国推动农业规模化集约化发展,但采摘环节仍以人工为主,劳动成本高、作业效率低,损失严重。农业采摘机器人集成了机器视觉、运动控制与柔性采摘技术,而目标识别与检测是其核心前提,用于在复杂环境中区分作物与背景、获取三维位姿并评估成熟度。识别性能直接决定采摘机器人的作业质量和效率。
目标识别与检测技术的发展可分为三个阶段:20世纪80年代起,基于人工设计规则的传统图像处理技术,依靠阈值分割、边缘检测和纹理分析在简单场景中取得应用;21世纪初至2010年为机器视觉阶段,支持向量机(SVM)和K-means等自学习分类算法被广泛使用;2010年后,深度学习技术兴起,以卷积神经网络(CNN)为核心的识别技术通过自动学习图像特征,有效抵抗光照变化和枝叶遮挡等干扰,并支持品种识别、成熟度分级、病害检测等多任务。现有综述普遍缺乏对从传统方法到深度学习的完整技术脉络的比较分析,且多从技术视角以精度和平均精度均值(mAP)评估算法,而未深入分析其对采摘效果的影响。本文围绕果蔬采摘场景,综述数字图像处理、传统机器学习和深度学习三类主流技术的原理、演进及适用场景,并从算法性能、部署成本和环境适应性三个维度分析现存挑战,展望未来发展趋势。
2 方法
本文采用系统文献综述方法,包含文献检索、纳入与排除标准、系统评价三个阶段。文献检索以Web of Science和Google Scholar为主要数据库,检索时间主要设定为2017至2026年,关键词涵盖目标作物、识别方法和具体策略,优先纳入Q1/Q2期刊和权威会议论文,并排除偏离采摘场景的主题。之后按清晰标准筛选,研究对象为果蔬作物,研究内容涉及收获过程中的视觉识别技术,方法属于三类技术范畴,且为同行评议全文。最终共纳入131篇文献,其中85篇直接相关,46篇间接相关。
3 基于数字图像处理的识别方法
数字图像处理技术利用物体与背景在颜色、形状和纹理等视觉特征上的差异,通过人工设计算子提取关键特征并实现分割和识别。表1总结了主流特征类别及相应的提取方法、适用作物和优缺点。
3.1 基于颜色特征的方法
成熟果蔬常与绿色叶片或灰棕色土壤形成明显颜色对比。现有研究通常通过优化RGB空间结构或转换到其他颜色空间来分离亮度与色度信息,再采用直方图、颜色矩和阈值分割等方法量化颜色参数。例如,CIE L*a*b*空间的a通道对成熟苹果检测精度达76%;HSV空间用于草莓粗筛精度超过98%;YUV空间结合对比度受限自适应直方图均衡化(CLAHE)对杨梅分割精度达97.4%;YCbCr空间Cb通道结合阈值分割解决了荔枝与枝叶颜色相近的问题;自适应G-B色差公式对绿苹果分割精度达93.13%。
然而,颜色特征本质上是在特定颜色空间中对相似像素进行聚类,传感器捕获的颜色受光照和表面反射特性影响。光照不均和局部阴影会使目标颜色特征与背景趋同,遮挡和重叠还会导致轮廓不完整并产生局部阴影,造成漏检。颜色相似性干扰分为单通道部分重叠和同步光谱重叠,后者需引入自适应通道加权策略。因此,纯颜色特征方法仅在光照相对稳定且目标背景色差显著的温室等场景中实用。
3.2 基于形状特征的方法
多数果蔬具有规则几何形状,与枝叶的不规则轮廓形成对比。实现逻辑与颜色特征类似:使用Sobel、Canny等边缘检测算子提取轮廓,再通过轮廓描述子、霍夫变换和几何矩转换为量化参数。例如,基于Sobel算子和傅里叶描述子对黄瓜识别精度达86%,帧率38.9帧/秒;区域标记梯度霍夫变换使苹果识别精度在前光和背光下分别提高15.03%和16.41%;椭圆傅里叶描述子(EFDS)用于番茄品种分类;改进模糊C均值(FCM)分割和增强圆形霍夫变换实现苹果识别;结合点云边缘提取和镜面高光检测的RGB-D方法对甜椒定位速度提升43%,但强光下深度噪声大且遮挡多时精度仅55%。
形状方法对光照引起的颜色偏移不敏感,但其性能高度依赖目标轮廓的完整性。强背光和阴影会破坏边缘梯度响应并产生假边缘。遮挡和重叠会导致有效边缘像素丢失、轮廓断裂,使拟合和描述符失效。因此,形状特征需与其他特征结合使用。
3.3 基于纹理特征的方法
果蔬表面光滑度或特定纹理与叶片叶脉的灰度分布模式不同,可采用灰度共生矩阵(GLCM)、局部二值模式(LBP)和Gabor变换等方法提取纹理特征。例如,利用GLCM从激光背散射图像中提取六个纹理特征对柑橘产地分类精度达96.667%;结合多层感知器对苹果表面扫描图像进行品种快速识别;采用自适应双边滤波和Gamma校正增强纹理后,GLCM对苹果果梗、花萼和表面疤痕的识别精度分别达93.7%和94.2%;LBP特征对辣椒疫病检测的准确率可达100%。
纹理方法对果实表型检测有效,但计算复杂度高,对光照变化敏感。GLCM和LBP直接依赖于灰度值或灰度梯度方向,光照变化会使同一物理表面的灰度模式改变,非均匀反射还可能引入伪纹理。现有研究多需严格控制光照或进行大量预处理,算法部署成本高,在非结构化农业场景中的适用性仍需评估。
3.4 基于多特征融合的方法
单一特征存在局限性:颜色易受光照和相似色干扰,形状在遮挡时难以表征,纹理受分辨率和噪声影响。因此多数图像处理方法采用多特征融合,最常见的是颜色与形状融合。例如,基于归一化RGB的r分量和全局阈值分割可对柑橘进行尺寸分级;Lab空间a*分量结合圆形霍夫变换在1.5–2.1米距离内对柑橘检测精度超过90%;2R-G-B颜色特征结合自适应霍夫圆变换对苹果识别成功率达91.3%。颜色与纹理融合方面,利用颜色和深度信息过滤背景后结合改进LBP可区分绿色荔枝与叶片;颜色直方图去除背景后结合亮度和圆形Gabor纹理对未成熟绿色柑橘检测率达75.3%。形状与纹理融合方面,多尺度LBP过滤背景后利用分层轮廓分析(HCA)和圆形霍夫变换对未成熟柑橘识别精度达82.3%。
融合策略遵循从粗筛到细判的逻辑:首先用低计算复杂度的颜色特征快速过滤背景、提取候选区域,然后用形状或纹理特征进行细粒度验证。这种结构增强了鲁棒性和实时性,适用于简单场景,但在多作物或强干扰环境下,特征表达力不足限制了机器人在复杂自然环境中的作业能力。
4 基于传统机器学习的识别方法
传统机器学习通过人工设计特征结合模型训练实现分类,从规则驱动转向数据驱动。相比数字图像处理,其在复杂背景和光照波动下准确率和鲁棒性明显提高,但性能仍依赖人工特征设计,特征维度和样本量增加会带来训练复杂度上升,主流分类器仅适用于单一作物或特定任务,泛化能力不足。
4.1 基于SVM分类器的方法
支持向量机(SVM)通过在高维特征空间寻找最优分类超平面实现目标与背景分离,在小样本和高维特征场景下表现突出。例如,结合方向梯度直方图(HOG)特征的SVM对番茄果实识别的F1分数达0.847;融合HOG、LBP和多颜色空间特征的SVM对簇生番茄精确率、召回率和准确率均达100%;基于部分形状匹配和概率霍夫变换的通用框架结合颜色HOG特征的SVM在六种果蔬数据集上取得优异精度;HOG-SVM对健康与缺陷芒果检测的F分数达89.38%。针对绿色柑橘与叶片纹理分布复杂的问题,自适应红蓝差(ARB)图结合绝对变换差总和(SATD)块匹配和五个纹理特征训练的SVM识别精度达83.4%;基于纠错输出编码(ECOC)的多类SVM可对五个葡萄品种分类。
SVM的优势在于小样本下性能稳定、泛化能力强,核函数可处理非线性问题,且模型复杂度仅由支持向量决定。但训练复杂度随样本量增加显著上升,性能对核函数和参数选择敏感,且本质上针对二分类问题,类别多时性能下降。
4.2 基于K-Means聚类的方法
K-means是无监督学习算法,通过自动聚类相似像素实现分割,无需人工标注数据。例如,结合HSV背景去除、K-means像素聚类和对称性测试的算法在树莓派设备上对茄子检测精度达87.48%;基于邻域色调相似性的自适应初始簇中心选择算法融合颜色、纹理和形态特征,对重叠超40%的果实检测精度仍超91%,且三维定位误差小于1%,在实时性上优于YOLOv7和Mask R-CNN;K-means也可用于人心果图像分割,分割后提取的颜色特征变异系数仅2.77%–2.86%。融合快速点特征直方图三维几何特征与HSV颜色特征,经主成分分析(PCA)降维后聚类,对甜椒识别精度达95.10%。
K-means无需标注,单次迭代复杂度近线性,在聚类簇密集且分离明显时效果理想。但需预先指定K值,聚类结果对初始簇中心敏感,且离群点会明显偏移簇中心,限制了其在复杂分布场景中的应用。
4.3 多种传统机器学习算法的比较分析
多个研究比较了不同分类器在农业图像识别任务中的表现,检测目标覆盖菠萝、苹果、西兰花等,算法包括SVM、K近邻(KNN)、随机森林(RF)等。这些比较研究量化了不同分类器的性能边界,为算法选择提供指导,并探索了特征与分类器匹配的规律。但跨研究直接比较精度值在统计上无效,价值在于观察同一研究内不同分类器的相对性能。SVM在低样本量和低特征维度下表现稳健,RF通过自助采样和随机子空间机制在像素级分类和多特征融合中抗过拟合能力优异,而人工神经网络(ANN)和自适应提升(AdaBoost)的性能高度依赖数据量和调优策略,不适用于资源受限的实时采摘机器人。任何分类器的性能上限由数据模态和成像条件决定,实验室中的高精度算法在自然环境中性能明显下降。多分类器融合和图像预处理可进一步提升分类效果,但传统机器学习算法的性能仍受人工特征质量制约。
5 基于深度学习的识别方法
深度学习算法无需人工设计特征规则,能够自主从像素级特征学习到高层语义特征的抽象表示,通过多层神经网络形成端到端的分层特征提取机制,直接建立图像输入与检测结果的映射关系。随着AlexNet的出现,CNN顺理成章地成为作物目标识别的主流架构;2020年DETR的问世则将Transformer架构引入目标检测领域,利用自注意力机制捕获图像整体上下文,为农业视觉任务提供了新途径。
5.1 基于CNN架构的方法
CNN通过滑动卷积核提取局部特征,经分层卷积和池化逐步抽象出从边缘、纹理到语义对象的高层表示。按检测流程可分为两阶段和单阶段算法。两阶段先生成候选区域再分类和回归,单阶段直接输出类别和位置。
5.1.1 单阶段算法
单阶段检测算法采用全局密集预测,无需单独生成候选区域,核心优势是检测速度快。YOLO系列是最具代表性的单阶段算法,自2015年YOLOv1开创单阶段端到端检测范式以来,YOLOv4建立了“免费包”和“特供包”优化方法,YOLOv5提供了完整的训练和部署流程,YOLOv8统一了目标检测、实例分割和姿态估计框架,YOLOv9引入可编程梯度信息(PGI)和GELAN架构,YOLOv10通过一致双分配策略实现无NMS端到端推理,YOLO11进一步优化多任务框架,YOLO26通过去除DFL和原生无NMS设计将CPU推理速度提升43%。SSD系列由Liu等人在ECCV上提出,采用多尺度特征图检测,在保持实时推理速度的同时检测精度首次超越主流两阶段算法,成为与YOLO系列并行发展的主流单阶段算法。
5.1.2 两阶段算法
两阶段算法先生成候选区域,再对候选区域进行特征提取和精炼回归。R-CNN是首个将CNN引入目标检测的两阶段算法,通过选择性搜索生成候选区域,但存在严重计算冗余。Fast R-CNN引入感兴趣区域(ROI)池化实现特征图共享,检测速度提升至15–20帧/秒。Faster R-CNN用区域提议网络(RPN)取代选择性搜索,速度提升至50帧/秒,并引入锚点机制提高候选区域质量。Mask R-CNN在Faster R-CNN基础上增加掩码分支,并采用ROI Align消除量化误差,实现了重叠果实的精确分割。
5.2 基于Transformer架构的方法
Transformer架构以自注意力机制为核心,通过计算序列中任意两个位置的相关性捕获全局依赖。2020年Carion等人提出DETR,将目标检测重塑为集合预测问题,通过编码器-解码器结构和二分匹配损失实现端到端检测,不再需要锚框设计、区域提议网络和非极大值抑制。但原始DETR训练收敛慢、小目标检测性能差。2021年Deformable DETR将可变形卷积的稀疏采样引入注意力机制,使训练轮次缩减至原来的十分之一,小目标检测获得显著提升。2023年DINO通过对比去噪训练和混合查询选择在COCO上达到51.3 AP,首次证明DETR系列有超越经典CNN检测器的潜力。2024年RT-DETR设计高效编码器和IoU感知查询初始化,推理速度媲美YOLO系列,打破了Transformer检测器难以实时实现的固有认知。
5.3 深度学习算法的改进
深度模型直接应用于农业视觉场景面临参数多、计算量大和预训练权重与农业数据分布差异大等问题。优化器如随机梯度下降(SGD)和自适应矩估计(Adam)仅影响训练过程,不改善推理精度和速度。因此需针对网络架构和数据策略进行改进。
5.3.1 降低数据成本
农业图像数据集构建耗时费力,存在样本量小、类别不平衡和场景偏差等缺点。数据增强分为变换式增强和生成式增强。变换式增强通过几何变换、颜色扰动、混合拼接等操作扩充训练样本,Mosaic和MixUp已成为主流检测算法的标准组件。例如,在稀疏和有偏数据集上,YOLOv5mu在极少样本下表现最佳,但数据增强或增加样本量可显著提高其他模型精度。生成式增强以生成对抗网络(GAN)和扩散模型为代表,可生成缺失场景样本。Pix2Pix条件GAN可将RGB图像转换为深度图,以替代RGB-D传感器。对比实验表明,数据量增加不一定提升性能,生成数据与真实数据分布对齐程度至关重要;仅用合成图像训练的模型在真实场景性能明显下降,合成与真实数据按特定比例混合效果最好,且合成数据比例需严格控制。
迁移学习利用模型在大规模数据集上预训练的通用特征提取能力,通过微调少量目标样本即可完成新任务。例如,将苹果数据集预训练权重跨物种迁移到油茶果实检测,仅用100–200个标注样本即可接近全数据集精度;采用两阶段迁移策略对大白菜不同生长阶段识别精度达97.17%;基于COCO预训练的YOLOv8s对树上和地面苹果检测mAP50-95达72.6%。但多数测试集与训练集同分布,缺少跨域验证,实际采摘场景中的有效性还需更多实证。
5.3.2 模型压缩与加速
采摘机器人对设备尺寸、重量和能耗要求严格,模型轻量化是落地关键。常用方法包括替换主干网络、引入轻量模块和剪枝。例如,YOLO-TomatoSeg将模型大小、参数和计算量分别减少68.3%、38.9%和33.3%,模型仅2.52 MB;Seedling-YOLO压缩率最低但mAP0.5提升4%。压缩程度因检测目标和实验条件而异,主干网络占据最大参数量,替换为轻量主干可显著减参;高效卷积算子可限制通道交互并减少冗余计算,注意力模块用于弥补特征表达力下降。知识蒸馏(KD)可将大模型知识迁移至轻量学生网络,例如SMLO-YOLO基于YOLOv11s结合边界和类别感知蒸馏,参数仅6.49M,mAP50达92.4%,推理速度256.41帧/秒;D3-YOLOv10采用基于语义频率提示的FreeKD方案,参数和计算量较YOLOv10s减少54.0%和64.9%,mAP0.5达91.8%。但现有研究均未在实际采摘机器人平台上进行完整集成和现场部署验证。
5.3.3 复杂场景鲁棒性提升
农业环境高度非结构化,光照波动剧烈、果实被枝叶遮挡和相互重叠、小目标特征微弱、果梗等关键采摘点极小,导致漏检和误检。改进方法主要从注意力机制、非极大值抑制(NMS)和损失函数入手。注意力机制通过可学习的权重分配使网络自动聚焦目标区域的关键语义特征,抑制背景干扰。SE是最早的通道注意力机制,通过全局平均池化压缩空间信息,再用两个全连接层学习通道权重,但降维会造成信息损失。ECA去除降维全连接层,改用一维快速卷积进行局部跨通道交互。CBAM和GAM采用串联分支结构,分别通过空间平均/最大池化和扩张卷积捕获空间与通道信息。DANet采用并行分支结构,用自注意力机制在空间和通道维度构建密集依赖矩阵,适合重叠严重和形状多变的场景。引入注意力机制后,大部分模型平均精度超过90%。NMS优化采用Soft-NMS策略,根据IoU连续衰减重叠框置信度而非直接置零,在果实粘连和枝叶交错场景中保持高召回率。
6