基于预训练视觉嵌入的机械采收期葡萄产量图像估算方法研究

《AgriEngineering》：An Image-Based Approach for Grape Yield Estimation During Mechanical Harvesting Using Pre-Trained Visual Embeddings

　　

摘要专业翻译 精准葡萄栽培（Precision Viticulture）离不开准确的产量制图，但在机械采收过程中，由于采收生物质高度异质，直接测量产量仍存在较大困难。本研究评估了利用采收期间获取的图像，通过预训练深度学习模型提取特征来估算葡萄产量的可行性。研究在两个生长季内，于一个商业梅洛（Merlot）葡萄园中，使用安装在葡萄采收机上的运动相机采集图像。研究比较了五个预训练模型，包括一个卷积神经网络（Convolutional Neural Network, CNN）和四个视觉Transformer（Vision Transformer, ViT）架构。研究人员将提取的特征通过正则化回归模型与实测产量建立关联。结果表明，尽管图像中存在浆果、葡萄果串、叶片、新梢及运动模糊等干扰因素，预训练视觉特征仍能可靠地估算葡萄产量。卷积神经网络的预测精度与视觉Transformer模型相当，表明局部图像特征对生物质流量估算仍具有高度信息量。一种稀疏融合（Sparse Fusion）方法识别出更稳定的特征，有助于提升所研究条件下的模型稳定性。本研究证明，通用预训练视觉嵌入无需针对特定任务进行模型训练，即可为葡萄产量估算提供有效基础。所提出的方法不依赖专用传感器、特定校准或模型调参，为集成至商用葡萄采收机（包括售后加装场景）提供了一种实用且可扩展的解决方案。

论文解读文章

一、研究背景与意义

精准葡萄栽培在现代葡萄园管理中日益重要。通过绘制树势和土壤属性图，可为田间产量变异的精细管理及葡萄品质优化提供关键信息。然而，采收期直接测量产量仍是该领域的一大挑战。现有方法中，使用软采摘实验采收机可在保持葡萄完整性的同时实现产量测量，但商业解决方案多依赖安装在采收机卸料输送带下方的称重传感器（Load Cell）监测质量流量，在卸料过程中记录葡萄重量。

在计算机科学领域，利用图像分析估算复杂散装物料体积已有先例，如挖掘物料的处理。然而，针对采收过程中基于图像的实时产量估算、生物质流量传感及相关动态工况方法的研究相对较少。这一研究领域具有独特挑战：视角快速变化、运动模糊、光照变化、遮挡以及作物持续输送等问题，是采收前成像所不常遇到的。

在葡萄采收场景中，核心难点在于输送生物质的复杂性——其中包含葡萄果串（或其碎片）、浆果、叶片（或未被清选风机完全去除的叶片碎片）、枝条、新梢（有时带有叶片和葡萄）以及葡萄汁液。生物质组成主要受基因型（果串结构和浆果保留力）、采收时间（成熟期浆果保留力下降）以及机械因素（采收机振动、收集、清选、输送和储存系统的配置）影响。

深度学习模型已在农业环境中的目标检测、跟踪和图像分割方面得到成功应用。然而，开发任务专用模型需要大量标注数据集和可观的计算资源，且所得模型在跨葡萄园、跨季节和跨采集条件下的迁移能力往往有限。因此，基于预训练模型的嵌入（Embedding）技术正日益普及。嵌入技术可提取图像特征——即表征图像或其局部区域特性的数值。尽管预训练模型基于大规模通用图像数据集学习，但其形成的层级视觉表征能够捕捉低层特征（如边缘、纹理和颜色）、中间结构（如形状和空间排列）以及高层语义模式。机械采收过程中，采收生物质呈现出特征性视觉属性，包括浆果的纹理和颜色、葡萄果串的形态、叶片和新梢，以及它们在采收机内的空间分布。这些视觉线索隐式编码于学习到的特征表征中，使预训练模型无需任务专用训练即可提供与生物质流量及葡萄产量相关的信息描述符。

二、研究内容与主要结论

本研究旨在评估通过计算机视觉方法估算产量的可行性，将生物质流量估算重新构建为图像分析问题。研究目标是在机械采收过程中，利用嵌入过程分析采集图像，从可用预训练模型中提取特征，形成概念验证。研究比较了多种嵌入器与地面真值（实测产量）的对应关系，并考察了所识别特征和数值在不同条件下的稳定性。

研究于2024年和2025年两个生长季，在意大利拉文纳（Ravenna）的一个商业梅洛葡萄园（面积1.78公顷）中进行。试验采用随机区组设计，高树势（High Vigor, HV）和低树势（Low Vigor, LV）分别代表高产和低产区域。每个树势×区组组合延伸46.2米，包含七个棚架跨间（两相邻行内支柱间6.6米空间）。研究区分了缓冲区（B）、破坏性测量区（D）和非破坏性测量区（ND）。每年对48株葡萄树进行破坏性产量测量，非破坏性区域的葡萄则保留用于机械采收。机械采收完成后，量化可见损失（未脱落葡萄和地面落果），计算每株采收产量。2024年9月11日和2025年9月12日使用相同试验布局进行测试。由于第一季产量较高，2025年在两个低树势区域实施了约50%的疏果处理，以扩大地面真值范围。

机械采收使用Braud 9090L葡萄采收机，作业速度设定为3 km/h，共采收四行（R4、R22、R26和R44），总采收行长524米，总采收时间约620秒。图像采集系统采用两台Crosstour 9500运动相机（视场角170°），分别安装于采收机左右两侧，各朝向两条输送带的输出端。由于无法设置快门速度，采用120 fps的高帧率采集。考虑到分析预期线性分辨率介于1米（株距）至7米（棚架跨距）之间，采用1 fps的采样率（对应0.5米线性分辨率）。每个试验区块采集14至16幅图像，所有图像统一调整为短边256像素、中心裁剪至224×224像素，并转换为张量后进行归一化处理。

三、关键技术方法

研究人员选用了五个预训练图像嵌入模型进行比较，涵盖不同深度学习范式：ResNet50（卷积神经网络）、Vision Transformer（ViT，视觉Transformer）、DeiT（数据高效图像Transformer，基于知识蒸馏）、BEiT-v2（基于掩码图像建模的Transformer）和DINOv2（自监督视觉Transformer）。所有模型均使用224像素输入版本。对于ResNet50，选取第2、3、4层提取特征；对于视觉Transformer，选取第5、7、9、11块提取特征。由于中间层提取的张量维度较高，采用平均值作为特征。特征提取后，使用最小绝对收缩和选择算子（Least Absolute Shrinkage and Selection Operator, LASSO）进行初步回归分析，并进一步采用稀疏融合LASSO（Sparse Fusion LASSO, SFL）方法，该方法通过组合稀疏惩罚和融合惩罚，强制两个数据集（两个生长季）的公共特征具有相同系数值，从而识别跨季节一致的稳定特征。所有代码使用Python 3.13在VSCode中开发，LASSO实现基于scikit-learn库。

四、研究结果

图像复杂度与特征提取。 采收过程中采集的图像呈现出高度复杂性，包含单个浆果、葡萄和葡萄碎片、带葡萄和叶片的枝条等单一和复合对象，且多数对象存在运动模糊；背景为横向运动的格栅、蓝色滚动输送带（在阳光和阴影交替下）以及振动摇晃的承载装置。针对每个采收区块（每年18个），提取各图像特征后取其平均值进行回归分析。

LASSO回归结果。 对于LASSO回归，将λ值增大至过拟合极限（R2≈1），所得特征数控制在17以下。ResNet50和BEIT的λ值为0.000035，其他模型为0.00004。结果显示，最佳拟合出现在ResNet50、BEIT和ViT的语义层，以及DEIT和DINOv2的更深层/块。但研究指出，ResNet50的最佳拟合仅为过拟合效应——2024年R2=0.879为可达到的最大值，2025年R2=1为最大值，15个特征已超过2024年的自由度。

稀疏融合LASSO结果。 敏感性分析显示，λ（保持为10?3）和λ_f（=3）的影响较小，分组系数λ_g对特征数影响较大：各嵌入器的λ_g值分别为ResNet 0.5、BEIT 1.5、DEIT 1.5、ViT 4、DINO 0.2。DINOv2仅用6个特征即可在2025年达到R2=0.945，但在2024年表现较低。ViT嵌入器也表现良好，仅用8个特征即在2025年达到R2=0.940、2024年达到R2=0.450。回归图显示，嵌入方法在产量跨度大的葡萄园中表现更佳，而在产量分布均匀的葡萄园（如2024年）中可靠性较低。

预测误差评估。 所有实验中，均方根误差（Root Mean Square Error, RMSE）和平均绝对误差（Mean Absolute Error, MAE）均低于1 kg m?1。排除受特征数过多和过参数化风险影响的低性能配置后，最佳模型显示ResNet50的预测误差与视觉Transformer架构相当。具体而言，RMSE值一致介于0.30至0.60 kg m?1之间，MAE保持在0.25至0.35 kg m?1范围内。

五、讨论与结论

本研究结果表明，机械采收期间采集的图像包含足够信息来估算产量，无需识别对象（葡萄或浆果）。预训练嵌入器能够从复杂场景中提取特征，尽管目前尚缺乏可解释性方法。经典CNN方法（ResNet50）仍具竞争力，但视觉Transformer的第9和第11块展现出场景语义解释能力。

与已有研究比较：Mohimont等人综述了基于计算机视觉的葡萄产量估算方法，报道已发表的基于图像的方法决定系数可达R2≈0.95。但现有工作多基于采收前调查，与本研究任务不同。据研究人员所知，鲜有研究涉及机械采收过程中采收机输送带上的动态图像生物质流量估算。基于称重传感器、压力传感器或体积测量的监测系统，空间变异性R2约为0.54至0.87（Palacios等人）和0.73（Diago等人）。

本研究的科学贡献在于证明：通用预训练视觉嵌入能够有效表征机械采收期间的葡萄产量，无需专用传感器、辐射定标、人工标注或模型微调。预测能力并非仅依赖最新的Transformer架构——ResNet50实现了与视觉Transformer相当的性能，表明生物质流量估算主要依赖局部视觉特征（如纹理、颜色分布和对象密度），而非仅依赖高层语义表征。季节间比较还表明，仅凭预测精度不足以评估特征选择的稳定性和可重复性。标准LASSO独立选择的特征在季节间一致性有限，而稀疏融合LASSO识别出跨季节一致选择的更小子集，为模型开发提供了更可靠的基础。

研究局限性包括：所有实验在单一商业葡萄园、单一葡萄品种（梅洛）、单一采收机和单一采集设置下进行；缺乏独立数据集的验证。未来工作应包括在多个葡萄园、品种、树冠架构、成熟阶段和采收机配置下采集独立数据集进行验证，并探索更大视觉模型、更高图像分辨率、中间嵌入层的系统分析、替代稀疏回归方法、可利用图像序列的时序模型，以及相机位置和采集参数的优化。此外，应考虑图像中模糊成分的影响，使用包含人工图像损坏的版本（如ImageNet-C）进行训练，并进行特定调参。未来还将致力于使特征可解释，以便引入微调或驱动主动学习算法。当前设备组装已可用于葡萄园产量制图，未来可升级为智能相机，实现与采收机监控系统的实时集成。