## 基于视频的果实检测与跟踪：扫描条件对果树负载估测的影响

《Computers and Electronics in Agriculture》：Video-based fruit detection and tracking: effects of scanning conditions on fruit load estimation

　　

基于视频的果实跟踪方法实现了6.91％的计数误差；Azure Kinect相机比ZED 2显示出更稳定的结果；看到完整树视图比近距离局部视图能获得更好的果实计数；从两侧扫描树木是获得更好产量估测所必需的；接近收获期的果实颜色提高了果实检测的准确性。

基于视频的果实检测与跟踪：扫描条件对果树负载估测的影响

## 一、研究背景与问题

自动果实计数系统是精准果园管理的重要工具，可提升采收、劳动力和储存规划效率（He等，2022）。然而，尽管深度学习推动了计算机视觉的显著进展，果实遮挡仍是最主要的挑战：当果实部分或全部被叶片、枝条或其他果实遮蔽时，检测召回率下降、追踪中断，导致计数低估和观测不一致，以多视角采集数据虽可缓解遮挡问题，但会造成重复计数。部分研究采用三维（3D）果实检测与定位技术消除重复计数，但这些方法依赖复杂的摄影测量与精确标定，计算复杂，难以满足大型商业果园的实时应用需求。因此，近年来出现基于连续行间运动视频的检测与跟踪流水线，通过为跨帧果实分配唯一身份标识（ID）来避免重复计数，主流方法分为单目标跟踪（SOT）和多目标跟踪（MOT）两类。目前多数MOT果实计数研究仅以多目标跟踪精度（MOTA）、高阶跟踪精度（HOTA）等标准指标评估跟踪性能，而对预测果实数与实际采收数据间的偏差关注不足。为填补这一空白，本研究在前期工作（Gené-Mola等，2023a）的跟踪算法比较基础上，开发了基于跟踪输出的果实计数算法，系统评估了传感器类型、果实成熟阶段（绿色与成熟）、扫描距离和扫描模式等扫描条件对MOT果实计数精度的影响。该研究发表在《Computers and Electronics in Agriculture》。

## 二、研究内容与主要关键技术

研究在西班牙加泰罗尼亚Mollerussa的IRTA实验苹果园（品种Story? Inoredcov，果树墙系统，行距3.6 m、株距1 m，冠层高度最大3.5 m）开展。园区共4行，每行105 m，共420棵树，划分为21个5 m段，共84个段。收获（2021年10月5日）后逐段用商业苹果分选线计数作为负载图的真值。采集设备包括Azure Kinect DK（ToF原理）和ZED 2（双目立体视觉）两台RGB-D相机，以及GNSS系统，装载于电驱动全地形车上。数据采集分为两个日期：2021年9月6日（采收前4周，果实呈粉绿双色）和9月28日（采收前1周，果实完全变红），分别在距树行纵轴1.25 m、1.75 m、2.25 m三个距离，以2 km/h速度沿行两侧（东侧和西侧）各扫描一次。核心方法包括：使用YOLOv5x卷积神经网络检测每帧果实；比较SORT、DeepSORT和ByteTrack三种跟踪器；通过人工标注换段参考帧并结合帧间运动估计播换段标识位置，采用多数投票策略将果实分配至对应5 m段；用线性回归模型校正观测偏差，采用留一行交叉验证评估回归性能；最终按行和段位置生成区块级产量图。

## 三、主要结果

### 3.1 果实检测与跟踪

YOLOv5x经273轮训练收敛，验证集F1分数为0.834，mAP@0.5为0.871。三种跟踪器中ByteTrack表现最优，MOTA、IDF1和HOTA分别为0.6817、0.8369和0.6894，处理速度为15.4 ms/帧；SORT以0.6401（MOTA）、0.8091（IDF1）、0.6804（HOTA）次之，速度15.3 ms/帧；DeepSORT在各项指标上较低（MOTA=0.5735，IDF1=0.7646，HOTA=0.6824），但耗时高达128.0 ms/帧，这源于其Re-ID网络的特征提取和匹配计算开销。ByteTrack的两阶段关联策略利用低置信度检测恢复未匹配轨迹，在果实受部分遮挡、视角变化和光照波动时有效降低了漏检和轨迹碎片化。

### 3.2 ZED 2与Azure Kinect在不同扫描距离和日期下的对比

原始计数与采收真值呈明显正相关（Azure Kinect R2=0.702；ZED 2 R2=0.744），表明视频观测在回归校正前已能捕捉果实负载的空间变异。两个传感器均在225 cm距离获得最低MAE、MAPE和RMSE：Azure Kinect在225 cm处两日期的MAPE为7.67%和7.48%，RMSE为46.64和46.98；ZED 2在225 cm处两日期的MAPE为9.44%和6.91%，RMSE为57.86和43.04。距离缩短至125 cm时，两传感器误差显著增加，这归因于视场（FoV）变窄导致树冠上下部分不可见，果实漏检和tracklet数量增加。日期影响方面，Azure Kinect在225 cm时两日期R2约0.686和0.682，回归线几乎重叠，呈现时间稳定性；ZED 2在同一距离从9月6日到9月28日，R2从0.519提升至0.733，MAPE降低2.53个百分点，说明更接近采收期的果实红色使检测对比度提高，显著改善了计数精度。产量图对比显示两传感器均能再现真实负载的空间趋势，但预测分布更分散，对高密度区域存在低估。

### 3.3 扫描单侧与双侧的影响（Azure Kinect，225 cm）

方差分析（ANOVA）表明，“扫描侧”因子对RMSE具有统计学显著影响（p=0.024），而对MAE、MAPE和R2影响不显著，日期及日期×侧面的交互效应在各指标上均不显著。采用双侧扫描时RMSE降低为46.73个，仅东侧扫描为58.69个，仅西侧为59.36个。双侧扫描通过整合树冠两侧互补信息，主要减少了由严重遮挡或极高果实负载引起的极端预测偏差，而非全面改善所有统计指标。由于东西两侧检测结果独立处理，未进行实例级跨视角匹配或去重，这一改进应理解为段级产量估测的提升，而非实例级计数精度的直接提升。

## 四、讨论与结论

讨论部分指出，ByteTrack在精度与效率间达到较优平衡。补充实验显示，较新的YOLO26检测器在相同训练数据上F1为0.819、mAP@0.5为0.865，略低于YOLOv5的0.834和0.871；BoT-SORT虽在MOTA（约+4%）、IDF1（约+3%）和HOTA（约+6%）上优于ByteTrack，但处理耗时约为其5倍；StrongSORT未超越ByteTrack，表明外观重识别（Re-ID）对视觉相似、尺寸较小的果实区分帮助有限。扫描距离是影响计数精度的关键因素，225 cm在树冠完整可见性与果实分辨率之间取得了最佳平衡，但该结论受限于本试验的果树墙树形。采用采收级逐段真值评估而非仅用图像标注，使结果更接近实际应用需求，但也导致与此前基于图像真值的工作不能直接比较。局限性方面，研究仅在单一果园、单一品种和特定管理条件下进行，回归系数需在新果园或不同获取条件下重新标定；物理标识和人工参考帧标注不适用于大规模商业部署，未来可结合GNSS与里程计实现自动地理参考映射。研究结论表明：在评估的试验条件下，Azure Kinect跨日期稳定性优于ZED 2；将扫描距离增至225 cm可改善树冠可见性与检测可靠性之间的平衡，获得6.91%的MAPE和0.733的R2；双侧扫描主要降低由遮挡引起的最大预测误差。该系统生成的负载图为采收物流优化提供了客观的空间分辨率信息，未来需在更广泛的果园结构中验证，并探索基于3D定位或跨视角匹配的多视角融合策略以消除重复计数。