MFFT：一种在复杂遮挡场景下，通过多特征融合实现多类芒果分割、稳定进行目标识别与计数的改进方法

《Computers and Electronics in Agriculture》：MFFT: an improved method for stable ID tracking and counting of multi-class mango segmentation with multi-feature fusion in complex occlusion scenarios

　　黄文涛|李英生|谭贝克|玛丽亚·布尔基奇·巴卡里奇|朱志强|张晓轩•提出了一种基于定制化Transformer的分割网络。•设计了一种整合IoU、HSV、形状及对角线特征的多特征融合跟踪器。•开发了一种改进的卡尔曼滤波器，用于预测芒果目标的姿态与形态。•建立了一种基于对角线长度的生物量估算方法，其平均相对误差仅为4.49%。•构建了一个集芒果分割、跟踪计数及生物量估算于一体的完整系统。

引言
芒果是一种高价值的经济作物，广泛种植于全球的热带和亚热带地区（Lei等人，2025年）。准确的产量预测与生物量估算对于优化果园灌溉与施肥管理、制定采收计划以及调节市场供需具有重要意义。这些因素正是推动芒果产业向规模化、智能化发展的核心动力（Xie等人，2024年）。随着数字农业技术的快速发展，计算机视觉凭借其非接触、实时且精度高的优势（Zhou等人，2025a；Zhou等人，2025b），逐渐取代了传统的手工计数与抽样估算方法，成为监测作物生长状况及评估果园产量的重要技术手段（Karabanov等人，2025年）。目前，计算机视觉已应用于病害识别、果实分割、产量预测等多个领域，为种植者提供整个生长周期内的全面动态数据（Lv等人，2025年）。这些数据为农业管理决策提供了有力支持，具有重要的实际意义。

近年来，全球学者对果园作物的视觉检测技术进行了大量研究，其中果实分割是至关重要的预处理步骤。该领域的方法发展主要分为两大技术路径：传统机器视觉与深度学习。传统方法依靠人工设定的颜色阈值、纹理特征及形态学操作来实现物体分割（Rojas Santelices等人，2025年）。例如，这类方法已被用于柑橘形状检测，具有简单且成本低廉的优点。然而，它们的适用范围仅限于特定的实验条件，在复杂的实际果园环境中缺乏足够的稳定性，因此在许多应用场景中被深度学习技术逐步取代（Yang等人，2025年）。在基于深度学习的分割方法中，实例分割（Xu等人，2025年）与语义分割（Xu等人，2025年）是目前的主流框架。但面对芒果果园复杂的环境条件以及样本量有限的现状，这两种方法都存在明显的适应性局限，无法满足实际应用需求。

实例分割是一种用于精确提取单个果实的技术，广泛应用于果园作物检测。以Mask R–CNN为代表的传统实例分割模型可实现端到端的检测与掩码生成训练。为了解决密集树冠遮挡下的果实分割问题，廖某改进了Mask R–CNN的掩码模块，使其准确率达到了0.941；在更严重的遮挡情况下，该模型的召回率最佳值为0.846（Liao等人，2025年）。Crespo则使用Detectron2中的ResNet–FPN作为骨干网络结合Mask R–CNN进行草莓实例分割，获得了0.8345的mAP值（Crespo等人，2025年）。此外，Zu和Lee分别将ResNet50（Zu等人，2021年）与ResNet101（Lee等人，2020年）集成到Mask R–CNN中，其在各自数据集上均取得了较高准确率。不过，这些模型结构较为复杂，推理速度通常较慢。后续研究中，YOLO被证明是一种高效的综合检测与分割架构，被广泛用于果实分割任务。Zhou采用了改进后的YOLO v8进行多色苹果的实例分割与定位，每种颜色版本的mAP值均超过了0.95（Zhou等人，2025a；Zhou等人，2025b）。在葡萄果梗分割方面，Shen基于YOLOv8设计了MSA–YOLO模型，其分割mAP@50值达到了0.995（Shen等人，2025年）。为了适应复杂环境，Wei对YOLOv8进行了优化，使其分割掩码的mAP50和mAP50–95值分别比原始版本提升了5.8%和8.5%（Wei等人，2025年）。在近期出现的先进模型中，DETR凭借其基于Transformer的全局特征捕捉能力，能够实现更精确的边界划分，因此受到了越来越多的关注。Zhu利用定制化的Transformer提升了分割的AP值（Zhu等人，2025a）。Zhu还采用了改进版的mask2former进行西瓜茎叶分割，其mIOU值达到了0.9744（Zhu等人，2025b）。与实例分割不同，语义分割网络采用轻量级的编码器-解码器结构，不仅推理速度快，而且与硬件的兼容性更好。它们能够快速实现果实与背景的像素级分离，有效应对复杂的背景干扰。Ibarra评估了UNet在番茄果实与叶片分割中的应用，其最佳性能值为0.89078（Guerra Ibarra等人，2025年）。Mondal则以MobileNet–v2作为骨干网络，配合UNet作为图像分割模型，分别获得了95.69%的IoU值和97.89%的Dice值（Mondal等人，2025年）。Liu设计了一种鱼类分割模型，其mIOU值达到了0.9273（Liu等人，2024a）。然而，在芒果果园这种视角与光照条件多变、果实之间容易粘连聚集、叶片与芒果之间存在严重遮挡的复杂环境中，现有的研究仍然较为有限。尽管Swin–S和SegFormer在芒果花朵的聚类分割中取得了最高的IoU值（分别为67.35%和66.44%），但它们在孤立芒果分割方面的mAP值却低于YOLO（Ven等人，2025年）。

在完成果实分割之后，接下来的步骤是跟踪与计数，其核心方法是多目标跟踪（MOT）。现有的MOT算法，如SORT和DeepSORT，主要以在线方式运行，依靠分割或检测结果并通过特征匹配来实现目标识别。Zhang采用了YOLOv8与DeepSORT进行行人检测与跟踪，通过改进后，其MOTA值提升了9.7%（Zhang等人，2025a；Zhang等人，2025b）。Sim则将StrongSORT应用于多头牛的跟踪，分别获得了78.64%的HOTA值、90.29%的MOTA值以及91.41%的IDF1值（Sim和Cho，2025年）。Harefa将ByteTrack高效的基于IoU的匹配机制与DeepSORT的基于外观的关联机制相结合，使得其在MOTA和IDF1指标上相比单独使用任一方法都有显著提升（Harefa和Wijaya，2025年）。一些研究者则提取了核心概念，通过融合不同特征来开发定制化的跟踪器，以适应特定的实际条件。Zhou开发了一种MultiMap组件，并与现有的先进跟踪算法相结合，实现了对多个果实的实时跟踪，其最低计数错误率仅为6.7%（Zhou等人，2024年）。Liu则利用外观信息与运动模型来处理鱼类移动过程中的遮挡与变形问题，从而实现了多鱼跟踪，其HOTA值达到了71.4%（Liu等人，2024b）。Yao设计了一种端到端的实时鱼类跟踪模型FMRFT，其IDF1值达到了90.3%，MOTA准确率为94.3%（Yao等人，2025年）。然而，在芒果果园环境中，针对如此复杂条件下的跟踪与计数方法的研究仍十分少见。Pichhika提出了一种基于质心跟踪的精确计数算法（Pichhika等人，2025年），但该方法不适用于芒果之间存在严重相互遮挡的场景。那些为特定场景而设计的、融合多种特征的跟踪器为后续研究提供了宝贵借鉴。

最后一步是生物量估算，即计算果园中的理论果实产量，不仅能减少劳动力投入，还能为果园生产提供直接依据。已有部分研究将检测与计数方法用于生物量估算。例如，有研究使用YOLOv8n + OC–SORT + CRCM算法对百香果的产量进行了估算，其平均计数准确率为87.0%，有效解决了误报、小果实漏检以及重复计数等问题（Tu等人，2025年）。不过，这种方法与实际产量之间缺乏关联。另一项研究YOLO–FCAP虽然提升了YOLO在复杂环境中对柑橘的检测能力，但并未实现连续计数功能（Zeng等人，2025年）。这些例子表明，目前的生物量估算研究尚未将分割结果与计数结果有效结合。

受上述研究的启发，本研究提出了集成化的方法，涵盖分割、跟踪计数以及生物量估算，旨在解决芒果果园在分割、跟踪及生物量评估方面的现有难题。本研究的主要贡献如下：
(1) 构建了一种适用于小样本复杂场景的分割方法。为克服现有分割方法的不足，该研究设计了一种逐像素处理的伪装实例网络，它结合了Swin–T骨干网络、定制化的Transformer解码器以及多个专用模块。该网络能够有效解决果实粘连问题，实现树上及地面芒果的分割，并在样本量少且数据复杂的条件下提升分割精度。
(2) 提出了一种基于多特征融合与目标标识生命周期管理的跟踪计数方法。该方法通过整合IoU、Hu矩、HSV颜色以及芒果对角线长度等多种特征，增强了跨帧目标关联的稳定性。同时，结合目标标识生命周期管理机制，有效减少了重复计数、目标丢失以及目标标识切换等问题。
(3) 建立了一套从分割到跟踪再到生物量估算的完整流程。该流程以分割过程中提取的芒果对角线长度作为核心特征，并将其与跟踪计数结果相结合，从而增强了生物量评估与实际产量之间的关联度。

数据收集
本研究的数据来源于海南省保亭县一处面积为0.3公顷的商业金煌芒果种植园（北纬18°23′–18°53′，东经109°21′–109°48′）。根据果园的布局，预先划定了具体的计数区域，以单行作为基本单元来界定感兴趣区域（ROIs），并为每个区域分配唯一的标识符，以便将后续的计数结果与特定的果树或行准确关联。由于照片中存在大量模糊的芒果图像，为...

模型性能
为验证模型的性能，有必要与当前主流的先进方法进行比较。实验是在同一数据集上进行的，所使用的模型包括Mask R-CNN、Mask2Former、DETR以及YOLOv8s，这些都是广泛应用于作物分割与识别的先进方法。各类指标的实验结果如表1所示。我们的方法展现了出色的综合性能，在所有模型中具有最高的精确度，达到了0.82，这表明...

结论
本研究提出了一种多特征融合跟踪（MFFT）框架，用于在复杂遮挡的果园环境中实现多类别芒果的分割、稳定的目标标识跟踪以及生物量估算，有效解决了现有方法中存在的分割精度低、目标标识频繁切换以及生物量评估效率低等关键问题。该MFFT框架结合了Swin-T骨干网络、定制化的Transformer解码器以及专门的模块（SFE、SOA、BAM），在40.32 FPS的运行速度下，实现了0.71的mIoU值和0.73的F1分数...

CRediT作者贡献声明
黄文涛：撰写——初稿，可视化，数据整理，概念构思。李英生：撰写——初稿，可视化，方法设计，概念构思。谭贝克：撰写——初稿，可视化。玛丽亚·布尔基奇·巴卡里奇：撰写——初稿，可视化。朱志强：撰写——初稿，可视化。张晓轩：撰写——初稿，监督指导，资金获取。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
作者衷心感谢中国-黑山科技合作委员会交流项目（项目编号：4-7）的支持。