KBTrack：基于云的技术实现的时间身份推断，用于精确统计观赏植物库存管理中的数量

《Computers and Electronics in Agriculture》：KBTrack: cloud-enabled temporal identity inference for accurate counting in ornamental plant inventory management

　　•KBTrack 优先考虑基于身份的一致性跟踪，以实现基于 ID 的精确植物计数。
•时间关联减少了在密集遮挡情况下的多计和少计现象。
•集成实例分割算法稳定了长期计数聚合的检测结果。
•云集成系统支持可扩展的自动化库存计数和报告。

**引言**
美国苗圃行业通过销售活植物每年产生 138 亿美元的收入，其中仅木质观赏植物就占了 45.5 亿美元（Hall 等人，2020 年；USDA 和 NASS，2020 年）。精确的植物计数直接影响关键的业务决策，包括生产计划、劳动力调度、空间分配、物资采购以及这些苗圃的定价策略。尽管非常重要，但实现并保持准确的库存仍然是一个重大挑战，大多数观赏苗圃仍然依赖劳动密集型的人工计数方法（Fulcher 等人，2023 年）。传统的库存做法包括在关键生产点（繁殖、季节中期、每次销售时）进行实物计数，以监测植物生长情况和损失情况，以及术前计数，这对于订单完成至关重要。然而，计数的频率受到可用劳动力和时间的严重限制。近年来，由于工资上涨、难以找到熟练工人以及人工计数的体力要求，劳动力问题变得更加严重（Rihn 等人，2023 年）。人工计数本质上耗时且容易出错，尤其是在大规模操作或密集种植的区域，人类的疲劳和注意力限制不可避免地导致计数错误。

最近的观赏植物库存研究探索了将 RFID 与无人驾驶飞行系统结合的方法，但实际限制影响了其可行性。Quino 等人（2021 年）表明，需要多次无人机飞行才能扫描到分散分布的 90% 的标签，更严重的是，RFID 无法区分死亡或质量低下的植物和健康的植物，当劣质库存仍然存在于苗床中时，这会给订单完成带来风险。在每英亩 30,000 到 80,000 棵植物的商业密度下，累积的标签成本对于已经处于微利状态的行业来说变得过于高昂。基于视觉的空中计数被提出作为一种替代方案（Leiva 等人，2017 年），尽管计数错误率高达 47%，使得这些方法不切实际。作者将失败归因于低图像分辨率、树冠遮挡以及光照变化的限制（Rayamajhi 等人，2024 年），后来证实这些问题在观赏树木的无人机图像中仍然存在，需要大量的手动校正。

计算机视觉为人工计数提供了一种有前景的替代方案。然而，观赏苗圃对基于计算机视觉的计数提出了独特的挑战，这些挑战使它们与传统农业监测不同。从幼苗到成熟的可销售标本，植物必须在整个生长周期内被准确计数，尽管它们的大小、树冠结构和外观会发生变化。容器大小和间距的差异，以及具有不同形态的混合物种苗床，进一步增加了检测的复杂性。遮挡和重叠的树冠会掩盖单个植物，而紧密排列的植物之间极高的视觉相似性使得唯一识别变得困难。这些因素与标准计算机视觉数据集（如 COCO（Lin 等人，2014 年）或 ImageNet（Deng 等人，2009 年）之间存在显著差异，后者包含边界清晰的分离良好的对象，在密集的苗圃场景中表现不佳。标准检测器经常无法检测到小型幼苗或将重叠的树冠错误地分类为单个实例（Wosner 等人，2021 年）。植物的视觉一致性，加上土壤、容器和邻近植被的复杂背景，进一步增加了分类的不确定性。因此，领域特定的微调至关重要，但标记数据的稀缺限制了传统方法的应用。将预训练模型适应于农业环境的迁移学习策略显示出希望，特别是当与数据增强技术结合使用时（Espejo-Garcia 等人，2021 年），这些技术使模型能够识别部分可见的对象。先进的对象检测器，如 YOLO、Faster R-CNN 和 EfficientDet，在识别复杂农业场景中的单个植物方面表现出了强大的性能（Gao 等人，2024 年；Li 等人，2023 年；Rahman 等人，2023 年），在准确性和速度之间取得了平衡。然而，单帧检测对于库存任务来说是不够的，因为检测器无法在不同帧之间保持对象的身份一致性，从而限制了它们在基于视频的完整植物计数中的可靠性。

**多对象跟踪（MOT）**通过在不同帧之间保持一致的对象身份来克服单帧检测的局限性（Zhang 等人，2024 年）。MOT 算法利用过去和未来的观测数据来预测对象状态并强制跨帧关联。然而，MOT 从根本上依赖于检测器骨干的质量。检测错误会导致轨迹中断，误报会产生虚假轨迹，不精确的框会破坏身份匹配。在遮挡严重、小型幼苗众多且植物外观高度相似的密集苗圃环境中，弱检测器会通过产生不一致的检测结果来放大 MOT 的失败。因此，一个强大且适应领域的检测器对于稳定、可重复的检测至关重要，这些检测能够保持身份、减少碎片化和最小化身份切换。即使拥有强大的骨干，将其应用于观赏苗圃仍然具有挑战性。密集的树冠会导致频繁的遮挡，从而扰乱轨迹并触发身份切换，即一个植物获得多个 ID 或多个植物共享一个 ID。随着相机的移动，植物经常会在连续几帧内部分或完全被遮挡。在单次飞行过程中，MOT 必须在长序列帧中（通常是数千帧）维持植物身份，这些帧中的植物外观高度相似且排列紧密。标准 MOT 方法在这种情况下表现不佳，身份切换会导致显著的计数错误。尽管最近的农业 MOT 研究探索了空间或结构线索以提高鲁棒性（Abayaratne 等人，2024 年；An 等人，2024 年；Hernandez 和 Medeiros，2024 年），现有方法在视频中的长时间遮挡、密集的空间排列以及最小化 ID 切换方面仍面临困难。

为了解决上述挑战，我们提出了一种名为 KBTrack 的强大计数框架，该框架基于 ByteTrack 算法（图 1）。我们明确了农业 MOT 中轨迹连续性和身份稳定性之间的区别，并证明在密集树冠遮挡的情况下这些目标之间存在冲突。虽然传统的 MOT 研究优化了轨迹连续性（通过更高阶的跟踪准确性（HOTA）和碎片化来衡量），但植物计数需要身份稳定性，即每个物理对象无论跟踪中断如何都保留唯一的 ID。这种重新框架导致了一个双尺度的时间架构，将短期的帧间关联（由 ByteTrack 处理）与长期身份验证区分开来，后者在一个滑动的时间队列上运行。具体贡献如下：
- 将长时间遮挡下的身份恢复表述为一个在时间队列上的受限分配问题，其中外观频率、时间分布和掩码区域统计共同决定了一个轨迹代表丢失的植物、新植物还是身份切换。这种表述不依赖于基础跟踪器，并且具有应用于其他密集树冠农业系统的潜力；
- 识别并验证了身份连续性权衡作为静态对象跟踪中事后身份校正的基本属性。引入了 Corrected ID Precision（CIDP）作为评估这一权衡的指标，填补了现有 MOT 评估协议中的空白，这些协议在惩罚碎片化时没有区分纠正性碎片化和错误性碎片化；
- 证明了一个结合跨物种迁移学习和 CutMix 增强的集成骨干对于在视觉上均匀的苗圃环境中的稳定跟踪是必要的，并且跟踪器级别的改进无法弥补该领域的检测器级别失败。

**材料**
到目前为止，还没有公开可用的数据集适合用于观赏植物的 MOT。为了解决这一需求，本节描述了我们的数据获取策略，并介绍了专门为这项研究创建的 KBTrack 数据集。

**植物跟踪和计数**
本节描述了 KBTrack 框架，该框架集成了一个骨干检测和分割模型、一个时间身份推断模块以及一个计数策略。骨干采用两个 YOLOv11x-seg 变体的集成，通过加权 SoftMax 进行融合，而时间身份推断利用多帧时间推理来实现稳健的跟踪。

**地理参考库存管理系统**
苗圃管理者需要准确的库存计数和植物种群的空间定位，以进行运营计划。为此，我们开发了一个地理参考仪表板系统，该系统将计数输出与 UAV 生成的正射拼接图相结合，将植物计数与空间索引的苗床关联起来。

**结果和讨论**
进行了两组实验来验证 KBTrack 的有效性和实用性。
(1) 检测器实验，分别使用不同的深度学习检测器和实例分割模型，以确定最适合集成到 KBTrack 中的检测器；
(2) 对 KBTrack 进行评估，并将其与各种 MOT 算法进行比较。

**结论**
观赏苗圃中的人工植物计数劳动强度高，无法随着商业生产规模扩大而扩展，而具有长时间遮挡的密集树冠使得自动化替代方案不可靠，因为标准跟踪器在苗床遍历中断视觉连续性时往往会丢失或重复植物身份。KBTrack 通过将身份稳定性而非轨迹连续性作为目标来解决这一问题，在遮挡后恢复植物的原始身份。

**作者贡献声明**
Mohtasim Hadi Rafi：撰写——原始草稿、可视化、软件、方法论、调查、正式分析、数据 curation、概念化；
Hamid Habib Syed：撰写——审阅与编辑、验证、方法论、数据 curation；
Faraz Ahmad：撰写——审阅与编辑、验证、调查、数据 curation；
Jeremy Pickens：撰写——审阅与编辑、验证、资源、数据 curation；
Tanzeele U. Rehman：撰写——审阅与编辑、监督、资源、项目管理。

**伦理声明**
作者声明本研究不涉及人类或动物受试者。

**关于写作过程中生成式 AI 和 AI 辅助技术的声明**
在准备这项工作时，作者使用了 Grammarly 和 ChatGPT 来纠正语法、提高可读性并确保信息的流畅性。使用这些工具/服务后，作者根据需要审查和编辑了内容，并对出版物的内容承担全部责任。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本工作得到了 USDA NIFA（奖项 2023-67021-40617）、奥本大学生物系统工程系（Hatch Grant ALAO 14-1-19204）和奥本大学研究支持计划的支持。作者感谢 Flowerwood Nursery Inc.（位于 Alabama, Mobile）、Md Hasibur Rahman 和 Faria Binte Kader 的支持。

Mohtasim Hadi Rafi |Hamid Habib Syed |Faraz Ahmad |Jeremy Pickens |Tanzeele U. Rehman