通过RGBT融合技术实现复杂环境下的可靠高原牲畜监测：以青海省贵德县为例

《Scientific Reports》：Reliable plateau livestock monitoring in complex environments via RGBT fusion tracking: a case study in Guide County, Qinghai Province

　　

摘要

在高原牧场进行精准畜牧业养殖时，需要强大的非接触式监测技术。由于畜群密度大、目标物容易被遮挡、光照条件变化以及可见光或热成像质量的临时下降，这些因素都给多目标跟踪带来了挑战。本研究针对青海省贵德县的高原牲畜，提出了一种基于无人机的RGBT跟踪框架。由于实地拍摄的图像中存在具有牛和牦牛特征的动物，且没有为它们标注物种级别信息，因此将监测对象定义为高原牲畜，而自行收集的训练数据集则被称为贵德牲畜数据集。该框架结合了插入到冻结的ResNet-50结构中的参数高效型并行自适应残差网络（PARN）、双流RGB与热成像编码、分阶段检测与联合Transformer解码器、具备时间预测功能的KAN-GRU长期记忆模型、基于StrongSORT的目标关联算法，以及用于应对传感器性能下降的模态丢弃机制。在贵德牲畜数据集上，完整模型的HOTA值为71.5%，MOTA值为87.6%，IDF1值为82.3%，AssA值为70.8%，运行速度为58帧/秒。在公共的RGBT234测试集上，其性能指标分别为HOTA值65.3%，MOTA值82.3%，IDF1值81.4%，AssA值65.4%，运行速度为53帧/秒。通过控制实验发现，单独使用PARN就能使HOTA值、IDF1值和AssA值分别提升3.2%、3.3%和3.4%；而KAN-GRU则能使这些指标在无记忆模型基础上分别提升3.8%、5.0%和4.0%。这些结果证明了RGBT融合技术与长期时间建模方法在复杂环境下实现对自由活动的高原牲畜实时监测的潜力。