Bovine-LTID：一种基于视觉的时空身份系统用于多摄像头牛跟踪与长期行为监测

《Computers and Electronics in Agriculture》：Bovine-LTID: A vision-based spatio-temporal identity system for multi-camera cattle tracking and long-term behavior monitoring

　　

Bovine-LTID提供一种无Re-identification（ReID）嵌入的多摄像头牛跟踪方法。CowTracker利用多约束与掩码细化实现遮挡恢复。基于单应性（Homography）的Global ID Pool缓解跨视角身份碎片化。跨视角融合使全局原始身份切换较基线降低87.6%。系统在消费级边缘硬件上实现实时行为分析。

研究背景方面，现代精准畜牧业中个体牛身份与行为的连续监测对畜群福利、早期疾病检测及整体生产力至关重要。传统农场管理依赖经验丰富的饲养员人工观察，虽能提供整体福利评估，但劳动密集、受人为差异影响且难以实现商业化畜群24/7连续监测。随后行业转向接触式与可穿戴传感器技术，包括射频识别（Radio Frequency Identification，RFID）标签用于定位与识别、颈部惯性测量单元（Inertial Measurement Units，IMUs）与加速度计用于动力学行为分析（如休息、行走、反刍）、计步器或可摄入瘤胃丸用于生理监测。这些物理设备虽提供局部测量，但在大规模应用中存在操作限制：需电池与硬件维护、单动物部署成本高、物理附着引发生理应激或不适并可能影响动物福利，且孤立的单点传感器数据缺乏区分复杂社会或空间行为状态所需的上下文信息。非侵入式基于摄像头的监测有望缓解这些上下文与操作限制，但初始单摄像头配置的长期跟踪可靠性受物理约束限制。单摄像头设置易出现密集遮挡（尤其在拥挤饲槽）、视野受限与光照多变。视觉外观相似的动物、频繁长期遮挡、非线性运动模式仍是连续单视角福利监测的主要瓶颈。多摄像头系统提供互补视角与扩展空间覆盖，但维持跨视角一致身份同步仍是技术挑战，许多跨摄像头框架仍重度依赖基于外观的Re-identification（ReID）或周期性局部面部识别模型校正身份漂移；将高维外观特征提取或每实例正面面部裁剪应用于商业牛群存在实践挑战：同品种（如西门塔尔牛）视觉同质性强、外观匹配固有脆弱，且计算开销大，限制标准农场边缘设备实时部署。因此亟需更高效、可扩展、无ReID嵌入的方法。

研究人员开展Bovine-LTID研究，提出一种基于视觉的时空身份框架，用于小群体室内畜舍环境的多摄像头牛跟踪与长期行为分析。该系统利用行为感知检测模型YOLOv9s集成CowTracker（一种增强的ByteTrack架构 livestock适配模块），在不依赖外观特征提取下维持遮挡下的跟踪持续性；利用重叠视角缓解单视角盲点；CowTracker融入多约束目标关联与身份稳定性保护，辅以空间掩码细化；跨摄像头层面通过单应性（Homography）校准将不同摄像头视角投影到统一地面平面坐标空间，采用集中式Global ID Pool（GIDP）基于时空逻辑维持重叠区域身份同步，避免依赖基于外观的ReID；跨视角行为推断引擎利用多视角优化不确定行为标签，辅助解决身份碎片化并促进长期行为分析（如个体时间预算估计）。结论表明Bovine-LTID在双摄像头序列上实现99.33%跨摄像头一致性，全局原始身份切换较单摄像头跟踪输入降低87.6%，Global Long-Term Coverage（GLTC）达91.02%，60%畜群分类为Mostly-Tracked（MT），Cohen’s d=1.66；在消费级硬件（Intel i9-14900HX CPU、NVIDIA RTX 4060 Laptop GPU）上端到端吞吐约12–13 FPS，峰值GPU内存488 MB；YOLOv9s检测精度mAP50为0.944±0.003，mAP50-95为0.885±0.008，Precision 96.1%±0.3%，Recall 94.0%±0.7%；跨视角行为推断将聚合“不清楚（unclear）”率降至0.2%（降低98.5%）。该研究意义在于证明时空一致性而非外观ReID可作为多摄像头牛监测中身份保持的可行替代方案，为精准畜牧业提供资源高效、无ReID嵌入的基线框架，发表于《Computers and Electronics in Agriculture》。

关键的技术方法方面，数据来源于中国商业肉牛舍，使用两台吊顶海康威视4K监控摄像头以10 FPS采集1、3、5头牛的间歇全天视频，覆盖早晚与夜间光照变化，均匀采样帧并用LabelImg手动标注边界框与五类行为（站立、躺卧、觅食、饮水、不清楚），共3917帧8661个牛实例，按训练/验证/测试集划分；检测模型为YOLOv9s，在NVIDIA H200 GPU上以AdamW优化器、混合精度训练（AMP）、数据增强（旋转、平移、缩放、颜色抖动、Mosaic、MixUp）微调，输入分辨率640×640；实例分割用EdgeSAM周期执行（每3帧），仅对置信度≥0.5的检测生成二值掩码；单摄像头跟踪用CowTracker，基于ByteTrack加入多约束匹配（IoU、质心邻近、轨迹鲁棒性得分S_robust=w_pS_pos+w_sS_size+w_dS_dir）、自适应轨迹连续性验证（跳跃距离阈值D_jump^th(Δt)、速度上限V_current≤max(V_max, m·V?_history)）、ID稳定性保护（近期窗口W_frames内N_switch多次切换则拒绝候选）、跨摄像头ID上限与超限缓冲（N_ceiling=max(N_current, N_cross)，缓冲B_over存F_buffer帧）；跨摄像头融合通过单应性矩阵H_k将图像坐标(u,v)转为世界坐标(X,Y)（X′Y′W^?=H_k·(u^k_i,v^k_i,1)^?，(X,Y)=(X′/W,Y′/W)），用世界距离匈牙利匹配构造成本矩阵‖C¹_i?C²_j‖，超阈值赋无穷成本，满足最小空间相似度τ_sim送GIDP；未匹配轨迹用增强多特征匹配S_total=w_b·S_base+w_r·S_relative+w_t·S_trajectory（基相似度S_base含空间邻近、尺寸一致、类别一致，相对位置一致性S_relative用邻目标角度余弦相似度并施动态Y坐标差阈值ΔY_max，轨迹一致性S_trajectory用历史轨迹方向余弦相似度窗口L），超接受阈值τ_reassoc则继承全局身份；GIDP维护本地到全局ID绑定短历史，稳定视角（F_stable连续帧）优先分配GID，定期动态ID压缩；跨视角行为推断用置信度加权conf_enhanced=(1?w_m)·conf_YOLO+w_m·IoU_mask；系统架构为多线程并发，同步双流摄取、并行YOLOv9s推理、周期EdgeSAM、专用融合线程串行CowTracker更新与跨摄像头融合、异步时空跟踪与行为分析队列。

研究结果部分，保留原文小标题并说明。

4. Results and analysis

在保留的6000帧带人工标注子集上用Ground-Truth（GT）指标（Hungarian匹配IoU≥0.5计算F1、IDF1、ID switch rate每1000帧、Weighted LLTC、Long-track coverage≥30 s）与全序列Proxy指标（基于时空自一致性物理轨迹链IoU贪婪链接，评估Proxy IDF1、Weighted LLTC、Occ. Recov.%、ID Sw/1k、Long-Trk%）评估；检测对比17种YOLO变体，Bovine-LTID（YOLOv9s）mAP50 0.944±0.003，mAP50-95 0.885±0.008，Precision 96.1%±0.3%，Recall 94.0%±0.7%，Drinking类mAP50 0.779±0.017优于多数基线；单摄像头跟踪对比ByteTrack、DeepSORT、StrongSORT、OC-SORT、Deep OC-SORT，CowTracker（关ID恢复）F1 0.9901/0.9867，IDF1 0.8001/0.7698，ID Sw/1k 17.5/25.5，Weighted LLTC 55.1%/47.3%，Long-Trk 97.9%/97.2%，Proxy IDF1 0.97/0.96，体现保守关联致局部碎片化但保轨迹纯度；CowTracker消融（E1–E4）显示各组件激活计数（E1 Robust 34790、E2 Block 1554、E4 Buffer 796）下局部Sw/1k保持~111/87，全局Raw Sw/1k降至9.80、Semantic Sw/1k 7.70、Cohen’s d 1.684，H+NN基线全局Raw Sw/1k 53.90、d ?0.791；跨摄像头融合评估H+NN基线（ByteTrack+单应性+最近邻）与Bovine-LTID，GT子集上Bovine-LTID跨摄像头一致性99.33%，Raw Sw/1k 10.80，Semantic Sw/1k 8.80，GLTC 91.02%，MT 60%，Cohen’s d 1.66（raw）/1.70（semantic），较单视角输入降87.6%，H+NN基线Raw Sw/1k 53.90、GLTC 83.12%、MT 50%、d ?0.79；全10分钟未标注序列Proxy评估Bovine-LTID Raw Sw/1k 35.30、Semantic Sw/1k 12.70、GLTC 91.02%、MT 60%，较单视角降64.1% raw、87.1% semantic，Cohen’s d 2.26；长期个体行为分析从全局轨迹日志提取空间占用热力图、行为时间线（ethograms）、时间预算分布，支持偏离正常昼夜节律识别（如躺卧时长变化提示跛行）。

5. Discussion

讨论指出Bovine-LTID用单应性多视角融合解决单摄像头饲区密集遮挡致身份碎片化，CowTracker+GIDP达99.33%跨摄像头一致性、语义身份切换降87.6%，无需视觉ReID维持个体身份；扩展性分析：单摄像头CowTracker复杂度O(|T|·|D|)≈O(N2)，跨摄像头匈牙利匹配O(N3)，当前N≤5可控，未来可用空间分区匹配、GPU加速线性分配、门控预过滤（世界坐标邻近≈2 m）缓解；局限性：样本量小（同时≤5牛）、单畜舍西门塔尔牛、检测器仅该品种训练、同质地表假设、偶发长期遮挡未完全消除ID碎片化、无正面脸相机故未与面部识别框架直接定量比较；未来工作：扩大样本与多品种多环境验证、在线单应性细化与深度感知投影、空间分区与GPU加速基准测试、多站点迁移实验、自适应空间学习用于户外、长时数据用高级机器学习做早期疾病预警与个性化管理。

6. Conclusion

结论翻译：研究人员提出Bovine-LTID，一种轻量、无ReID嵌入、用于小群体室内畜舍牛的多摄像头跟踪与行为分析系统。结合行为感知YOLOv9s检测器（测试集mAP50 0.944±0.003，mAP50-95 0.885±0.008）、牛专用CowTracker、周期EdgeSAM细化与单应性坐标统一，解决身份碎片化持续挑战。在10分钟人工标注双摄像头监测序列上，Global ID Pool与跨视角行为推断机制达99.33%跨摄像头身份一致性，较单摄像头跟踪输入全局原始身份切换降87.6%，60%畜群分类为Mostly-Tracked（Cohen’s d=1.66）。进一步提供系统性扩展性分析，识别关键计算瓶颈并概述具体优化策略（含空间分区匹配与GPU加速分配）作为扩展至更大畜群路线图。当前概念验证规模结果表明，在多摄像头牛监测中时空一致性而非基于外观的ReID可作为身份保持的可行替代方案。虽需在更大更多样化畜群进一步验证，本工作为精准畜牧业资源高效、无ReID嵌入方法提供基线框架。