Cattle-vision：一种用于采食过程中奶牛个体连续识别的鲁棒视觉系统

《Smart Agricultural Technology》：Cattle-vision: A robust vision-based system for continuous individual dairy cow identification during feeding

　　

摘要

对个体奶牛进行连续身份输出，是量化采食时长、采食频率及其他行为关联健康指标的前提。在商业采食区域，较长的相机-动物距离、头部姿态变化、围栏遮挡、相邻动物遮挡、强光以及夜间红外成像经常中断颈圈数字的可见性，使逐帧识别不可靠。本研究提出了Cattle-Vision，一种结合高对比度双侧标签颈圈、互补双相机布局、小目标头颈检测、局部光学字符识别（OCR）、相机特定多目标跟踪以及轨迹级身份管理的视觉系统。该系统设计明确区分了互补双相机覆盖与跨相机跟踪：相机A和相机B独立处理，身份连续性在每个相机视图内评估。对于每个匹配的检测-轨迹对，在OCR之前裁剪头颈区域；因此，生成的数字序列继承相应的相机特定Track ID。基于状态的身份缓存执行初始化、短期保留、历史投票、冲突处理和遮挡后重新确认。在保留的检测器测试集上，完整Hyper-FocusNet配置达到99.7%精确率、95.1%召回率、96.2% mAP@50、89.3% mAP@50–95（仅检测器38 FPS）。在独立连续视频测试集上，Cattle-Vision达到91.32%个体级识别准确率、88.67% IDF1、88.72%身份维持准确率（IMA）和92.13%重新确认成功率（RSR）。结果表明，轨迹条件化OCR和轨迹级身份管理减少了由暂时颈圈遮挡、OCR失败或漏检引起的未知输出、身份中断和错误身份切换。

**Cattle-Vision：一种面向奶牛采食过程个体连续识别的视觉系统**

精准畜牧业（PLF）要求对奶牛个体进行精确识别，以支持采食行为监测、健康管理和早期疾病预警。然而，现有主流识别技术在实际应用中各有局限：传统耳标和烙印易脱落、磨损且需近距离人工读取；RFID等电子识别需要额外硬件部署，可能引起动物福利问题，且无法与视觉行为数据自然融合；基于面部、背纹、虹膜、步态的生物特征识别在开放场景中易受距离、遮挡和环境光照影响，多聚焦于单帧准确率而缺乏对整个采食过程的连续身份记录。在商业采食区域，相机到动物距离远、头部姿态多变、围栏与邻牛遮挡、强光及夜间红外成像，经常使颈圈数字不可见，逐帧识别不可靠。为此，研究人员开发了Cattle-Vision系统，旨在实现采食过程中奶牛个体的连续身份输出。

Cattle-Vision系统结合了高对比度双侧标签颈圈、互补双相机布局、小目标头颈检测、局部OCR、相机特定多目标跟踪和轨迹级身份管理。数据采集于山东金兰奶牛有限公司（山东省泰安市泰山区）的标准牛舍，实验牛群为1800头荷斯坦奶牛，覆盖各年龄阶段；采集时间为2025年11月15日至2026年1月15日，使用两台海康威视4K相机以约76°俯视角对角安装，分别记录四个代表性采食时段（08:00–10:00、12:00–14:00、16:00–18:00、02:00–04:00）。经独立系统级测试集验证，系统在检测器测试集上达到99.7%精确率、95.1%召回率、96.2% mAP@50、89.3% mAP@50–95；在连续视频测试集上达到91.32%个体识别准确率（AccID）、88.67% IDF1、88.72%身份维持准确率（IMA）、92.13%重新确认成功率（RSR）。该研究证明，轨迹级身份管理可有效减轻短期遮挡和OCR失败造成的身份中断，为真实采食环境下的连续个体识别提供了可行方案。论文发表在《Smart Agricultural Technology》。

主要关键技术方法包括：（1）设计高对比度双侧数字颈圈，采用仿水母悬垂结构，无需配重，双侧对称数字使任一侧被遮时仍可识别；（2）构建互补双相机覆盖布局，相机A和B独立处理，不进行在线跨相机轨迹融合；（3）提出Hyper-FocusNet检测器，包含P2高分辨率分支、单类CenterHead和条件安全池化（SafePool），用于小目标头颈区域定位；（4）提出Cattle-Eye文本分析模块，使用DBNet检测文本区域、SVTR识别数字序列，并在每个跟踪关联的裁剪区域内局部运行OCR；（5）采用ByteTrack进行相机特定多目标跟踪，并对每个检测-轨迹对执行跟踪条件化OCR关联；（6）设计轨迹级身份管理机制，包括身份缓存、初始化、短期保留、历史投票、冲突处理和重新确认。独立测试集包含15个完整视频（150.4分钟）、32头独特物理奶牛、599条相机特定轨迹及26627个轨迹帧身份实例，并标注了645个自然可见性退化事件；所有训练/评估按视频段划分以防止时间泄漏。

研究结果如下：

**3.1 全因子检测器消融**：通过8种模块组合的完整23消融实验，完整Hyper-FocusNet配置在mAP@50–95上比基线提升18.1个百分点，AP_small提升18.3个百分点，且仅增加1.2M参数和0.8 GFLOPs；主要收益来自更严格的定位和小目标检测。

**3.1.1 衍生模块交互**：通过非加性交互增益计算，P2-HRB+CenterHead为+4.2点，P2-HRB+SafePool为+5.3点，CenterHead+SafePool为+5.0点，表明三个模块在严格IoU阈值下具有互补性。

**3.2 P2-HRB、CenterHead和SafePool诊断结果**：将P2-HRB置于P2层获得75.4% mAP@50–95，且模型大小增幅最小；Grad-CAM可视化显示完整P2-HRB的特征覆盖更全面。CenterHead将归一化中心定位误差从0.080降至0.020，主要改善小目标定位。SafePool将异常尺寸输入的成功处理率从75.5%提升至92.3%。

**3.3 局部身份信息读取能力验证**：在OCR测试集上，Cattle-Eye（DBNet+SVTR）获得最高字符准确率97.7%、序列准确率90.4%、最低字符错误率（CER）2.3%，在ROI速度62 FPS下达到精度与效率的最佳平衡；t-SNE特征可视化显示0–9数字特征形成清晰聚类。

**3.4 身份管理消融**：与逐帧OCR和仅ByteTrack相比，完整身份管理方法将AccID从84.03%提升至91.32%，IDF1从77.92%提升至88.67%，未知率从10.41%降至4.04%，身份中断次数从38降至11，归一化中断率从17.58降至5.09次/100轨迹分钟；保留机制主要减少未知输出，历史投票减少ID切换，重新确认改善遮挡后恢复。

**3.5 光照条件下的系统性能**：在四个时段中，下午自然光下AccID最高（93.10%），夜间红外最低（88.76%）；总体AccID为91.32%，IMA为88.72%，RSR为92.13%，表明系统在昼夜变化下均能保持较高连续性。

**3.6 遮挡与颈圈失效评估**：自然遮挡场景中，轨迹级身份管理使系统在颈圈暂时被遮时仍能维持最近高置信身份输出；受控数字扰动实验显示，轻度旋转/遮挡/模糊下AccID仍超过90%，但75%遮挡或严重模糊时AccID降至50%左右；长期隐藏超过阈值时，系统正确输出Unknown，RSR为63.89%。

**3.7 离线重叠区域一致性**：对256对同步观测的离线分析表明，两相机同时正确的比例为81.25%，有效输出对中交叉视角有效ID一致率为87.65%；该分析仅评估输出一致性，不构成在线跨相机融合。

**3.8 并发视频流端到端运行时间**：在RTX 5090工作站上，单流端到端吞吐量为18.7 FPS，双流配置每流15.7 FPS、P95延迟92.6ms、队列溢出损失1.8%，可支持实验双相机部署；六流时总吞吐量52.8 FPS，但每流降至8.8 FPS，且峰值显存28.9GB接近容量上限。

讨论部分指出，Cattle-Vision的贡献是任务特定的系统集成与身份管理框架，而非新的基础检测器或OCR结构。轨迹条件化OCR消除了全局文本-轨迹匹配的歧义，身份保留适用于目标可见但局部数字暂时被遮的情况，不能替代长时间完全遮挡后的重新识别。局限性包括单一场地验证、无双相机轨迹融合、依赖初始有效颈圈读数以及长期严重遮挡可能破坏轨迹。未来工作将结合相机标定、重叠区域几何、外观嵌入和置信度感知OCR证据实现跨相机切换，并进行多农场验证和自适应OCR调度。

研究结论（翻译）：Cattle-Vision通过整合双侧高对比度颈圈、互补双相机覆盖、头颈检测、每轨迹局部OCR、相机特定跟踪和轨迹级身份管理，解决了采食期间奶牛连续识别问题。该方法明确在检测裁剪区域被分配Track ID之后执行OCR，因此文本观测直接更新对应轨迹。双相机装置提高了覆盖率，但不进行跨相机轨迹融合。全因子检测器结果显示，完整Hyper-FocusNet配置在仅检测器38 FPS下达到99.7%精确率、95.1%召回率、96.2% mAP@50和89.3% mAP@50–95。系统级结果达到91.32% AccID和88.67% IDF1，表明轨迹条件化OCR和轨迹级身份管理改善了暂时颈圈不可读期间的身份连续性。明确的相机特定表述也防止当前互补双相机布局被误认为跨相机跟踪系统。这些发现支持在实际采食区条件下、单个相机视图内进行连续奶牛识别的可行性。