AutoCattlogger：基于轨迹辅助与预定义特征空间的自动即时牛只身份识别系统

《Smart Agricultural Technology》：AutoCattlogger: Track assisted, automatic, instant cattle identity cataloger for recognition and beyond

本文推荐研究人员针对奶牛场牛群动态变化背景下传统识别方法适应性差、标注成本高的问题，开展了名为AutoCattlogger的自动牛只身份识别系统研究。该系统通过结合目标跟踪与预定义牛只条形码（cow-barcode）特征空间，实现了牛只身份的即时注册与高精度识别，Track-level Top-1识别准确率超过90%，且具备应对牛只体型长期变化与光照条件波动的强鲁棒性，为智慧畜牧业管理提供了零标注、可解释的自动化解决方案。

　　

在现代化奶牛养殖场中，高效管理数百头奶牛是一项劳动密集型任务。工作人员需要持续监测每头牛的健康状况、采食行为、体重变化及发情期表现等关键指标。实现这些监测任务的自动化能够显著降低人力成本并提升运营可靠性，而计算机视觉技术为此提供了低成本的可行路径。然而，所有自动化监测系统都依赖于一个核心前提——精准的牛只身份识别。任何记录的体征数据都必须准确关联到特定个体。因此，开发一个鲁棒且可靠的计算机视觉牛只识别系统是构建高效牛群管理系统的首要步骤。

现实养殖环境对识别系统提出了严峻挑战。与精心策划的数据集不同，真实牛场的数据有限，且缺乏足够的人力和时间进行数据收集与标注。更关键的是，奶牛场会定期引入新牛只和淘汰老牛只，一个优秀的识别系统必须能够快速适应这种动态变化的牛群，而无需耗费大量计算资源进行模型重新训练。然而，当前主流的基于深度学习（DL）或深度度量学习（DML）的牛只识别方法难以满足这些现实约束。DL方法将识别视为多分类问题，需要模型记忆数百头牛的外观，无法在不修改网络架构和进行昂贵重训练的情况下识别新个体。DML方法虽然能通过特征嵌入识别新个体，但仍需大量标注数据才能达到所需性能，这在真实场景中难以实现。

针对上述问题，发表在《Smart Agricultural Technology》上的研究提出了一种名为AutoCattlogger的自动牛只身份识别系统。该系统创新性地将身份无关的牛只跟踪器与源自Eidetic Cattle Recognition (ECR) 系统的“牛只转条形码”（cow-to-barcode）转换系统相结合，实现了牛只身份的自动标注与即时注册。这意味着，一旦新牛只从摄像头下走过，系统便能立即学习其身份。AutoCattlogger将每头牛的唯一被毛图案转化为预定义的、可解释的条形码表示，使得牛只身份的添加或删除无需昂贵的模型重训练。此外，该系统还具备从单张图像进行一次性学习（one-shot learning）的能力，内置光照校准功能，并对不同牛只姿态具有鲁棒性。基于AutoCattlogger构建的牛只识别应用AutoCattleID，即使在一年后对未标注、未分割的牧场视频进行识别，其轨迹级别Top-1识别准确率仍能稳定保持在90%以上，展示了该系统对牛只体型长期变化和场景光照条件变化的强大鲁棒性。

为开展研究，作者主要应用了以下几项关键技术方法：首先，利用基于Mask R-CNN和HRNet的关键点检测器进行牛只实例定位与姿态估计；其次，采用基于Black-Mirror Light Probes (BMLPs) 的黑点校正技术进行场景光照校准；第三，设计了一套基于规则检查的关键点校正器以确保解剖关键点的准确性；第四，开发了一个简单的在线多目标跟踪器（MOT）来生成每头牛的运动轨迹；最后，构建了基于统计众数平均的Cattlog（牛只身份目录）来存储代表每头牛身份的cattlog-barcode。研究数据来源于美国普渡大学奶牛场（Purdue Dairy）顶部摄像头在2022年夏季两天和2023年夏季两天（相隔一个月）采集的连续小时长视频（Raw Videos Datasets），并辅以人工记录的牛只耳标号作为地面真实值。

3. Method

研究人员构建的AutoCattlogger系统包含两个核心模块：牛只转条形码系统和牛只跟踪器。牛只转条形码系统首先通过实例分割和关键点检测定位视频帧中的每头牛，并利用关键点校正器和基于规则检查的形状模型验证关键点有效性。随后，系统应用颜色校正器减少场景非均匀光照造成的镜面高光影响。接着，姿态校正器利用检测到的实例掩码、关键点和颜色校正后的视频帧，将牛只实例转换为具有标准姿态（脊柱笔直、图像尺寸固定）的图像。最后，条形码生成器通过像素化和二值化处理，生成代表牛只身份的512x1024像素的二进制条形码。牛只跟踪器则采用简单的在线多目标跟踪算法，将连续帧中的牛只检测结果编译成独立的运动轨迹。每个轨迹点存储牛的定向边界框坐标，若关键点检测无误则同时存储其条形码。通过计算轨迹中部分高质量实例（靠近视频帧中心的Top 20%轨迹点）条形码的统计众数，生成代表该牛只身份的cattlog-barcode，并存入Cattlog目录。基于此，AutoCattleID识别应用通过匹配待识别牛只轨迹中所有实例条形码与Cattlog中条形码的汉明距离，并采用多数投票策略预测最终身份。

6. Experiments and Results

6.1. AutoCattleID vs. Deep Metric Learning

本研究将AutoCattleID与基于DML的牛只识别方法进行了比较。实验结果表明，在使用S22-Day1数据构建身份模型（Cattlog或DML支持集嵌入）并评估于S22-Day2、S23-Day1和S23-Day2数据时，AutoCattleID在轨迹级别和实例级别的Top-1识别准确率均显著高于DML方法。即使在一次性学习场景下（仅使用每头牛一张图像进行训练），AutoCattleID也表现出巨大优势，其轨迹级别Top-1准确率在跨年数据上仍超过92.5%，而DML方法则低于60%。这证明了使用预定义条形码特征空间优于DML学习得到的嵌入空间，尤其在数据有限和需要快速适应新个体的场景下。

6.2. AutoCattleID vs. Our previous works

与团队前期开发的牛只识别系统（ECR, SURABHI, BMLP）相比，基于AutoCattlogger的AutoCattleID在正确识别实例数量上实现了大幅提升（从BMLP的4198次提升至7042次）。在牛只级别Top-K识别准确率方面，AutoCattleID在K=3时即达到100%的准确率，性能显著优于以往所有版本，证明了集成跟踪上下文信息对提升识别性能的有效性。

6.3. Multi-year cross-evaluation

通过在不同年份的数据日之间进行交叉评估（例如，用S22-Day1的Cattlog识别S23-Day1和S23-Day2的牛只），研究发现AutoCattleID的轨迹级别Top-1识别准确率始终保持在90%以上，实例级别Top-1准确率在80%至90%区间内，且当K=5时，实例级别准确率几乎总能超过95%。这充分证明了AutoCattlogger生成的牛只身份特征（条形码）对于牛只体型长期变化（如生长、怀孕）以及场景背景、光照条件变化具有出色的鲁棒性。

6.4. Ablation study

消融实验分析了AutoCattlogger各组件的重要性。结果显示，移除关键点校正器对性能影响较小，说明HRNet关键点检测器本身精度已足够。移除颜色校正器会导致性能出现不同程度下降，凸显了其应对光照变化的价值。而最关键的是，如果使用轨迹中所有可用实例（而非筛选Top 20%的中心实例）来生成cattlog-barcode，识别性能会出现显著下降，这表明选择性 cattlogging 策略对于过滤因透视变形或边界处关键点强制拟合导致的低质量实例至关重要。

6.5. Discussion

尽管AutoCattleID取得了优异的Top-K识别性能，但要实现100%的Top-1准确率以满足实际部署需求，仍是未来努力的方向。系统性能依赖于其各组件的正常工作，尽管内置了多种检查与平衡机制，但在极少数情况下（如两头牛距离过近被检测为一个实例）仍会出现错误。系统的模块化设计为后续升级关键点检测器、跟踪器等组件提供了便利。此外，全黑毛色的牛只在系统中扮演着生成场景光照图的重要角色，有助于提升所有牛只的识别效果。

本研究成功开发出以用户为中心的AutoCattlogger自动牛只身份识别系统，有效解决了动态牛群管理中的身份识别难题。该系统利用预定义、可解释的身份特征空间，实现了牛只身份的零训练时间、零人工标注成本的即时注册与高精度识别。其核心优势在于巧妙结合了视频上下文信息（牛只轨迹）与鲁棒的身份特征表示（牛只条形码），即使在牛只经历长期生长和环境变化后，仍能保持超过90%的轨迹级别Top-1识别准确率。AutoCattlogger的模块化架构为未来性能进一步提升（如集成运动模型、利用深度信息区分全黑牛只）奠定了基础，展现了其在推动智慧畜牧业自动化、智能化发展方面的巨大潜力与应用价值。