《Journal of Dairy Science》：Individual identification of dairy cows with occluded camera views using open-set contrastive learning model
编辑推荐：
本研究旨在利用计算机视觉技术在具有挑战性的视觉条件下（如部分遮挡、光照变化和多姿态）对自由散栏牛舍中的奶牛进行个体识别。研究人员首先使用YOLOv8（You Only Look Once, Version 8）模型结合射频识别（Radio Frequency
本研究旨在利用计算机视觉技术在具有挑战性的视觉条件下（如部分遮挡、光照变化和多姿态）对自由散栏牛舍中的奶牛进行个体识别。研究人员首先使用YOLOv8（You Only Look Once, Version 8）模型结合射频识别（Radio Frequency Identification, RFID）信息进行检测和标注，收集了49头奶牛在4天内每头每天约500张图像的数据集。在模型评估时采用“留出一天”交叉验证策略，即保留一天数据进行测试，其余3天用于训练和验证。研究人员探索了两种深度学习途径用于个体识别：一是将问题视为多分类任务的Xception模型；二是基于孪生架构（Siamese architecture）的对比学习方法，用于学习图像对之间的相似性。在Xception方法中，每头奶牛被视为一个独立类别。对比学习模型则将测试图像与由训练集生成的参考嵌入（reference embeddings）进行比对，利用k-means聚类为每头奶牛选取具有代表性的样本，并根据最高相似度分配身份。Xception模型在所有测试日期的平均精确率（precision）为0.84，召回率（recall）为0.79，F1分数（F1-score）为0.78，总体准确率（accuracy）为0.79；其最优表现达到精确率0.89、召回率0.88、F1分数0.87以及准确率0.88。对比学习模型在所有测试日期的平均精确率为0.61，召回率为0.70，F1分数为0.64，准确率为0.70。虽然其在闭集（closed-set）场景下的总体性能低于Xception模型，但该模型被部署于开放集（open-set）场景，能够识别训练阶段未出现的个体，展现出更强的泛化能力。在开放集评估中，当纳入训练阶段未见的奶牛图像时，该模型实现了1.00的准确率，成功将新引入畜群的动物识别为“未知”。这凸显了该技术在动态畜群组成环境（动物被频繁调入或调出特定群体）中的潜在应用价值。这些结果突出了两种模型各自的优势：Xception模型在闭集条件下准确率更高，而对比学习模型在开放集场景中更为有效，对未见过个体具有更强的鲁棒性。总之，计算机视觉可作为传统动物识别方法的潜在替代方案，提高牲畜身份监测效率、降低劳动成本、减少人为错误，并支持连续数据收集以促进精准畜牧（precision livestock farming）和优化决策。此外，计算机视觉能够实现自动化、可扩展且非侵入性的表型鉴定（phenotyping），与动物识别和追踪相结合。
该研究由Luara A. Freitas、Jo?o R.R. Dorea、Kent A. Weigel和Guilherme J.M. Rosa完成，发表于《Journal of Dairy Science》。研究背景在于，准确的个体动物识别是奶牛养殖中的关键环节，可实现可追溯性、健康监测以及畜群管理各层面的知情决策。在大规模养殖中，由于数百甚至数千头奶牛饲养于自由散栏牛舍或开放牧场，缺乏自动化系统时个体管理变得日益复杂。传统的识别系统，如视觉耳标或基于无线射频识别（Radio Frequency Identification, RFID）的电子耳标，虽然在奶牛业中广泛应用，但存在明显局限：视觉耳标易磨损、丢失、重复或损坏；RFID系统虽具一定自动化优势，但需要配套基础设施，并面临安全隐患、高昂维护成本及操作故障等问题。这些不足降低了长期个体监测的可靠性，阻碍了识别数据与其他自动化系统的整合。在此背景下，利用生物特征进行个体识别成为研究热点，但虹膜扫描、面部识别或基于毛色模式的识别等方法存在有效距离有限、对噪声敏感等问题，可能限制其在商业环境中的应用。相较之下，基于毛色图案尤其是荷斯坦奶牛黑白花纹的识别，利用标准RGB相机即可获取，无需接触动物，成为一种实用且可扩展的方案。
在该研究中，研究人员针对以往研究多在受控条件下（如顶置相机、优化角度、最小遮挡）进行的问题，明确以更具挑战性的真实养殖环境为目标。研究使用低成本侧视RGB相机安装于牛舍内，捕捉频繁出现的遮挡、部分可见、姿态和光照变化等复杂情况，为自动化识别提供更为现实的评估场景。研究针对的关键问题之一是模型对未知个体的泛化能力。在闭集（closed-set）识别中，测试集所有个体均在训练阶段出现过，模型仅需在已知身份中进行分配，但该场景无法检验模型识别未见动物的能力。而开放集（open-set）识别则包含训练阶段未出现的个体，要求模型既能识别已知个体，又能检测未知个体，这更符合商业奶牛场动态变化的实际情况。
研究人员开展了如下研究：首先，利用YOLOv8模型进行奶牛检测和边界框标注，并通过与RFID信息的结合，在2024年7月于威斯康星大学麦迪逊分校Emmons Blaine奶牛研究中心采集数据，包括49头荷斯坦奶牛在4天内每头每天约500张图像。RFID系统用于收集奶牛在电子饲喂站进出时的真实身份，仅作为数据集标注的参考，不参与模型训练或推理。YOLOv8模型经微调后，在验证集和测试集上均取得较高性能（验证集精确率0.84、召回率0.87、F1分数0.86；测试集上妆0.86、召回率0.87、F1分数0.86）。基于YOLOv8检测到的边界框裁剪个体图像后，研究人员采用两种深度学习方法进行个体识别：一是基于Xception架构的卷积神经网络（Convolutional Neural Network, CNN），aude将其视为多分类问题，每头奶牛作为一个独立类别，输入图像大小为299×299像素，采用全局平均池化并添加1024个单元的全连接层，以softmax层输出49个类别，使用Adam优化器、学习率0.001、批次大小32，训练100个epoch，采用类别交叉熵损失函数，以“留出一天”交叉验证策略评估性能；二是基于ResNet-18（Residual Network-18）骨干网络的孪生神经网络（Siamese neural network）对比学习方法，学习图像对的相似性。研究中使用10000对图像（包括正样本对和负样本对）训练模型，采用二元交叉熵损失，学习率0.001，批次大小32，训练100个epoch，生成512维嵌入向量；随后使用k-means聚类，并依据轮廓系数（silhouette score）确定每头奶牛的最优聚类数，选取距聚类中心最近的图像作为参考图像，测试阶段计算测试图像嵌入与参考嵌入之间的欧氏距离，通过多数投票分配奶牛身份。在开放集分析中，研究引入9头训练阶段未出现奶牛的图像（每头每天500张，共18000张测试图像），通过设定距离阈值（0.5）判断测试图像是否属于已知个体，若最小距离超过阈值则标记为“未知”。
研究结果表明，在闭集场景下，Xception模型在四个测试日的平均精确率、召回率、F1分数和准确率分别为0.84、0.79、0.78和0.79，最优日表现达0.89、0.88、0.87和0.88。对比学习模型在闭集场景下的平均精确率、召回率、F1分数和准确率分别为0.61、0.70、0.64和0.70，虽低于Xception模型，但在开放集场景中表现出显著优势。在开放集评估中，对比学习模型在四个测试日均实现精确率、召回率、F1分数和准确率均为1.00，能够准确将所有训练阶段未见的奶牛识别为“未知”。此外，研究还发现对比学习模型在帧级别预测中表现较弱，但通过多数投票策略可有效降低误分类，提升识别稳定性。研究人员将闭集和开放集结果按图像数量加权平均，得到对比学习模型在各日的加权准确率分别为0.72、0.81、0.69、0.77，总体平均准确率为0.75 ± 0.05。
在讨论部分，研究人员指出，侧视相机配置带来的遮挡、部分可见和光照变化等挑战，使得本研究较以往顶视角研究具有更高的现实性和复杂度。Xception模型在闭集条件下的高准确率表明分类模型在静态场景下的有效性，而对比学习模型在开放集的优异表现则凸显了相似度学习方法在动态环境和新个体识别中的灵活性与鲁棒性。研究人员认为，两种方法具有互补优势，未来可考虑将分类与相似度学习结合的混合系统，以实现更可靠的自动化个体识别。研究还指出，当前系统仍停留在单相机设置，未来可通过多视角系统或结合深度信息进一步缓解遮挡问题；同时，可探索半监督学习（如伪标签技术）和对更复杂的度量学习损失函数（如三元组损失triplet loss、InfoNCE等）的应用，以进一步提升模型性能。此外，准确的个体识别还可扩展至采食行为、日常行为监测及健康异常检测等应用领域，助力精准畜牧和动物福利提升。
研究结论部分翻译如下：本研究证明了基于深度学习计算机视觉模型在真实养殖环境中利用毛色花纹进行奶牛个体识别的有效性。Xception模型在闭集场景中实现了较高的准确率。基于孪生网络架构的对比学习模型则展现出更大的灵活性，能够泛化至未知动物，无需重新训练分类器即可准确区分新个体。这一能力在动态变化的养殖环境中尤为重要。
