《Smart Agricultural Technology》：Long-term Tracking of Individual Pigs Through Re-identification
编辑推荐：
畜牧业生产受益于动物健康与福利的自动化监测。然而，利用计算机视觉（Computer Vision, CV）对商业化猪只进行连续追踪，因其外观高度相似、商业环境中需避免依赖物理标签，以及生长和污垢导致的外观变化等因素而受到阻碍。本研究通过一种基于深度度量学习的开
畜牧业生产受益于动物健康与福利的自动化监测。然而，利用计算机视觉（Computer Vision, CV）对商业化猪只进行连续追踪，因其外观高度相似、商业环境中需避免依赖物理标签，以及生长和污垢导致的外观变化等因素而受到阻碍。本研究通过一种基于深度度量学习的开放集重识别（Re-Identification, ReID）框架来解决纵向追踪问题，该框架旨在无需人工或自然标记的情况下，维持视觉上相似的群养猪只的身份。研究人员在一个大规模的视觉相似猪只纵向数据集上，使用联合ArcFace与半困难三元组损失对ResNet50主干网络进行了微调。为缓解嵌入漂移，一种多锚点投票算法将每日聚类质心与历史身份表征的滚动库进行匹配，同时自定义的合成污垢增强防止了对瞬态污垢模式的过拟合。研究评估了三种模态：实例分割（Instance Segmentation, IS）、定向边界框（Oriented Bounding Box, OBB）和轴对齐边界框（Axis-Aligned Bounding Box, AABB）。在为期18天的开放集评估中，多锚点框架在IS图像上达到了88.0%的平均追踪准确率，优于逐日顺序匹配的基线方法（54.6%）。OBB在较低计算成本下性能与IS相当，而AABB由于背景噪声的引入性能降至51.4%。在无合成污垢增强的情况下，IS图像的追踪准确率降至56.5%。改进的GradCAM显示模型对头部、肩部和臀部等身体区域保持一致的关注，表明识别可能依赖于稳定的解剖学特征而非瞬态伪影。这些研究结果表明，在无物理标签的情况下对视觉相似的猪只进行重识别是可行的，这是在精准畜牧业中实现非侵入性、连续福利监测迈出的一步。
**1. 研究背景与问题**
全球人口增长及对高品质蛋白食品的需求，要求更加高效的畜牧生产系统，但集约化生产往往伴随动物福利问题。精准畜牧业（Precision Livestock Farming, PLF）旨在通过连续、自动化的监测系统，实时捕捉个体动物的行为，以补充间歇性的人工观察。现有的个体识别方法，如耳标、电子RFID标签、微芯片、耳刻、烙印、纹身、基于自然标记的照片识别、视网膜扫描及吻部/鼻纹等生物识别技术，虽然传统上可靠，但存在造成疼痛、劳动负担、标签脱落、可追溯性问题以及降低产品价值等缺陷。同时，许多PLF任务依赖于非接触式传感，接触式或侵入性识别方法不适用于大规模追踪。计算机视觉（Computer Vision, CV）因此成为一种理想的非接触式替代方案。
然而，利用CV对商业化猪只进行长期多目标追踪（Multi-Object Tracking, MOT）面临严峻挑战。遗传标准化导致商业化猪只外观几乎无法区分，且其在生长阶段形态变化迅速；环境中的光照变化、遮挡和视角差异造成短期外观波动；污垢积累与自我清洁行为导致毛色和纹理的中期不可预测变化；生长过程中的形态改变则构成长期的领域偏移。现有公开的猪只追踪数据集常依赖高可见度的ID标签、人工标记或明显自然斑点，无法反映商业现实。此外，传统全监督分类框架需在引入新个体时重新训练网络，这在种群波动频繁的实际农场中不切实际。因此，视觉重识别（Re-Identification, ReID）方法虽已在具有强视觉个体性的物种（如牛）中取得进展，但对视觉上高度统一且形态快速变化的商业化猪只，其长期适用性尚属空白。本研究旨在弥合这一空白，利用一个包含视觉一致、群养、无可见标记猪只的大规模纵向数据集，开发并评估一个无需物理标记的开放集ReID框架。
**2. 研究方案与关键技术**
研究人员开展了本研究，以解决视觉相似猪只的长期身份维持问题。研究基于一个扩展的大规模纵向猪只追踪与重识别数据集，该数据集包含162头视觉相似的群养商业化猪只，通过头顶彩色摄像头记录，并使用视觉一致的RFID耳标及紫外光（UV）隐形标记提供身份真值。研究构建了一个基于深度度量学习的开放集ReID框架。关键方法包括：1）采用在ImageNet上预训练的ResNet50作为骨干网络，结合ArcFace角边缘损失与半困难三元组损失进行联合训练，以学习判别性嵌入表征；2）设计动态多锚点投票算法，使用滚动锚点库（存储过去5天高置信度的身份质心）结合匈牙利算法进行共识投票，以缓解嵌入漂移并修复身份链；3）引入自定义的合成污垢增强管道（基于OpenSimplex噪声与分形布朗运动），通过随机阈值化和强度倍增模拟污垢累积，防止模型对瞬态环境伪影过拟合；4）评估三种输入模态：实例分割（IS）、定向边界框（OBB）和轴对齐边界框（AABB）；5）提出面向开放集的自监督持续学习阶段，利用高置信度伪标签样本对模型进行每日微调。模型在G1–G18和G22共150头猪的封闭集上训练，在两个未见过的群体G19和G20（共12头猪）上进行18天的开放集纵向评估。
**3. 主要研究结果**
**3.1 嵌入空间可视化与模型可解释性：** 通过t-SNE对128维嵌入向量的可视化显示，尽管存在跨拍摄日的自然形态变化，每头猪的时间嵌入形成了清晰、隔离的聚类，表明模型学习到的表征可泛化至未见个体。改进的GradCAM激活图显示，模型对同一头猪在不同时间（第0、9、18天）关注相似的稳定身体区域（如头部、肩部和臀部），但不同个体间的空间模式略有差异，暗示模型依赖个体特异且时间稳定的形态学线索。
**3.2 无监督注册：** 评估了无监督注册的伪标签准确率随样本保留率的变化。结果表明，IS和OBB模态性能最优，在10-40%的低保留率下均超过95%准确率，其中IS在10%保留率时达到最高峰值准确率97.20%。OBB在高保留率下表现更稳定，两者平均准确率分别为94.67%和94.63%。相比之下，AABB模态性能最低，峰值仅为90.05%，且随保留率增加下降明显，归因于边界框内包含更多背景噪声。
**3.3 纵向追踪：** 通过18天开放集评估，消融实验显示，使用顺序日间匹配的基线方法（锚点库大小1天）平均准确率仅54.6%。扩大历史记忆可提升稳定性，2天和3天锚点库分别达到58.8%和69.4%。5天锚点库稳定了身份链，平均准确率达88.0%，且结果对余弦距离阈值变化不敏感。对比三种模态，IS表现最优（88.0%），OBB次之（82.8%），AABB性能退化严重（51.4%）。移除合成污垢增强导致IS（降至56.5%）和OBB（降至46.1%）性能显著下降，表明紧密裁剪的模态更依赖皮毛外观，易将暂时性污垢编码为身份线索，而AABB则未从中受益。回退机制仅在锚点库填充期（前四天内）触发。此外，启用自监督持续学习后，平均准确率从88.0%提升至90.5%。
**4. 结论与意义**
对模型可解释性和输入模态的分析表明，背景污染是影响纵向稳定性的主要失败模式，OBB在较低计算成本下实现了与IS相当的性能，是边缘部署的实用折中方案。研究同时指出当前方法的局限性，包括对站立姿态图像的依赖、在受控研究环境采集的数据与商业规模的差异、以及参数选择基于同一评估群体。持续学习虽带来收益，但自监督特性使其存在错误累积风险，因此零样本配置是更稳健和可部署的默认选择。
本研究结论指出，顺序性日间追踪易受级联身份失败影响（平均准确率54.6%），而所提出的多锚点投票框架在相同评估期内将平均准确率提升至88.0%。输入模态评估表明，IS掩码提供了最稳定的ReID性能，OBB在较低计算成本下具有可比性，而AABB则因背景噪声性能受损。合成污垢增强管道有效防止了模型对瞬态环境伪影的过拟合。模型可解释性揭示网络随时间关注一致的身体区域，表明其可能依赖于稳定的解剖学特征。该框架证明了在无物理标签的情况下对视觉相似家畜进行生物识别是可行的，为商业化农业环境中实现非侵入性的个体动物福利、健康和行为长期监测奠定了基础。
