基于几何表示的面部关键点匹配技术在绵羊生长阶段识别中的应用

《Computers and Electronics in Agriculture》：Geometric representation-based facial keypoint matching for sheep identification across growth stages

　　•开发了适用于不同生长阶段的羊的面部关键点几何匹配技术。•采用12点配置来编码眼睛、鼻子、嘴巴和耳朵根部的特征。•几何描述符的退化速度比外观特征慢。•通过可靠性加权可以减少遮挡和设备移动带来的干扰。•与基于外观的匹配方法相比，长跨度Top-1方法的准确性提高了10.3个百分点。

引言
在精准畜牧养殖（PLF）中，可靠的个体识别是一个基本要求，它支持健康监测、精准喂养、繁殖管理、福利评估和产品追溯等应用（Halachmi和Guarino，2016年；Berckmans，2017年）。传统的识别方法，包括耳标、纹身和植入式电子设备，已经被广泛使用，但它们依赖于物理标记或人工干预，并且可能会受到丢失或损坏的影响（Caja等人，2000年；Awad，2016年）。随着计算机视觉和人工智能的进步，基于视觉的生物识别已成为一种重要的非接触式个体管理方法（Kumar和Singh，2017年；Kumar等人，2018年；Fuentes等人，2022年；Mahmud等人，2021年；Pathak和Prakash，2026年）。然而，对于实际的长期管理来说，成功识别不仅需要在单个时间点进行，还需要在整个动物生长过程中持续进行。体重、喂养、行为、健康状况和治疗的记录需要在不同年龄重复收集，并且必须与正确的个体相关联。如果不能在生长阶段保持个体身份的连贯性，就会中断这种纵向联系，从而降低自动个体跟踪、生长和重量分析、长期健康监测以及数据驱动的疾病预警和繁殖管理系统的可靠性。

在基于视觉的生物识别方法中，基于面部图像的个体识别受到了越来越多的关注。现有的畜牧研究通常将面部识别视为图像分类、迁移学习或度量学习，并使用深度神经网络来提取具有区分性的外观特征（Qiao等人，2019年；Dac等人，2022年；Zhang等人，2022年；Li等人，2023年；Bergman等人，2024年；Ruchay等人，2024年）。相关的畜牧重新识别研究还探索了多视图和姿态感知表示，以改善在视角变化下的个体区分能力（Liu等人，2025a）。然而，当图库图像和查询图像之间存在较长的时间间隔时，识别变得更加困难。在生长过程中，面部形态、羊毛覆盖度和纹理的变化，以及姿态、照明和采集条件的变化，会逐渐增加同一动物的图像之间的外观差异。更一般地说，源域和目标域之间的分布差异是可转移视觉表示学习的一个众所周知的挑战（Long等人，2015年）。已有研究表明了这种时间效应的定量证据。例如，在跨时间段的猪面部识别中，当训练-测试间隔从0天增加到24天时，识别准确率从97%下降到了69%（Luo等人，2025年）。在牛的面部识别中，也明确研究了时间域的变化（Han等人，2025年）。在羊的研究中，Liu等人（2025b）使用从1个月到12个月大的动物进行了纵向识别，其中1-4个月的图像用于训练，9-12个月的图像用于测试。在这种时间分离的跨年龄设置下，传统的ResNet50模型产生了10.9%的错误率（EER），而年龄解耦的表示方法将EER降低到了5.7%。这些发现共同表明，在有限的时间变化下获得高识别性能并不一定保证在较长的生长期间身份表示的可靠性。

跨生长阶段的羊的识别并不改变个体识别的基本目标：不同的羊仍然需要被正确区分。额外的难度在于，同一只羊可能在早期生长阶段被登记，几个月后在其面部外观发生变化时再次被识别。因此，一个合适的身份表示必须既能区分不同的羊，又能允许同一只羊在生长阶段之间可靠地匹配。基于外观的表示提供了强烈的个体区分能力，但它们依赖于面部纹理、羊毛特性、颜色分布和其他图像级别的线索，这使得它们更容易受到生长过程中累积的变化的影响。这激发了对较少依赖这些外观线索的面部几何信息的研究兴趣。

面部关键点为构建此类几何表示提供了实际基础。经过归一化后，可以使用距离、角度、比例和对称关系来描述关键点的相对位置，从而提供不同于传统以纹理为主的外观特征的结构信息。对羊的形态测量学研究还表明，可以通过多个头骨和下颌测量和指数来定量描述颅面结构（Jashari等人，2022年），为通过几何关系描述面部结构提供了生物学形态测量学基础。基于关键点的方法已在动物姿态估计和跟踪中得到广泛应用（Mathis等人，2018年；Pereira等人，2022年；Lauer等人，2022年；Yang等人，2022年；Ye等人，2024年），它们在畜牧识别方面的潜力也开始受到关注。例如，Menezes等人（2025年）从检测到的牛的关键点之间的几何关系构建了生物特征，并证明这些特征可以在封闭集和开放集识别中区分不同的个体。该研究还使用控制的生物特征维度扰动来评估对模拟结构变化的敏感性。然而，控制的扰动与在实际生长过程中反复观察同一动物不同。因此，与Menezes等人（2025年）等之前的基于关键点的畜牧识别研究不同，后者通过控制扰动而不是纵向观察来评估生长效应，本研究关注的是在同一动物实际生长阶段进行观察时面部几何是否仍然有效。因此，面部几何是否比基于外观的表示提供更强的跨阶段稳定性，在这里被视为一个需要通过实验来验证的假设，而不是事先假设的。

此外，几何匹配直接依赖于检测到的关键点的质量。在实际的农场图像中，姿态变化、羊毛遮挡、运动模糊、照明变化和部分可见性可能导致各个关键点之间的定位质量存在显著差异。由于距离、角度和比例是从这些检测位置计算得出的，不可靠的关键点可能会同时扭曲多个几何组成部分，从而降低匹配准确性。在传统的等权重几何匹配中，这些关键点可靠性的差异并没有被明确考虑。因此，仍有两个问题未得到充分解决：面部几何信息是否能够在真实的跨生长阶段变化下保持可靠的个体区分能力，以及在几何匹配过程中如何减少不可靠关键点的影响。

基于这些研究空白，本研究的目的是调查面部关键点几何是否能够在不同生长阶段提供可靠的羊的识别，并且建模关键点可靠性是否可以进一步提高在非理想农场采集条件下的匹配 robustness。具体来说，本研究探讨了：（1）几何表示是否能够在不同生长阶段可靠地区分不同的羊，同时为同一只羊提供更一致的身份信息；（2）随着时间间隔的增加，几何表示的跨阶段一致性是否能够转化为更稳定的识别和验证性能；（3）在非理想采集条件下，结合关键点可见性和定位信心是否可以减少不可靠几何信息的影响。为了回答这些问题，本研究提出了一种基于几何表示的面部关键点匹配方法，用于跨生长阶段的羊的识别。定义了一个标准的12点面部关键点配置，覆盖眼睛、鼻子、嘴巴和耳朵根部区域，并且一个轻量级的关键点检测器估计每个关键点的坐标、可见性和定位信心。经过几何归一化后，构建距离、角度、比例和对称特征来描述面部结构关系。然后，一种考虑信心的匹配策略将关键点可见性和定位信心纳入相似性计算中，以减少不可靠几何信息的贡献。该方法在一个包含60,000张1-12个月大羊的面部图像的一年纵向数据集上进行了评估，数据集来自500只羊，使用了身份分离的数据分割和短跨度、中等跨度和长跨度评估设置。

本研究的主要贡献体现在三个方面：几何身份表示、可靠性感知匹配和纵向评估。具体来说：
（1）提出了一种基于面部关键点的几何身份表示，以保持不同羊之间的身份区分能力，同时支持同一动物在不同生长阶段的一致匹配。一个标准的12点面部配置编码了归一化的距离、角度、比例和对称关系作为结构身份线索。
（2）提出了一种考虑信心的几何匹配机制，通过将关键点可见性和定位信心纳入相似性计算中。根据与其相关关键点的可靠性调整每个几何组成部分的贡献，从而减少不确定结构信息在身份匹配期间的影响。
（3）建立了一种身份分离的纵向评估协议，随着时间跨度的增加，共同评估个体间的区分能力和个体内的跨阶段一致性。该协议使得能够控制评估身份表示和识别性能随图库和查询观察之间的时间分离增加而发生变化的情况。

相应地，方法论设计直接源于上述研究问题：使用面部几何来构建身份表示，将关键点可靠性纳入匹配过程，并使用纵向身份分离评估来检验随着时间跨度增加的身份稳定性。第2节描述了数据采集、数据集构建和提出的方法论；第3节提出了评估协议；第4节报告了结果；第5节讨论了实验发现；第6节总结了主要发现、研究局限性和未来方向。

多视图羊面部采集系统
为了在真实的繁殖环境中稳定采集多视图羊面部图像，在一个标准化的繁殖农场部署了一个固定的多视图采集通道系统，如图1所示。该系统通过通道结构引导每只羊进入一个受控的成像区域，使得在相对一致的几何布局和照明条件下进行多视图面部采集。通道内安装了多个PoE相机，分辨率为3 MP，图像大小为...

评估指标
所提出的方法从四个互补的方面进行了评估：关键点定位准确性、跨阶段识别性能、验证能力和在复杂条件下的鲁棒性。
对于关键点检测任务，使用了归一化平均误差（NME）和正确关键点的百分比（PCK）作为评估指标。NME定义为预测关键点与手动注释之间的平均欧几里得距离，归一化后的距离为...

面部关键点在不同生长阶段的定位可靠性
可靠的关键点定位是所提出的以几何为主导的识别框架的先决条件。为了评估关键点检测器在跨生长阶段条件下的稳定性，其在100只测试羊的身份分离子集上进行了定量评估。评估指标包括归一化平均误差（NME）和正确关键点的百分比（PCK@0.05），结果如表5所示。

关键点配置对跨生长阶段识别的影响
为了进一步讨论关键点配置设计对跨生长阶段羊识别的影响，本研究比较了在不同短跨度、中等跨度和长跨度设置下不同关键点配置的识别性能。关键点配置的设计需要在结构完整性和实际可靠性之间取得平衡。一方面，选定的关键点应包含足够的身份区分信息；另一方面...

结论
本研究开发了一种基于几何表示的面部关键点匹配方法，用于跨生长阶段的羊识别。使用身份分离的纵向数据集，实验表明，随着时间跨度的增加，归一化的几何描述符表现出比评估的外观表示更低的类内特征漂移。在长跨度识别设置下，所提出的考虑信心的方法实现了89.71 ± 0.21%的Top-1准确性。

CRediT作者贡献声明
Suhui Liu：写作 - 审查与编辑，撰写原始草案，可视化，验证，软件，资源，调查，正式分析，数据管理，概念化。
Chuanzhong Xuan：写作 - 审查与编辑，监督，项目管理，资金获取，正式分析。
Guangpu Wang：写作 - 审查与编辑，监督，方法论，调查，概念化。
Zhaohui Tang：写作 - 审查与编辑，监督，资源，正式分析。
Tao Zhang：

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本研究得到了国家自然科学基金（项目编号32560931）和内蒙古自治区自然科学基金（项目编号2024MS06023）的支持。

Suhui Liu|Chuanzhong Xuan|Guangpu Wang|Zhaohui Tang|Tao Zhang|Yikun Liu