SuperAnimalFace：融合全景关键点超集与WildLifeFLM的野生动物跨物种面部关键点检测统一预训练框架

《IEEE Transactions on Big Data》：Pretraining Accurate Facial Landmark Detection of Wildlife Animals with SuperAnimalFace

　　

面部关键点检测（facial landmark detection, FLD）是动物行为分析（animal behavior analysis）、动物福利（animal welfare）和情感计算（affective computing）中的基础任务。然而，现有方法因标注稀疏、物种特异性数据集（species-specific datasets）以及跨物种形态多样性（morphological diversity）而泛化能力有限。本文提出SuperAnimalFace，一种统一预训练框架（unified pre-training framework），旨在利用多样化跨物种数据集增强野生动物面部关键点检测。该方法的核心是构建全景面部关键点超集（panoramic facial landmark superset），以实现异构标注（heterogeneous annotations）间的语义对齐（semantic alignment）。此外，研究人员构建WildLifeFLM数据集，这是首个具有丰富25点面部标注的大规模多物种基准（benchmark）。该框架在多种不同骨干网络（backbone）上表现出强零样本泛化（zero-shot generalization）结果，并在少样本学习（few-shot learning）中具有高数据效率，仅使用10%微调数据即可达到有竞争力的性能。在新收集的PetFace-45验证集上的实验进一步证明，SuperAnimalFace为动物面部关键点检测提供可扩展且稳健的解决方案。所提出的数据集向研究社区公开可用。

研究背景：面部关键点检测（facial landmark detection, FLD）是动物行为分析、动物福利与情感计算（affective computing）的基础任务，可用于动物情绪计算、健康评估和人机交互。人类FLD因WFLW、300W等高质量数据集及ResNet、HRNet、Vision Transformer（ViT）等深度学习模型快速发展；动物FLD仍受高质量综合数据集缺乏制约。现有动物数据集或关键点少或物种特异：AnimalWeb、AnimalPose不超过9个面部关键点，PetFace仅5个，CatFLW标注48个但仅限猫；尚无面向多样物种的详细面部关键点数据集。动物面部纹理、形状、品种和形态结构差异进一步增加检测复杂度。为此，研究人员构建WildLifeFLM（Wild Life Facial Landmark）数据集并提出SuperAnimalFace统一预训练框架，以整合异构标注数据集，提升野生动物面部关键点检测的跨物种泛化能力。

研究开展：WildLifeFLM含2482张图像、155个物种，每图25个面部关键点和边界框，是首个面向多物种的“密集”关键点数据集；通过多骨干跨数据集实验验证其泛化性并建立新基准。SuperAnimalFace整合WildLifeFLM及AnimalPose、AP-10K、CatFLW、MacaquePose、PetFace、CattleFace-RGBT等异构数据集，经验性确定56个“超集”关键点，覆盖已有方法标注的重要关键点，并将各数据集原标注映射至该超集；采用关键点梯度掩码（landmark gradient masking, LGM）使网络从所有数据集中学习有用知识，并可迁移至新自定义数据集。研究人员强调，直接迁移人类面部关键点模型因面部解剖差异和动物标注稀缺而不简单；实验比较WFLW、WildLifeFLM和SuperAnimalFace迁移学习，确认SuperAnimalFace最佳。为验证快速有效迁移，研究人员在PetFace子集上标注45个密集面部关键点构建PetFace-45，仅用于评估，通过零样本和少样本实验证明有效性。贡献包括WildLifeFLM数据集、SuperAnimalFace预训练框架及多基准评估。

关键技术方法：研究人员构建WildLifeFLM多物种面部关键点数据集并统一25点标注协议，图像筛选自AnimalWeb、CatFLW、AnimalPose、ImageNet animal parts及网络检索和Kaggle公开数据，由两名受训标注员用CVAT和Labelme独立标注并复核，分歧由专家仲裁，随机50图以NME和Cohen's kappa评估一致性；构建56点全景关键点超集，将7个数据集标注按功能标签映射至统一语义；采用关键点梯度掩码，仅对已标注关键点计算MSE损失并反向传播；以RTMPose、HRNet等骨干预训练，并在PetFace-45（选自PetFace）上开展零样本和少样本微调评估。

研究结果：
6.1 WildLifeFLM Validity Experiment（WildLifeFLM有效性实验）：通过仅用WildLifeFLM训练并在六个其他数据集测试，比较ResNet、HRNet、VGG16、ViTPose-b、Swin-b、RTMPose-x和RTMPose-m七种骨干的平均精度（Average Precision, AP）、归一化平均误差（Normalized Mean Error, NME）、正确关键点百分比（Percentage of Correct Keypoints, PCK@0.15）、均方根误差（Root Mean Square Error, RMSE@20），得出ViTPose-b多数数据集强，RTMPose和HRNet有竞争力，Swin-b被HRNet击败，性能跨数据集差异显示域偏移；在WildLifeFLM表现好的网络在其他数据集也较好，说明数据集能代表既有数据集的物种和标注多样性。
6.2 SuperAnimalFace Generalization Experiment：通过留一数据集（leave-one-dataset-out）协议，对七个数据集轮流留出，用其余六个和完整SuperAnimalFace流程（统一关键点词表映射与缺失标注梯度掩码）训练RTMPose-m，在留出集零样本测试，得出所有留出集PCK@0.15均高于0.7，NME有竞争力、RMSE@20低，证明跨物种跨域泛化有效。
6.3 Main Results and Analysis：通过比较不同训练协议的结果，得出仅WildLifeFLM训练在AnimalPose、AP-10K、PetFace、CattleFace-RGBT等外部基准仍有竞争PCK@0.15，说明WildLifeFLM多样有用；留一设置下统一56关键点超集和梯度掩码能整合异构标注并提升跨数据集适应性；定性结果显示未见动物面部和连续视频帧预测合理稳定，虽未显式建模时序一致性；极端形态、低图像质量和标注定义不一致仍是挑战。
6.4 Cross-Dataset Validation：通过用HRNet在各数据集训练并测试其余数据集，得出在自身数据训练通常最佳，而WildLifeFLM训练的模型在其他数据集一致第二，证明其多样性和泛化能力。
6.5 Comparison with WFLW：通过比较WFLW、WildLifeFLM和SuperAnimalFace预训练后微调模型，并在AnimalPose测试集用RTMPose-m评估，得出直接迁移人类面部知识对动物关键点检测不一定有效。
6.6 Few-Shot Transfer Learning：通过在PetFace-45（208图，50图仅验证）上用HRNet和不同规模训练集微调，得出SuperAnimalFace少样本迁移显著更优，其零样本性能甚至超过ImageNet或PetFace预训练模型用60图少样本微调；结合原文，仅10张标注图像微调即可与ImageNet预训练100张图像微调相当，显示数据效率。

讨论部分：失败案例包括罕见面部形状（独特胡须或角配置）、极端视角、植被等重遮挡导致关键点误定位或漏检；CattleFace-RGBT极暗面部因低对比和鼻区纹理缺失使鼻尖和鼻孔预测显著偏离真值。一般局限为逐图处理缺乏时序一致性，视频中运动线索未用；未引入三维（Three-Dimensional, 3D）姿态或形状先验，极端视角或遮挡下精度受限；固定关键点定义难以处理全新模式；物种范围主要验证陆生哺乳动物，水生及鸟类、爬行类等形态差异大的物种泛化有限需进一步研究。

研究结论翻译：本研究介绍WildLifeFLM数据集和SuperAnimalFace框架，二者共同应对野生动物面部关键点检测的关键挑战。WildLifeFLM包含155个物种的2482张图像及密集25点面部标注，为动物面部分析建立高质量、物种多样的基准。SuperAnimalFace通过统一56关键点超集和梯度掩码机制整合异构数据集，增强泛化能力，实现稳健的跨物种语义对齐和高效知识迁移。实验结果表明，经SuperAnimalFace预训练的模型在零样本和少样本学习场景中取得有竞争力的性能，在显著降低数据依赖的同时，在多样动物物种和成像条件下保持高精度。该框架优于以人类为中心的预训练方法，凸显物种特异性表示在动物面部分析中的重要性。未来工作将聚焦引入时空一致性、3D形状先验，并扩展关键点定义以适应更广泛的形态变化。WildLifeFLM数据集和SuperAnimalFace框架已公开发布，以促进动物行为分析、福利评估以及生物医学和生态学中的跨学科应用。