SFAPose：基于流场对齐与文本先验辅助定位的动物姿态估计

《Neurocomputing》：SFAPose: Animal pose estimation via flow-field alignment and text-prior assisted localization

　　

摘要

为解决动物姿态估计中外观差异大、非刚性体变形以及同源关键点语义模糊等问题，本文提出了一种跨尺度多模态融合网络SFAPose。首先，在主干网络中引入全局通道-空间混洗注意力模块GCSA，通过联合注意力机制在特征提取过程中抑制噪声并增强与关键点相关的特征。接着，设计KAFusionNeck模块，通过可学习的流场对齐和针对关键点的多尺度特征加权，提升融合特征的空间一致性。最后，构建SPALHead模块以学习通用动物关键点先验，并在此基础上通过残差微调注入物种相关线索，从而在保持通用动物先验稳定性的同时为关键点定位提供补充的物种相关信息。在AP-10K和AnimalPose数据集上的大量实验表明，基于通用动物关键点先验的SFAPose-G取得了最佳性能提升，优于HRNet-W32基准模型。SFAPose-RS进一步以轻量级残差形式引入物种相关文本线索，在AP-10K测试集上的平均精度达到74.3，较基准模型提升2.5%，同时分别比CLAMP和HRFormer高出1.8%和2.1%。

引言

动物姿态估计旨在准确定位动物身体上的语义关键点[1]，在动物行为分析[2]、野生动物保护[3]以及智能畜牧监测[4]等领域具有重要意义。与人类姿态估计相比，动物姿态估计面临更明显的物种间外观差异、非刚性体变形以及复杂自然环境带来的干扰。这些因素不仅使得构建类似COCO[5]和MPII[6]的高质量标注数据集更加困难，还会导致关键点的视觉响应不稳定，尤其是在被遮挡、背景复杂或局部纹理较弱的情况下。

深度学习极大地推动了动物姿态估计的发展。基于卷积神经网络（CNN）的姿态估计方法，如CPN[7]、Hourglass Network[8]和SimpleBaseline[9]，通过多尺度特征建模显著提升了关键点定位性能。HRNet[10]则通过并行多分辨率分支保留了空间细节，为基于热图回归和自上而下的框架奠定了主流基础。随后，Transformer架构[11]，如HRFormer[12]和ViTPose[13]，进一步增强了模型的长距离依赖建模能力。在动物行为分析场景中，DeepLabCut[14]、SLEAP[15]、Lightning Pose[16]和SuperAnimal[17]等方法分别通过迁移学习、高效的多目标跟踪架构、半监督学习以及大规模预训练推动了动物姿态估计与跟踪技术的发展。然而，纯视觉方法在动物姿态估计任务中仍存在一定局限性。这主要是因为纯视觉特征在面对外观相似但语义不同的身体部位时容易产生歧义。此外，由于动物肢体的大幅非刚性变形和尺度变化，现有方法在直接融合多分辨率特征时可能会引入空间错位，从而影响关键点定位的准确性。

近年来，基于文本的关键点检测开始将语言先验引入姿态估计任务中。例如，CLAMP[18]引入了CLIP[19]，利用基于提示的对比学习将语言先验知识与动物姿态联系起来，从而提升了关键点的语义表示能力。PPAP[20]进一步探索了用于动物姿态估计的概率提示学习方法。与此同时，X-Pose[21]、OVKD/KDSM[22]和OpenKD[23]等开放词汇表关键点检测方法试图利用视觉或文本提示来检测任意关键点，展现了语言语义在关键点定位中的潜在价值。不过，这些方法主要侧重于基于提示的语义对齐或开放词汇表的泛化能力，而多尺度姿态特征之间的几何错位问题以及如何将通用动物先验知识与物种相关线索稳定地融合起来，目前仍缺乏充分研究。在标准的动物姿态估计中，关键点定位既需要像素级的空间精度，也需要对不同动物类别进行语义区分。因此，实现几何对齐与语义先验的稳定融合尤为重要。

为应对上述挑战，受多尺度特征融合和视觉-语言先验建模的启发，我们提出了SFAPose这一动物姿态估计框架，它将几何对齐与基于文本先验的定位相结合。如图1所示，该框架在保留HRNet高分辨率表示优势的同时，通过视觉特征增强、几何特征对齐以及文本先验优化，提升了在复杂背景、尺度变化以及同源关键点语义模糊条件下的关键点定位精度。本文的主要贡献如下：

(1) 我们在主干网络中引入了全局通道-空间混洗注意力模块（GCSA）。该模块通过按位置调整通道参数来增强局部关键点相关的响应，同时结合通道混洗与空间注意力机制，促进通道间信息交流并抑制背景噪声，进而进一步提升网络的整体性能。

(2) 我们设计了流场对齐与关键点自适应融合模块，即KAFusionNeck。通过可学习的流场对齐和针对关键点的尺度加权机制，KAFusionNeck能够有效聚合多尺度特征，从而减少定位偏差。

(3) 我们构建了基于文本先验的定位头SPALHead。该模块利用冻结的CLIP文本编码器来构建通用动物关键点的文本先验，为热图预测提供辅助的语义约束。在此基础上，我们还构建了残差形式的物种感知扩展模块SPALHead-RS，该模块以通用动物先验作为主要先验，同时以轻量级残差形式引入物种相关文本线索。实验结果表明，通用文本先验带来了主要的性能提升，而残差形式的物种感知先验则主要起到补充语义信息的作用。

章节节选

姿态估计网络

姿态估计网络从直接的回归方法发展到基于热图预测的方法。早期的方法如DeepPose[24]使用深度卷积神经网络直接回归人类关键点坐标，为端到端的姿态估计奠定了基础。随后，OpenPose[25]通过部分亲和场建立了典型的自下而上的多人姿态估计框架，实现了人类关键点检测与部分关联的联合建模。随着技术的发展

SFAPose模型

所提出的SFAPose的架构如图1(a)所示。它主要由三个部分组成：特征提取主干网络（G-HRNet）、流场对齐颈部模块（KAFusionNeck）以及基于文本先验的定位头（SPALHead）。

我们采用HRNet-W32作为主干网络，以保持高分辨率的表征能力。输入图像首先通过Stem层下采样至1/4的分辨率，然后被送入四个并行的处理阶段。为抑制野外环境中的冗余背景噪声

数据集与评估指标

我们在AP-10K[43]和AnimalPose[26]数据集上评估SFAPose的性能。AP-10K是首个大规模的动物姿态估计基准数据集，包含来自23个科54个物种的10,015张图片，每张图片上有17个标注的关键点。在我们的实验中，我们遵循官方推荐的评估方案，按照7:1:2的比例划分数据集。具体而言，7023张图片用于训练，验证集中的995张图片用于消融实验和模型组件分析

结论

为解决动物姿态估计中跨尺度特征的空间错位问题以及跨物种的语义模糊问题，本文提出了一种跨尺度多模态融合网络SFAPose。该架构在保留HRNet高分辨率拓扑结构优势的同时，在第2至4阶段的输出处引入GCSA模块，以抑制背景噪声并增强特征提取过程中局部特征的显著性。其次，KAFusionNeck模块通过流场对齐和针对关键点的自适应处理

代码可用性

在本文被接受后，用于训练和评估的源代码及配置文件将会公开发布。

CRediT作者贡献说明

冉茂江：写作——审阅与编辑，写作——初稿，验证，方法论，形式分析，数据整理，概念构建。谢远伦：资源获取，形式分析。田龙：可视化。李佳伟：可视化，验证。李昌：资源获取，项目管理，调研。张荣芬：验证，监督，资源获取，项目管理。

资助情况

本研究得到了贵州省基础研究计划（自然科学）[项目编号Qiankehe Jichu-ZK[2021]ZD001]以及贵州省科技支撑计划[项目编号Qiankehe Zhicheng [2026] General 354]的支持。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

冉茂江于2023年在中国石油大学（北京）获得电子信息工程学士学位。他目前在中国贵州大学大数据与信息工程学院攻读硕士学位。他的研究兴趣包括动物姿态估计、计算机视觉、多模态学习以及深度学习。

Maojiang Ran|Yuanlun Xie|Long Tian|Jiawei Li|Chang Li|Rongfen Zhang

中国贵州贵阳550025，贵州大学大数据与信息工程学院