基于特征通道选择的无监督域自适应姿态估计

《Engineering Applications of Artificial Intelligence》：Unsupervised domain adaptive pose estimation based on feature channel selection

　　

•特征通道选择抑制源域特异性激活和域偏移。
•在关键点边缘分布上进行自对比学习，改善语义和回归效果。
•多层次自适应减少了跨域2D姿态估计中的域偏移。

**引言**

2D姿态估计旨在准确地从图像或视频中推断人体关键点的所在位置，是理解人类行为的基础前提。近年来，深度神经网络的进步推动了标准基准上全监督姿态估计的显著改进。然而，这些方法严重依赖于大规模、高质量的标注，而这些标注的收集和标注成本高、耗时久，因为它们需要在多样化的外观和分布条件下精确标注关键点。相比之下，获取带有精确标注的合成图像或利用现有的标注数据集更具成本效益。然而，由于源数据与真实目标域之间的域差距，现有模型往往难以有效泛化。为应对这一挑战，近期研究探讨了姿态估计的域自适应方法，旨在不依赖目标域标注的情况下提升跨域性能。

无监督域自适应（UDA）旨在将知识从有标签的源域迁移到无标签的目标域，增强模型在跨域应用中的有效性。然而，与分类任务不同，2D姿态估计的输出通常是连续的高维关键点坐标或热图。这种稠密的结构化预测对域自适应更具挑战性。目前，大多数2D姿态估计的UDA方法可分为基于对抗的方法（Jiang等, 2021, Jin等, 2022, Cao等, 2019, Peng等, 2025）和基于伪标签的方法（Kim等, 2022, Li和Lee, 2021, Mu等, 2020, Peng等, 2023）。前者主要通过引入对抗回归器来最大化目标域中的预测差异，同时鼓励特征提取器最小化差异，从而学习域不变表示，如图1(a)所示。然而，这些方法依赖于分支之间的差异差异（DD）（Zhang等, 2019）来间接约束输出空间，这可能导致预测中存在相当大的不确定性和波动。后者即基于伪标签的方法，使用教师模型为无标签的目标数据生成伪标签，指导学生在目标域中进行自训练。这提高了学生模型和教师模型输出之间的一致性，与对抗学习相比表现出更大的稳定性，如图1(b)所示。然而，伪标签的质量高度依赖于特征表示的可靠性。这些方法通常直接对齐或合并源域和目标域的分布，这可能导致有噪声的伪标签并负面影响最终性能。总体而言，大多数当前方法对整个网络施加约束，间接监督模型学习域不变特征。它们没有明确识别和分离域特异性特征，导致训练过程中过度依赖源相关信息，并在适应过程中对域偏移脆弱。因此，这些方法仍然难以在不同的域偏移场景（如人体、手部和动物数据集）中实现一致的性能提升。

为解决上述问题，我们提出了一种基于特征通道选择的UDA姿态估计方法，称为FSDAPE，如图1(c)所示。一方面，我们引入了用于域迁移的细粒度特征通道选择机制（FSM），它明确抑制中间表示中与源域相关的信息，同时保留域不变和目标相关的特征，为跨域姿态估计提供了一种简单而有效的解决方案。另一方面，我们提出了一种用于输出空间优化的自对比学习机制（SCM）。它利用热图的稀疏性来增强关键点的语义可区分性，从而细化关键点的回归并提高伪标签质量，使目标域上的无监督训练更加有效。

**FSM的动机。** 我们关注中间特征通道级响应的差异，这源于姿态估计的一个关键属性：中间特征与输出热图之间的强语义耦合。每个关键点热图可以被视为多个特征通道响应的加权组合，这表明通道级表示在最终热图预测的准确性中起着关键作用。此外，Guo等（2023）揭示了一个在图像分类中广泛观察到的现象，即模型的泛化能力与特征通道对域偏移的鲁棒性密切相关。受此启发，针对UDA姿态估计，我们进行了扩展。不同于Guo等（2023）中区分通用域敏感通道和域不变通道的做法，我们将通道分为源敏感通道、目标敏感通道和域不变通道。源敏感通道对源域特异性特征表现出强激活，容易引发域偏差，因此被过滤。与此同时，目标敏感通道和域不变通道对目标域中准确的关键点预测有积极贡献，因此被保留。因此，与全局对齐或对抗学习等传统策略相比，通道级干预可以以更直接和细粒度的方式调节预测路径，有效抑制域偏移向输出热图的传播，促进稳定的适应。

为实现FSM，我们引入了一个域判别器来量化每个通道的域相关性。根据每个通道对域判别任务的贡献，模型在前向传播过程中动态丢弃源敏感通道的激活，从而缓解域偏移。

**SCM的动机。** 优化输出空间对于基于伪标签的域自适应同样至关重要。通过分析目标域中预测的关键点热图的分布，我们观察到错误的关键点预测往往出现在其他关键点附近，而不是随机出现在背景中。Jiang等（2021）也观察到了类似现象。这表明关键点热图在概率上是稀疏的：虽然热图形式上是高维连续输出，但其空间分布更接近于在有限区域集上的K类分类。因此，增强关键点热图之间的决策边界有望提高定位精度。

基于这一洞察，我们提出了针对关键点热图的自对比学习。与两种增强视图之间或教师与学生输出之间的对比一致性不同，我们的SCM在学生输出中强制不同关键点的高斯核分布之间形成边界，增强关键点的语义可区分性，从而降低错误预测的可能性。同时，基于Mean Teacher框架（Tarvainen和Valpola, 2017），对比约束引起的结构改进被平滑地传播到教师模型，从而增强伪标签的质量。由于热图的高维性，上述过程在实际中面临显著的优化困难。为此，我们提出对关键点热图的边缘分布进行建模，进一步减少关键点的搜索空间并增强训练有效性。

所提出的FSDAPE在包括手部、人体和动物姿态估计任务的多种场景中得到系统评估，实验结果表明其达到了最先进或具有竞争力的性能。此外，广泛的消融研究进一步验证了每个模块的贡献和相互作用。本文的主要贡献总结如下：

1. 我们提出了一种特征通道选择机制，明确抑制源域特异性激活，减少特征表示中的域偏移，从而提高模型在跨域场景中的预测精度和鲁棒性。
2. 我们设计了一种基于关键点边缘分布的自对比学习机制。通过增强关键点的语义可区分性，它进一步优化了关键点的回归并提供了更可靠的伪标签。
3. 我们在多个域自适应姿态估计基准数据集上进行了系统实验，包括人体、手部和动物姿态。结果表明FSDAPE达到了最先进或具有竞争力的性能。

本文其余部分组织如下：第2节回顾近期相关工作。第3节介绍所提出的框架。第4节报告实验结果和消融分析。第5节总结全文并讨论局限性和未来工作。

**相关工作**

**姿态估计。** 2D姿态估计方法可大致分为坐标回归方法和热图方法。坐标回归方法（Qiu等, 2020, Mao等, 2022, Maji等, 2022, Song等, 2025）直接从图像预测2D关键点坐标。Qiu等（2020）提出了OPEC-Net，它利用图像引导的渐进图卷积网络来推断被遮挡的关键点。YOLOPose（Maji等, 2022）将关键点检测集成到YOLO（Redmon等, 2016）中。

**预备知识**

在2D姿态估计任务中，定义了标注数据集??={????,????}????=1，其中每个输入????∈?3×??×??对应于包含感兴趣对象的图像，????∈???×2代表预定义关键点的坐标标注。关键点通常由热图表示，热图编码了每个关键点可能位置的空间概率分布。在UDA姿态估计的背景下，我们考虑有标签的源数据集??={??????,??????}??????=1和无标签的目标数据集??={??????}??????=1，其中源域和目标域共享相同的域标签空间，但具有不同的数据分布。

**实验**

在本节中，我们在各种2D姿态估计任务上系统地评估了所提出的FSDAPE。实验涵盖了人体、手部和动物的多个公开基准数据集，我们全面与代表性的最先进方法进行比较，以验证模型的跨域适应性。此外，我们进行了一系列消融研究来调查每个模块对性能的贡献，并进一步分析模型的敏感性。

**结论**

本工作提出了FSDAPE，一种有效的跨域姿态估计框架，在UDA下实现了准确且鲁棒的预测。具体而言，我们设计了FSM来识别和抑制源域特异性激活，有效缓解适应过程中的域偏移。我们还引入了SCM，它澄清了关键点的语义决策边界并提高了伪标签的可靠性。广泛的实验表明我们的方法达到了最先进或具有竞争力的性能。

**CRediT作者贡献声明**

Zhiyuan Liu：撰写——审阅与编辑，撰写——原稿，可视化，验证，软件，资源，项目管理，方法论，调查，数据整理，概念化。Qi Zou：撰写——审阅与编辑，监督，经费获取，概念化。Xixia Xu：可视化，验证。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

**致谢**

本工作得到中央高校基本科研业务费（2024JBZY003）、河北省自然科学基金（F2024105020）和国家自然科学基金（62672028）的支持。

Zhiyuan Liu | Qi Zou | Xixia Xu