《Neurocomputing》：SynergyHPE: Robust semi-supervised head pose estimation via long-tail distribution priors and geometric-aware representations
编辑推荐：
Fengshan Wang|Chunman Yan中国甘肃省兰州市西北师范大学物理与电子工程学院，邮编730070摘要半监督学习在降低头部姿态估计对标注数据的依赖方面展现出巨大潜力。然而，现有的半监督头部姿态估计方法往往存在姿态流形长尾区域的表示崩溃问题。在这些稀疏区域，极端的姿
Fengshan Wang|Chunman Yan
中国甘肃省兰州市西北师范大学物理与电子工程学院，邮编730070
摘要
半监督学习在降低头部姿态估计对标注数据的依赖方面展现出巨大潜力。然而，现有的半监督头部姿态估计方法往往存在姿态流形长尾区域的表示崩溃问题。在这些稀疏区域，极端的姿态样本常常因全局统一的过滤阈值而被排除，或由于严重的几何失真而无法被整体架构正确解析。为解决这些瓶颈，我们提出了SynergyHPE框架，旨在在标签极度匮乏的情况下保持几何一致性。具体而言，我们引入了动态课程伪标签机制，该机制利用数据分布先验来实现针对不同类别的阈值调整，从而有效找回传统静态策略无法识别的有用难例。为处理这些被召回样本的复杂视角失真问题，我们设计了协同表示学习机制，通过明确的路由专家机制为局部流形优化提供有针对性的特征补偿。此外，为增强特征对外观变化的鲁棒性同时避免语义偏移，我们通过解耦基于旋转的增强方式，整合了保几何结构的信息最大化方法。在300W-LP-to-AFLW2000测试协议下的大量实验，以及BIWI测试的结果表明，SynergyHPE能有效抑制非正面俯仰角度区域的误差增长。特别是在2%标签比例的挑战性条件下，该方法将对应角度区间的俯仰均值绝对误差从降低到，相对误差降低了，而在AFLW2000数据集上的整体均值绝对误差则为。这些结果充分体现了SynergyHPE在资源匮乏、数据分布呈长尾特征的场景中的卓越鲁棒性。
引言
头部姿态估计是计算机视觉领域中至关重要的基础感知技术，它在人机交互、自动驾驶、驾驶员监控以及行为分析等诸多应用中发挥着关键作用。近年来，全监督式的头部姿态估计方法通过改进姿态表示、利用面部结构特征以及设计更强大的模型架构，取得了显著进展[48]。例如，基于Transformer的方法通过建模方向特征和面部关系，提升了在遮挡或极端姿态条件下的系统稳定性[22]；而考虑区域特征和形态特征的方法则通过利用面部关键区域及跨区域依赖关系，实现了更精确的姿态估计[19]、[24]。尽管取得了这些进步，现有方法大多仍严重依赖大量且精确的3D姿态标注数据。在无约束的真实场景中，获取精确的连续姿态标签成本高昂，且在严重遮挡、光照变化或大角度视角下，标注结果往往存在不确定性。此外，常用的数据集要么部分依赖于可能引入领域差异的合成图像，如300W-LP，要么标注规模有限。因此，利用大量的未标注数据来挖掘有效的监督信号，已成为突破标签匮乏条件下头部姿态估计性能瓶颈的关键途径。
半监督学习为缓解这种对标注数据的依赖提供了有效思路[7]。现代半监督学习以一致性正则化和伪标签机制为核心，通过迫使模型在不同扰动条件下仍能给出一致预测，并将置信度高的预测作为伪监督信号。以FixMatch[34]为代表的这类方法在分类任务中取得了显著成功，也启发了基于矩阵-费希尔旋转回归的、具备不确定性意识的半监督头部姿态估计框架[49]。然而，将这类方法从离散分类任务直接应用于连续的头部姿态估计并非易事。其主要难点在于基于阈值的伪标签选择与姿态分布的长尾特性之间的相互作用。正如3.1节所分析的，非正面俯仰角度区域的样本数量较少，且预测不确定性较高。全球统一的置信度阈值可能会将具有有用信息的非正面样本排除在外，而纯粹的在线阈值调整则在早期回归预测结果存在噪声时容易产生不稳定现象。因此，模型可能会过度关注那些易于处理的接近正面的样本，从而在姿态分布稀疏的区域加剧确认偏差。
为克服这一局限，我们认为半监督头部姿态估计不应简单地复用面向分类任务的阈值设定方法，而应综合考虑基于分布特征的样本选择、具备姿态感知能力的表示学习以及能够保留几何结构的增强技术。基于这一思路，我们提出了协同半监督头部姿态估计框架SynergyHPE，这是一个专为在标签极度匮乏条件下进行连续姿态估计而设计的系统级框架。具体而言，动态课程伪标签机制利用姿态分布先验实现针对不同类别的阈值调整，从而使具有有用信息的非正面伪标签能够被保留下来，而非被静态阈值系统性地过滤掉。随后，协同表示学习机制通过明确的路由专家结构和姿态对比原型正则化方法，处理由动态课程伪标签机制筛选出的多元样本，提升不同俯仰角度区域的表示能力。最后，保几何结构的信息最大化方法通过强制保持保持姿态特征的弱视图和强视图之间的一致性，同时避免使用可能改变目标姿态语义的基于旋转的增强方式，从而稳定未标注特征空间。这些组件并非相互独立的附加模块：动态课程伪标签机制负责确定哪些未标注样本会被纳入训练信号，协同表示学习机制则对这些样本的姿态感知表示进行优化，而保几何结构的信息最大化方法则能在外观特征发生变化时稳定这些已被选中的表示。
本文的主要贡献如下：
- •
我们对长尾姿态分布下的半监督头部姿态估计进行了定量分析。通过研究AFLW2000数据集的训练集稀疏性和预测熵，我们发现非正面俯仰角度区域与更高的预测不确定性相关，从而为基于分布特征的伪标签选择提供了实证支持。
- •
我们提出了SynergyHPE这一统一的半监督框架，它结合了基于分布特征的伪标签选择、具备姿态感知能力的表示学习以及能够保留几何结构的特征一致性机制。动态课程伪标签机制利用姿态分布先验召回具有有用信息的非正面伪标签，协同表示学习机制通过明确的路由专家结构和原型正则化提升表示能力，而保几何结构的信息最大化机制则通过排除会改变姿态语义的旋转式增强方式来保持姿态特征。
- •
我们在300W-LP-to-AFLW2000测试协议下进行了大量实验，同时还使用了BIWI作为额外的外部测试集。在2%标签比例的条件下，SynergyHPE在AFLW2000数据集上的整体均值绝对误差为，并且将对应角度区间内的俯仰均值绝对误差降低了，充分证明了其在资源匮乏和数据分布呈长尾特征的场景中的强大鲁棒性。
章节摘录
全监督式头部姿态估计
全监督式头部姿态估计的发展体现了从基于几何对齐的方法向基于数据回归的方法的根本性转变。早期的基于关键点的方法[9]通常依赖于求解透视n点问题或拟合3D可变形模型。虽然这些方法在受控环境中效果良好，但在无约束的真实场景中却很容易失效，因为严重的遮挡或极端头部角度会导致关键点检测难以准确完成。
问题定义与符号说明
我们研究的是具有少量标记样本和大量未标记样本的半监督式头部姿态估计问题。设表示标记训练集，其中为面部图像，为其对应的连续头部姿态标注，以旋转目标的形式表示。设表示未标记样本集。SynergyHPE采用“均值教师”模型框架，其中学生网络通过梯度下降法进行优化，而教师网络则作为学生网络的指数移动平均值不断更新。其目标就是学习出一种具有强大鲁棒性的
实验设置
为进行性能评估，我们以300W-LP数据集[51]作为主要的训练和校准数据源。该数据集包含约122,000个合成样本，覆盖了广阔的姿态范围，能够为建模大角度姿态变化提供可靠的几何先验。按照标准的半监督学习流程，我们将该数据集按不同比例划分为标记子集和未标记子集。为评估模型在真实世界无约束场景中的泛化能力，我们还在AFLW2000基准数据集上进行了测试
伦理与偏见考量
头部姿态估计技术可以用于诸如驾驶员监控、人机交互、注意力分析以及辅助系统等有益应用。不过，它也可能被用于涉及隐私保护的场景，比如监控、课堂监控、工作场所监控或行为分析等。我们需要强调的是，SynergyHPE框架旨在在获得适当同意、确保透明度并遵循严格的数据保护措施的前提下，用于负责任的研究与部署。头部姿态估计系统的输出结果绝不应
结论
在本文中，我们提出了SynergyHPE框架，用以应对无约束头部姿态估计中存在的数据分布呈长尾特征以及几何结构多样性这两大挑战。通过对“均值教师”半监督学习框架进行系统性重构，我们在三个互补的维度上实现了协同优化：动态课程伪标签机制利用统计先验来克服长尾数据分布下的样本选择难题；协同表示学习机制则通过明确的路由专家结构为模型提供
CRediT作者贡献说明
Fengshan Wang：负责原文撰写——包括初稿编写、软件工具开发、方法设计以及概念构思。Chunman Yan：负责文本审阅与编辑、项目指导以及资源协调工作。
资金支持
本研究并未获得任何来自公共部门、商业机构或非营利组织的专项资助。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
Fengshan Wang目前在中国兰州的西北师范大学攻读硕士学位，他于2024年入校学习。他的研究兴趣主要包括数字图像处理和深度学习领域。
