HACMatch：一种半监督旋转回归方法，结合了基于难度感知的课程伪标签技术

《Computer Vision and Image Understanding》：HACMatch: Semi-supervised rotation regression with hardness-aware curriculum pseudo labeling

提出动态难度感知的半监督旋转回归框架HACMatch，通过多阶段和自适应课程学习机制解决伪标签过滤不灵活问题，同时设计结构化数据增强策略PoseMosaic，在PASCAL3D+和ObjectNet3D数据集上验证其有效性和优势。

　　

梅莉|周华艺|黄瑞志|卢玉香|丁月|卢洪涛

上海交通大学，中国上海市闵行区东川路800号，200240

摘要

从2D图像中回归物体的3D旋转是一个关键且具有挑战性的任务，在自动驾驶、虚拟现实和机器人控制等领域有广泛的应用。现有的旋转回归模型通常依赖于大量的标记数据进行训练，或者需要2D图像之外的额外信息，如点云或CAD模型。因此，仅使用有限数量的标记2D图像来探索半监督旋转回归具有很高的价值。虽然最近的研究FisherMatch将半监督学习引入了旋转回归，但它存在基于熵的刚性伪标签过滤问题，无法有效区分可靠和不可靠的未标记样本。为了解决这一限制，我们提出了一个基于难度感知的课程学习框架，该框架根据样本的难度动态选择伪标记样本，从简单示例逐步过渡到复杂示例。我们引入了多阶段和自适应课程策略，用更灵活的、基于难度的机制替换了固定阈值过滤。此外，我们还提出了一种针对旋转估计的新型结构化数据增强策略，该策略通过组合增强后的补丁来引入特征多样性，同时保持关键的几何完整性。在PASCAL3D+和ObjectNet3D上的全面实验表明，我们的方法优于现有的监督和半监督基线方法，特别是在数据量较少的情况下，验证了我们的课程学习框架和结构化增强方法的有效性。

引言

从2D图像中估计物体的旋转是计算机视觉中的一个基本挑战，其应用包括自动驾驶（Hoque等人，2023年；Sun等人，2023年）、增强现实（Liu等人，2022年；He等人，2022年；Wen等人，2024年）和机器人控制（J. Liu等人，2023年）。准确的旋转回归至关重要，因为它使机器能够更好地理解和与其环境互动，从而提高任务性能和安全性——这是智能系统进步的关键因素。然而，要实现高水平的旋转回归，需要大量的标记数据。与分类或密集预测等任务相比，为物体获取准确的方向注释要困难得多，通常需要将网格模型与图像精确对齐。

为了减少对大量高质量标记数据的依赖，最近的研究从传统的监督学习转向了利用未标记数据或辅助信息的更灵活的方法。PoseContrast（Xiao等人，2021年）使用CAD模型辅助少样本3D旋转回归，而PA-Pose（Liu等人，2024年）结合了点云信息。然而，这些方法要么需要2D图像之外的数据，要么未能充分利用大量可用的未标记图像数据。

最近的一项研究FisherMatch（Yin等人，2022年）开始关注半监督学习下的旋转回归。在此之前，Mohlin等人（2020年）提出了一种基于矩阵Fisher分布直接评估回归网络输出矩阵作为旋转矩阵可靠性的方法。FixMatch（Sohn等人，2020年）是一个半监督学习框架，通过利用一致性正则化和对未标记数据的自信伪标记来提高模型性能。结合矩阵Fisher分布和FixMatch，FisherMatch提出了一个允许使用未标记数据进行训练的半监督旋转回归框架。然而，FisherMatch依赖于固定的熵阈值进行伪标签过滤，这通常无法区分可靠和不可靠的未标记样本。这种僵化的方法限制了半监督学习的有效性，尤其是在具有挑战性的场景中，强调了需要更适应性强的解决方案。

为了解决这个问题，我们提出了一个用于半监督旋转回归的课程学习框架。我们的方法根据样本的难度选择伪标记样本，从最简单的样本开始，逐步过渡到更复杂的样本，使模型能够逐步从可靠的、简单的样本学习到更不确定的、复杂的样本。我们引入了多阶段课程和轻量级的自适应课程策略。前者根据训练阶段的熵排名逐步增加被接受样本的比例，而后者在整个训练过程中插值熵阈值。这两种方法都减轻了固定阈值过滤的僵化问题，并使得未标记数据的利用更加有效。

除了学习框架之外，强大的数据增强策略的设计也很重要。虽然从补丁创建复合图像的先进技术在分类任务中已被证明非常有效（Han等人，2022年；Yun等人，2019年），但它们对旋转回归来说却带来了问题。这些方法往往会破坏全局对象结构和准确姿态估计所需的全局线索。此外，现有的基于补丁的方法通常在不同补丁上应用同一种增强类型（例如，将每个补丁旋转不同的角度）。这限制了学习到的特征的多样性。

为了解决这些挑战，我们引入了PoseMosaic，这是一种新型的增强策略，具有两部分贡献。首先，PoseMosaic不是改变单个变换的参数，而是通过对同一图像的不同补丁应用不同类型的增强来创建更丰富和更复杂的训练信号，这些补丁来自多样化的池。其次，我们认识到并非所有增强类型都适用于此任务。为了降低结构损坏的风险，我们进行了系统的实证研究，以选择最佳的增强池，明确过滤掉对几何保真度有害的变换（例如，水平翻转）。这种双重方法确保了PoseMosaic在局部层面生成了显著的特征多样性，同时保持了对于鲁棒旋转回归至关重要的全局结构完整性。

我们在PASCAL3D+和ObjectNet3D基准测试上进行了全面实验，以验证我们的方法。结果表明，它在数据量较少的情况下优于现有的监督和半监督基线方法。此外，通过广泛的消融研究，我们系统地验证了我们的难度感知课程和PoseMosaic增强技术的各自贡献，确认每个组件对最终性能都是必不可少的。我们还展示了PoseMosaic优于其他高级增强技术，如CutMix（Yun等人，2019年）和YOCO（Han等人，2022年），验证了其针对旋转估计任务的具体设计。

总结来说，我们的主要贡献如下：

• •
  我们提出了HACMatch，一种基于难度感知的课程学习框架，用动态的、基于难度的机制替换了僵化的过滤阈值。我们介绍了两种有效的实现方式：离散的多阶段策略和更轻量级的连续自适应策略，这两种方法都能成功引导模型从简单示例逐步过渡到复杂示例。
• •
  我们引入了PoseMosaic，这是一种针对旋转回归独特挑战的新型数据增强策略。它的设计有两个方面：首先，为了最大化特征多样性，它对图像的不同补丁应用不同类型的增强；其次，为了保持关键的几何线索，通过实证分析仔细选择可用的变换池，排除了对结构有害的操作。
• •
  我们在PASCAL3D+和ObjectNet3D上进行了全面实验，证明了我们方法的性能提升，特别是在数据量较少的情况下。我们还通过广泛的消融研究严格验证了我们提出的课程和增强组件的有效性和协同作用。

章节片段

旋转估计

3D旋转估计的研究大致分为理论工作（Yin等人，2023b年；Mohlin等人，2020年）和实际应用的进展。应用已经从实例级别（Rad和Lepetit，2017年；Tekin等人，2018年；Pavlakos等人，2017年）发展到类别级别（J. Wang等人，2021年；Zou等人，2022年），最终发展到估计未知物体的旋转（Pitteri等人，2019年；Gou等人，2022年）。

旋转表示。 一个关键挑战

方法

我们的工作专注于在半监督学习（SSL）环境中，仅使用2D图像来回归物体的旋转，而不需要任何其他模态的数据。我们模型的核心思想包括两个主要组成部分：基于难度感知的课程学习（第3.2节）和专门为旋转估计设计的结构化图像增强策略PoseMosaic（第3.3节）。课程学习决定了哪些样本有资格参与半监督训练

实验

我们在两个数据集上进行了实验，分别是PASCAL3D+（Xiang等人，2014年）和ObjectNet3D（Xiang等人，2016年）。实验在一般的半监督环境下进行，实验结果与监督旋转回归方法（Mohlin等人，2020年；Yin等人，2023b年）以及半监督旋转回归方法FisherMatch（Yin等人，2022年）进行了比较。

讨论与结论

在本文中，我们主要解决了半监督旋转回归中刚性伪标签过滤的问题，这大大限制了未标记数据的有效利用。我们的解决方案引入了一个称为HACMatch的基于难度感知的课程学习框架，该框架根据难度动态选择样本。我们还提出了一种称为PoseMosaic的结构化数据增强技术，旨在在保持几何完整性的同时提供

CRediT作者贡献声明

梅莉：撰写——原始草稿，软件，概念化。周华艺：撰写——审阅与编辑，撰写——原始草稿，方法论。黄瑞志：撰写——审阅与编辑，概念化。卢玉香：方法论。丁月：撰写——审阅与编辑。卢洪涛：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。