《Knowledge-Based Systems》：Semi-supervised Disentangled Representation for Long-Tailed learning in Remote Sensing Images
编辑推荐：
本文提出一种基于可学习类概率和Gumbel-Softmax分布的半监督解耦表征学习方法（SDR-LT），有效解决遥感图像长尾数据分布不平衡问题，通过辅助语义模型增强表征区分度，显著提升长尾类识别性能。
Jiawei Niu | Lizhuo Liu
西安电子科技大学，中国陕西省西安市西峰路兴龙段266号，710126
摘要
长尾学习在遥感领域仍然是一个关键挑战，因为类别分布往往高度不平衡。尽管现有的长尾方法已经取得了显著进展，但大多数方法依赖于完全标记的数据集，这限制了它们在现实世界场景中的实用性。在遥感中，这一挑战更加严重，因为大规模、细粒度的图像使得手动标注的成本极高，而未标记的数据则更容易获得。因此，当只有少量数据被标记时，从长尾数据中有效学习变得特别困难。为了解决这个问题，我们提出了一种半监督的去耦表示学习方法（SDR-LT）用于长尾分类。SDR-LT利用基于InfoGAN的架构将类别身份作为一个可控的潜在因素，从而实现类别感知的样本生成，以增强尾部类别。此外，引入了辅助网络来指导生成器分离高级语义特征，并生成更具真实感、语义一致的样本。在MSTAR和HRSC数据集上的实验表明，与其他相关的长尾学习方法相比，SDR-LT在标记有限的情况下始终能够获得更好的性能。
引言
机器学习在模拟各种应用中的复杂和非线性关系方面取得了显著成功。特别是深度神经网络[1]、[2]、高斯过程回归[3]、[4]、图模型[5]和集成方法[6]在提取高维表示和提高预测性能方面表现出强大的能力。这些进展突显了数据驱动模型从复杂数据分布中提取有意义表示的潜力，这对于以大规模、异构和高维观测为特征的遥感任务尤为重要。在遥感领域，深度神经网络（DNNs）在对象识别任务[7]、[8]中取得了显著成功，尤其是在合成孔径雷达（SAR）图像[9]、[10]和光学遥感图像[11]方面。大多数现有的识别方法假设训练样本的分布是类别平衡的[12]，即每个类别都有相似数量的样本。在现实世界的遥感场景中，尤其是在军事场景中，这一假设很少成立。某些目标出现频率很高，而其他目标则很少被观察到，导致数据分布高度不平衡或长尾[13]、[14]、[15]。在这种数据上训练的深度模型往往偏向于头部类别，并且在尾部类别上的性能严重下降，使得长尾学习成为遥感识别中的一个关键问题。
为了解决这个问题，提出了多种长尾学习方法[16]、[17]、[18]，这些方法通常可以分为三类：模块改进[19]、信息增强[20]和类别平衡[21]。模块改进方法改进了模型架构或学习机制，但由于使用了多个专家模型，通常会带来较高的计算成本。信息增强方法引入了额外的数据增强或辅助信息，但当应用与类别无关的变换时，可能会进一步加剧不平衡。类别平衡方法，如过采样或重新加权，调整了训练分布，提供了一种相对简单但有效的方法来缓解类别不平衡。
在遥感应用中，长尾学习的挑战因标记数据的稀缺而进一步加剧。遥感图像通常规模庞大、粒度细，需要专家知识进行标注，这使得大规模标注成本高昂且不切实际。相比之下，未标记的数据通常很丰富。这自然导致了半监督长尾学习（SSLTL）的出现，其目标是利用大量未标记的数据来提高长尾标签分布下的识别性能。SSLTL中的一个常见策略是为未标记样本分配伪标签，并将它们纳入训练过程。然而，伪标签往往存在噪声并且偏向于头部类别，进一步降低了尾部类别的性能。为了减轻伪标签偏差的负面影响，已经探索了各种策略，包括损失重新加权[22]、优化技术[23]、数据重采样[24]、[25]、元学习[26]、[27]和集成框架[28]、[29]。虽然这些方法在某种程度上提高了鲁棒性，但大多数现有的SSLTL方法仍然依赖于一个不现实的假设，即标记数据和未标记数据具有相似的类别分布。在实际的遥感场景中，标记和未标记的样本通常来自不同的传感器、任务或时间段，导致分布不匹配，从而影响伪标签的准确性并阻碍从尾部类别的有效学习。
为了减轻对伪标签的过度依赖，我们探索了使用生成模型来丰富尾部类别的表示。生成对抗网络（GANs）[30]、[31]、[32]、[33]提供了一个灵活的框架，用于在无需完全监督的情况下学习数据分布和生成真实样本。其中，信息最大化生成对抗网络（InfoGAN）通过学习去耦表示来实现可控生成，其中潜在变量对应于可解释的变化因素。然而，传统的InfoGAN通常采用固定或启发式设计的潜在变量（通常是均匀的），这限制了它在半监督和长尾条件下的类别可控生成能力，因为在这些条件下类别边界不明确，数据分布偏斜。
在这项工作中，我们提出了一种半监督去耦表示方法（SDR-LT），它明确将类别身份作为潜在空间中一个可控的变化因素进行建模。我们不是依赖于固定的潜在先验，而是通过将类别概率视为可与网络共同优化的可学习参数来重新设计潜在分布。采用Gumbel-Softmax分布来实现分类变量的可微分采样，允许梯度反向传播到类别概率，并指导从半监督长尾数据中分离类别相关因素。然后，我们引入了一个辅助的语义提取模型结合对比学习，每个样本都被增强为成对的视图，并鼓励学习一致的表示。这种设计加强了潜在空间中的类别相关结构，并驱动生成器合成多样、高质量且可标记控制的遥感图像，从而提高了尾部类别的识别性能。
我们工作的主要贡献总结如下：
- •
我们提出了一种半监督去耦表示框架用于长尾学习，其中类别身份被明确建模为一个可控的变化因素。全面的实验表明，SDR-LT能够实现遥感图像的标记可控生成，并在长尾分布下一致地提高尾部类别的性能。
- •
我们开发了一种类别分布学习策略，可以从半监督长尾数据中分离类别表示。通过将潜在变量视为可学习参数并采用Gumbel-Softmax技巧，可以通过类别概率反向传播梯度，从而在不平衡的设置中指导类别身份的发现。
- •
我们设计了一个辅助语义提取模型来加强去耦的监督信号。通过整合数据增强和对比学习，该模型以无监督的方式使潜在变量与类别身份对齐，从而获得更具区分性的表示并提高识别性能。
本文的其余部分组织如下。第2节简要介绍相关工作。第3节详细介绍了所提出的SDR-LT。第4节描述了实验设置并报告了实验结果。第5节得出结论。
相关工作
相关工作
在本节中，我们简要介绍了我们提出的方法的相关工作，包括生成对抗模型和对比表示学习。
方法论：提出的SDR-LT
本节介绍了提出的半监督去耦表示学习框架（SDR-LT）用于长尾分类。SDR-LT的目标是从其他变化因素中分离类别身份，并在半监督长尾条件下实现类别一致样本的可控生成。该框架包括两个关键组成部分：一方面，是一种类别分布学习策略，它替换了固定的、均匀的分类先验
实验
在本节中，我们进行了定量和定性实验来评估我们提出方法的有效性。首先，简要介绍了数据集的基本信息和实验设置。然后，利用定量指标和定性可视化评估了生成样本的质量和类别可控性，并与相关的生成模型进行了比较。此外，还通过将SDR-LT与其他方法进行比较来评估分类性能
结论
在本文中，我们提出了一种用于长尾学习的半监督去耦表示方法。SDR-LT将类别身份作为关键的变化因素进行分离，并采用类别分布学习策略来适应性地捕获不平衡的类别分布，而无需预定义的潜在结构。通过反向传播学习潜在变量的参数，模型可以从有限的监督中更好地表示尾部类别。为了进一步提高区分能力
CRediT作者贡献声明
Jiawei Niu：撰写——原始草稿、验证、软件、方法论、概念化。Lizhuo Liu：撰写——审阅与编辑、监督、数据管理。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
