基于变换不变特征子空间投影的学习域通用语义分割模型

《Neurocomputing》：Learning domain generalizable semantic segmentation model by transformation-invariant feature subspace projection

　　杨立伟|顾翔|王世鹏|孙健中国陕西省西安市西安交通大学数学与统计学院，邮编710049

摘要
当训练数据和测试数据具有相同的分布时，语义分割技术已经取得了显著进展。然而，当测试数据与训练数据所属领域不同时，语义分割模型的性能往往会下降。为了解决这一挑战，本文提出了一种新的变换不变特征子空间投影（TIFSP）方法，用于学习能够泛化到未知目标领域的语义分割模型。具体而言，TIFSP通过识别对数据变换不太敏感的空间来构建变换不变特征子空间，将深度神经网络的中间表示投影到该空间中，从而提取出可泛化到其他领域的特征。此外，我们还提出了一种增强损失函数，以丰富该子空间，从而促进变换不变特征的学习。TIFSP可作为即插即用模块，无缝集成到其他卷积神经网络和变换器方法中，提升它们的跨领域泛化能力。在五个基准数据集上的大量实验表明，与现有的十二种基线方法相比，使用所提出的方法进行语义分割时，其泛化性能有所提升。

引言
语义分割是计算机视觉中的基本任务。基于深度神经网络的语义分割模型在假设训练数据和测试数据具有相同的数据分布的前提下取得了显著进展[1]、[2]、[3]。然而，当在数据分布与训练数据不同的测试数据上评估时，大多数模型的性能都会下降。为了解决这个问题，人们在假设训练过程中可以获取带标签或无标签的目标领域数据的前提下，广泛研究了领域自适应技术[4]、[5]。这些方法通常通过调整源领域和目标领域的分布，以提高模型在目标领域的性能。尽管这些方法取得了成功，但在实际应用中，由于数据可能较为稀缺，训练过程中能够获取目标领域数据的假设可能并不现实。为了解决领域自适应的这一局限性，领域泛化技术[6]、[7]旨在在源领域上学习出可泛化的模型，以便应用于未知的目标领域。为了提高模型在未知目标领域的性能，现有的领域泛化方法通常利用因果机制学习领域不变特征[8]、[9]，通过数据/领域增强来丰富训练数据集[10]、[11]，或者设计归一化/白化技术来消除领域特有的风格/纹理[6]、[12]。在语义分割领域，早期的基于卷积网络的领域泛化语义分割方法[6]、[13]、[14]、[15]主要侧重于设计领域/风格增强技术以及一致性约束。而最近的基于变换器的方法[16]、[17]则利用视觉变换器架构的强大性能，实现了模型的跨领域泛化能力。虽然最近的进展提升了模型的泛化能力，但在语义分割领域实现稳健的领域泛化仍然是一个难以实现的目标。我们分析认为，语义分割中的领域差异往往源于与内容无关的变换，比如照明和对比度的变化（例如，Cityscapes[18]和ACDC[19]之间的领域差异主要是由天气和光照变化造成的）。这表明在领域泛化语义分割任务中，不同领域之间存在语义一致性。受此启发，我们提出了变换不变特征子空间投影（TIFSP）这一新方法，通过学习稳健的分割模型来解决领域泛化问题。具体而言，TIFSP通过在变换后的数据上识别对预变换和后变换数据特征差异不太敏感的空间，来构建变换不变特征子空间。然后，我们引入了一个特征投影模块，将该模块的中间表示映射到这个子空间中，从而提取出大致对变换不变的特征。为了进一步强化这一特性，我们设计了一种增强损失函数，以丰富该子空间，从而促进变换不变特征的学习。这些技术被整合到一个端到端的训练框架中，使得模型能够得到便捷的优化。同时，TIFSP可以被视作一个线性变换层，可以集成到现有的基线方法中。我们将该方法应用于不同的基于卷积神经网络和变换器的基线方法，并在五种泛化设置下，针对包括GTAV[20]、Cityscapes[18]、BDD100K[21]、Mapillary[22]、SYNTHIA[23]和ACDC[19]在内的六个基准数据集，研究了其有效性。大量的实验结果表明，我们的方法在多种泛化任务中提升了多个基线方法的性能。消融研究则展示了我们方法中各个组成部分的有效性。我们的贡献可总结如下：（1）我们提出了在语义分割背景下，研究用于领域泛化的变换不变特征空间；（2）我们提出了一种变换不变特征投影模块，通过识别对变换不太敏感的空间，并将特征明确投影到该子空间中，从而构建变换不变空间；（3）我们提出了一种变换不变性增强损失函数，以丰富变换不变特征空间；（4）大量的实验和消融研究表明，与十二种不同的基线方法相比，我们的方法在基于卷积神经网络和变换器的模型上均具有更好的效果。

片段内容
语义分割
语义分割旨在为每个像素分配语义标签，而具有区分度的像素级表示对于精确的密集预测至关重要。现有的研究从特征表示学习和数据增强的角度提升了分割性能。在特征层面，周等人[24]从原型视角重新思考了语义分割问题，提出了一个基于非参数原型的框架用于密集预测，而王等人[25]则引入了跨图像模型。

在领域泛化中，我们有源领域数据，其中表示第幅图像及其像素级的类别标签。这些数据是从源分布中独立同分布采样的，它们的联合分布表示为。领域泛化的目标是在源领域上训练出一个可泛化的模型，使其能够在分布可能与源领域不同的未知目标领域上表现出良好的性能。为了解决领域泛化分割任务，我们的思路是研究和构建相应的模型。

实验
在本节中，我们在领域泛化语义分割的基准数据集上评估了我们的TIFSP方法，内容包括4.1节中的数据集介绍、4.2节中的实现细节、4.3节中的基准测试结果以及4.4节中的消融研究分析。我们的代码将在论文发表后公开提供。

结论
在本文中，我们提出了一种基于变换不变特征子空间投影和变换不变性增强的新型领域泛化语义分割策略TIFSP。具体而言，我们采用数据增强技术生成增强数据来模拟未知的目标数据，并将特征投影到变换不变子空间中。此外，我们还提出了一种变换不变性增强损失函数，通过降低某种效应来增强特征的变换不变性。

CRediT作者贡献声明
杨立伟：撰写——初稿、可视化、验证、软件、方法论、研究、形式分析、数据整理、概念构思。顾翔：撰写——初稿、方法论、资金获取、形式分析、概念构思。王世鹏：形式分析、概念构思。孙健：撰写——初稿、方法论、资金获取、形式分析、概念构思。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
本文得到了国家关键研发计划2021YFA1003002、国家自然科学基金（12125104、12426313、623B2084、12501709）、博士后科研资助计划与中国博士后科学基金会（BX20240276）以及广东省重点领域研发计划（编号2025B1111120001）的支持。杨立伟于2020年在中国陕西省西安的西安交通大学获得应用数学学士学位，目前他正在该校攻读应用数学博士学位，他的研究兴趣在于迁移学习与视觉语言学习。