级联交互与选择性校准：用于城市场景中无监督领域自适应语义分割的方法

《Expert Systems with Applications》：Cascaded Interaction and Selective Calibration for Unsupervised Domain Adaptive Semantic Segmentation in Urban Scenes

无监督领域适应语义分割通过预训练视觉基础模型（VFMs）提升跨域分割性能，但存在类特异性知识不足的问题。本文提出CISC方法，结合通道校准策略和提示引导的跨层交互模块，在保持领域不变性的同时增强任务相关特征，使GTA5→Cityscapes和SYNTHIA→Cityscapes的mIoU分别提升1.4%和1.6%。

　　

廖木鑫|彭英琼|金玉玲|孙玉婷|黄文菊|王英龙

江西农业大学计算机科学与工程学院，南昌，330045，中国

摘要

无监督领域自适应语义分割（UDASS）使模型能够从标记的源领域学习领域不变信息，以处理未标记的目标领域，从而避免了耗时且繁琐的像素级注释需求。最近，在大规模数据集上预训练的视觉基础模型（VFMs）通过使用高效参数微调范式，在许多下游任务上展示了出色的性能，这些范式使用较少的可训练参数来帮助VFMs更好地适应新任务。然而，我们的观察发现，在城市场景中直接利用VFMs进行UDASS受到缺乏类别特定和任务特定知识的限制，在高效参数微调范式下，目标领域的性能不尽如人意。在这项工作中，我们提出了一种级联交互和选择性校准（CISC）方法，以较少的额外可训练参数对VFMs进行微调，以进一步提高性能。CISC方法包含选择性通道校准（SCC）策略和提示引导的级联交互（PCI）模块。前者估计通道的任务相关性，以保留领域不变和任务特定信息。后者产生一个演变的上下文，注入文本先验和语义信息，以增强类别特定和任务特定信息。实验表明，所提出的CISC方法在GTA5→Cityscapes任务上的mIoU提高了1.4%，在SYNTHIA→Cityscapes任务上的mIoU提高了1.6%。代码发布在https://github.com/seabearlmx/CISC。

引言

语义分割是计算机视觉中的一个基本任务，旨在为图像分配像素级别的类别标签，从而实现诸如自动驾驶（Li, Hu, Ren, Xi, & Fan (2025)；Song et al. (2026)）、医学分析（Ding et al. (2025)）和遥感解释（Gao et al. (2024); Shen et al. (2025)）等关键应用。然而，分布偏移问题经常阻碍实际应用中的分割模型，即训练数据和测试数据之间的分布不一致，训练数据和测试数据通常分别称为源领域和目标领域。这种分布偏移是由于光照、风格、物体外观和天气条件的差异造成的，仍然是语义分割实际应用中的一个主要瓶颈。例如，当在标记的源领域（例如GTA5（Richter, Vineet, Roth, & Koltun (2016)）上训练的模型应用于未标记的目标领域（例如Cityscapes（Cordts et al. (2016)）时，性能可能会显著下降。无监督领域自适应（UDA）（Dong, Niu, Gao, Li, & Shao (2024); Hong, Kumar, & Lee (2024); Huai, Zhang, Wu, Jin, & He (2025)）是一种有前途的解决方案，可以缓解分布偏移问题，从而进一步提高目标领域的性能。现有的UDA语义分割（UDASS）方法（Hoyer, Dai, Wang, & Van Gool (2023); Liao, Hua, Tian, Zhang, Zou, Li, 2022, Liao, Tian, Zhang, Hua, Zou, Li, 2024; Tsai et al. (2018)）采用特征对齐策略和表示学习策略来学习领域不变特征。尽管这些方法在目标领域取得了显著的性能，但性能仍然受到在ImageNet（Deng et al. (2009)数据集上预训练的卷积神经网络（CNNs）或Transformer模型的限制。

最近，许多领域泛化语义分割（DGSS）方法（Bi et al. (2024); Liao, Li, Yin, Jin, & Peng (2025); Wei et al. (2024); Yi et al. (2024）被提出，使用视觉基础模型（VFMs）来进一步提高未见领域的性能，这激励我们使用PEFT策略将VFMs应用于UDASS。然而，我们在图1中的观察表明，直接在城市场景中利用PEFT策略的VFMs进行UDASS受到缺乏类别特定和任务特定知识的限制，导致目标领域的性能不佳。

图1比较了基于FPFT和基于PEFT的UDASS方法在所有、物品和事物类别上的性能。DAFormer（Hoyer, Dai, & Van Gool (2022a）、HRDA（Hoyer, Dai, & Van Gool (2022b）和MIC（Hoyer et al. (2023）使用在ImageNet上预训练的Transformer模型作为骨干，而其他方法使用VFMs。首先，基于FPFT的方法在物品类别的mIoU上优于基于PEFT的方法。例如，MIC（基于Transformer的）超过了基于PEFT的方法，表明冻结的VFMs骨干可能缺乏类别特定知识，例如“道路”、“人行道”、“建筑物”、“杆”、“植被”等物品类别，导致在PEFT微调下性能不佳。其次，图1（d）显示了类别边界的准确分割不足（例如“人行道”和“杆”）和错误分类（例如将“杆”分类为“植被”），表明冻结的VFMs骨干可能缺乏任务特定知识（例如边缘和上下文信息）。此外，基于DINOv2的UDASS方法，如Rein++（DINOv2-L）（Wei et al. (2025）和DINOv2（Oquab et al. (2023））优于基于EVA02的方法，如Rein++（EVA02-L）（Wei et al. (2025）和EVA02（Fang et al. (2024)）。我们认为这是因为DINOv2（Oquab et al. (2023）是在包括Cityscapes（未使用其标签或验证集）在内的大规模数据集上预训练的，因此没有违反UDA任务设置。这进一步突显了在PEFT下VFMs中缺乏类别特定和任务特定知识的不足。因此，设计一种新的PEFT方法，在保留VFMs的领域不变知识的同时增强类别特定和任务特定知识，并且使用最少的额外可训练参数，是提高基于VFMs的UDASS在目标领域性能的关键挑战。

为了解决这一挑战，我们提出了一种级联交互和选择性校准（CISC）方法，以较少的额外可训练参数对VFMs进行微调，从而提高目标领域的性能。所提出的CISC方法旨在填补现有基于VFMs的UDASS方法中的两个关键空白。一方面，保留VFMs冻结骨干中的领域不变和任务特定知识，以避免当前基于VFMs的UDASS方法中特征过度调整。另一方面，在将VFMs微调到UDASS任务时，增强冻结骨干中特征的类别特定和上下文知识。为了实现这些目标，所提出的CISC方法包含选择性通道校准（SCC）策略和提示引导的级联交互（PCI）模块。

具体来说，首先，所提出的SCC策略估计通道的激活值，以评估这些通道的任务相关性，从而确定需要校准的特征。具有较高任务相关性的通道表明这些通道对任务性能至关重要。这些通道需要保留，因为它们可能包含领域不变和任务特定知识。相比之下，具有较低任务相关性的其他通道表明这些通道需要校准。因此，所提出的SCC策略旨在在微调VFMs阶段保留冻结骨干中特征的领域不变和任务特定信息。其次，所提出的PCI模块使用一组可学习令牌来传播层间语义信息，以便在可学习令牌和每层的特征之间进行交互，从而微调冻结骨干中较低任务相关性通道的特征。由于可学习令牌是由CLIP模型使用类别相关模板生成的文本嵌入初始化的，并且通过类似注意力的操作隐式地交互层间语义信息，从而产生演变的类别和上下文信息，以增强类别特定和任务特定信息。实验表明，所提出的CISC方法在多个基准测试中实现了比现有UDASS方法更优越的性能。如图1所示，与之前的UDASS方法和基线（DINOv2）相比，所提出的CISC方法在物品类别的mIoU方面取得了显著的性能提升。此外，图1（d）显示了“人行道”和“杆”类别的边缘和内部区域的准确分割结果。

我们总结如下贡献：

•

我们提出了一种级联交互和选择性校准方法，用于UDASS，旨在用较少的额外可训练参数微调VFMs，以提高目标领域的性能。

•

提出了一种选择性通道校准策略，用于评估通道的任务相关性，然后在微调VFMs阶段保留与任务相关的通道，以保留冻结骨干中特征的领域不变和任务特定信息。

•

提出了一种提示引导的级联交互模块，通过使用类别相关模板作为提示和层间语义信息传播来校准与任务无关通道的特征，从而增强类别特定和任务特定信息。

•

所提出的CISC方法在多个UDASS基准测试中取得了比现有UDASS方法更优越的性能。

本文的其余部分组织如下：第2节回顾相关工作。第3节详细介绍了所提出的CISC方法。第4节展示了实验结果和比较。第5节讨论了所提出的CISC方法的稳定性、计算成本和超参数敏感性，并最终验证了所提出的SCC策略的假设。第6节总结了这项工作，并指出了局限性和未来的工作。

相关工作

相关工作

我们简要回顾了基于CNN、基于Transformer和基于VFMs的UDASS方法。

我们的方法

在本节中，我们首先介绍了所提出的CISC方法的概述。其次，分别介绍了所提出的SCC策略和PCI模块。

数据集和基准测试

使用了五个数据集，包括GTA5（Richter et al. (2016)）、SYNTHIA（Ros, Sellart, Materzynska, Vazquez, & Lopez (2016)）、Cityscapes（Cordts et al. (2016)、ACDC（Sakaridis, Dai, & Van Gool (2021）和DarkZurich（Sakaridis, Dai, & Van Gool (2020)），形成了四个UDASS标准基准。

合成数据集。GTA5（Richter et al. (2016）和SYNTHIA（Ros et al. (2016）数据集包含24966张和9400张合成图像，这些图像来自计算机游戏Grand Theft Auto V和Unity游戏

讨论

在本节中，我们讨论了所提出的CISC方法的稳定性、超参数敏感性和计算成本。

结论

在本文中，我们提出了一种级联交互和选择性校准（CISC）方法，该方法包含选择性通道校准（SCC）策略和提示引导的级联交互（PCI）模块，以较少的额外可训练参数微调VFMs，从而进一步提高性能。具体来说，所提出的SCC策略旨在估计通道的激活值，以选择用于后续校准的任务相关通道的特征，从而保留

作者声明

廖木鑫设计了所提出方法的初始框架，然后与彭英琼和王英龙讨论并优化了设计。廖木鑫、彭英琼和黄文菊计划了实验，并共同分析了结果。金玉玲、孙玉婷和黄文菊进行了实验并协助结果分析。

廖木鑫撰写了初始手稿。廖木鑫、彭英琼和王英龙修订了论文，彭英琼和王英龙

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。