基于掩码引导的无源域适应方法在夜间语义分割中的应用

《Digital Signal Processing》：Masking-Guided Source-Free Domain Adaptation for Nighttime Semantic Segmentation

夜间语义分割源无域自适应方法研究。提出MGNL框架，通过互补掩码模块增强伪标签质量，结合噪声耐受损失函数抑制错误标签影响，在夜间场景下实现跨域迁移学习。

　　

Xichao Li|Simiao Wang|Yijia Zhang|Mingyu Lu|Yunan Liu

大连海事大学信息科学与技术学院，中国大连，116024

摘要

夜间语义分割对于自动驾驶至关重要，但由于难以获得准确的手动注释，这一任务仍然具有挑战性。无源域适应（SFDA）通过从预训练模型中转移知识来提供了一种有前景的解决方案，而无需访问私有源数据。然而，白天和夜间场景之间存在显著的视觉差异，这给现有SFDA方法带来了重大挑战。在本文中，我们提出了一种用于夜间语义分割的掩码引导噪声容忍学习（MGNL）方法。该方法基于知识蒸馏的概念，旨在生成高质量的伪标签，同时减轻伪标签噪声的负面影响。具体而言，我们引入了一个补充的掩码模块，以捕获丰富的上下文信息来生成可靠的伪标签。此外，我们提出了一种噪声容忍损失函数，有效利用来自模糊样本的信息来减少标签噪声。在基准数据集上的广泛实验表明，我们的方法在SFDA设置下的夜间语义分割任务中取得了最先进的性能。此外，我们进行了消融研究，以验证MGNL中每个组件的单独贡献。

引言

语义分割是一种基本的计算机视觉任务，它为每个像素分配一个语义类别，在场景理解中起着关键作用。深度神经网络（DNN）的最新进展显著提高了语义分割的准确性和效率。然而，在复杂环境中实现可靠的语义分割[1]，[2]仍然是一个重大挑战。这一限制阻碍了其在安全关键场景（如自动驾驶）中的应用。

考虑到夜间场景是最常见的不利天气条件之一，本文重点讨论了夜间的语义图像分割，这与白天分割[1]，[3]，[4]同样重要。然而，由于光照变化和可见性问题，夜间条件为语义分割带来了独特的挑战。DNN成功的关键因素是拥有经过良好注释的数据集用于模型训练。然而，对于夜间分割来说，由于欠曝和过曝等问题，获取高质量注释特别具有挑战性，这使得许多夜间图像区域难以识别，从而使得手动像素级注释变得尤为困难。一种直接策略是使用来自白天场景（源域）的注释数据来训练模型。然而，两个域之间的显著视觉差异通常会导致夜间场景（目标域）上的性能不佳。为了解决这个问题，无监督域适应（UDA）[5]，[6]，[7]，[8]，[9]，[10]，[11]作为一种解决方案出现，它通过特征和/或图像级别的域对齐来减少域差异。虽然UDA方法可以提高模型在不同域上的性能，但它们通常需要源数据和目标数据。然而，由于隐私、存储和传输方面的问题，源数据的访问[12]，[13]并不总是有保障的，这使得UDA方法不切实际。因此，迫切需要开发一种专门针对夜间语义分割的无源域适应（SFDA）方法，以促进模型向夜间场景的迁移。

主流的SFDA方法[14]，[15]，[16]，[17]主要基于自训练范式运行。这些方法利用预训练的源模型为未标记的目标数据生成伪标签，然后使用这些伪标签重新训练任务模型。这种迭代过程，其中伪标签和模型同步更新，促进了渐进式的域适应。然而，白天和夜间之间的显著视觉差异在将现有SFDA方法应用于夜间分割时带来了独特挑战。具体来说，出现了两个主要问题：（1）伪标签质量低：夜间图像的视觉质量往往较差，许多对象甚至对人类眼睛来说也难以辨认。这提出了一个关键问题：我们如何在动态域适应过程中提高伪标签的质量？（2）噪声伪标签的负面影响：尽管随着域适应的进行，伪标签的质量逐渐提高，但噪声（即错误标记）仍然是一个固有问题。一个关键挑战是：我们如何减轻噪声标签对后续适应的负面影响？这些挑战共同阻碍了SFDA方法在夜间分割场景中取得满意结果的能力。解决这些问题对于提高模型性能并在真实世界环境中实现可靠应用至关重要。

在本文中，我们提出了一种针对夜间语义分割的掩码引导噪声容忍学习（MGNL）方法。我们的方法利用了教师-学生框架中的知识蒸馏。首先，我们将预训练源模型的参数加载到学生网络中。在后续迭代中，我们使用指数移动平均（EMA）[18]，[19]更新教师网络的参数，并使用它从目标图像生成伪标签来训练学生网络。为了解决夜间语义分割中的挑战，我们的MSFDA方法包括两个关键策略：（1）我们通过从目标域提取丰富的上下文线索来提高伪标签质量。源域和目标域之间的显著视觉差异，以及混淆类别内的细微差异，会在伪标签中引入噪声。Hoyer等人[20]提出了一种基于掩码的图像一致性方法，该方法利用上下文来改进伪标签预测；然而，其随机掩码有时会遗漏完整的对象覆盖。在本文中，我们提出了一种基于互补掩码的策略。通过对带有互补掩码的潜在图像应用正则化约束，我们更有效地学习了目标图像的局部上下文关系，从而生成了可靠的伪标签。（2）我们引入了一种噪声容忍损失函数来减轻错误伪标签的影响。即使伪标签的质量有所提高，它们仍然不如手动注释，伪标签中的残余错误可能会阻碍后续的域适应。许多方法[21]，[22]，[23]通过采用校正策略来纠正噪声标签。其他方法[24]，[25]修改损失函数以抑制不准确的伪标签。然而，这些方法的有效性取决于准确识别和纠正伪标签噪声，任何残余噪声仍然会影响域适应性。在本文中，我们引入了一种噪声容忍学习方法来减轻伪标签噪声对域适应的负面影响。我们方法的主要贡献如下：

•

我们提出了MGNL，这是一种无需标记源数据的夜间场景域适应语义分割方法，解决了一个大部分未被探索的设置。

•

我们提出了一个补充的掩码模块，通过捕获上下文线索来生成可靠的伪标签。此外，我们引入了一种噪声容忍损失函数来减少噪声伪标签的负面影响。

•

在基准数据集上进行评估时，我们的MGNL在SFDA设置中取得了新的最先进性能。此外，几项消融研究验证了MGNL中每个组件的有效性。

本文的其余部分组织如下。第2节回顾了相关工作。第3节详细描述了所提出的方法。第4节展示了实验结果和与最先进方法的比较。第5节讨论了所提出方法的局限性及未来研究方向。最后，第6节总结了本文。

章节片段

无监督域适应

在自动驾驶中，环境因素经常创建跨域场景，从而阻碍深度学习模型的性能。因此，提高模型的泛化能力已成为一个关键的研究焦点。无监督域适应（UDA）通过利用源域的标记数据和目标域的未标记数据，在这一努力中发挥了关键作用。

概述

假设源域表示为$X_S={\left\{x_s^i\right\}}_i^{}\}i=1N_s$目标域表示为$X_T={\left\{x_t^i\right\}}_{i=1}^{N_t}$，其中x和y表示图像及其对应的标签，N_s和N_t分别表示源域和目标域中的图像数量。在无源域适应（SFDA）的背景下，我们提出了一个掩码引导噪声容忍学习（MGNL）框架，如图1所示。由于在域对齐过程中我们无法访问X_S，因此我们的MGNL的目标是

数据集和评估指标

在我们的实验中，我们使用平均类别间交并比（mIoU）作为评估指标，较高的值表示更好的性能。我们使用以下数据集来训练和评估我们的模型：

Cityscapes [59]。该数据集包括5,000帧街道场景，每帧图像都有19个类别的像素级注释。图像和注释的分辨率为2,048 × 1,024像素。对于我们的实验，我们使用了训练集中的2,975张训练图像

局限性和未来工作

尽管MGNL非常有效，但仍存在一些局限性，这些局限性激发了未来的研究。首先，在CMM中，掩码大小是手动定义的，并且在训练过程中保持不变。特定的掩码大小适合捕获对应于某个尺度对象的上下文信息，但固定的掩码可能在对象表现出显著尺度变化时限制了适应性。未来的工作将探索根据对象尺度调整掩码尺寸的自适应掩码大小策略，

结论

在本文中，我们提出了MGNL，这是一种用于夜间场景无源域适应语义分割的新框架。MGNL通过联合建模上下文信息和噪声鲁棒性，解决了不可靠伪标签和严重噪声的问题。具体来说，我们引入了一个补充的掩码模块来捕获多样化和信息丰富的上下文线索，从而有助于生成更可靠的伪标签。此外，我们提出了一种噪声容忍损失函数

CRediT作者贡献声明

Xichao Li：软件、调查、写作——原始草稿。Simiao Wang：调查、可视化、验证。Yijia Zhang：概念化、写作——审阅与编辑、资源。Mingyu Lu：项目管理、资金获取、监督。Yunan Liu：资金获取、写作——审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。