综述：面向道路损伤检测的多对抗度量约束域泛化

《Image and Vision Computing》：Multi-Adversarial Metric-Constrained Domain Generalization for road damage detection

　　

摘要

域泛化（DG）旨在学习能够在训练过程中不接触目标数据的情况下泛化到未见域的域不变表示。为了解决路面损伤检测中严重的跨域差异问题，我们提出了一种多对抗度量约束域泛化（MAMDG）方法，该方法通过增强多源域偏移下的特征不变性和类别级可判别性来提升性能。在该方法中，一个多对抗深度域泛化模块和一个基于特征的自适应双向三元组挖掘约束被联合优化，以学习路面损伤检测的通用特征表示。具体来说，多对抗训练策略利用特征提取器与多个域判别器之间的对抗交互来抑制域特定线索，并促进从多个源域学习域不变表示。然而，仅靠对抗对齐可能会削弱特征的类别判别结构，导致潜在的类别混淆。为了解决这一问题，我们在所学特征空间上施加了度量约束，该约束通过基于特征的自适应双向三元组挖掘模块实现。该模块在域内和跨域上强制执行三元组关系，将同一损伤类别的样本拉近，同时将不同类别的样本推远。这一度量约束组件在促进多个源域之间特征共享的同时保留了类别可分性，从而增强了域不变特征的可判别性。所提出的MAMDG方法提高了对域偏移的鲁棒性，增强了模型泛化到未见路面损伤场景的能力。在包括RDD2022、Cityscapes和Sim10k在内的公开数据集上的大量实验证明了该方法的有效性。

引言

路面表面因老化、恶劣天气条件和车辆超载等因素随时间推移而恶化，导致磨损和损坏。这种退化不仅缩短了道路的使用寿命，还增加了交通事故的风险，对行车安全构成重大威胁。因此，有效的路面维护至关重要。在道路评估中，路面损伤检测是不可或缺的步骤。传统的人工检测方法耗时、劳动密集，且容易出现视觉错误和主观偏差。然而，图像处理技术和深度学习技术的进步为路面损伤检测开辟了新的途径，有效地解决了人工方法的局限性。

目前，各种损伤检测方法利用图像纹理特征，如Gabor滤波器[1]、方向梯度直方图[2]和局部二值模式[3]。虽然这些方法在一定程度上可以实现满意的检测性能，但它们往往缺乏应对复杂环境中多样化外观和裂缝类型所需的鲁棒性。

随着卷积神经网络[4]在图像分类、检测和分割等计算机视觉任务中的发展，基于CNN的方法已成为该领域的主流。然而，这些方法通常利用编码器-解码器结构对高质量路面图像进行逐像素分割，导致空间分辨率损失和低效的逐像素分类。这一局限性阻碍了它们在边缘设备上的应用和部署。此外，使用激光成像设备获取高分辨率路面图像往往成本过高，对道路维护活动的实施构成了挑战。

为了提高路面损伤的自动识别性能，提出了一些新方法[5]。虽然这些方法在训练和测试数据来自同一国家的实验中取得了良好的性能，但在训练和测试数据来自不同国家的跨国实验中，其有效性有所下降。这种下降是由于这些检测方法倾向于只捕获训练数据中存在的特征，使其难以泛化到来自不同域的测试数据，而这些数据在路面材料复杂度和损伤条件方面往往存在差异。文献[6]中提出了一种基于对抗学习的深度域泛化方法，通过对抗学习将源域对齐到预定义分布。域泛化假设在多个可见源域和未见目标域之间存在某些通用特征表示。因此，在已知源域数据上训练的模型可以很好地泛化到新的未见目标域。这表明可以从多个源域提供的多样化信息中有效地学习通用特征表示。这与实际的路面损伤检测场景一致，在这些场景中，目标域数据在部署前通常不可用或不足。

在本文中，为了在不利用目标域信息的情况下增强路面损伤检测的泛化能力，我们通过利用多个源域之间的共有和可识别信息来学习这些通用特征表示，从而采用域泛化。这些特征表示源自不同域间共享的路面损伤特征，具有较少的域特定特征，因此具有更好的泛化能力。例如，如图1所示，日本、美国和印度代表了具有不同损伤模式和路面背景的多样化源域。这些差异使得检测任务更具挑战性，因为不同域中同一损伤类别存在差异。尽管如此，我们的方法旨在识别这些域之间共享的共有特征表示。

为实现这一目标，我们提出了多对抗度量约束域泛化（MAMDG），这是一种用于路面损伤检测的新方法，能够在多个源域中学习域不变特征表示。该方法首先为每个源域预训练特征提取器。随后，将主干网络（CSPDarknet53 [7]）中最小尺度的特征图进行编码，并使用真实标签计算对抗损失。然后将这些损失的平均值进行反向传播，增强主干网络提取通用特征的能力。在此对抗学习过程中，特征提取器学习提取域间共享特征，同时与多个域判别器竞争。这种竞争鼓励所学特征在域间变得不可区分。当特征提取器成功欺骗所有域判别器时，它有效地识别了源域之间的通用特征表示。然而，仅依赖对抗训练虽然在增强域不变性方面具有优势，但可能会损害特征的类别条件判别力。因此，在跨域场景中，同一类别的样本可能变得不那么紧凑，而不同类别的样本可能变得不那么可分，从而增加了类别混淆的风险。为了进一步在对抗日域泛化过程中增强通用特征表示的可判别性，我们施加了基于特征的自适应双向（FAB）三元组挖掘约束。在每个样本三元组集合中，与锚点样本具有相同损伤类别的实例被视为正样本，而来自不同类别的实例被视为负样本。该方法最小化锚点与正样本之间的距离，同时最大化与负样本的距离，无论是在域内还是跨域。我们通过利用标签映射从小型和中型特征图中获取实例级特征来引入三元组损失。因此，采用多对抗训练来学习域不变表示，通过抑制域特定信息实现。与此同时，FAB三元组挖掘模块在域内和跨域上施加类别条件度量约束，以保留特征的判别结构。通过联合优化这两个组件，模型实现了对未见路面损伤域的改进泛化能力。据我们所知，这是第一项研究域泛化以改进未见域路面损伤检测的工作。

章节摘要

路面损伤检测与跨域检测

在过去几十年中，许多努力致力于检测路面损伤，这些方法通常可分为两类，即基于空间的方法和基于频率的方法。基于空间的方法分析纹理和形状等图像特征以进行损伤检测，对于清晰的模式效果显著，而基于频率的方法利用频率变换来检测周期性异常，使其适用于重复性模式。然而，基于空间的方法[8]是

概述

我们的目标是开发一种通用特征表示，以解决不同地区间路面损伤检测的泛化挑战。虽然测试样本来自未见域，但它们在损伤外观方面仍与多个源域共享某些共同特征。例如，与源域相比，来自未知域的路面损伤可能发生在不同的路面材料上或在不同的环境条件下。然而，它们

实验环境

所有实验均在配备两颗Intel Xeon E5-2620 v4 CPU（16个物理核心，32个逻辑线程，125 GiB内存）和一块GeForce RTX 2080 Ti GPU（11 GB显存）的服务器上完成，运行Ubuntu 20.04.6 LTS系统。该框架使用Python 3.10、PyTorch 2.1.1和NumPy 1.26.4实现。

路面损伤数据集

RDD2022 [47]是一个来自六个国家的多样化路面损伤数据集，包含来自六个国家（日本、美国、印度、捷克共和国、挪威和中国）的47,420个正面视角样本，使用

结论

为了增强路面损伤检测的泛化能力，我们的工作利用域泛化技术在多源域之间学习通用特征表示，而无需使用目标域数据。具体来说，提出了一种新的多对抗度量约束域泛化方法，该方法同时训练一个特征提取器对抗多个域判别器，以实现通用特征表示的自动提取。通过引入FAB

CRediT作者贡献声明

陈志寰：撰写—审阅与编辑，撰写—原稿，验证，方法论，调查。张杰：撰写—审阅与编辑，指导，方法论，资助获取。林雨顺：撰写—审阅与编辑，指导，方法论。吴瑞金：撰写—审阅与编辑，可视化，方法论。周涵：指导。王文：指导。

代码可用性

源代码将在论文被接收后在GitHub上公开。

利益冲突声明

作者声明他们不存在已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。

致谢

本工作得到了中国科学院战略性先导科技专项（编号：XDB0680202）、北京新星计划（20230484368）和苏州前沿技术研究项目（编号：SYG202325）的资助。

陈志寰|张杰|林雨顺|吴瑞金|周涵|王文

福建农林大学交通运输与土木工程学院，福州，350002，福建，中国