基于分布感知的对比学习方法在3D激光雷达分割中的领域适应应用

《Computer Vision and Image Understanding》：Distribution-aware contrastive learning for domain adaptation in 3D LiDAR segmentation

本文提出Contrastive Maximum Mean Discrepancy（CMMD）方法，通过对比学习与最大均值差异（MMD）结合，优化3D LiDAR点云语义分割的域适应，解决类别分布对齐问题，减少伪标签噪声影响，并在合成到真实和真实到真实场景中显著提升性能。

　　### 深度学习在3D激光雷达点云语义分割中的应用

在自动驾驶和城市数字孪生等应用中，对3D激光雷达点云进行语义分割是一项至关重要的任务。然而，当前的深度学习模型在跨域适应方面存在显著的泛化差距。这种差距主要源于数据集之间的域差异，包括传感器特性、环境条件和数据分布的不同。为了应对这一挑战，研究人员开始探索无监督域适应（Unsupervised Domain Adaptation, UDA）方法。在2D图像领域，最大均值差异（Maximum Mean Discrepancy, MMD）已被证明是一种有效的域不变特征学习方法，但其在3D点云数据中的应用尚未得到充分研究。此外，现有的域适应方法通常忽略类别信息，这可能导致适应性能不佳。因此，我们提出了一种新的方法——对比最大均值差异（Contrastive Maximum Mean Discrepancy, CMMD），以最大化类内域对齐并最小化类间域差异，从而提升3D激光雷达点云的语义分割性能。

### 无监督域适应的挑战与机遇

在3D点云语义分割中，无监督域适应方法面临着诸多挑战。首先，点云数据具有独特的特性，如点密度和稀疏性在不同传感器和环境中存在显著变化。其次，传感器的限制和环境因素可能导致点云中出现噪声和异常值。此外，城市场景中的类别不平衡问题也使得适应变得更加复杂。这些特点使得将现有的2D图像领域的无监督域适应技术直接应用于3D点云数据变得困难。因此，研究者们开始探索专门针对3D点云的无监督域适应方法，包括自训练方法和对抗方法。

自训练方法通过在目标域中生成伪标签，逐步更新模型以提高适应性能。这种方法在处理大规模数据时表现出色，但容易受到伪标签错误的影响，尤其是在存在显著域偏移的区域。对抗方法则通过引入判别器网络，将源域和目标域的特征分布对齐。虽然对抗方法在某些情况下表现出色，但其训练过程复杂且容易出现不稳定现象。因此，研究者们开始探索结合对比学习和MMD的方法，以解决上述问题。

### 对比最大均值差异方法

我们提出的CMMD方法结合了对比学习和MMD，以实现更有效的域适应。具体来说，CMMD通过最大化类内域对齐和最小化类间域差异，确保模型在不同域中都能学习到具有相似分布的类别特征。这种方法不仅考虑了类别信息，还通过操作特征分布而非单个实例，提高了模型对点云稀疏性和密度变化的鲁棒性。此外，CMMD方法通过减少对伪标签的依赖，降低了伪标签噪声对模型训练的影响。

在实现CMMD方法时，我们采用了3D稀疏卷积神经网络（3D Sparse Convolutional Neural Network）来提取点云特征，并通过一个投影头将这些特征映射到适合类别分布比较的空间。为了进一步提升模型的适应能力，我们引入了一个记忆库（memory bank）来维护目标域特征，确保在不同点云规模下特征分布的稳定性。此外，我们还采用了基于置信度的过滤机制，以排除低置信度的伪标签，从而提高模型的适应性能。

### 实验与结果分析

为了验证CMMD方法的有效性，我们在两个无监督域适应场景中进行了实验：合成到真实和真实到真实。合成到真实场景中，我们使用SynLiDAR数据集作为源域，SemanticKITTI和SemanticPOSS作为目标域。真实到真实场景中，我们使用NuScenes数据集作为源域，SemanticKITTI和SemanticPOSS作为目标域。通过比较不同方法在这些场景中的表现，我们发现CMMD方法在多个指标上均优于现有方法。

例如，在SynLiDAR到SemanticKITTI的适应中，CMMD-CoSMix方法取得了最高的mIoU（42.24%），而CoSMix方法则取得了33.27%的mIoU。此外，CMMD方法在减少负迁移（negative transfer）方面表现出色，即在某些情况下，源域的知识可能会对目标域的性能产生负面影响。CMMD方法通过最大化类内域对齐和最小化类间域差异，有效减少了这种负迁移现象。

在NuScenes到SemanticPOSS的适应中，CMMD-CoSMix方法同样表现出色，取得了最高的mIoU（62.07%）。通过对比不同方法的表现，我们可以看到CMMD方法在多个类别上的适应性能均优于其他方法，包括现有的对抗方法和自训练方法。

### 方法的优势与局限性

CMMD方法的优势在于其能够有效处理点云数据中的域差异，尤其是在类别不平衡和噪声较多的情况下。通过最大化类内域对齐和最小化类间域差异，CMMD方法不仅提高了模型的适应性能，还增强了其对目标域的鲁棒性。此外，CMMD方法通过操作特征分布而非单个实例，使得模型在面对点云稀疏性和密度变化时更加稳定。

然而，CMMD方法也存在一些局限性。首先，由于缺乏监督指标，超参数调优仍然是一个普遍的挑战。其次，CMMD方法在处理不同分辨率的点云数据时可能表现出不同的适应效果。例如，当使用更细粒度的5cm体素（voxel）网格时，CMMD方法的适应性能可能有所变化。此外，CMMD方法在某些情况下可能会受到伪标签噪声的影响，尽管通过置信度过滤机制可以部分缓解这一问题。

### 未来研究方向

尽管CMMD方法在多个实验中表现出色，但仍有进一步研究的空间。首先，探索更有效的无监督验证方法，以在缺乏目标域标签的情况下进行超参数调优和模型选择。其次，研究CMMD方法在不同分辨率下的适应性能，以确定其在更细粒度或更粗粒度体素网格中的表现。此外，进一步优化对比学习和MMD的结合方式，以提升模型的适应能力和鲁棒性。

总的来说，CMMD方法为3D激光雷达点云的无监督域适应提供了一种新的思路。通过结合对比学习和MMD，CMMD方法不仅提高了模型的适应性能，还增强了其对点云数据复杂性的处理能力。未来的研究可以进一步探索CMMD方法在不同应用场景中的表现，并结合其他技术以提升其适应能力和泛化能力。