DAMSeg：一种融合退化感知调制的自动驾驶恶劣天气语义分割端到端框架

《Scientific Reports》：DAMSeg: degradation-aware modulation network for robust semantic segmentation of road scenes under adverse conditions

　　

摘要

自动驾驶语义分割模型在雾、雨、雪及夜间光照等恶劣天气与光照条件下，性能会出现显著下降。现有方法包括先复原图像再分割，以及面向鲁棒性的适配或泛化策略；相比之下，将图像推导出的退化估计作为显式条件输入送入分割网络的研究较少。我们提出了DAMSeg，一种退化感知的调制框架，在统一的端到端模型中将退化特征作为条件信号加以利用。DAMSeg包含一个隐式退化编码器，可直接从输入图像中提取紧凑的条件向量；一个条件特征调制模块，通过具有空间自适应融合的阶段特定通道变换实现调制；以及退化对比正则化（DCR），用于组织训练过程中的投影空间。当可用时，使用场景级条件标注构建DCR配对；网络本身仅接收RGB图像，推理时不需要条件标签。在ACDC、Foggy Cityscapes和BDD100K上的实验表明，DAMSeg在ACDC测试集上使用MiT-B2骨干网络取得了75.9%的mIoU，相比SegFormer-B2基线提升了5.7个百分点，且在全部四种恶劣条件下均有提升。在评估的数据集迁移中，性能优势在无需目标域微调的情况下依然存在。