随机引导网络(SGN)：面向仿真到现实泛化的跨域语义分割新方法

本文提出随机引导网络(SGN)，通过类别重加权策略、多尺度特征融合引导(MSFFG)模块和多重风格扰动模块，有效解决合成数据与真实数据间的域差异问题。实验表明，SGN在Rain_Cityscapes和Foggy_Cityscapes数据集上mIoU分别提升3.86%和2.05%，在BDD100k等常规数据集平均提升1.48%，显著增强模型对未知数据的泛化能力。

　　

Highlight

本研究提出的随机引导网络(SGN)创新性地整合了三大核心技术：

1. 1.

   类别重加权策略：通过偏置校正机制缓解源域样本的类别不平衡（如GTAV数据集中头/尾类别样本量差异显著的问题），确保模型均衡学习各类别特征。

2. 2.

   多尺度特征融合引导(MSFFG)模块：采用双路径架构融合跨层级特征，增强模型对域语义噪声的鲁棒性，有效抑制源域过拟合。

3. 3.

   多重风格扰动模块：通过随机开关控制（阈值θ=0.35时激活），动态生成多样化数据风格，缩小合成数据与真实场景的域间隙。

Network Architecture

网络以ResNet-50为骨干编码器，输入图像x_i经低层特征提取后，通过三个独立随机开关（P₁, P₂, P₃）控制风格扰动流程。当P_k < θ时，触发对应模块生成域不变特征，显著提升在Cityscapes等真实场景中的分割精度。

Backbone Network

对比实验显示，SGN在ResNet-50（高精度模型）和MobileNetV2（轻量模型）上均表现优异，mIoU指标超越基线模型1.0%~3.86%，且训练成本大幅降低。

Dataset

采用GTAV合成数据集（24,966张图像，34类别）作为训练集，在BDD100k、Mapillary等真实数据测试中验证了方法的跨域适应性。

Conclusion

SGN在七大城市街景数据集上展现出卓越的Sim2Real泛化能力，尤其当训练集仅为GTAV时，性能较基线模型提升3.01%，为域广义语义分割(DGSS)提供了新范式。