SFANet：基于语义特征感知的域泛化语义分割方法研究

本文提出SFANet模型，通过语义特征感知归一化(SFAN)和语义特征感知白化(SFAW)优化视觉基础模型(VFMs)微调特征，结合实例补偿(IC)和伪分割头设计，显著提升域泛化语义分割(DGSS)性能。在GTAV+Synthia→Cityscapes+BDD100K+Mapillary跨域测试中平均mIoU达67.7%，为VFMs在DGSS领域的创新应用提供新范式。

　　

亮点
• 提出融合特征增强与模型微调的新方法，通过可训练低秩令牌弥补主干网络预训练任务与语义分割的差异
• 设计即插即用的SFAN和SFAW模块，分别实现实例级特征归一化和通道解相关，有效消除域特异性特征

方法概述
SFANet采用三阶段架构：1）实例补偿模块通过线性变换生成低秩令牌，缩小VFMs（如DINOv2、EVA02）与分割任务间的语义鸿沟；2）伪分割头生成语义掩码指导SFAN执行实例级标准化，结合传统实例归一化(IN)增强域不变性；3）SFAW基于分割头权重计算通道影响力矩阵，对关键通道实施白化操作(IW)，解决跨域联合分布失配问题。

实验验证
在GTAV→Cityscapes+BDD+Mapillary单源域设定下取得64.6%平均mIoU，较基线提升≥2.5%。消融实验证实IC模块使ResNet-50骨干网络性能提升4.2%，SFAN+SFAW组合贡献3.8%增益。可视化显示该方法能有效保持道路、建筑等大尺度物体的分割一致性。

结论
SFANet通过协同优化VFMs微调策略与语义感知特征处理，在多个跨域测试场景中实现SOTA性能。未来将探索多模态VFMs（如SAM）在医疗影像分割中的迁移应用。

作者贡献声明
邱永超：方法论/可视化/初稿撰写；关亚楠：数据验证/实验分析；杨文渊：监督/文稿修订；杨景敏：概念设计/软件实现。