基于因果启发的不可见域语义分割方法研究：提升模型泛化能力的新途径

《Pattern Recognition》：Causality-inspired Learning Semantic Segmentation in Unseen Domain

本文提出了一种创新的因果启发学习框架（CLSS），针对不可见域语义分割（DGSS）中的泛化难题。通过构建一致性嵌入表示（CER）确保特征因果完备性，并结合因果原型学习（CPL）强化因果独立性，有效突破传统统计模型对源域相关性的过拟合局限。实验在四个泛化基准上验证了该方法提升分割模型跨域适应性的显著优势。

　　

亮点

• 提出面向域泛化语义分割（DGSS）的因果启发学习方法，通过挖掘因果特性提升模型泛化能力

• 设计一致性嵌入表示（CER）学习因果完备性，避免源域过拟合，为像素分类提供潜在因果信息

• 开发因果原型学习（CPL）强化因果独立性，驱动模型依据因果因子进行分类决策

• 在四个域泛化场景分割基准上的综合实验证明了方法的优越性

域泛化分割

不可见域的分割任务要求源模型具备对未知目标域的泛化能力。现有方法主要从三类途径解决泛化问题：（1）数据操作法：通过域增强和域随机化学习多样化分布。例如GLTR提出纹理随机化机制，增加数据风格多样性以使模型自动保留风格无关特征。

问题建模

域泛化语义分割（DGSS）假设已知源域S={(X,Y)}～P^s(X,Y)，其中X?R为输入图像，Y?R为对应标注，P^s(X,Y)为联合分布。DGSS使用神经网络模型f_Θ(·): X→Y学习源域图像与语义标签的相关性。可学习参数Θ需泛化至未知目标域T，且无需任何目标域训练数据。参数化模型可通过...

算法框架：不可见域中的因果启发语义分割

本方法旨在通过挖掘特征的因果性提升泛化能力。如图3所示，源域图像x经编码器F、解码器G_o和解码器G_a处理，分别得到统计特征r_o=G_o(F(x))和干预特征r_a=G_a(I(F(x)))，其中r_o∈R^N×W，r_a∈R^N×W，N为每图像像素数，W为特征层数。解码中间特征有助于恢复所需细节特征，故此处使用G_o和G_a以实现...

数据集描述

实验使用六个数据集：GTAV¹为虚拟游戏生成的合成数据集，含24,966张图像及像素级语义标签（分辨率1914×1052）；SYNTHIA²为虚拟城市渲染数据集，包含9,400张标注图像（分辨率1280×760）；Cityscapes³为真实城市街景数据集...

结论与讨论

本文提出了一种新颖的因果启发学习方法，以提升语义分割在未知域的泛化性能。CER通过学习因果因子完备性避免源域过拟合，为像素分类提供充足潜在因果信息；CPL通过因果独立性学习驱动模型依据因果因子分类。在四个城市场景泛化基准上的实验表明...