PatchMix:基于分块混合图像的局部与上下文建模,用于域自适应语义分割
《Knowledge-Based Systems》:PatchMix: Local and contextual modeling with patch-wise mixed image for domain adaptive semantic segmentation
【字体:
大
中
小
】
时间:2026年09月23日
来源:Knowledge-Based Systems 8.0
编辑推荐:
PatchMix混合两张目标图像并重建一个语义预测。
尺度级掩码令牌在解码前替换第二张图像的特征。
PatchMix改进了卷积网络和Transformer域适应流水线。
训练分支在测试时被移除,推理保持不变。
引言
语义分割[1]、[2]、[3]是计算机视觉中的一个
PatchMix混合两张目标图像并重建一个语义预测。尺度级掩码令牌在解码前替换第二张图像的特征。PatchMix改进了卷积网络和Transformer域适应流水线。训练分支在测试时被移除,推理保持不变。引言语义分割[1]、[2]、[3]是计算机视觉中的一个基本问题,其目标是给图像中的每个像素分配一个语义标签。随着基于深度卷积和Transformer的架构[4]、[5]、[6]、[7]的快速发展,语义分割模型在标准基准上的性能得到了显著提高。除了一般的架构外,近期在《Knowledge-Based Systems》中的研究也探讨了分布漂移下的语义分割,包括基于知识的域适应(KDN)[8]、渐进式域适应(PDA)[9]以及具有视觉基础模型的域泛化令牌链接[10]。尽管取得了这些进展,最先进的分割模型通常依赖于大规模、密集标注的数据集以实现良好的泛化。获取像素级标签非常耗时;例如,标注一张Cityscapes图像平均需要超过1.5小时[11]。减少标注成本的常见策略是利用GTA5[12]和SYNTHIA[13]等合成数据集,其中可以自动生成逐像素标签。然而,仅在合成数据上训练的模型由于布局、纹理和外观上的巨大域差距,往往难以迁移到真实图像。因此,无监督域适应语义分割(UDASS)作为一种无需在目标域上进行额外人工标注即可弥合这一差距的有前景的方法应运而生。现有的UDASS方法大致可以分为基于对抗学习和基于自训练的方法。对抗方法在特征空间[14]、[15]、[16]、[17]、预测空间[14]、[15]、[16]、[17]、[18]或图像空间[15]、[16]、[17]、[19]中对齐源域和目标域分布,但通常会引入额外的组件,如判别器或图像转换网络,从而增加优化复杂度。自训练方法[20]、[21]、[22]、[23]则使用教师或先前模型产生的伪标签来监督目标域,并通过置信度估计[24]、[25]、[26]、类别级重加权[27]、[28]、[29]或基于原型的聚合[30]来细化伪标签。最近,掩码图像建模[31]、[32]、[33]、[34]和混合图像策略[35]、[36]、[37]已被证明在视觉表示学习和各种视觉任务的训练正则化中是有效的[37]、[38]、[39]。这些想法也被应用于UDASS。例如,MIC[40]在目标域上进行掩码图像一致性学习以鼓励长程上下文建模,而DACS[37]则在图像中混合源域和目标域区域,以锐化混合区域周围的决策边界。作为补充,特征丢弃一致性方法如FDC[41]通过强制预测一致性来稳定伪标签。然而,大多数现有的掩码、混合和一致性方法仍然主要关注局部细节或上下文线索,相比之下,在UDASS中明确同时针对这两个方面的工作较少。在本工作中,我们提出了PatchMix,一个训练时的正则化模块,旨在加强局部判别和上下文利用。PatchMix不只是简单地掩码随机选择的块,而是用来自另一张目标域图像的空间对应可见块来替换它们,生成一个包含两张图像内容的逐块混合图像。将这个混合图像输入学生编码器会产生结构化扰动,并要求编码器在混合特征空间中操作。在解码前,与第二张图像相关的特征位置在每个编码器尺度上被替换为可学习的[MASK]令牌。解码器接收这些替换后的特征,仅重建完整的第一张图像的语义预测,使用来自指数移动平均(EMA)教师的伪标签。这种设计要求编码器在不匹配的上下文中识别保留的局部内容,并要求解码器从剩余的证据中推断缺失的语义。因此,其贡献在于完整的混合–编码–替换–语义重建训练公式,而不仅仅是图像混合或掩码。我们在两个代表性的UDASS基准上验证了PatchMix,即GTA5→Cityscapes和SYNTHIA→Cityscapes。使用DeepLab-V2和ResNet-101骨干网络[2]、[4],它在GTA5→Cityscapes上达到67.4%的mIoU,在SYNTHIA→Cityscapes上达到66.1%的mIoU。当集成到DAFormer[21]中时,PatchMix在GTA5→Cityscapes上将列出的基线提高了3.9个百分点,在SYNTHIA→Cityscapes上提高了3.1个百分点。此外,PatchMix可以与对抗和自训练流水线结合,并应用于多种骨干架构,包括ResNet-101、MiT-B5[42]和Swin Transformer[43]。我们在图1中总结了按分割架构分类的已发布基准结果。详细的基准比较和受控配对增益在第4.2节中提供。我们的主要贡献总结如下:我们制定了一个目标域混合–编码–替换–语义重建分支:来自第二张目标图像的真实块扰动了编码器,而解码器前的尺度级特征替换保留了单一的语义重建目标。我们在完整的第一张目标图像上使用EMA教师,对扰动的学生视图施加语义一致性,在一个训练目标中将局部内容判别与基于上下文的恢复联系起来。在标准合成到真实基准上的大量实验和机制对齐诊断表明,从CNN到Transformer,PatchMix在多个UDASS流水线和骨干架构中均表现出一致的改进,同时在推理时移除了PatchMix分支。章节片段语义分割语义分割为图像中的每个像素分配语义类别,从而将场景分解为具有不同语义意义的区域。随着深度学习的兴起,全卷积网络[1]通过实现端到端密集预测显著推动了这一任务的发展。后续工作专注于扩大有效感受野和聚合上下文线索,以更好地处理复杂场景。例如,Chen等人[2]采用空洞卷积来方法论在本节中,我们首先在第3.1节介绍无监督域适应语义分割(UDASS)的整体自训练流水线,然后在第3.2节描述所提出的PatchMix模块。数据集我们采用无监督域适应语义分割(UDASS)的标准合成到真实设置。GTA5[12]和SYNTHIA[13]作为有标签的合成源域,Cityscapes[11]作为无标签的真实目标域。GTA5包含从"侠盗猎车手5"渲染的24,966张图像,描绘了城市驾驶场景,分辨率为1914×1052。对于SYNTHIA,我们遵循[14],使用SYNTHIA-RAND-CITYSCAPES子集,包含9400张1280×760、16个类别的图像。局限性PatchMix有几个局限性。它继承了教师伪标签的错误,这可能会削弱对稀有或初始误分类类别的监督。随机目标配对可能产生语义上不合理的上下文,而固定的单尺度块网格可能会分割细结构并使性能对扰动配置敏感。辅助重建分支还增加了训练计算,尽管它在推理时被移除。这些局限性促使了置信度-结论在本工作中,我们提出了PatchMix,一种用于语义分割无监督域适应的训练时正则化公式,它将目标–目标块混合与特征替换和语义重建结合起来。学生编码器处理混合的目标图像,之后来自第二张图像的特征被替换为尺度级可学习令牌;在EMA教师的指导下,解码器重建完整的第一张图像的语义预测。这CRediT作者贡献声明Meiqin Liu:监督、软件、资源、项目管理、方法论、研究、资金获取、概念化。Linfeng He:写作——审阅与编辑,写作——初稿,可视化,验证,概念化。Zilin Wang:写作——审阅与编辑,写作——初稿,可视化,验证。Chao Yao:监督、软件、资源、项目管理、方法论、研究、资金获取、概念化。Yunchao Wei:写作未引用参考文献[67]利益冲突声明作者声明他们没有已知的竞争财务利益或个人关系,这些关系可能影响本文报告的工作。Meiqin Liu|Linfeng He|Zilin Wang|Chao Yao|Yunchao Wei
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号