Dig-seg：基于扩散逆引导的生成式域自适应语义分割

《Pattern Recognition》：Dig-seg: Generative domain Adaptive Semantic Segmentation with diffusion inverse guidance

　　

• 我们提出了DIG-Seg，一个由扩散逆过程引导的生成式DASS框架。与先前需要针对每个源域-目标域对进行结构化微调的基于扩散的方法不同，DIG-Seg将跨域迁移重新表述为扩散逆问题，并使用仅针对目标域的扩散先验生成语义一致的伪目标图像，无需针对源域进行重新训练。• 我们引入了一种MH-HMC优化的逆过程策略，以提高无监督跨域图像翻译的采样效率和稳定性。通过用基于原则的接受机制取代启发式提前停止策略，我们的策略在语义完整性和目标风格保真度之间取得了良好的平衡，为DASS产生更可靠的伪目标样本。• 在多个广泛使用的DASS基准上的大量实验表明，DIG-Seg持续优于当前最先进的方法。值得注意的是，单个扩散先验可以在不同的域偏移之间重复使用，而无需特定于域的微调，从而减少了重复训练并提高了可扩展性。

引言
语义分割是一项基础计算机视觉任务，支撑着许多需要细粒度像素级场景理解的现实应用。然而，由于其部署在新环境中时，由于外观和成像条件的域偏移，性能往往会下降，而像素级标注在大规模下仍然代价高昂。为了解决这些挑战，域自适应语义分割（DASS）旨在通过缓解跨域差异，将知识从有标注的源域迁移到无标注的目标域，从而实现在没有目标域标注的情况下进行鲁棒的分割。

现有的域自适应语义分割（DASS）方法可以大致分为三类：差异法[1]，通过在学习到的表示空间中最小化显式分布距离；对抗法[2]，通过判别器强制特征级域混淆；自训练法[3]，通过基于置信度的传播和一致性正则化迭代更新目标伪标签。尽管这些方法取得了成功，但这些范式主要在特征层面操作，旨在对齐潜在分布（从而对齐诱导的$p_θ(y|x)$），而图像外观统计中的样本空间不匹配只是间接处理的。对于语义分割而言，这一问题尤为关键，因为语义分割需要密集且空间结构化的预测$h_θ(x)∈Y_{H×W}$，对细粒度边界和局部连贯性高度敏感。因此，过度强调潜在对齐可能会减少全局语义差异，但同时模糊局部结构，导致边界模糊或空间不一致的掩码。因此，在样本空间中协调跨域语义对齐与结构感知的像素级决策制定仍然是DASS中的核心挑战，这也激发了本工作的开展。

为了克服纯特征级对齐在细粒度分割上的局限性，生成式DASS方法被提出，其中双向学习是一个代表性范式[4]、[5]、[6]。这些方法通过将源图像翻译为目标风格，同时强制结构/语义一致性，构建出目标样貌但保留标签的样本，从而在潜在对齐之外增强像素级决策学习。然而，其实际应用受到一个关键可扩展性问题的阻碍：翻译模型通常需要在特定的源域-目标域对（$D_S?D_T$）上完全训练，带来巨大的计算开销。另一种有前景的替代方案是使用仅在目标域$D_T$上预训练的扩散模型[7]、[8]，它们提供了丰富的风格先验和高保真度的外观合成。然而，尽管这些方法在风格生成中利用了仅针对目标域的预训练扩散模型，但通常仍需要在源域-目标域对（$D_S→D_T$）上进行微调（重新训练），以实现跨域的语义对齐。这种适应操作通常作用于显式条件引导模块，如分类器引导或辅助可控网络组件。因此，它们并未完全消除对特定源域-目标域对重新训练的需求。受这些观察的启发，我们开发了一个扩散驱动的DASS框架，直接针对跨域逐像素决策。与任何现有方法不同，我们框架中的基于扩散的图像翻译完全依赖于在$D_T$上的预训练，从而避免了昂贵的重新训练和辅助模块。

在这项研究中，我们提出了DIG-Seg，一个扩散逆采样引导的生成式DASS框架，它使用单个预训练扩散模型将源图像翻译为目标风格的样本，从而减少跨域差异并促进源域决策知识的高效迁移。与条件式或双向训练的生成器不同，DIG-Seg将域适应中的图像翻译阶段表述为数据流形上的扩散逆采样过程，无需针对每个域进行微调。具体而言，我们通过引入傅里叶高通滤波器来抑制源风格成分同时保留语义结构，开发了一种域不变算子引导的逆采样器，实现了具有逐像素语义一致性的目标风格外观迁移。此外，为了降低基于SDE的逆过程对手动调整超参数（例如链长度）的敏感性并改善采样稳定性，我们结合了一种定制的Metropolis-Hastings Hamiltonian Monte Carlo（MH-HMC）策略，用基于原则的接受规则取代启发式提前停止，自动选择逆过程停止点并平衡语义完整性与风格保真度。

具体而言，我们的方法是翻译免重新训练的，而非完全免训练的。扩散模型首先通过一次LoRA预训练适应目标域，该过程与源域无关且离线进行。当遇到新的源域时，预训练模型可被重复用于跨域翻译，无需进一步微调。总之，本工作的关键贡献如下：• 我们提出了DIG-Seg，一个扩散逆过程引导的生成式DASS框架。与先前需要针对每个源域-目标域对进行结构化微调的基于扩散的方法不同，DIG-Seg将跨域迁移重新表述为扩散逆问题，并使用仅针对目标域的扩散先验生成语义一致的伪目标图像，无需针对源域进行重新训练。• 我们引入了一种MH-HMC优化的逆过程策略，以提高无监督跨域图像翻译的采样效率和稳定性。通过用基于原则的接受机制取代启发式提前停止策略，我们的策略在语义完整性和目标风格保真度之间取得了良好的平衡，为DASS产生更可靠的伪目标样本。• 在多个广泛使用的DASS基准上的大量实验表明，DIG-Seg持续优于当前最先进的方法。值得注意的是，单个扩散先验可以在不同的域偏移之间重复使用，而无需特定于域的微调，从而减少了重复训练并提高了可扩展性。

章节摘要
相关工作：在本节中，我们分析了现有端到端DASS和生成式DASS方法的优缺点，并突出了我们提出方法的优势。
方法：本节详细介绍了我们提出的方法。如图2所示，DIG-Seg由图像翻译阶段和分割阶段组成。由于第二阶段依赖于现有的端到端判别式DASS基线，本节仅专注于第一阶段。具体来说，第3.1节介绍扩散模型（DMs）的数学表述，第3.2节引入扩散逆问题的定义并建立其与……的联系
数据集：遵循域自适应语义分割（DASS）的常见实验协议，我们在两个标准基准上评估了我们的DIG-Seg：GTA5→Cityscapes（G→C）和SYNTHIA→Cityscapes（S→C）。这些基准代表了典型的合成到真实适应场景，其中在计算机生成图像（源域）上训练的模型需要适应真实环境（目标域）。作为源域，GTA5和SYNTHIA分别提供了24,996和9400个精细标注的合成……
结论：我们提出了DIG-Seg，一个用于DASS的生成式框架，它使用单个在目标域上预训练的扩散模型，将有标注的源图像翻译为语义一致的伪目标样本。其核心在于，DIG-Seg通过域不变傅里叶高通算子引导的扩散逆过程进行操作，在保留语义结构的同时适应特定域的外观。为了降低逆过程中对手动调整超参数的敏感性，我们进一步引入了MH-HMC……

CRediT作者贡献声明
Baihan Yang：原创草稿撰写、可视化、验证、软件、方法论、形式分析、数据整理。Shiqiang Hu：监督。Lingkun Luo：审阅与编辑、监督。

科学写作中生成式AI的声明
作者声明在撰写本文时未使用任何生成式AI工具。

利益冲突声明
作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢
作者衷心感谢国家自然科学基金（项目编号62576208）和上海市自然科学基金（项目编号24ZR1434400）的资金支持。

Baihan Yang|Shiqiang Hu|Lingkun Luo