DFANet：基于原型驱动的面向自然图像到遥感图像跨领域少样本语义分割的动态特征对齐方法

《Pattern Recognition Letters》：DFANet: Prototype-Driven Dynamic Feature Alignment for Natural-to-Remote-Sensing Cross-Domain Few-Shot Semantic Segmentation

　　张晓刚|范伟|王宇佩|陈亮•DFANet专为自然场景到遥感场景的少样本语义分割任务设计。•MPR通过查询引导的注意力机制和对比学习来优化原型。•DFA从局部和全局角度对支持特征与查询特征进行对齐。•TASF利用支持样本锚点实现轻量级的目标域适配。•DFANet在FSS-1000数据集上表现出优异的泛化能力，在遥感平均性能指标上也表现突出。

引言
跨域少样本语义分割（CD-FSS）旨在利用少量带标签的支持样本以及来自带标签源域的知识，对未标记的查询图像进行分割。现有的CD-FSS方法主要通过原型建模、特征变换、风格扰动、对抗学习或域校正等方式提升模型的泛化能力。如图1(a)所示，大多数方法关注通用型未知目标域，而忽视了自然场景到遥感场景这一具有挑战性的迁移任务。尽管通用适配器或特征变换能够减少全局域差异，但对于由复杂背景、大规模变化以及遥感图像独特的成像特性所导致的细微差异，这些方法可能不够有效[1]。因此，基于有限支持样本学习得到的原型在不同的遥感场景中稳定性较差，支持特征与查询特征的对齐也不够充分，测试时域差距依然存在，从而导致性能严重下降。

为了解决上述问题，如图1(b)所示，我们提出了DFANet，这是一个专为自然场景到遥感场景的CD-FSS任务设计的框架。该框架由三个相互补充的组件构成：多维原型重建（MPR）、动态特征对齐（DFA）以及测试时基于锚点的支持样本微调（TASF），它们分别用于提升原型的区分度、实现更精细的支持特征与查询特征对齐，以及完成目标域适配。MPR模块能够缓解遥感图像中杂乱背景和模糊边界带来的原型不稳定问题。它首先从支持特征中初始化原型，再通过查询引导的注意力机制和上下文聚合来优化原型，最后将初始原型与基于查询信息的增量融合，从而生成更具区分度的特征表示。DFA模块通过局部语义加权与全局通道级建模，减少因大规模变化带来的支持特征与查询特征的不匹配，从而有效实现对跨域特征的对齐。TASF策略则进一步缩小剩余的域差距。它利用带标签的支持样本进行轻量级的测试时微调，使得模型能够快速适应目标遥感域，同时避免过拟合。

我们的主要贡献如下：
•我们明确了自然场景到遥感场景的CD-FSS任务的复杂性，并提出了DFANet来应对这一任务特有的挑战。
•我们设计了MPR、DFA和TASF三种模块，分别用于提升原型的区分度、改善不同场景下支持特征与查询特征的一致性，以及进一步缩小剩余的域差距。
•我们构建了专门的遥感测试基准集，验证了DFANet在自然场景到遥感场景的CD-FSS任务中的有效性。

相关概念简介
少样本语义分割
少样本语义分割（FSS）旨在通过从基础类别中迁移知识，利用少量带标签的支持样本对新型类别的图像进行分割。早期的研究包括ProtoNet[2]和PANet[3]，它们通过掩码平均池化生成全局原型。PFENet[4]利用先验信息丰富特征，PPNet[5]则构建了考虑部分结构的原型。CANet[6]则通过多层特征比较和迭代优化来改进模型表现。近期的研究进一步提升了原型的表达能力。

任务设定
自然场景到遥感场景的CD-FSS任务设定如下：给定一个源域（Xs, Ys）和一个目标域（Xt, Yt），其中X表示输入数据分布，Y表示标签空间。在CD-FSS任务中，Xs≠Xt，且Ys∩Yt=?。我们构建训练集Dtrain和测试集Dtest。对于单向K-shot任务，Dtrain和Dtest都包含设置相同的随机采样任务实例。每个任务实例包含一个支持集S={(Iis,Mis)}i=1K和一个查询集Q={(Iiq,Miq)}i=1Q，其中I属于...

实验数据集
我们以经过SBD数据集增强的PASCAL VOC 2012数据集[29]作为源域。在目标域评估方面，使用FSS-1000[30]来衡量CD-FSS模型的泛化能力；而对于自然场景到遥感场景的评估，则使用Deepglobe[31]、Vaihingen[32]和Potsdam[32]这三个遥感数据集。
1) FSS-1000包含1,000个独立类别。按照官方7:3的比例划分，我们选取240个类别，共2,400张尺寸为224×224的图像作为测试集。
2) Deepglobe是一个卫星图像数据集...

结论
在本文中，我们研究了自然场景到遥感场景的CD-FSS这一具有挑战性的任务，并提出了DFANet，用以解决遥感场景中原型不稳定、支持特征与查询特征对齐不足以及存在的域差距等问题。大量实验表明，DFANet在FSS-1000以及多个遥感数据集上都能取得出色的分割性能。在未来的工作中，我们将探索更高效的测试时适配方法，以及更为强大的原型建模技术，以应对更复杂的遥感场景。

作者贡献说明
张晓刚：撰写原文初稿、可视化处理、结果验证、软件开发、资源整理、项目管理、研究工作、资金申请、正式分析、数据整理、概念设计。范伟：研究工作、方法设计、软件开发、撰写原文初稿。王宇佩：文章审阅与编辑、可视化处理、监督指导、资源协调。陈亮：文章审阅与编辑、结果验证、监督指导、资金申请、数据整理。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金项目（编号62571039、62301046）以及重庆市自然科学基金项目（编号CSTB2023NSCQ-MSX0049）的支持。