《Pattern Recognition Letters》:Frequency-domain style alignment for change detection via multi-dimensional feature decoding
编辑推荐:
•通过可学习的频域掩码实现双时间序列图像的双向风格对齐。•采用双路径注意力机制的多维特征解码方法,能够充分利用变化多样性。•通过双记忆对比学习,利用局部与全局对比提升边界识别能力。•在LEVIR-CD、WHU-CD和DSIFN-CD基准数据集上展现出最优性能。•通过多种消融实验验
- •
通过可学习的频域掩码实现双时间序列图像的双向风格对齐。
- •
采用双路径注意力机制的多维特征解码方法,能够充分利用变化多样性。
- •
通过双记忆对比学习,利用局部与全局对比提升边界识别能力。
- •
在LEVIR-CD、WHU-CD和DSIFN-CD基准数据集上展现出最优性能。
- •
通过多种消融实验验证了频域对齐与特征解码方法的有效性。
引言
变化检测作为遥感图像分析中的核心任务之一,旨在识别并定位同一地理区域在不同时间点的表面变化信息[1]。随着高分辨率遥感卫星的快速发展以及地球观测技术的不断进步,变化检测在城市规划、环境监测[2]和灾害评估[3]等领域发挥着越来越重要的作用。然而,由于成像条件复杂多变,双时间序列遥感图像往往存在显著的风格差异,这些差异源于光照条件、大气状况、季节变化以及传感器参数等因素[4]、[5]、[6]。
近年来,基于深度学习的变化检测方法取得了显著进展[7]。早期的方法主要采用连体网络架构,通过具有共享权重的编码器提取双时间序列特征,再通过特征差分或拼接来实现变化检测[8]。随后,注意力机制的引入使模型能够更精准地聚焦于变化相关区域,从而提高检测精度[9]。最近的研究开始探索在变化检测中应用Transformer架构,通过自注意力机制建模长距离依赖关系[10]。不过,现有方法在特征表示方面仍存在两个根本性问题:首先,传统的空间域特征表示难以有效区分真实的语义变化与背景风格差异,从而导致大量误检[11];其次,单一特征解码模式无法充分挖掘变化信息的多样性与复杂性[12]。
针对第一个问题,一些研究试图通过数据增强、领域适配或对抗学习来减轻风格不一致带来的影响[13]。但这些方法通常需要额外的训练策略或先验知识,在处理跨季节、跨传感器等复杂场景时效果有限[14]。频域信号处理理论表明,图像的频谱表示能够自然地将风格信息(主要集中在低频分量中)与语义信息(主要集中在高频分量中)分开,为解决风格不一致问题提供了新思路[15]。小波分析[16]、神经网络[17]以及复合方法[18]、[19]等机器学习范式在构建不同领域的模式方面表现出强大能力。
至于第二个问题,现有的解码器设计往往仅局限于单一特征空间,通常仅使用原始特征或简单的特征差分来进行变化检测[20]。这种设计忽略了变化信息的多维特性:原始时间特征保留了完整的语义信息,差分特征突出了变化区域的对比度,而融合特征则编码了全局的上下文关系[21]。同时,不同类型的特征需要不同的处理机制:时间特征适合通过交叉注意力来建模时间依赖关系,而空间特征则更适合通过多尺度自注意力来捕捉不同粒度上的变化模式[22]。
基于以上分析,本文提出了FSA-MFD方法。与那些孤立处理风格不一致问题或特征表示问题的现有方法不同,FSA-MFD将频域风格对齐、多维特征解码以及双记忆对比学习整合到一个统一的框架中。在LEVIR-CD[23]、WHU-CD[24]和DSIFN-CD[25]三个公开数据集上的大量实验证明了该方法的有效性。我们的主要贡献包括三个方面:
(1)可学习的频域风格对齐机制:我们提出了一种基于可学习频域掩码的双向风格对齐方法,通过端到端训练自适应地学习幅度谱交换策略,从而在消除双时间序列图像中的风格差异的同时,保留真实的语义变化信息。
(2)多维特征解码架构:我们设计了一种包含四维特征张量空间的解码器,并提出了双路径协同注意力机制,其中差分特征和融合特征采用多尺度自注意力,而时间特征则使用交叉注意力,从而实现对变化信息的全面挖掘与高效融合。
(3)双记忆对比学习机制:我们构建了一个结合局部与全局记忆库的对比学习框架,为边界和原型层面提供互补的判别性监督,显著提升了特征的区分度以及模型的泛化性能。
章节摘要
基于深度学习的变化检测与风格一致性
深度学习彻底改变了遥感变化检测的方式,从早期仅依靠简单特征差分的连体网络,发展到如今融入注意力机制与Transformer结构的复杂架构[26]。多尺度特征金字塔和自注意力机制使得模型能够捕捉多粒度变化模式及长距离依赖关系。近期的发展还包括轻量化设计、自监督学习、对比学习以及扩散模型等。
FSA-MFD的整体架构
所提出的FSA-MFD网络的总体架构如图1所示。该模型采用编码器-解码器结构,由三个核心模块组成:频域风格对齐(FSA)、多维特征解码(MDFD)以及双记忆对比学习(DMCL),这三个模块按顺序工作:首先FSA消除双时间序列特征之间的风格差异,接着MDFD解码多维变化特征,最后DMCL进一步提升特征的区分度。
实验设置
数据集。我们在三个基准数据集上进行评估:(1)LEVIR-CD:637对建筑变化图像(1024×1024像素);(2)WHU-CD:7620对航空图像(256×256像素);(3)DSIFN-CD:15952对多类变化图像(256×256像素),涵盖道路、建筑和水体变化场景,其中训练集/验证集/测试集分别包含14400/1360/192对数据。LEVIR-CD和WHU-CD的训练集/验证集/测试集比例分别为80%/10%/10%。
实现方式。采用基于ResNet-50架构的PyTorch框架,搭配AdamW优化器(学习率=1e-4,批量大小为8)。
结论
我们提出了FSA-MFD网络,该网络通过频域风格对齐(FSA)、多维特征解码(MDFD)以及双记忆对比学习(DMCL)这三个核心模块,有效解决了变化检测中的风格不一致问题以及特征表示不足的问题。FSA模块通过可学习的双向频域掩码消除双时间序列图像之间的风格差异,MDFD模块则构建出四维特征张量。
作者贡献
概念构思:B.L.和Y.L.;方法设计:B.L.和Y.L.;软件实现:B.L.和Y.L.;验证工作:B.L.和Y.L.;形式化分析:B.L.;研究调查:B.L.和Y.L.;资源获取:B.L.;数据整理:B.L.和Y.L.;初稿撰写:B.L.;审稿与编辑:B.L.和Y.L.;可视化处理:B.L.;监督指导:Y.L.;项目管理:Y.L.。所有作者均已阅读并同意最终发布的论文版本。
CRediT作者贡献说明
Bo Liu:论文撰写——初稿编写、验证工作、监督指导、资金申请、形式化分析、概念构思。 YongChen Li:论文撰写——审稿与编辑、验证工作、软件实现、项目管理。
Bo Liu|YongChen Li