《Neurocomputing》:PFD-net: Physics-guided degradation and frequency-aware restoration for label-efficient semi-supervised remote sensing change detection
编辑推荐:
摘要半监督变化检测(SSCD)已成为一种有效的范式,能够缓解高分辨率遥感图像中像素级标注的高昂成本。然而,现有的SSCD方法主要依赖于启发式数据增强,这些增强方法无法建模现实世界中的现象级偏移(如季节变化),使得模型极易受到伪变化的干扰。虽然近期的正向随机过程提供了一种数学上
摘要
半监督变化检测(SSCD)已成为一种有效的范式,能够缓解高分辨率遥感图像中像素级标注的高昂成本。然而,现有的SSCD方法主要依赖于启发式数据增强,这些增强方法无法建模现实世界中的现象级偏移(如季节变化),使得模型极易受到伪变化的干扰。虽然近期的正向随机过程提供了一种数学上可控的连续化方法,用于模拟复杂的环境外观变化,但它们本质上存在频谱偏差问题,导致结构畸变和建筑物边界过度平滑,这对精确的变化检测而言是致命的。为了系统性地解决这些相互交织的挑战,我们提出了PFD-Net,一种新颖的标签高效的SSCD框架,该框架包含一个解耦的离线物理-频率数据引擎和一个在线孪生一致性架构。具体而言,我们引入了一个由正向随机微分方程(SDE)驱动的免训练均值回复退化(MRD)模块,用于生成具有物理意义的困难负样本。为了从根本上对抗这种随机退化过程引起的结构畸变,我们在双时相数据获取中集成了基于离散傅里叶变换(DFT)的频率边界补偿模块,以显式保留高频拓扑边界,同时严格维持空间相位一致性。此外,我们在在线训练过程中强制执行无变化先验和跨退化一致性约束,迫使网络将表层物理外观与真正的语义变化解耦,从而学习鲁棒的物理不变特征。在LEVIR-CD、WHU-CD和GZ-CD数据集上的大量实验表明,PFD-Net打破了现有的性能瓶颈。仅使用5%至30%的标注数据,它就能取得极具竞争力的结果,甚至超越了近期使用40%标注的2026年方法,同时在推理过程中不引入任何额外的计算负担。代码可在
https://github.com/lvvsh/PFD-Net获取。
引言
高分辨率遥感变化检测(CD)旨在识别同一地理区域双时相图像中显著的语义变化。它是地球观测众多应用中的基本组成部分,包括城市扩张监测、森林砍伐追踪和灾害损失评估[1], [2]。近年来,全监督变化检测模型取得了重大进展。其架构范式已从深度卷积神经网络(CNN)[3], [4]演进到视觉Transformer(ViT)[5], [6],并进一步发展到状态空间模型(如Mamba)[7],后者能够以近似线性的复杂度高效地捕获长程全局依赖关系。然而,这些密集预测任务严重依赖于大规模的像素级双时相标注。在高分辨率遥感领域,获取如此精细的标注会产生高昂的人工成本,且复杂的场景特征(如多样化纹理、遮挡和传感器间差异)进一步增加了标注难度。为了缓解标注稀缺问题,半监督变化检测(SSCD)已被广泛研究[8], [9],旨在利用有限的标注数据从大量未标注图像中提取具有泛化性的表示。
尽管近期取得了一些进展,现有SSCD架构在极低标注场景下仍面临严重的性能瓶颈。一个主要局限是当前SSCD框架严重依赖于启发式数据增强,如随机颜色抖动、CutMix或各向同性高斯噪声等,以强制施加一致性正则化[10], [11]。关键在于,这些数学合成的扰动本质上是不依赖领域的,无法刻画多时相遥感图像中固有的复杂物理和现象级退化特征。在现实场景中,双时相图像对经常遭受由季节转换引起的植被衰老、大气散射和阴影位移等严重领域偏移的影响[12]。因此,仅通过启发式增强训练所得的模型无法学习到真正的物理不变性。如图1(a)和(b)所示,它们对这些环境差异仍然高度敏感,导致由"伪变化"驱动的大规模假阳性率。
近期,正向随机微分方程(SDE)[13]已被探索用于模拟多样化的数据分布,为启发式增强提供了一个数学上更为严谨的替代方案。然而,直接将这种随机退化过程应用于密集预测任务,暴露出一个关键的理论局限:频谱偏差[14]。随机退化过程本质上优先考虑低频全局分布,同时显著衰减高频分量。在遥感变化检测的语境下,这一现象不可避免地导致结构畸变并过度平滑地理目标(如建筑物)的关键拓扑边界,这一问题在近期的空频协同研究中也日益受到关注[15], [16]。如图1(d)和(e)所示,标准的随机退化会改变物体的底层几何结构,导致语义偏移。这种结构完整性的丧失对变化检测任务极为有害,因为变化检测严格需要精确的边界对齐。
为了打破这一理论僵局,我们提出了PFD-Net,一个标签高效的半监督变化检测框架,该框架集成了物理-频率数据引擎与孪生一致性架构(见图2)。与盲目注入随机噪声的传统方法或需要计算成本高昂的逆向采样的重量级生成模型不同,我们显式地通过免训练的、仅正向的随机微分方程(SDE)来建模遥感伪变化。具体而言,我们引入了一个由Ornstein-Uhlenbeck(OU)过程控制的均值回复退化(MRD)模块。如图3所示,该模块提供了一个数学上可控的漂移-扩散过渡,将原始图像驱动至领域扰动的目标状态以生成困难负样本,同时严格保留其高层语义拓扑结构。此外,为了从根本上对抗随机退化过程引起的结构畸变,我们嵌入了一个基于离散傅里叶变换(DFT)的频率恢复模块。通过在频域应用高通滤波器掩膜,网络显式地恢复并增强锐利的建筑物边界。最后,这些经过物理退化但拓扑锐利的图像对被输入学生网络。在无变化先验和一致性正则化的引导下,模型被迫将表层物理外观与核心语义内容解耦,从而提取鲁棒的物理不变表示。
本文的主要贡献总结如下:
- •
我们提出了一种新颖的物理引导的SSCD范式,在理论上将表层物理退化与真正的语义变化解耦。这显著增强了模型在极低标注条件下对现实世界伪变化的免疫力。
- •
我们在数学上构建了一个离线物理-频率数据引擎,该引擎包含一个由SDE驱动的免训练MRD模块和一个基于DFT的频率边界补偿机制。这一优雅的设计解决了长期存在的困境——即在生成逼真的大气/季节扰动的同时,保持双时相表示中高频拓扑的锐利度。
- •
我们设计了一种在线孪生一致性架构,通过无变化先验和监督预训练策略进行优化。大量实验表明,PFD-Net打破了现有的性能瓶颈。仅使用5%至30%的标注数据,它在LEVIR-CD、WHU-CD和GZ-CD数据集上取得了极具竞争力的结果,为标签高效变化检测树立了新的基准。
章节摘要
全监督与半监督变化检测
早期的遥感变化检测方法主要依赖传统的图像处理技术和手工设计特征。随着深度学习的兴起,全监督模型主导了该领域。卷积神经网络(CNN),如SNUNet [3]和STANet [4],利用深度特征提取和时空注意力机制取得了卓越的准确性。近期,视觉Transformer(ViT)[6], [17]和状态空间模型(如Mamba)[7]也被引入,用于
总体框架
我们提出的框架PFD-Net采用解耦的两阶段设计,系统性地解决伪变化干扰和退化引起的频谱偏差两大挑战。如图2所示,第一阶段是一个离线的物理-频率数据引擎,负责生成具有物理意义且边界锐利的困难负样本。第二阶段是一个在线的孪生教师-学生网络,专为半监督学习而设计。该架构遵循
数据集描述
我们在三个公开的、极具挑战性的基准数据集上全面评估了所提出的PFD-Net:
- •
LEVIR-CD[4]:一个包含637对高分辨率(0.5米/像素)图像的大规模数据集。该数据集主要以郊区居民区为特征,光照条件相对均匀,是建筑物变化检测的标准测试平台。
- •
WHU-CD[35]:一个航空气象数据集,由于光照条件多样、建筑物尺度变化多端和复杂阴影而极具挑战性
结论
在本文中,我们提出了PFD-Net,一种专为高分辨率遥感影像设计的新颖标签高效半监督变化检测框架。我们系统性地解决了该领域两个长期存在的挑战:现有模型对现实世界伪变化(如季节变化和光照变化)的脆弱性,以及正向随机退化过程固有的结构畸变(频谱偏差)。通过将免训练的、SDE驱动的
作者贡献声明(CRediT)
梁逸洲:撰写——初稿、可视化、验证、软件。赵斌:撰写——审阅与编辑、监督、项目管理、方法论、资金获取、形式分析。
利益冲突声明
作者声明,他们不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。
致谢
本工作部分受国家自然科学基金(62566017)和广西自然科学基金面上项目(2026GXNSFAA00641161)资助。
梁逸洲在赵斌副教授的指导下,正在中国桂林电子科技大学攻读人工智能专业硕士学位。他的广泛研究兴趣在于遥感变化检测和三维生成。
梁逸洲|赵斌