FSSENet：基于基础模型的语义-结构增强遥感水体变化检测网络

《Pattern Recognition》：FSSENet: A Foundation Model-Based Semantic-Structural Enhanced Network for remote sensing water body change detection

　　

•我们开发了遥感水体变化检测网络 FSSENet。
•我们集成了冻结的基础模型以补充通用语义先验。
•我们设计了 ASAF 模块以实现高效的语义迁移。
•我们通过 SSCP 注意力机制保持了语义和结构的连续性。
•我们在两个不同的 WBCD 数据集上取得了领先性能。

引言
变化检测（CD）是一项由数据和算法驱动的任务，通过分析同一地理区域的多时相遥感图像来识别土地利用覆盖或物体状态的变化 [1]。该技术广泛应用于城市扩张 [2]、自然灾害评估 [3] 和耕地保护 [4] 等领域。作为 CD 的关键子领域，水体变化检测（WBCD）是指通过同一区域在不同时间段的图像对来识别湖泊、河流及其他水体类型的表面变化。它在洪水监测 [5]、水资源管理 [6] 和生物多样性保护 [7] 中发挥着至关重要的作用。

传统 CD 方法 [8] 依赖手工特征提取，使其难以在复杂场景中实现快速和准确的检测 [9]。在过去十年中，深度学习（DL）技术极大地推动了 CD 领域的发展。例如，卷积神经网络（CNN）取得了显著的成功，凭借其强大的学习能力和自动特征提取机制，能够有效处理复杂和变化的场景 [2], [10]。近年来，视觉 Transformer（ViT）[11] 的引入进一步引发了 CD 领域的研究热潮，因为它们可以处理任意非结构化数据并捕获整个图像的全局依赖关系，为变化检测提供了新的视角和增强的表达能力 [12]。此外，一些研究探索了串联或并联配置结合 CNN 和 ViT，以研究更具鲁棒性的特征表示和 CD 能力 [13]。在一定程度上，这些基于深度学习的模型推动了 CD 技术的进步。然而，由于水体的类型多样性、结构连续性和背景复杂性，主流方法仍难以全面捕获和解释相应的语义特征，限制了其在 WBCD 中的性能。

为了增强变化检测的基线性能，研究人员评估了各种设计选择，重点关注核心组件或配置 [14]。尽管取得了这些进展，但当前方法仍面临其设计范式固有的两个基本局限性。首先，主要依赖有限的领域特定数据进行从头训练，使得难以建立全面的高层语义表示。由于缺乏这些通用语义先验，这些方法往往无法区分水体与光谱易混淆的物体（例如阴影或深色植被），尤其是在视觉歧义较高的复杂场景中。其次，由于特征提取过程中不可避免地丢失细粒度细节，存在结构瓶颈。主流方法通常缺乏恢复这些丢失空间细节的有效机制，使得难以维持水体的拓扑连续性（例如狭窄河流）。如图 1 所示，代表不同基础范式的模型，包括 CNN、Transformer 和状态空间模型，都会遇到类似的瓶颈。这些系统性缺陷通常表现为杂乱背景中视觉模糊区域内的显著漏检和误检错误，凸显了需要更有效解决方案的需求。

基于这些见解，我们提出了一种新颖的框架，即基于基础模型的语义结构增强网络（Foundation Model-Based Semantic-Structural Enhanced Network, FSSENet），用于遥感 WBCD。为了解决语义先验稀缺的问题，该架构集成了冻结的基础模型，以桥接通用视觉知识与任务特定表示。具体来说，提出的关联语义自适应融合（Associative Semantic Adaptive Fusion, ASAF）模块动态对齐并融合通用语义先验与 WBCD 特定的深度特征。这种主动的知识迁移有效解决了局部语义歧义。随后，为了补充这种语义对齐，空间语义与连续性感知（Spatial Semantic and Continuity Perception, SSCP）注意力显式地建模长程空间依赖关系。通过捕获全局结构关系，SSCP 精确恢复边界信息并确保识别出水体的拓扑连续性。通过这种协同流水线，FSSENet 本质上将通用语义消歧与细粒度结构细化相结合，促进了稳健且准确的 WBCD。

以下是本文提出的主要贡献：
•我们提出了 FSSENet，一种创新的基于基础模型的框架，利用预学习的语义先验来提升 WBCD 模型的语义理解能力，并在复杂场景中捕获判别性特征。
•我们设计了 ASAF 模块以自适应地融合多源特征。它高效地迁移和结合通用语义知识与细粒度 WBCD 特征。这一设计仅通过 0.104 M 可学习参数就增强了模型性能。此外，我们采用即插即用的 SSCP 注意力来抑制无关特征并增强变化区域的空间相干性。
•在两个公开数据集上的广泛实验验证了 FSSENet 的优越性和泛化能力。视觉结果展示了其在检测细微变化、减少边缘遗漏以及在多种环境条件下保持结构完整性方面的优势。

章节片段
水体变化检测
传统 WBCD 方法主要依赖于机器学习算法（例如支持向量机 [15]）和像素级分类技术 [16]。然而，这些方法 inherent 有限的泛化能力和对时空不一致性的高敏感性。此外，基于指数的方法通常需要大量耗时的手动阈值设置。

相比之下，基于深度学习的 WBCD 方法通过利用...显著推动了该领域的发展。

方法
图 2 展示了 FSSENet 的总体架构。最初，经过分辨率输入策略处理后，双时相图像分别输入到基础模型和定制的 WBCD 网络中。随后部署 ASAF 模块将对齐并整合通用语义先验到 WBCD 模型中。接下来，SSCP 注意力通过显式建模全局空间依赖关系来细化这些高层表示，以确保结构连续性，提供...

实验
在本节中，我们首先介绍两个用于 WBCD 的基准数据集，随后详细说明实验设置和评估指标。接下来，展示了 FSSENet 框架中性能最优的模型与其他先进方法的对比实验结果。最后，实施了消融和分析实验以验证核心组件、分辨率输入策略和整体框架的有效性。

结论
在本研究中，我们提出了 FSSENet 框架以解决遥感 WBCD 中固有的语义歧义和结构不连续性问题。具体来说，ASAF 模块从基础模型中提取语义先验，并将它们与 WBCD 特定的高层特征自适应融合，以减轻背景干扰。随后，SSCP 注意力显式建模全局依赖关系，以确保识别出水体的空间和语义相干性。在 HSRW-CDCRediT 上的评估...

CRediT 作者贡献声明
Haoran Wang：撰写 – 初稿，可视化，验证，方法论。Quanqing Ma：可视化，验证，方法论。Peng Wang：监督。Jiaen Chen：监督。Qingzhan Zhao：监督。Xuewen Wang：监督。Yuchen Zheng：撰写 – 审阅与编辑，监督，资金获取。

生成式人工智能及写作过程中 AI 辅助技术的声明
人工智能仅用于语言润色；作者对本稿件的原始内容承担全部责任。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能会影响本研究中报告的工作。

Haoran Wang|Quanqing Ma|Peng Wang|Jiaen Chen|Qingzhan Zhao|Xuewen Wang|Yuchen Zheng