差异识别：一种面向遥感图像的配准鲁棒目标级变化检测框架

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Spot the differences: a registration-robust object-level change detection framework for remote sensing images

　　

## 摘要

随着对地观测能力的指数级提升，遥感领域的主要挑战已从海量数据获取转向高效信息提取。目前，用户关注点日益集中于感兴趣对象的动态变化监测。传统变化检测范式通常要求对多时相图像进行严格的像素级配准和辐射一致性校正。然而，其高昂的计算成本和对配准精度的敏感性使其难以满足时效性应用的需求。受人类视觉系统的启发——该系统无需精确的像素对齐或辐射归一化即可感知图像之间的差异，即"找不同"——本文提出了一种新型的对象级变化检测框架，降低了对严格像素级空间配准的依赖。该框架不直接检测"变化"（往往难以精确定义），而是通过识别并匹配图像对之间的未变化对象，间接推断出变化集合。该框架的核心是一个基于可变形卷积的背景感知匹配网络，其中融入了对比学习策略并引入了一种面向分类的对比损失函数。这使得网络能够建模弹性几何对应关系，并可在不进行显式像素级配准的情况下，直接从失配图像对中鲁棒地关联相同的语义区域。为验证所提方法的通用性，我们构建了一个大规模对象级变化检测数据集。该方法与多种目标检测框架进行了整合，包括单阶段、两阶段、Anchor-free和基于DETR的模型，以评估其在不同架构下的鲁棒性和适应性。实验结果表明，在具有挑战性的失配场景下，所提方法在ATSS框架上达到了48.7%的平均精度均值（mAP），显著优于基于图像差分的方法。此外，该方法将假报警率从CYWS方法的约90.0%降低至12.8%。这些结果为失配时相数据的关系学习提供了新的视角和探索。本文的代码和数据集将在GitHub上开放。

## 引言

遥感变化检测是地球观测与智能解译领域的关键研究方向，旨在通过比较多时相遥感图像来精确表征地表对象的空间-时间演变与动态变化（Scharsich et al., 2017; Zhang et al., 2023; Sun et al., 2024）。该技术在众多重要领域具有不可替代的价值，包括国土空间规划（Liu et al., 2019; Lv et al., 2023）、城市扩张监测（Wu et al., 2022; Zhu, 2022）、生态评估、自然灾害应急响应（Gong et al., 2016; Liu et al., 2018）以及国家安全（Ertürk et al., 2016）。

然而，大多数现有的遥感变化检测研究通常假设或依赖图像对之间的严格像素级配准。此外，近期变化检测领域的进展主要集中在准确配准的图像对下的像素级或语义级变化检测，而非配准条件下的对象级变化检测仍相对缺乏探索。一类方法直接在高度配准的图像对上进行变化检测研究（Zhou et al., 2025; Liu et al., 2025）。另一类方法将像素级配准和辐射归一化作为预处理步骤，在配准完成后再进行变化检测（Sun et al., 2026; Zhao et al., 2025; Zhang et al., 2026）。在实践中，高精度空间配准往往复杂、计算代价高昂，且严重依赖数据质量和先验信息。此外，配准步骤中非重叠区域会被直接丢弃，导致数据利用率降低和关键信息的潜在丢失，可能造成不必要的数据浪费。

为克服上述局限性，部分研究尝试绕过严格的图像配准，将变化检测重新表述为端到端的检测或匹配任务，即"找不同"。例如，CYWS方法（Sachdeva and Zisserman, 2023）将未配准的双时相图像直接输入目标检测模型以直接预测变化区域。然而，尽管目标检测模型在其原生任务上表现良好（图1(a)），非配准条件下的变化检测则具有本质性挑战。模型不仅需要对对象进行定位，还需要在空间失配条件下跨时间比较对象以确定是否发生变化。这大幅增加了任务难度，并常常导致大量误报，从而检测可靠性不足（图1(b)）。Image-diff方法（Nguyen et al., 2025）在CYWS基础上引入了特征匹配机制，其假设变化区域在图像对中以成对形式出现，并对检测结果进行跨时相匹配以增强一致性。然而，该方法存在明显的理论局限。匹配操作依赖于"变化区域"的前景特征，而对象变化时这些特征会发生显著变化，因而缺乏跨时相稳定性，不适合作为鲁棒匹配的可靠依据，这限制了方法的整体可靠性。尽管已有这些尝试，非配准条件下的对象级变化检测方法仍然非常有限，且大多数近期的变化检测框架由于其像素级对齐假设和密集预测输出的要求而无法直接应用。

本文从对象级变化检测的视角重新审视非配准条件下的鲁棒变化检测问题。对象级方法以语义完整的对象（如建筑物、车辆和道路）为基本分析单元，其高层语义特征对空间失配更具鲁棒性。受优化理论中双问题求解思想的启发，我们提出了一种逆推框架。该框架不直接检测难以精确定义的"变化"，而是通过识别并匹配图像对之间的未变化对象，间接推断变化集合。这一转变将关注点从不稳定的"变化特征"转移至稳定的"不变性关联"（图1(c)）。

如何判断两个对象是否对应于"同一个"未变化对象，即跨时相对象匹配，是关键挑战。无论是直接还是间接检测变化，基于前景特征的匹配都不可靠。对于变化区域，前景特征本身已经改变。对于未变化区域，位于不同位置但视觉相似的类似对象（如两架外观相似的飞机）往往具有高度相似的前景特征，这容易导致错配。为解决这一问题，受Zhang et al. (2024), Yang (2022), Song et al. (2025), Zhixing et al. (2021)的启发，本文摒弃了基于前景特征的传统匹配范式，提出了一种新方法，利用对象周围的局部背景上下文特征作为匹配描述符。与高度易变的前景对象相比，背景环境（如道路布局、植被分布和邻域结构）在短期内通常保持高度稳定，能够为对象提供独特而鲁棒的空间标识。通过构建并匹配这种基于背景上下文的空间签名，可以在未变化对象之间建立可靠的对应关系，即使在非严格配准条件下也能实现鲁棒匹配。

总体而言，本文致力于解决非严格像素级配准条件下变化检测鲁棒性不足的挑战。我们将研究重点从直接检测不稳定的"变化"转移至利用稳定的背景特征鲁棒地匹配在时相图像中保持一致的未变化对象。该策略显著降低了方法对精确像素级对齐和时相不稳定变化特征的依赖。为验证所提方法，我们构建了一个大规模多场景数据集。数据集由两部分组成：一部分是通过精细人工标注获取的真实遥感图像数据，另一部分是模拟数据。两者共同为相关方法的研究和评估提供了数据支撑。主要贡献如下：

（1）本文提出了一种非配准条件下的变化检测逆推框架。通过将任务重新表述为识别未变化对象并利用稳定的不变性关系统推断变化区域，降低了对像素级配准的依赖。

（2）本文摒弃了基于前景特征的匹配方式，转而使用稳定的局部背景特征作为空间签名，实现未变化对象的鲁棒跨时相匹配，避免了相似前景造成的混淆。

（3）构建了大规模多场景数据集，将精细标注的真实遥感图像与可控缩放增强数据相结合，为非配准条件下变化检测方法的研究、验证和评估提供了必要支撑。

## 章节摘要

**对象级变化检测**：与像素级方法相比，对象级变化检测在结构化对象识别和语义建模方面具有明显优势。近年来，该范式在方法设计和应用范围方面取得了显著进展。例如，Han et al. (2019)提出了一种两阶段对象检测框架，集成了特征提取网络、变化提案网络和差异判别网络。

**方法**：本文利用背景环境作为事件前后图像之间的关联线索，重新审视变化检测问题，以判断感兴趣区域是否存在。在此基础上，将表示粒度从像素级提升至对象级。在U-Net架构中使用可变形卷积构建了背景感知特征提取模型，整合上下文背景关系以生成判别性空间特征。

**数据集**：1）真实场景数据集：本文通过收集GF-2遥感图像（1米全色数据和4米多光谱数据）和谷歌地球数据，构建了一个对象级变化检测数据集。该数据集包含3,113对遥感图像和总计138,104个标注，其中包括95,562个有对象标注和50,951个无对象标注。其中26,336对被标记为对象变化，42,542对被标记为对象未变化。

## 结论

本文提出了一种新型对象级框架，通过将任务重新表述为受人类视觉系统启发的上下文关系推理，解决了遥感变化检测中对像素级配准过度依赖的瓶颈问题。在理论上，从逆推角度将"变化检测"转化为鲁棒的"不变性关联"，为非对齐数据处理提供了新范式。在技术上，以稳定的局部背景特征替代脆弱的前景特征……

**作者贡献声明**：Yuhang Song：撰写—审阅与编辑、撰写—原稿、可视化、验证、软件、项目管理、方法论、形式分析、数据整理、概念构思。Yuanfeng Wu：撰写—审阅与编辑、撰写—原稿、资源、项目管理、获取资金、形式分析。Boya Zhao：撰写—审阅与编辑、撰写—原稿、指导、方法论、获取资金。Zutian He：撰写—审阅与编辑、撰写—……

**利益冲突声明**：作者声明不存在已知的财务利益冲突或个人关系可能影响本文所报告的工作。作者为《ISPRS摄影测量与遥感杂志》的编辑委员会委员/主编/副主编/客座编辑，但未参与本文的编辑评审或发表决定。

**致谢**：本工作得到了国家重点研发计划（资助号2021YFA0715203）、中国科学院科技计划创新项目（资助号2024-AIRCAS-SDTP-12）以及国家自然科学基金（资助号62001455和41871245）的支持。（通讯作者：Yuanfeng Wu。）

Yuhang Song和Bing Zhang隶属中国科学院空天信息创新研究院数字地球科学重点实验室，北京100094，中国。

Yuhang Song | Yuanfeng Wu | Boya Zhao | Zutian He | Xiushan Bai | Wenzhi Liao | Bing Zhang