通过时空多尺度融合和光流变形技术进行遥感变化检测

《Patient Education and Counseling》：Remote sensing change detection via spatiotemporal multi-scale fusion and optical flow warping

　　廖春德|郝匡荣|魏冰|唐学松|任立红
华东大学信息科学与技术学院，数字化纺织与服装技术工程研究中心，教育部，上海，201620，中国

**摘要**
遥感（RS）图像变化检测（CD）对于地质灾害的监测和预防至关重要。然而，目前基于深度学习（DL）的CD方法仍然面临诸如伪变化、漏检和边缘噪声等挑战，这是由于对双时相图像之间的时间差异和视角不一致研究不足所致。为了提高对时空变化的感知能力并有效处理时空数据中的复杂运动，本文提出了一种时空多尺度融合与光流变形网络（SMOW-Net）。首先，3D卷积的内部融合特性使得能够同时提取和融合双时相图像中的特征信息。提出的时空多尺度特征编码器（SMFE）模块旨在通过时间和空间独立的处理以及灵活的时间转置卷积层来弥合低级特征和高级特征之间的语义差距。此外，光流变形器（OFW）模块旨在提升时空动态建模能力，以便有效处理复杂运动数据，网络自主学习出双通道空间变形场以指导特征对齐。实验结果验证了我们的网络在GVLM-CD、LEVIR-CD、WHU-CD、S2Looking和LEVIR-CD+数据集上优于十一种最先进方法（SOTA）的性能优势。最后，我们还介绍了SMOW-Net-LW，这是一种轻量级变体，其模型复杂度显著降低，适用于资源受限的环境，同时仍能保持出色的性能。该工作的代码可在https://github.com/ChundeLiao/SMOW-Net获取。

**引言**
遥感变化检测（RSCD）在环境监测[1]、资源调查[2]、城市扩张分析[3]和灾害评估[4]等领域有着广泛的应用。然而，它面临着诸多挑战：跨时相获取和传感器差异导致成像条件变化，包括时间和角度的变化，这些变化可能产生伪变化、漏检和边缘噪声。如图1所示，最近提出的方法无法定位具有时间和角度变化的目标，而我们的方法能够获得高质量的变化检测结果。

深度学习（DL）利用神经网络的能力提取深度特征以实现端到端的变化检测（CD）。卷积神经网络（CNN）[5]在CD领域表现出色。早期的基于DL的方法通常通过将双时相图像整合为单一输入来工作。例如，沿通道维度整合双时相图像作为输入被称为早期融合（EF）[6]。EF网络的主要局限性在于无法充分提取相应的单时相特征。与EF网络不同，后期融合（LF）网络利用具有共享权重的并行分支从单时相图像中独立提取特征。多项研究表明，LF网络在CD的特异性方面优于EF网络[7][8]。然而，LF网络的主要缺点是可能存在信息损失，这限制了它们在处理高分辨率RS图像时的适用性。因此，研究人员努力增强深度特征的提取和使用[9]。尽管这些方法在建模局部时空相关性方面表现优异，但它们受到CNN感受野的限制，难以捕捉长距离的时空依赖性，如跨区域变化。

与仅依赖固定感受野的卷积不同，注意力机制可以跨越不同的时间和空间距离，自适应地捕捉长距离依赖性，并在时空特征融合中展现出更强的信息突出能力[10][11]。例如，李等人[12]提出了一种时间特征交互模块，该模块通过跨时相特征注意力机制捕捉多级时间差异，并通过融合高级和低级特征来细化变化区域的边界。总之，注意力机制已成为CD任务中的一个热门话题。由于Transformer具有强大的表示能力，研究人员也将Transformer模型应用于CD任务。通过引入多个Transformer模块，可以增强提取多尺度特征的能力[13]。然而，Transformer的自注意力机制计算成本较高，且其在建模小物体边缘等局部详细特征方面的能力较弱，容易导致细粒度变化的漏检。因此，研究人员尝试使用CNN和Transformer的混合模型[14]。此外，研究人员逐渐意识到CD不仅需要处理空间信息，还需要考虑时间维度上的特征融合[12]。然而，许多当前主流的时空特征融合方法严重依赖于模块的特定结构，容易导致时间维度上的混乱。

尽管近年来在CD方面取得了显著进展，但大多数现有方法仍然隐含地将此任务视为特征区分问题。然而，双时相RSCD的根本挑战不在于分类本身，而在于双时相图像之间不稳定的时空对应关系。物候状态和成像角度的变化常常破坏同一对象在不同时间下的对应关系，导致结构错位被误判为变化，而真实变化可能由于跨尺度语义表示不一致而被抑制。3D卷积的固有融合特性使得能够同时提取和融合双时相图像中的时空特征，但这显著增加了模型参数和计算成本[15]。在高分辨率复杂场景中，现有方法在处理双时相RS图像时可能会造成大量时间信息的丢失。研究人员发现，具有相邻级特征交叉融合的3D卷积可以缓解语义差距[16]。

基于以上分析，我们提出了SMOW-Net。首先，通过连接双时相图像的时间维度来建立4D张量输入主干网络，以获取多尺度特征。接下来，设计SMFE模块以在层次特征之间建立稳定的时空交互。为了与3D卷积层（C3D）区分开来，我们将3D转置卷积层称为C3DT。该模块使用空间转置卷积层逐步调整特征图的大小，并使用灵活的时间转置卷积层学习双时相图像之间的相同和不同特征。此外，OFW模块对双时相特征进行几何对齐以补偿空间偏移。最终，通过使用Transformer解码器融合这两个模块的输出来获得双时相图像的变化检测结果。另外，我们还提出了一个轻量级变体SMOW-Net-LW，它是一种资源高效的替代方案，适用于计算资源有限的场景，同时保持出色的性能。主要贡献如下：
(1) 我们提出了一种基于时空语义融合和几何一致性对齐的双驱动CD框架，将CD从仅依赖特征差异的区分范式扩展为跨时相对应的学习过程，实现了深度时间语义挖掘与空间几何错位校正之间的协同优化。
(2) 我们提出了一种时空解耦的SMFE模块，解决了3D卷积在CD中的参数冗余和语义差距问题。它通过灵活的时间转置卷积层实现了空间细节和时间变化的独立处理，捕捉双时相特征之间的动态相关性。
(3) 为了解决由视角变化引起的空间偏移，我们加入了OFW模块，该模块通过可学习的变形场实现特征对齐。这种设计能够在解码之前进行错位补偿，从而获得更清晰的几何边界并减少边缘噪声。
(4) 广泛的实验表明，SMOW-Net有效解决了伪变化、漏检和边缘噪声等挑战。此外，我们的轻量级变体SMOW-Net-LW仅使用5.54M参数和3.99G FLOPs就实现了可比的性能。

**相关工作**
近年来，基于DL的RSCD方法大致可以分为四类：基于CNN的方法、基于注意力机制的方法、基于Transformer的方法以及CNN-Transformer混合方法。尽管这些方法显著提高了特征表示能力，但它们仍然难以在时间和视角变化下保持多尺度语义一致性。

**架构概述**
SMOW-Net的总体架构如图2(a)所示，它采用双编码器和双输入解码器结构。提出的SMOW-Net通过时空独立处理聚合层间的互补特征信息，并利用光流变形来增强时空动态建模能力，有效处理复杂运动数据。为方便起见，我们省略了批量大小和连接信息。

**数据集**
对于CD任务，现有的开源数据集主要集中在构建提取算法（例如LEVIR-CD数据集[37]和WHU-CD数据集[38]），而自然灾害监测数据集则很少被研究（例如GVLM-CD数据集[39]）。此外，还使用了两个更具挑战性的数据集（S2Looking数据集[40]和LEVIR-CD+数据集[37]）来验证网络的有效性。

**结论**
SMOW-Net的核心设计围绕两个主要目标：时空特征的多尺度融合以及对复杂运动的适应性。SMFE模块通过灵活的时间转置卷积层动态调整和跨层聚合主干网络输出的多尺度特征，从而提高时间特征表示的一致性和丰富性。OFW模块变形低级特征，以实现更准确的空间对齐。

**作者贡献声明**
廖春德：撰写——原始草案、可视化、方法论、调查、数据管理、概念化。
郝匡荣：撰写——审稿与编辑、监督、资金获取、概念化。
魏冰：监督、方法论、概念化。
唐学松：监督、方法论、概念化。
任立红：监督、方法论、概念化。

**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本文得到了国家自然科学基金（62403121）、上海浦江计划（22PJ1423400）和上海帆船计划（22YF1401300）的支持。