DPG-CD：基于深度优先的跨模态联合2D-3D变化检测

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：DPG-CD: Depth-Prior-Guided Cross-Modal Joint 2D–3D Change Detection

　　•本文提出了一种基于多时相跨模态融合的变化检测方法，该方法使用事件前的数字表面模型（DSM）和事件后的光学图像，并引入深度先验来为图像分支提供互补的几何线索，从而缓解多时相观测之间的模态差异。构建了一个多阶段的跨模态特征融合框架，以便有效地提取不同时间阶段的变化特征。该方法联合预测2D语义变化和3D高度变化，并利用与图像模态对应的DSM预测作为辅助任务，以提高3D高度变化估计的准确性。引入了一个新的跨模态变化检测数据集NYC-MMCD，用于多时相跨模态的2D-3D联合变化检测。

引言
多源遥感数据在检测地球表面变化方面的常规应用在多个领域至关重要，包括土地利用变化分析[1]、建筑物变化检测[2][3]、灾害响应[4]和城市植被监测[5]。最近的深度学习进展在双时相光学变化检测方面取得了显著进步。例如，弱监督减少了劳动密集型的像素级注释[6]，而增强的时间交互可以进一步区分和扩展对象级变化类别[7]。尽管有这些进展，大多数现有的基于图像的变化检测方法主要表征水平变化，无法直接量化垂直结构变化。此外，城市空间本质上是3D的，其发展越来越多地体现在对垂直方向的密集利用上[8]。因此，城市环境的变化不仅通过水平扩展表现出来，还通过垂直增长或结构修改表现出来。虽然3D变化检测对于捕捉垂直城市增长是不可或缺的，但现有关于建筑物变化的研究主要局限于2D表示[9]。通过结合高度信息，3D变化检测能够测量高程和体积差异，提供对城市变迁的更完整描述[10]。传统的3D变化检测依赖于重复获取双时相3D观测数据。然而，重复3D数据收集的高成本限制了大规模、时间敏感监控的空间覆盖范围和时间频率。在许多实际场景中，可靠的历史3D数据是可用的，而及时的事件后3D观测数据仍然难以获取。航空和卫星图像可以更频繁地在更大范围内收集。这促使了一种非对称的设置，即结合事件前的DSM和事件后的光学图像，保留了可靠的几何参考，同时减少了采集需求。光学图像提供了丰富的光谱和语义信息，而DSM则明确地表高了和几何结构[11]。因此，联合2D–3D变化检测通过识别语义变化并估计相应的高度变化，支持大规模、高频率的监控。

尽管多时相跨模态融合在联合2D-3D变化检测中有实际优势，但仍面临重大挑战。首先，DSM和光学图像通过不同的几何和光谱特征表示同一城市场景，这阻碍了有效的跨模态交互[12]。其次，由于模态差异和时间变化同时发生，模态引起的差异容易与实际表面变化混淆，从而妨碍了从异构观测中可靠地提取变化特征[13][14]。如图1所示，在不同时间阶段获取的DSM和光学图像会受到植被、阴影、实际变化和跨模态差异的影响，导致歧义。为了解决这些问题，本文提出了DPG-CD，一种基于深度先验的跨模态融合框架，用于灵活和高分辨率的城市变化检测。该框架引入单目深度作为事件后光学图像的相对结构先验，提供关于对象结构和空间分布的几何线索。然后，一种门控融合机制将可靠的深度线索选择性地注入光学特征中。接下来，一个多阶段的跨时相跨模态融合架构逐步提取变化感知表示。最后，一个多任务解码器联合预测2D语义变化和3D高度变化。

本文的主要贡献如下：
(1)为了减少双时相跨模态输入之间的光谱-几何表示差异，我们引入了一个估计的深度先验到图像分支中，用与对象布局和相对表面结构相关的几何线索来补充光谱特征。门控残差融合机制在保持原始图像表示的同时，选择性地注入可靠的深度线索。
(2)为了更好地捕捉跨时相变化特征，我们开发了一个多阶段的跨模态特征融合架构。在不同特征级别，使用卷积通道注意力块（CCAB）和层次变化特征提取块（HCFEB）来模拟两个时间阶段之间异构模态之间的交互。这些模块增强了变化相关特征的表示。
(3)为了支持稳健的多时相跨模态融合，我们设计了一个带有辅助DSM预测的多任务解码器，以联合优化语义和几何输出。这种设计提高了结构一致性，并增强了联合2D-3D变化检测的准确性。
(4)为了支持多时相跨模态融合在联合2D-3D变化检测中的方法发展，引入了一个新的多模态NYC-MMCD数据集。该数据集提供了多类2D语义建筑物变化，包括新建和拆除类别。它还包含了不同城市形态下的复杂3D高度变化样本。

本文的其余部分组织如下。第2节回顾了多模态变化检测和3D变化检测的相关工作。第3节详细介绍了提出的DPG-CD框架。第4节描述了评估指标、数据集和实现细节。第5节报告并分析了实验结果。第6节提出了消融研究和参数敏感性分析。最后，第7节总结了本文并讨论了未来的工作。

多模态变化检测与完整的双时相观测
多模态遥感数据提供了对地球表面特征的互补观测。通过协同利用多源数据，可以显著提高地面对象的解释能力，从而在语义分割、深度估计和变化检测等任务中实现稳健的性能提升[15]。在本小节中，对称多模态变化检测指的是在两个时间点都有多模态观测可用作为输入的方法。

DPG-CD
本文提出了DPG-CD，一种基于深度先验的跨模态变化检测方法，该方法联合预测2D语义变化和3D高度变化。DPG-CD首先为图像模态引入一个估计的深度先验。然后，采用门控机制将图像特征与深度先验特征融合，增强图像模态的几何表示，并提高其与DSM模态的一致性。随后，一个多阶段的跨时相跨模态融合架构...

指标
对于2D语义变化检测任务，本文使用每个类别的交并比（IoU）、平均IoU（mIoU）和平均F1分数（mF1）来评估性能。具体来说，首先计算每个语义类别的IoU和F1分数，然后对所有类别进行平均。
IoUc = TPc / (TPc + FPc + FNc)
F1c = 2 * TPc / (TPc + FPc + FNc)
其中TPc、FPc和FNc分别表示类别c的真实正向像素、假正向像素和假负向像素的数量。

Hi-BCD数据集的结果
表3总结了Hi-BCD数据集上2D语义变化和3D高度变化的定量结果。所提出的DPG-CD框架在两个任务上都表现出色。图5和图6提供了在不同和具有挑战性的城市场景下2D和3D变化结果的定性比较。如图5所示，所提出的DPG-CD框架在语义变化分割中显示出更高的几何准确性和更完整的边界。

消融研究
为了验证所提出方法中每个组件的有效性，进行了消融研究以进一步分析它们的单独贡献。消融研究评估了三个核心组件：估计的深度先验（EDP）特征、CCAB（卷积通道注意力块）和HCFEB（层次变化特征提取块）。具体来说，通过消融其内部的DSSM（差异感知状态空间混合器）和CCA（跨通道）进一步分析了HCFEB。

结论
在本文中，我们研究了利用事件前的DSM和事件后的图像进行具有挑战性的跨模态变化检测任务，提出了一个统一的框架，用于联合2D语义变化检测和3D高度变化预测。为了促进在复杂城市环境中的研究，我们引入了NYC-MMCD，一个新颖的多模态和多任务变化检测数据集。为了解决光学图像和DSM之间的模态差异，所提出的方法引入了 estimated depth 作为几何...

作者贡献声明
张 luqi：撰写——审阅与编辑，撰写——原始草稿，方法论，形式分析，数据管理，概念化。
董 zhen：撰写——审阅与编辑，监督，概念化。
杨 bisheng：撰写——审阅与编辑，监督，概念化。

利益冲突声明
作者声明他们没有任何已知的竞争财务利益或可能影响本文所报告工作的个人关系。