HCFNet：用于遥感变化描述的分层互补特征嵌入方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：HCFNet: Hierarchical and complementary feature embedding for remote sensing change captioning

　　摘要：遥感变化描述（RS-CC）旨在用自然语言描述双时相遥感图像之间的变化。现有方法通常将视觉变化编码为单一的融合差异特征，这可能在生成描述时限制了对不同范围变化信息的利用。此外，传统的n-gram基度量标准对空间尺度和变化范围的差异不敏感。为解决这些问题，本文提出了一种分层互补特征嵌入网络（HCFNet）。具体而言，变化认知视觉解析器（CCVP）通过具有不同空间优先级的并行聚合，从融合差异特征中提取特定分支的变化嵌入。分层认知挖掘损失函数（HCMLoss）利用变化掩码得出的变化强度来形成分层认知向量（HCoV）。变化认知语言解码器（CCLD）则通过多阶段特征融合，将特定分支的HCoV融入不同的解码层。另外，变化敏感度度量指标（CSM）通过加入变化场景惩罚项，弥补了传统n-gram基度量标准的不足，从而提高对空间尺度及变化范围差异的敏感度。实验在LEVIR-CC、WHU-CDC和SECOND-CC三个基准数据集上进行，结果表明所提出的HCFNet具有出色的性能，验证了HCoV在遥感变化描述中的有效性。CSM的实现代码和词汇表将在https://github.com/Hope21maker/HCFNet上公开。

引言：遥感变化描述（RS-CC）是一项新兴的地球观测任务，其目标是把双时相图像的差异转化为自然语言描述（K. Yang等人，2025年；Deng等人，2026年）。与传统的像素级变化检测方法相比（Zhang等人，2020年；W. Liu等人，2023年），RS-CC需要借助自然语言来解读图像中的变化，它能够捕捉遥感图像中的物体属性及其关系，将像素级差异转化为连贯的描述。随着RS-CC的发展，许多基于数据的深度学习框架被提出（Park等人，2019年）。大多数主流方法采用由视觉编码器、变化编码器和语言解码器组成的三阶段流程（Qiu等人，2021年）。视觉编码器负责提取双时相特征，变化编码器构建融合差异特征，而语言解码器则生成相应的变化描述。然而，最终得到的变化表示通常仅为单一的融合差异特征，这种设计可能限制了在生成描述时对不同范围变化信息的有效利用。同时，传统的描述监督和词汇评估指标在保留和评估此类结构化变化信息方面作用有限。因此，本研究从视觉变化表示、一致性对齐以及描述评估三个方面分析了现有方法的局限性。首先，在视觉变化表示方面，大多数现有方法将双时相视觉信息编码为单一的融合差异特征，并将其传递给语言解码器（Deng等人，2026年）。但单一的融合特征并未根据变化的不同范围对视觉变化进行明确分类。如图1(a)中的失败案例所示，简单地将差异特征融合在一起可能会削弱变化线索，从而导致在生成描述时无法充分区分小范围和大范围变化区域的变化线索。这一局限性促使人们构建多种特定分支的表示方式，以描述结构化的视觉变化。其次，在一致性对齐方面，RS-CC是一项跨模态任务，要求将视觉变化与自然语言描述相互对齐。现有的监督策略大致可分为两类：仅使用描述文本的监督，以及同时学习变化检测和变化描述的联合学习方法。当仅以描述文本作为监督依据时，可能难以为视觉变化与自然语言之间的一致性对齐提供足够指导（Wang等人，2022年；Y. Li等人，2024年）。联合学习方法通过引入检测分支作为明确的像素级变化监督，有助于缩小视觉变化与语言描述之间的跨模态差距。不过，额外的检测分支不可避免地会增加训练成本（Tan等人，2025年）。此外，在模型训练过程中，视觉编码器需要同时根据像素类别和图像描述进行优化，这就难以在这两项任务之间保持平衡（Zhu等人，2024年；Shi等人，2024年）。因此，应有效利用变化掩码信息，以促进视觉变化与自然语言描述之间的对齐。最后，在评估指标方面，现有方法依赖n-gram基度量标准，如BLEU（Papineni等人，2002年）和METEOR（Banerjee和Lavie，2005年），来衡量生成的描述与真实情况的相似度。然而，这些度量标准无法明确判断空间尺度和变化范围是否得到了正确描述。如图1(a)所示，由于两个生成的描述都包含“围绕……建造”这样的常见词组，所以它们的BLEU得分相同。下面的描述错误地将中心物体识别为“正方形”，并将周围区域错误地描述为“空间”，而上面的描述则正确识别出了“别墅”的存在，并更准确地反映了场景的空间布局。尽管存在这些明显的与变化相关的偏差，但两个描述的得分却相同。这个例子表明，词汇相似度并不一定反映RS-CC中变化描述的准确性。因此，需要新的评估指标来更灵敏地检测生成描述中的变化相关偏差。为解决这些相互关联的问题，如图1(b)所示，本文提出了一种分层互补特征嵌入网络（HCFNet）。HCFNet首先利用变化认知视觉解析器（CCVP），通过具有不同空间优先级的并行聚合，从融合差异特征中提取特定分支的变化嵌入。在训练过程中，分层认知挖掘损失函数（HCMLoss）利用从变化掩码得出的变化强度来组织这些嵌入，这些学到的嵌入被称为分层认知向量（HCoV）。随后，变化认知语言解码器（CCLD）将特定分支的HCoV融入不同的解码层，从而实现分层利用结构化的变化信息。此外，变化敏感度度量指标（CSM）通过加入变化场景惩罚项，弥补了传统n-gram基度量标准的不足，提高了对空间尺度及变化范围差异的敏感度。本研究的主要贡献如下：1. 提出了一种用于RS-CC的分层互补特征嵌入网络（HCFNet），为结构化变化表示、渐进式描述生成以及变化敏感度评估提供了统一的框架。2. 设计了变化认知视觉解析器（CCVP），用于将差异特征分解为具有不同空间聚合优先级的特定分支变化嵌入。HCMLoss则利用从变化掩码得出的变化强度来形成HCoV。3. 设计了变化认知语言解码器（CCLD），以实现對HCoV的多粒度语义解析，通过多阶段特征融合，逐层细化CCLD中的语义约束。4. 设计了变化敏感度度量指标（CSM），通过加入变化场景惩罚项，弥补了传统n-gram基度量标准的不足，使评估更能敏感地反映RS-CC描述中的空间尺度及变化范围差异。

相关研究：遥感变化描述（RS-CC）是地球观测领域的关键任务。与描述单幅图像固定内容的遥感图像描述（RSIC）不同，RS-CC通过建模双时相图像之间的差异来描述场景变化。本节回顾了从RSIC到RS-CC的发展历程，因为RSIC为图像与文本的关联奠定了基础，而RS-CC则增加了随时间跟踪双时相变化的挑战。这两项任务都强调语义理解的重要性。

方法论：本节介绍了用于RS-CC的HCFNet模型。HCFNet包含两个自定义模块，即变化认知视觉解析器（CCVP）和变化认知语言解码器（CCLD），它们建立在视觉编码器和文化变化编码器之上。在训练过程中，二值变化掩码仅用于为HCMLoss提供变化强度监督。在推理阶段，HCFNet仅需输入双时相遥感图像。图2展示了整个处理流程。

数据集：作为RS-CC领域的基准数据集，LEVIR-CC包含了大规模的土地覆盖变化以及局部物体级别的变化，而且每对图像都有多人标注，形成了包含468个不同单词的词汇表。这样的设置有助于验证所提出的HCoV的有效性，同时也暴露出那些依赖单词重叠的传统评估指标的局限性。WHU-CDC则描述了包括建筑物、停车场、道路、植被和水体在内的多种土地覆盖类型的变化情况。

讨论：在本研究中，通过引入分层互补的变化表示方式，提出了HCFNet以改进RS-CC性能。大量实验已经证明了该方法的有效性，但仍需承认一些局限性，而这些局限性或许能为未来的研究提供方向。在模型层面，完整的HCFNet在训练过程中依赖变化掩码作为辅助监督。尽管在推理阶段仅需要双时相图像即可。

结论：鉴于RS-CC中对结构化变化表示和变化敏感度评估的需求，本研究提出了HCFNet，这是一种分层互补特征嵌入网络。HCFNet利用CCVP通过具有不同空间优先级的并行聚合，从融合差异特征中提取特定分支的变化嵌入。在训练过程中，HCMLoss通过引入基于变化掩码的变化强度监督，根据变化范围对这些嵌入进行组织，从而提升……

作者贡献声明：高浩然：撰写——初稿、方法论、概念设计。严一鸣：监督、方法论、资金获取。张正宁：撰写——审阅与编辑、验证。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

高浩然|严一鸣|张正宁
中国哈尔滨工程大学信息与通信工程学院，哈尔滨，150009