一种采用Choquet启发的融合方法的边缘条件动态注意力网络用于多模态遥感图像语义分割

《Knowledge-Based Systems》：An Edge-conditioned Dynamic Attention Network with Choquet-inspired Fusion for multimodal remote sensing image semantic segmentation

　　

摘要

精确的城市场景解析依赖于光学和高程模态的协同融合。然而，现有方法在有效融合两种模态的互补信息方面面临重大挑战。具体而言，现有方法缺乏显式的边缘感知结构先验来引导跨模态交互，难以在复杂城市区域中自适应地确定模态主导性并保持清晰边界；同时，传统融合机制不足以刻画模态之间的非线性交互，尤其在异构结构背景下尤为明显。为解决这些问题，我们提出了一种基于Choquet启发的融合的边缘条件动态注意力网络（EDANet）。首先，我们构建了一个基于平均池化的边缘感知（AEP）模块，从原始数据中显式提取鲁棒的边界线索，作为网络的基础几何依据。基于这些先验，动态模态注意力（DMA）模块动态调节各模态的贡献。利用显式边缘约束，DMA在空间上对跨模态交互进行门控，以建立自适应的模态主导性。它在边缘区域选择性地注入结构线索到光学分支，并在同质区域将纹理细节传播到高程分支，有效缓解边界模糊并增强区域一致性。为了更有效地建模非线性模态交互，我们提出了一种基于放松的Choquet启发的聚合公式的边缘条件模糊Choquet启发的融合（EFCF）模块。在边缘信息引导下，这种结构感知的算子学习空间变化的带符号交互系数，在减少同质区域冗余信息的同时，促进复杂边界处的协同增强。大量实验表明，EDANet在ISPRS Potsdam和Vaihingen数据集上达到了最先进的性能，mIoU分数分别为87.58%和85.49%，展现出更高的边界精度和鲁棒的跨模态交互能力。

引言

遥感语义分割是像素级场景理解的基础任务，支持城市规划[1]、[2]、环境监测[3]、灾害管理[4]、[5]等多种应用。随着对地观测技术的快速发展，融合高分辨率红-绿-蓝（RGB）图像和数字表面模型（DSM）已成为复杂城市场景解析的主流范式，这得益于两者之间强烈的互补性。

尽管潜力巨大，精确的多模态分割仍然具有挑战性，特别是在物体边界附近。在城市场景中，物体往往表现出光谱混淆和阴影遮挡，使得在光学域中边界划分高度模糊。虽然互补的高程线索可以帮助解决这些光学局限性[6]，但显式提取并利用结构边缘先验来引导边界敏感的解析仍然是一个开放问题。

然而，现有的多模态分割方法仍然面临两大局限。首先，大多数方法依赖隐式特征学习来利用高程信息，通常通过直接将DSM与RGB输入拼接或通过传统编码器架构进行融合。这种策略无法显式提取鲁棒的结构边界作为可靠的边缘先验，难以在不同的空间上下文中自适应地确定模态主导性。因此，分割预测在复杂物体边界附近往往不准确或模糊。其次，流行的融合机制通常是线性的，限制了其显式建模模态间非线性交互的能力。这一问题在异构城市区域中更为明显，因为RGB和DSM数据之间的关系在同质区域和复杂结构边缘之间可能存在显著差异。因此，缺乏显式结构约束限制了网络处理这些变化的跨模态关系的能力，进一步加剧了边界模糊。在此背景下，如图1所示，显式融入结构边缘先验来引导跨模态交互对于在具有挑战性的城市区域保持清晰连续的边界至关重要。

为应对这些挑战，我们提出了一种用于多模态遥感图像语义分割的边缘条件动态注意力网络（EDANet），结合Choquet启发的融合。EDANet的核心思想是显式提取结构边缘先验，并利用它们来调节跨模态交互和融合。具体而言，我们首先设计了一个基于平均池化的边缘感知（AEP）模块，从浅层表示中捕获鲁棒的边界线索，建立网络的基础几何依据。基于这些先验，我们进一步构建了一个动态模态注意力（DMA）模块，以在空间上门控跨模态交互并自适应调节光学和高程特征的贡献。通过这种方式，网络精确地分配互补增强：在结构边界处注入关键的高程线索到光学表示中，同时在同质内部区域将丰富的外观细节转移到高程特征中。此外，为了更好地刻画异构模态之间的交互模式，我们提出了一种边缘条件模糊Choquet启发的融合（EFCF）模块，在结构引导下显式建模非线性模态交互。通过将边缘感知的条件化与动态模态交互相结合，EDANet有效提高了复杂城市场景中的边界精度和整体分割性能。本文的主要贡献如下：

1. 我们提出了EDANet，一种基于Choquet启发的融合的边缘条件动态注意力网络，显式利用边缘感知的结构先验来引导跨模态交互，在复杂城市场景中实现了自适应的模态主导性和更清晰的边界保持。

2. 我们开发了基于平均池化的边缘感知（AEP）模块和动态模态注意力（DMA）模块，共同提取鲁棒的边界线索并利用它们在不同区域中空间地调节模态主导性，实现边界感知的多模态解析。

3. 我们引入了一种边缘条件模糊Choquet启发的融合（EFCF）模块，该模块纳入由AEP提取的结构先验来显式建模光学和高程模态之间的非线性交互，在减少同质区域冗余的同时增强复杂结构边缘处的协同融合。

章节摘要

单模态遥感语义分割

随着深度学习的快速发展，应用于遥感（RS）图像的语义分割架构取得了显著进展。早期方法主要由CNN主导。自从全卷积网络（FCN）被应用于RS任务[6]以来，U-Net[7]等编码器-解码器架构成为了标准。为了增强特征辨别力和处理尺度变化，多尺度融合策略[8]和注意力机制（如LOGCAN++中的[9]）被广泛

整体架构

在本工作中，我们提出了一种用于多模态遥感语义分割的新型EDANet。图2展示了整体架构，该架构由五个主要组件组成：ResNet编码器、基于平均池化的边缘感知（AEP）模块、边缘条件模糊Choquet启发的融合（EFCF）模块、动态模态注意力（DMA）模块、渐进式上采样解码器。给定多模态输入??RGB∈?3×?×??和??DSM∈?1×?×??，其中?和??分别表示图像的高度和宽度。

数据集描述

ISPRS Potsdam数据集：ISPRS Potsdam 2D语义标注数据集是用于高分辨率遥感分割的广泛使用的基准。它包含38幅真色正射影像（TOP）及相应的DSM，覆盖历史城区，地面采样距离（GSD）为5厘米。每个图幅的空间分辨率为6000 × 6000像素。数据集提供了六种语义类别的像素级标注：不透水表面、建筑物、低矮植被、树木、汽车和杂物。

结论

本文提出了边缘条件动态注意力网络（EDANet），结合Choquet启发的融合，以解决多模态遥感分割中的边界模糊和传统线性融合的局限性。在通过基于平均池化的边缘感知（AEP）模块提取的显式几何先验引导下，动态模态注意力（DMA）和边缘条件模糊Choquet启发的融合（EFCF）模块自适应地门控跨模态交互并显式

CRediT作者贡献声明

吕昊然：写作——审阅与编辑、写作——初稿、验证、方法论、概念构思。李沛贤：资源、调查。李云涛：监督、方法论。王鹏：数据管理。蔡晋瑞：数据管理。岳文强：可视化、软件。李维柱：调查。孙明波：写作——审阅与编辑、监督、经费获取。胡晓龙：写作——审阅与编辑、监督、项目管理、经费获取。宋俊峰：

利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

致谢

本工作得到了吉林省科学技术发展计划项目（YDZJ202401514ZYTS）、吉林省科学技术发展计划项目（SKL202502010JC）、吉林省教育厅科学研究项目（JJKH20240950KJ）、长春市科学技术发展计划项目（2024GZZ08）、吉林大学科技创新团队计划（JLUSTIRT, 2021TD-39）的资助。

吕昊然 | 李沛贤 | 李云涛 | 王鹏 | 蔡晋瑞 | 岳文强 | 李维柱 | 孙明波 | 胡晓龙 | 宋俊峰