DuFANet：一种融合频域注意力与跨模态变换器的多源遥感图像分类方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：DuFANet: A Multi-Source Remote Sensing Image Classification Method Integrating Frequency-Domain Attention and Cross-Modal Transformers

　　

摘要：

将高光谱图像与LiDAR和SAR多模态遥感数据结合进行分类，对于提升特征识别精度具有重要意义。然而，该方法仍面临严重的光谱干扰、模态不平衡以及特征融合不足等问题。为解决这些难题，本文提出了一种多源融合网络——DuFANet。该算法在高光谱分支中引入了频域注意力模块（FreqAttnBlock），用于明确分解并增强光谱-空间特征；在LiDAR/SAR分支中设计了深度卷积自注意力模块（DWConvSelfBlock），以高效建模模态的局部几何特征和全局上下文信息。在高光谱分支和LiDAR/SAR分支之后，还使用了并行Transformer编码器来捕捉长距离依赖关系和全局语义。在融合阶段，采用了双分支跨模态融合注意力模块（DuFuseAttention），通过通道和空间维度上的双层机制实现稳定的互补效果。在柏林、Muufl、Houston2013、Augsburg和Trento这五个数据集上的实验表明，DuFANet的总体分类准确率分别为79.29%、92.31%、99.44%、97.59%和99.75%，显著优于现有方法。此外，该模型在复杂的城市场景以及少样本条件下也能表现出色，实现了精度与计算成本之间的良好平衡。DuFANet的源代码可在https://github.com/zwyxmy/DuFANet.git地址获取。