基于动态分组卷积的双模态特征融合遥感图像分类方法

《Remote Sensing》：Multimodal Remote Sensing Image Classification Based on Dynamic Group Convolution and Bidirectional Guided Cross-Attention Fusion Lu Zhang, Yaoguang Yang, Zhaoshuang He, Guolong Li, Feng Zhao, Wenqiang Hua, Gongwei Xiao and Jingyan Zhang

　　

研究人员提出了一种面向遥感图像分类的动态分组卷积（Dynamic Group Convolution, DGConv）方法，以解决传统卷积在固定通道分组下难以自适应提取复杂空间–光谱特征的问题。该方法引入二进制门控向量控制每个子矩阵的选择，并通过Kronecker积构造全局关系矩阵，从而在显著减少可学习参数的同时保持特征表达能力。为避免梯度不可导问题，研究人员采用连续松弛与直通估计器（Straight-Through Estimator, STE）实现端到端训练。在多模态数据输入阶段，研究人员通过通道拼接实现光谱与激光雷达特征的早期融合，将融合特征输入改进的ResNet18主干网络，其中标准卷积层被替换为DGConv层。实验结果表明，该方法在保持计算效率的同时提升了分类精度，验证了其在遥感图像分析任务中的有效性。

研究背景方面，遥感图像分类在土地覆盖监测、环境评估等领域具有重要应用，但单一模态数据往往难以全面表征地物特性。光学影像包含丰富的光谱信息，却易受光照与天气影响；激光雷达（LiDAR）数据提供精确的三维结构信息，但缺乏光谱纹理细节。传统卷积神经网络（CNN）采用固定通道分组策略，无法根据输入特征动态调整卷积核组合，限制了复杂场景下的特征提取能力。此外，现有多模态融合方法多在深层网络进行，导致浅层空间–光谱相关性丢失。因此，研究人员开展本研究，旨在设计一种自适应动态分组卷积结构，并结合双模态早期融合策略，以提升遥感图像分类性能。该研究成果发表于《Remote Sensing》。

关键技术方法方面，研究人员首先设计了动态分组卷积（DGConv）模块，通过二进制门控向量生成2×2子矩阵，并利用Kronecker积重构全局关系矩阵；采用连续松弛与直通估计器解决梯度传播问题。其次，研究人员构建了双模态早期融合框架，将光学影像（F_H）与激光雷达数据（F_L）在通道维度拼接为联合特征张量。最后，研究人员将DGConv嵌入ResNet18主干网络，替换标准卷积层，形成自适应特征提取结构。实验数据来源于公开遥感数据集，包含配准的光学与LiDAR影像。

研究结果部分，研究人员在“2.1.3 动态分组卷积”中通过数学推导证明，DGConv可利用门控向量动态选择卷积核组合，在保证表达能力的同时显著降低参数量。在“2.1.4 双模态早期特征融合”中，研究人员通过通道拼接融合光谱与结构信息，保留了浅层空间–光谱相关性。在“2.1.5 集成至ResNet18”中，研究人员将DGConv嵌入残差块，形成自适应卷积路径，并与原始残差连接结合，提升了特征多样性。

讨论与结论部分，研究人员指出DGConv通过动态门控机制实现了卷积核的灵活组合，解决了固定分组卷积的适应性不足问题；早期融合策略有效利用了多模态互补信息；改进后的ResNet18在保持计算效率的同时提升了分类精度。该研究为多模态遥感图像分析提供了一种高效且鲁棒的特征提取框架，具有广泛的应用潜力。