基于改进ResNeXt网络与多模态特征融合的无人机航拍影像崩岗自动识别方法

《Electronics》：Remote Sensing Identification of Benggang Using a Two-Stream Network with Multimodal Feature Enhancement and Sparse Attention Xuli Rao, Qihao Chen, Kexin Zhu, Zhide Chen, Jinshi Lin and Yanhe Huang

　　

摘要：针对传统方法在利用无人机(drone)航拍数字正射影像图(DOM, Digital Orthophoto Map)与数字高程模型(DEM, Digital Elevation Model)进行崩岗(benggang, 一种华南红壤丘陵区严重的水土流失地貌)自动识别中存在的特征提取不足及多源数据信息利用不充分等问题，研究人员提出了一种基于改进ResNeXt架构并引入多模态多级特征融合模块的深度学习方法。该方法以ResNeXt为骨干网络(backbone)，在瓶颈块(bottleneck block)中引入基数(cardinality)与基宽(base width)控制的分组卷积(group convolution)；同时在四个尺度上分别设计两种融合模块——双注意力加权融合(dual-attention weighted fusion)与多尺度上下文+稀疏交叉注意力融合(sparse cross-attention fusion)，对DOM分支与DEM分支提取的特征进行交互互补融合。研究人员在真实崩岗数据集上进行实验，结果表明所提方法在精确度(Precision)、召回率(Recall)及F1分数(F1-score)上均优于原始ResNeXt及多种对比模型，验证了多模态特征融合与改进残差结构对崩岗识别的有效性。

论文解读：基于改进ResNeXt网络与多模态特征融合的无人机航拍影像崩岗自动识别方法（《Electronics》发表）

一、研究背景与意义

崩岗(benggang)是华南红壤丘陵区典型且危害严重的土壤侵蚀地貌，传统人工解译与基于单源遥感数据的机器学习方法存在效率低、易受背景噪声干扰、对DOM(Digital Orthophoto Map, 数字正射影像图)的光谱纹理信息与DEM(Digital Elevation Model, 数字高程模型)的地形约束信息挖掘不充分等问题。ResNeXt作为ResNet的改进变体引入了基数(cardinality)概念提升特征多样性，但在小目标及多模态数据融合方面仍有局限。为此研究人员开展本研究，以ResNeXt为骨干网络进行结构改进并设计多模态多级融合模块，旨在提高无人机航拍DOM与DEM数据中崩岗的自动识别精度，为水土流失监测提供自动化方案。

二、主要关键技术方法

研究人员采用真实崩岗样本区域的无人机航拍DOM与配准DEM作为双分支输入。主干特征提取采用改进ResNeXt网络，其瓶颈块BN(I)=Conv_1×1×(Conv_3×3)^{(Cardinality, BaseWidth)}×(Conv_1×1×I)+I，通过基数(cardinality)与基宽(base width)控制分组卷积(group convolution)组数与每组的通道数，阶段i由n_i个瓶颈块串联。特征融合部分在四个尺度(i=0,1,2,3)设置融合模块接收DOM特征F_i与DEM特征F'_i，并引入上一级融合特征X_i-1：Module 1先对DOM与DEM特征分别施加通道注意力(channel attention)与空间注意力(spatial attention)后，将上一尺度融合特征经卷积与平均池化对齐再拼接，经归一化与卷积输出X_i；Module 2对DOM特征做三种不同窗口(3/5/7)的平均池化得到Y₁,Y₂,Y₃求和得多尺度上下文Y?，将F'_i与Y?展平(flatten)后分别经线性投影W₁,W₂与层归一化(LN, Layer Normalization)生成Query(Q=Flatten(F'_i)W₁)及Key-K和Value-V(Split(LN((Flatten(Y?)W₂)))),计算稀疏注意力图M=QK^T/√c并仅保留Top-1/K元素作稀疏交叉注意力(sparse cross-attention)，最终输出融合特征。分类头对融合特征做全局平均池化(GAP, Global Average Pooling)与全连接层(FC, Fully Connected layer)输出崩岗/非崩岗类别。

三、研究结果

2.3.2. Improved ResNeXt Backbone

研究人员用分组卷积替代标准3×3卷积，瓶颈块公式如上述，其中Conv_1×1用于通道压缩/扩展，Conv_3×3^(C,B)为分组数为C、每组通道由B决定的分组卷积。Stage i含n_i个串联瓶颈块。结论：引入cardinality与base width可在不显著增加参数量前提下增强网络对多尺度纹理特征的表征能力，为后续融合提供更丰富的多层级特征。

2.3.3. Fusion Module

设F_i(i∈{0,1,2,3})为DOM分支第i阶段特征，F'_i为DEM分支对应特征。

• •
  Module 1(dual-attention weighted fusion)：分别对F_i施加通道注意力、对F'_i施加空间注意力进行自适应重标定；将前一级融合特征X_i-1通过卷积与平均池化对齐至当前尺度空间分辨率后与重标定后的F_i、F'_i拼接(concatenate)，经批归一化(BN, Batch Normalization)与1×1卷积得X_i。结论：不同注意力机制可针对性增强DOM光谱纹理与DEM地形约束的表达，多级加权融合能传递跨尺度语义信息。
• •
  Module 2(multi-context + sparse cross-attention fusion)：对F_i并行做核3×3、5×5、7×7的平均池化得Y₁,Y₂,Y₃，Y?=Y₁+Y₂+Y₃为多尺度上下文特征；Flatten(F'_i)W₁→Q∈?^N₁×d，Split(LN(Flatten(Y?)W₂))→K∈?^N₂×d, V∈?^N₃×d，其中N_j=h_j×w_j为空间像素数；注意力图M=softmax(QK^T/√c)经稀疏化保留每行Top-1/K最大元素置零其余，再与V相乘得融合输出。结论：多尺度池化捕获更广上下文抑制背景噪声，稀疏交叉注意力降低计算量同时强化DOM与DEM模态间相关性建模，提升小目标崩岗区分度。

四、讨论与结论

研究人员通过在崩岗无人机航拍数据集上的对比实验验证：①改进ResNeXt(增加cardinality与base width控制的分组卷积)相比原始ResNet/ResNeXt提升了基础特征提取能力；②引入DOM与DEM双分支四尺度融合较单模态或简单拼接融合显著提高Precision、Recall与F₁-score；③Module 2(多尺度上下文+稀疏交叉注意力)在背景复杂区域较Module 1进一步降低误检率。研究表明，充分利用DOM的光谱纹理与DEM的地形约束并通过分组卷积增强骨干网表征力、通过多级注意力与稀疏交叉注意力实现模态互补，可有效提升无人机影像中崩岗的自动识别精度，为区域性水土流失遥感监测提供了一种可行的深度学习解决方案。