《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：DARFNet: A Divergence-Aware Reciprocal Fusion Network for Multispectral Feature Alignment and Fusion
编辑推荐：
本文针对遥感图像中小目标检测面临的复杂背景、尺度变化和模态不一致等挑战，提出了一种新型多光谱检测框架DARFNet。该研究通过设计发散感知互惠融合模块（DARF），结合ODConv与ConvNeXtBlock轻量化模块，实现了RGB与红外光谱的高效特征融合。实验表明，DARFNet在VEDAI、DroneVehicle等数据集上显著优于现有方法，mAP@50最高达99.8%，参数量仅14.4M，为资源受限的星载实时检测提供了创新解决方案。
在广袤的遥感监测领域，如何从高空精准捕捉微小目标一直是个棘手难题。当无人机掠过城市上空，或卫星俯瞰地球表面，车辆、船舶等目标在图像中往往仅占数十像素，犹如沧海一粟。更复杂的是，可见光传感器在夜间或恶劣天气下性能骤降，而红外传感器虽能穿透黑暗却缺乏细节信息。这种"视觉盲区"严重制约了交通监控、应急救援等关键场景的应用效能。
传统深度学习检测器如YOLO、SSD等主要针对自然场景设计，面对遥感图像中低对比度、高密度分布的小目标时表现乏力。多模态融合虽能互补信息，但现有方法往往忽视模态间特征发散性，导致融合效果不理想。与此同时，星载处理平台的严苛资源限制要求算法必须兼顾精度与效率，这进一步加大了技术突破的难度。
针对这些挑战，广州大学研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》发表论文，提出DARFNet创新框架。该研究独创性地将发散感知机制引入多模态融合，通过双分支架构实现RGB与红外光谱的智能协同，在提升小目标检测精度的同时保持模型轻量化，为实时遥感分析开辟了新路径。
关键技术方法主要包括：1）发散感知互惠融合模块（DARF）通过交叉模态激励和发散引导调制策略增强特征表征；2）全维动态卷积（ODConv）实现四维注意力机制下的动态核调整；3）ConvNeXtBlock采用深度可分离卷积优化特征提取路径。实验使用VEDAI、DroneVehicle和NWPU三个公开数据集，图像分辨率覆盖512×512至840×712像素，包含车辆、船舶等多类目标。
模型架构设计
DARFNet采用双分支骨干网络分别处理RGB和红外图像，通过多尺度特征提取保留浅层细节与深层语义信息。核心创新在于DARF模块的级联部署，该模块包含两个关键技术：互惠激励机制利用交叉模态的通道描述符生成注意力权重，实现跨模态语义引导；发散感知注意力则通过模态间特征差异计算空间权重图，自适应突出判别性区域。骨干网络嵌入ODConv和ConvNeXtBlock，前者通过权重注意力、特征注意力、通道注意力和空间注意力的四维动态调整增强卷积表达能力，后者采用深度卷积与层归一化优化计算效率。
发散感知融合机制
DARF模块的数学表达揭示其工作原理：首先对双模态特征进行全局平均池化获得通道描述符，通过共享的全连接层生成交叉激励权重。创新性地使用红外描述符计算RGB权重，反之亦然，这种互惠设计打破传统自注意力局限。特征发散度通过绝对差计算，经卷积MLP编码为空间调制权重。最终输出融合残差连接保留模态特异性，学习系数α和β平衡新旧特征贡献。这种设计使网络能同时捕捉模态共性和差异，特别适用于热目标与可见目标特征不一致的场景。
动态卷积优化
ODConv的核心突破在于卷积核的动态化。传统静态卷积核被K个并行核替代，每个核接受四重注意力调制：权重注意力αwk调整核参数重要性，特征注意力αfk响应输入特征变化，通道注意力αck和空间注意力αsk分别捕捉维度特异性。最终卷积权重为各核的哈达玛积求和，这种全维度适应机制显著提升模型对尺度、光照变化的鲁棒性。
轻量化模块设计
ConvNeXtBlock借鉴Transformer模块设计理念，将标准卷积分解为深度卷积和点卷积组合。深度卷积独立处理各通道空间特征，大幅减少参数；层归一化稳定训练过程；两个1×1卷积实现通道间信息交互，其中第一个卷积扩展维度至4倍，GELU激活函数引入非线性，第二个卷积恢复原始维度。引入可学习缩放系数γ（初始值1e-6）和随机深度丢弃策略，在保持性能同时降低过拟合风险。
多数据集验证
在VEDAI数据集上的对比实验显示，DARFNet以99.8%的mAP@50刷新纪录，较第二名的DACFusion提升12.6%。特别在夜间场景中，红外模态的热辐射特征与可见光纹理特征通过DARF模块有效互补，使车辆检测率显著提升。DroneVehicle数据集测试进一步验证模型泛化能力，在货运车、厢式货车等难例类别上分别达到60.3%和65.5%的AP值，较传统方法提升约15%。NWPU数据集实验表明，即使仅使用RGB模态，模型仍保持87.1%的mAP@50，证明骨干网络设计有效性。
可视化分析
图5的检测结果对比清晰展现DARFNet优势：在相同复杂场景中，基线方法出现多处漏检（黄框）和误检（红框），而DARFNet成功识别出所有目标且几乎无虚警。这得益于发散感知机制对低对比度目标的增强作用——当车辆阴影与路面颜色相近时，红外模态的热差异特征通过权重调制突出显示，弥补可见光信息的不足。
图6的无人机视角检测进一步印证模型实用性。在车辆密度较高的停车场场景，DARFNet准确区分相邻车辆边界，而对比方法因特征混淆产生大量漏检。这表明互惠激励机制有效提升了模型对密集小目标的区分能力，通过交叉模态语义引导增强特征判别性。
效率平衡分析
消融实验（表1）揭示各组件贡献：单独添加ODConv使mAP@50提升至0.986，但推理速度降至75FPS；ConvNeXtBlock虽将参数量压缩至14.33M，但精度提升有限。三者组合实现最优平衡，在保持83FPS实时性能的同时，mAP@50:95达到0.714，证明模块间存在协同效应。与Transformer基模型（如ViT-B+RVSA）相比，DARFNet以1/4参数量获得更高精度，凸显卷积神经网络在资源受限场景的实用性。
研究结论表明，DARFNet通过发散感知融合范式突破多模态检测瓶颈，为星载实时处理提供可行方案。讨论部分指出，当前36.3 GFLOPs的计算成本在星载平台仍具挑战，未来可通过剪枝量化进一步优化。该框架的通用性使其可扩展至SAR、高光谱等更多模态，在海洋监测、农业遥感等领域具有广阔应用前景。这项研究不仅推动遥感小目标检测技术发展，更为多模态智能处理在边缘计算场景的落地提供重要参考。
