复杂光照环境下无人机巡检的目标检测：一种基于多方向Mamba交叉注意力的轻量级双模态融合方法

《Remote Sensing》：Target Detection for UAV Inspection in Complex Illumination Environments: A Lightweight Dual-Modal Fusion Method with Multi-Directional Mamba Cross-Attention

　　

摘要

无人机在城市和工业区的安全巡逻中，常常需要在复杂的照明条件下工作，比如光线不足、有雾或背景光过强等。这类环境会严重降低现有的双模态物体检测方法的性能。为了解决这一问题，我们提出了一种名为M²CA-FFM的轻量级双模态物体检测算法，该算法基于多方向Mamba交叉注意力特征融合技术。首先，我们开发了一个多方向Mamba增强模块，通过四方向扫描来建模空间特征序列；其次，设计了一个专门的频谱增强模块，以差异化方式处理频谱成分。这两个模块共同提升了来自空间域和频率域的单模态特征，从而增强了特征的稳定性。对于双模态物体检测，我们提出了一个混合扫描融合模块，能够动态生成针对目标区域的扫描路径。这种动态机制弥补了固定四方向扫描的不足，增强了整体建模能力，使得可见光和红外特征之间能够实现高效融合与互补。我们在自建的OPVM-VIRD数据集以及三个公共基准数据集（FLIR、M3FD和VEDAI）上进行了大量实验。结果表明，我们的方法在所有数据集上的表现都优于当前主流的双模态检测算法。在OPVM-VIRD数据集上，它的mAP50值达到了95.7%，比其他融合方法得到的最佳结果高出2.2%。在Atlas 200I DK A2边缘计算平台上的初步测试显示，该算法具有显著的轻量化优势，参数量仅为72.07百万，计算复杂度为134.41 GFLOPs，具备满足实时处理需求的潜力。总体而言，所提出的M²CA-FFM方法是一种具有强大泛化能力的实时检测策略，对于城市和工业园区的24小时安全巡逻具有重要的实用价值。