MDM：用于可见光和红外Mamba基目标检测的模态解耦技术

《NEOTROPICAL BIOLOGY AND CONSERVATION》：MDM: Modality Decoupling for Visible and Infrared Mamba-based Object Detection

1. 提出基于Mamba的跨模态解耦融合方法MDM，通过Global/Local Mamba模块实现多尺度特征提取，结合Modality Decouple模块分离模态特有与通用特征，并设计空间和通道维度差异感知的融合策略，显著提升红外可见光目标检测的效率与精度。

　　
随着智能安防、无人驾驶及军事侦察等领域的快速发展，多模态目标检测技术成为计算机视觉领域的核心研究方向之一。传统方法多依赖单一视觉模态，例如仅使用可见光图像进行检测，这种模式在极端光照条件或恶劣天气环境下存在显著缺陷。红外成像虽不受环境光变化影响，但存在分辨率低、纹理信息缺失等固有短板。如何有效融合可见光与红外两种模态的优势，同时突破现有方法的局限性，成为学界关注的重点问题。

当前主流的融合方法存在三大显著瓶颈。首先在场景适应性方面，现有研究多聚焦于特定场景：或专注于常规场景中较大目标检测（如YOLO系列算法），或针对遥感小目标场景进行优化（如CSPDarknet改进型）。这类方法难以满足多场景、多尺度目标同时检测的需求，特别是在城市复杂建筑群与遥感农田监测等混合场景中，现有模型常出现目标定位偏差或漏检现象。其次在模态融合效率上，CNN架构因静态卷积核难以适应不同模态间差异巨大的特征空间，而Transformer虽然能动态建模跨模态关系，但其计算复杂度随特征图尺寸平方级增长，在处理高分辨率红外可见光对齐数据时存在性能瓶颈。第三在模型泛化能力方面，现有方法多采用固定融合策略，缺乏对模态差异的智能识别机制。实验数据显示，约73%的融合模型在跨场景迁移时性能下降超过15%，尤其在目标尺度差异超过两倍时表现尤为明显。

针对上述问题，研究团队提出MDM（Multi-Modal Detection Module）框架，通过创新性设计实现了三大突破。在特征提取层面，采用双轨制处理策略：全局Mamba模块通过分层采样机制捕获超过500米范围的场景语义信息，其独创的滑动窗口注意力机制使长程依赖建模效率提升40%；局部Mamba模块则运用动态卷积核技术，在保持计算效率的同时将空间分辨率提升至1/16。这种多粒度特征提取方式成功解决了传统单尺度检测模型在遥感小目标（如0.5米以下尺寸）和大型建筑结构（超过100米尺度）同时检测时的精度失衡问题。

模态融合机制是本研究的核心创新。通过引入解耦-重构双阶段架构，首先利用可学习判别器将原始特征解耦为共享特征和模态特异性特征。实验表明，共享特征占比约35%-42%，显著高于现有方法的15%-28%，这使模型能更精准地区分光照变化与目标本质特征。针对不同模态差异程度，系统动态选择融合策略：当模态差异系数（MDC）低于0.6时，采用轻量级空间注意力模块进行特征对齐；当MDC高于0.8时，则激活通道级Mamba模块进行深度交互。这种自适应机制使融合效率提升约60%，同时保持99.2%的跨模态特征一致性。

在模型架构设计上，MDM创新性地将Mamba结构进行维度解耦。空间维度采用双流并行架构，分别处理可见光的高分辨率纹理特征（512×512）和红外图像的低分辨率热辐射特征（128×128），通过特征金字塔网络实现多尺度对齐。通道维度则构建动态特征交互网络，利用通道注意力机制实现模态特征的自适应加权融合。这种分离式处理策略使模型在保持95%精度的同时，将计算量降低至传统Transformer方案的1/3。

跨模态交互范式的突破性进展体现在两个方面：首先提出位置敏感的交叉模态对齐机制，通过构建模态间特征空间的双向映射网络，将红外可见光的空间偏移误差从像素级降低至亚像素级。其次引入时序卷积因子，在序列建模过程中动态调整跨模态特征交互权重，实验证明这种时变权重机制使小目标检测的召回率提升22.7%。值得注意的是，该模块通过设计可学习的特征衰减因子，有效解决了Mamba结构在长序列建模中的记忆漂移问题，在200帧连续检测任务中保持98.4%的稳定性。

实验验证部分覆盖了FLIR、LLVIP、M3FD三个常规场景数据集和VEDAI、DroneVehicle两个遥感小目标数据集。在常规场景中，MDM在COCO格式下的mAP达到82.4%，较YOLOv7+Transformer融合方案提升9.2个百分点。在遥感小目标检测方面，创新性地引入热辐射增强模块，使0.3米以下目标检测的IoU从基线模型的0.18提升至0.43。特别设计的轻量化注意力机制（参数量仅0.8M）使模型在Jetson Nano嵌入式设备上的推理速度达到34FPS，较 fastest Transformer方案提升5倍。

消融实验进一步验证了各模块的有效性：全局Mamba模块使长距离目标关联准确率提升31%，局部Mamba模块使小目标定位精度提高28.6%。解耦模块的引入使特征融合效率提升42%，而动态权重调整机制则使跨模态特征匹配精度达到97.3%。在资源受限场景测试中，MDM在参数量减少40%的情况下，仍保持92%的原始检测性能，验证了其架构的鲁棒性。

该方法的创新性不仅体现在技术层面，更在应用层面展现出显著优势。在安防监控场景中，系统成功将误报率从15.7%降至3.2%，同时实现98.9%的实时处理能力。在农业遥感领域，通过改进的特征对齐算法，使作物病害检测的准确率达到94.5%，较传统方法提升18个百分点。值得注意的是，模块化设计使得MDM可以无缝嵌入现有双流检测框架，用户无需重构网络结构即可获得性能提升，这种兼容性设计使该方法在工业界应用具有较强可行性。

未来研究方向聚焦于三个维度：首先探索多模态时序数据融合，将当前静态帧处理能力扩展至动态视频序列分析；其次研究轻量化Transformer替代方案，目标在保持计算效率的前提下将模型参数量压缩至0.5M以下；最后计划整合毫米波雷达等多源传感器数据，构建四模态融合检测体系。研究团队已初步实现时序扩展模块，在连续10帧视频检测中，小目标漏检率降低至1.8%。

综上所述，MDM框架通过创新性的多粒度特征提取、动态模态融合策略和高效跨模态交互机制，有效解决了现有多模态检测系统在场景适应性、计算效率、特征融合深度等方面的瓶颈。其实验数据表明，在常规场景与遥感场景的交叉验证中，模型展现出超越单模态检测的23.6%性能增益，同时将计算资源消耗降低至现有最优方案的1/4。这种技术突破不仅推动了多模态检测的理论发展，更为智慧城市、精准农业、军事侦察等实际应用提供了可靠的技术支撑。