基于多模态交叉注意力与差分卷积的轻量化目标检测网络MCF-Net

《Electronics》:MCF-Net: Multi-Modal Cross-Attention Fusion Network with Difference Convolution for Object Detection

【字体: 大 中 小 】 时间:2026年09月21日 来源:Electronics 2.9

编辑推荐:

  基于可见光图像的目标检测在复杂光照和环境条件下面临重大挑战。引入红外或深度图像作为互补模态可有效提升此类场景下的检测性能。然而,现有大多数方法仅支持不同模态采用相同分支的双模态配置,且采用通用融合操作,未能适应各模态的独特特征,限制了其对RGB、红外(IR)与

  
基于可见光图像的目标检测在复杂光照和环境条件下面临重大挑战。引入红外或深度图像作为互补模态可有效提升此类场景下的检测性能。然而,现有大多数方法仅支持不同模态采用相同分支的双模态配置,且采用通用融合操作,未能适应各模态的独特特征,限制了其对RGB、红外(IR)与深度(Depth)互补性的充分挖掘。针对上述问题,研究人员提出一种基于跨模态注意力与差分卷积的多模态交叉注意力融合网络MCF-Net。该框架构建非对称骨干网络,为红外与深度模态分配轻量级分支;通过引入差分卷积显式提取边缘与结构特征,弥补此类模态纹理信息不足的缺陷。在此基础上,借助网格窗口内的自适应池化提出基于网格的交叉注意力机制,在有效控制计算开销的同时实现细粒度跨模态特征交互。最后,设计更精细的空间融合模块,为各模态提取多尺度空间权重,并通过空间注意力实现自适应融合。该方法面向三模态融合设计,同时适用于双模态配置。在AIC2026挑战赛与M3FD数据集上的实验表明,该方法分别取得39.0%与59.7%的mAP50-95,在显著减少参数量的同时达到与现有方法相当的性能,验证了所提多模态融合策略的有效性。
多模态目标检测研究的新突破:MCF-Net的轻量化融合策略
一、研究背景与问题提出
目标检测是计算机视觉领域的基础任务,其可靠性高度依赖输入特征能否稳定捕获目标与背景之间的可区分性。近年来,基于深度学习的方法取得了显著进展,单阶段检测器尤其是YOLO系列在精度与速度之间实现了良好平衡。然而,现有大多数方法仅依赖RGB图像,其性能在雨、雾、夜间低照度或强逆光等复杂条件下严重退化,颜色与细节信息大量丢失;同时,在目标与背景相似或存在遮挡时,纯视觉线索不足以实现有效判别。这些局限导致仅依赖RGB的检测系统在复杂开放场景中缺乏鲁棒性。
为克服上述瓶颈,引入红外(IR)或深度(Depth)信息成为对RGB图像的有效补充。IR成像依赖热辐射,不受光照影响;Depth提供与光照无关的几何先验,可稳定捕获目标的形状、尺度与空间位置。将RGB与IR或Depth融合,可从多个维度补偿单模态感知盲区,显著增强环境适应性。然而,现有方法仍存在若干未解问题:多数方法采用对称分支结构,以相同网络架构处理不同模态,忽视了各模态的固有特性——IR图像以热辐射信息为主、边缘特征突出,Depth图像提供距离信息、目标轮廓描述更精确;同时,通用融合操作未能适应各模态的差异,限制了互补信息的充分挖掘。为此,研究人员提出基于跨模态注意力与差分卷积的多模态目标检测方法MCF-Net。
二、研究内容与核心贡献
研究人员设计了一个面向双模态与三模态配置的统一检测框架,主要贡献包括三个方面:其一,引入差分卷积模块,显式提取IR与Depth分支的边缘和结构信息,嵌入非对称骨干网络实现轻量高效的特征提取;其二,提出基于网格的跨模态注意力机制,将特征图下采样至固定网格并在网格窗口内计算交叉注意力,在控制计算开销的同时实现细粒度跨模态交互;其三,设计空间注意力融合模块,为各模态提取多尺度空间权重并通过空间注意力自适应融合,同时支持双模态与三模态配置。
三、关键技术方法
研究采用的核心技术方法包括:非对称多模态骨干网络(AM-Backbone),RGB分支采用标准容量结构,IR与Depth分支采用轻量架构,通道缩减比r设为0.5;差分卷积瓶颈模块(DC-Bottleneck),集成标准卷积与三种并行差分卷积(中心差分卷积CDC、角度差分卷积ADC、径向差分卷积RDC),通过可学习融合权重自适应平衡标准卷积与差分卷积;跨模态网格注意力增强模块(CMGA),通过自适应平均池化将特征图下采样至固定6×6网格,在网格单元间计算交叉注意力,复杂度与输入分辨率解耦;跨模态空间融合模块(CMSF),以多尺度卷积核提取各模态空间权重,经Sigmoid生成空间注意力图后加权融合,通过拼接与卷积投影处理非对称骨干的通道数不一致问题。实验基于AIC2026挑战赛数据集(2000组RGB-IR-Depth三模态三元组,1500组训练、500组测试,12类目标)与M3FD公开数据集(4200对红外-可见光图像对,840对测试,6类目标)开展。
四、研究结果
三模态检测结果(AIC2026挑战赛数据集) :与YOLOv5、YOLOv8、YOLOv11、RT-DETR、DEYOLO等现有检测器对比,MCF-Net在三模态配置下mAP50达63.30%,mAP50-95达39.17%,mAP75达39.01%,仅用3.96M参数,显著少于DEYOLO的8.11M。特征级融合普遍优于图像级融合,验证了特征层多模态交互的必要性。缩放至Small规模后参数增至14.72M,mAP50-95进一步提升至39.57%。
双模态检测结果(M3FD公开数据集) :在双模态(RGB+IR)配置下,MCF-Net取得88.9% mAP50与59.7% mAP50-95,优于图像融合方法(mAP50 78.9%-83.5%)及DEYOLO(86.6%)和Fusion-DETR-R18(86.9%)。与使用大容量骨干的Fusion-Mamba(61.9%)和Fusion-DETR-R50(62.3%)相比,MCF-Net以仅3.37M参数达到59.7%,Small版本以12.4M参数取得62.4%,以远少参数达到相当性能。
参数敏感性分析:网格尺寸g从2增至10时,AIC2026上mAP50-95从38.42%提升至39.29%,M3FD上稳定在59.21%-59.80%之间;g=6在精度与效率间取得最佳平衡。通道缩减比r从0增至0.5时,mAP50从60.63%提升至63.30%,mAP50-95从36.84%提升至39.01%;r=1.0时精度仅提升0.48个百分点,但参数从3.96M增至6.66M、FLOPs从8.96G增至14.10G,验证了轻量分支设计的合理性。
消融实验:基线(仅非对称骨干)在AIC2026上mAP50为61.68%。单独引入DC、CMGA、CMSF分别提升至63.01%、63.25%、61.93%;DC+CMGA组合达64.51%;完整配置取得63.30% mAP50与最高39.01% mAP50-95,CMSF通过空间权重重分配优化了跨IoU阈值的整体性能。
模态分析:单模态中RGB性能最佳(mAP50 60.63%),显著高于IR(38.97%)与Depth(35.39%);双模态RGB+IR(63.32%)略优于RGB+Depth(63.13%);三模态取得63.30% mAP50与最高39.01% mAP50-95,参数仅较双模态增加0.59M。
硬件部署成本分析:在NVIDIA RTX 5880 Ada GPU上,Nano版本在640×640分辨率下实现43.16 FPS、推理延迟22.09ms、模型大小8.18MB、FLOPs 8.96G;CPU(i9-14900K)上GPU加速约6.5倍,Small版本约10倍。
五、讨论与结论
讨论部分指出,网格尺寸与通道缩减比均存在精度-效率权衡,g=6与r=0.5为默认最优配置;三个核心模块各有贡献,CMGA带来的增益最为显著,完整配置在mAP50-95上最优。研究局限性包括:实验仅覆盖两个数据集且AIC2026规模有限,泛化能力需在更大规模数据上验证;方法依赖RGB、IR与Depth间的空间对应关系,传感器位移或标定误差可能影响跨模态交互与融合;缺失模态或传感器不可用时的性能尚未系统评估。未来工作将设计更鲁棒的跨模态对齐与融合机制,并在典型边缘设备上部署MCF-Net,系统研究量化、功耗、内存带宽与多传感器同步对检测性能的影响。
研究结论表明,MCF-Net通过DC-Bottleneck、CMGA与CMSF三个核心模块,分别实现红外与深度图像边缘结构信息的显式提取、特征增强层面的模态间信息交换与特征融合层面的自适应融合,基于非对称骨干与网格注意力实现低计算开销,灵活支持双模态与三模态配置。在AIC2026与M3FD上分别取得39.0%与59.7%的mAP50-95,以约4M参数实现检测精度与计算效率的良好平衡,为多模态目标检测提供了高效灵活的解决方案。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号