基于双域融合网络的多模态目标检测稀疏增益自适应方法

《Neurocomputing》：Sparse gain adaptation with dual-domain fusion network for multimodal object detection

　　周西川|魏博雅|毛聪|张军|余航|陈立辉|刘海军|谢金|聂静重庆大学微电子与通信工程学院，中国重庆400044摘要整合可见光和红外图像的互补信息的多模态物体检测是实现全天候稳定感知的主流策略。然而，现有方法往往存在训练成本高以及未能充分利用可见光与红外模态之间固有互补性的问题。为解决这些问题，我们提出了一种参数效率高的多模态检测框架，该框架结合了稀疏增益适配与双域模态感知融合技术。为在降低训练成本的同时保持预训练特征，我们设计了多尺度稀疏增益适配器，通过多尺度扩张卷积将稀疏增益注入冻结的骨干网络，从而以最少的可训练参数实现有效适配。此外，我们还开发了双域模态感知融合模块，用于显式建模频域和空域中的模态互补特性。具体而言，频率解耦的跨模态融合模块运用特定的离散余弦变换基组来调节各模态特有的光谱成分，从而增强互补的频率特性——红外特征突出低频结构信息，而可见光特征则保留高频纹理细节。经过频率增强后的特征被用来学习通道注意力权重，进而自适应地将两种模态融合为统一的特征空间。在此基础上，模态感知空间注意力融合模块进一步学习空间自适应注意力图，以突出关键区域并促进不同模态之间的互补整合。在三个公开基准数据集上的大量实验表明，我们的方法始终优于现有的最先进多模态检测器，且仅需120万个可训练参数，这充分证明了其卓越的检测性能和极高的参数效率。我们的代码可在https://github.com/boyawei1115/SGD2Net获取。引言在自动驾驶[1]、[2]和视频监控[3]、[4]等对安全性要求极高的应用中，能够在各种光照和环境条件下实现稳定感知是一项基本要求。然而，目前大多数现有的物体检测框架[5]、[6]、[7]、[8]仅基于单模态的红绿蓝（RGB）图像工作，这类图像对光照变化极为敏感，因此在夜间或恶劣天气条件下的性能容易下降。为应对这一挑战，结合可见光和热红外传感的多模态物体检测逐渐成为一种理想的解决方案。虽然RGB图像能够提供丰富的语义和纹理信息，但红外图像能提供与温度相关的结构信息，且这类信息本质上不受光照变化的影响。通过利用这些互补特性，RGB与红外图像的融合能够在复杂的现实环境中实现更稳定、更可靠的物体检测。如图1(a)所示，传统的RGB-IR融合检测器[9]、[10]、[11]通常依赖双个可训练的骨干网络以及空域融合方式，从而导致较高的优化和计算成本。MBNet[9]会预测环境光照强度，从而根据不同的光照条件自适应地调整RGB和红外特征的融合权重。LRAF-Net[10]则强调RGB和红外模态之间长距离依赖关系的重要性。ICAFusion[11]则通过迭代式跨注意力机制隐式实现特征对齐。尽管这些方法提升了交互灵活性，但它们大多仍局限于空域层面，特征在像素级别被混合处理。这种仅基于空间的聚合方式难以区分各模态特有的特征信号与跨模态干扰，从而限制了其对互补特性的有效利用。尤其是，红外图像主要传递低频结构信息，而RGB图像则提供更丰富的高频纹理细节。此外，现有的多模态检测方法仍存在较大的计算和优化开销，因为大多数方案都需要对大规模预训练骨干网络进行全参数微调[12]、[13]。虽然一些轻量化设计试图降低复杂度，但往往会影响特征表达能力，进而降低检测性能。图1(b)展示了一种基于适配器的典型RGB-IR融合框架[14]，在这种框架中，预训练的骨干网络被冻结，转而引入轻量级适配器。虽然这种方式减少了可训练参数，但这些架构通常采用不对称设计，将红外模态视为次要辅助输入，导致无法充分提取红外图像的固有特征，而且通常也缺乏对RGB与红外频率互补性的显式建模。相比之下，图1(c)展示了SGD2Net的关键设计特点。RGB和红外分支共享冻结的预训练骨干网络权重，以此保留可迁移的先验知识，避免对两个分支进行全量微调。同时，稀疏增益适配器作为可训练的残差组件被插入其中，以最小的参数开销注入多尺度上下文增益。此外，SGD2Net还实现了双域模态感知融合，结合了频域跨模态交互与空间模态感知聚合。通过对比可以更清楚地看出，所提出的方法在参数效率高的适配能力以及显式的频空域互补性建模方面都不同于以往的框架。为解决这些问题，我们提出了SGD2Net，这是一种全新的参数效率高的多模态检测框架，它将稀疏增益适配与双域模态感知融合相结合。具体而言，我们设计了多尺度稀疏增益适配器（MSSG-Adapter），该适配器仅需极少量的可训练参数即可实现有效的多模态适配。通过利用多尺度稀疏卷积来捕捉全局上下文信息，MSSG-Adapter能够产生空间感知增益，进而形成更为全面的特征表示。此外，为更好地利用RGB和红外模态的固有互补特性，我们设计了双域模态感知融合（DDMAF）模块。该模块由两个连续的组件构成：频率解耦的跨模态融合（FDCMF）块和模态感知空间注意力融合（MASAF）块。FDCMF首先为每种模态使用特定的DCT基组进行频域调制，以此增强各模态特有的光谱成分，并凸显它们的互补特性——红外特征突出低频结构轮廓，而RGB特征则保留高频纹理细节。经过频率增强后的特征被用来学习通道注意力权重，这些权重能够自适应地重新分配权重并融合两种模态，最终生成统一的特征表示。在融合后的特征基础上，MASAF会进行空间注意力聚合，它通过学习模态感知的空间注意力图，动态地为不同位置分配重要性。这种逐像素的优先级划分能够突出每种模态中最具信息量的区域，进一步促进空间域内的互补整合。本文的主要贡献如下：我们提出了SGD2Net，这是一种全新的参数效率高的多模态物体检测框架，它通过稀疏增益适配与双域模态感知融合，有效降低了全量双模态微调带来的高昂优化成本，同时促进了不同模态之间互补信息的有效整合。我们设计了MSSG-Adapter，该适配器通过多尺度稀疏卷积对冻结的预训练骨干网络进行轻量级的增益调制，从而在保留预训练知识的同时，仅用极少量的可训练参数即可实现有效的多模态适配。我们还开发了DDMAF模块，该模块通过基于DCT的频域调制来增强各模态特有的光谱成分，进而利用经过频率增强后的特征学习通道注意力，实现自适应的跨模态融合，最后再通过模态感知空间注意力来实现RGB和红外特征之间更为精细的互补整合。在FLIR、LLVIP、M3FD和DroneVehicle这四个基准数据集上的大量实验表明，SGD2Net仅需120万个可训练参数即可实现最先进的检测性能，这充分证明了它的有效性以及极高的参数效率。本文的结构如下：第2节回顾了相关研究进展；第3节详细介绍了所提出的SGD2Net框架的架构；第4节通过全面实验评估其性能；最后第6节对全文进行总结。片段概述通用物体检测深度学习在视觉识别[15]、[16]、[17]、语义分割[18]、[19]、物体检测[6]、[20]以及复杂信号处理[21]、[22]等领域极大地推动了智能感知技术的发展。通用物体检测基于单模态的RGB图像，旨在同时预测物体的类别及其对应的边界框位置。现有的检测器大致可分为单阶段检测器和两阶段检测器两类。单阶段方法[5]、[23]方法在本节中，我们将介绍用于多模态物体检测的SGD2Net。首先概述整个框架结构，随后详细介绍用于实现参数效率高的上下文适配的多尺度稀疏增益适配器（MSSG-Adapter），以及用于实现频域和空间域感知跨模态融合的双域模态感知融合（DDMAF）模块。数据集与评估指标在本研究中，我们在四个基准数据集上测试了所提出的方法：FLIR[50]、LLVIP[51]、M3FD[52]和DroneVehicle[53]。这些数据集涵盖了多种场景，包括不同的日间条件、弱光环境、复杂的城市交通场景以及无人机拍摄的低空视角，因此对精确的物体检测提出了巨大挑战。FLIR数据集是一个用于在各种日间条件下进行物体检测的具有挑战性的多光谱基准数据集。在本研究中，局限性与未来工作尽管SGD2Net在多个可见光-红外物体检测基准数据集上取得了优异的性能和参数效率，但仍存在一些需要进一步研究的局限性。首先，目前的特征级融合策略可能会受到可见光和红外图像之间较大空间错位的影响。在未来的工作中，我们将探索显式的跨模态对齐机制，以提高多模态特征交互的稳定性。其次，严重的传感器噪声或极端情况也会对检测结果产生影响。结论多模态物体检测在实现各种光照和环境条件下的稳定感知方面发挥着至关重要的作用。然而，现有的方法往往存在较高的训练开销，且未能充分利用RGB和红外模态之间的固有互补性。在这项工作中，我们提出了SGD2Net，这是一种参数效率高的多模态检测框架，它通过稀疏增益适配与双域跨模态融合技术，共同解决了这些存在的问题。CRediT作者贡献声明周西川：监督工作。魏博雅：撰写原始稿件、方法部分。毛聪：验证工作、研究分析。张军：撰写审阅与编辑版本。余航：撰写审阅与编辑版本。陈立辉：撰写审阅与编辑版本。刘海军：概念构思。谢金：撰写审阅与编辑版本。聂静：撰写审阅与编辑版本、概念构思。利益冲突声明作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。致谢本研究部分得到了国家自然科学基金（项目编号：62301092、62301093和U2133211）的支持。周西川分别于2005年和2010年在中国杭州的浙江大学获得学士和博士学位。2009年，他曾作为访问学者在美国亚利桑那州坦佩市的亚利桑那州立大学工作。目前，他是中国重庆大学微电子与通信工程学院的教授，同时也是重庆脑启发智能科学研究所的创始教授。