一种通用的轻量级多模态图像信息融合架构

《Neurocomputing》：A generic lightweight multi-modal image information fusion architecture

　　

摘要

传感器技术和计算硬件的进步推动了能够处理两种以上模态的多模态融合技术的发展。尽管传统的融合算法在双模态任务中有效，但纳入额外的模态通常需要组合多个网络，导致处理效率低下且跨模态交互有限。为了解解决这些局限性，本研究提出了一种新颖的三模态数据集（包含双波长红外和可见光谱图像），该数据集采集自真实世界的无人机平台，并提出了一种具有旋转交叉路径机制和非对称架构的融合框架。实验结果表明，所提出的方法在多个融合指标上达到了具有竞争力的性能，同时保持了高推理效率。当应用于检测 and 分割等下游任务时，我们的方法获得了最高的 mAP 和 IoU 分数，证明了其在保留语义关键信息方面的有效性。我们的源代码、收集的数据集和预训练检查点将在被录用后一个月内公开于 https://github.com/vehicle-AngLi/RotFuse。

引言

随着包括计算能力提升和先进传感系统在内的硬件技术的快速发展 [1]，智能系统如车辆 [2]、无人机 (UAVs) [3] 和机器人 [4] 现在可以从越来越多的模态中获取更丰富的语义信息。然而，随着感知模态数量的增加，传统的融合方法往往难以平衡实时效率和融合效果。当前主流图像融合研究主要集中在双模态融合上，而针对多模态（两种以上）融合的学习架构仍然较少被探索。

多模态图像融合在智能交通、无人机巡逻和机器人视觉 [5] 等领域的语义感知中具有重要价值。对于实时操作系统，融合策略不仅必须保留显著的语义信息，还必须满足实时延迟要求。鉴于传统算法在实现性能突破方面往往面临局限性 [6], [7]，基于学习的方法已成为该领域的主导。基于生成对抗网络 (GAN) 的方法 [8], [9], [10] 通过生成器和判别器之间的对抗训练学习数据分布。最近，IDFFN-GAN [11] 和张 [12] 提出的方法通过引入融合域的概念和利用预融合图像，进一步提高了 GAN 的能力。然而，GAN 架构的高计算开销和参数复杂性通常限制了它们在实时系统中的推理速度。相比之下，基于卷积神经网络 (CNN) 的方法 [13], [14], [15], [16], [17] 由于其高效的局部特征提取而为嵌入式平台提供了优势。此外，SeAFusion [18] 引入了来自高级视觉任务的反馈损失，使融合过程更具任务导向性，而 LeFuse [19] 专注于恢复可见图像中隐藏的纹理细节以增强语义信息。最近，基于 Transformer 的架构如 CDDFuse [20] 和基于 Mamba 的方法如 Fusion-Mamba [21], [22] 提高了对全局信息进行建模的能力，但它们的高延迟仍然是实时应用的主要挑战。尽管视觉语言模型 (VLMs) 的进步正在重塑计算机视觉格局 [23] 并将研究推向语言引导范式 [24], [25]，但这些方法往往偏离了实时操作系统的严格效率要求。

在能见度极低的情况下，双模态信息往往不足，需要引入额外的模态，如深度或专用光谱图像。多模态融合广泛用于医学成像以辅助病理检测 [26]，其中传统方法仍发挥着重要作用：空间域方法 [27], [28] 计算简单但容易产生颜色失真，而变换域方法采用多尺度变换 [29] 或小波变换 [29], [30]，通过频域分解和重建 [31], [32] 实现了融合质量和效率之间的更好平衡。对于涉及三种或更多模态的任务，深度学习模型中参数数量的增加可能会限制实时部署效率。根据处理逻辑，融合框架可分为串行和并行类型。尽管一些双模态模型支持串行扩展 [18]，但其处理仍然复杂。各种方法，如 HWSI [33] 和轻量级网络 MFDF [34]，为可见光 - 热 - 深度数据提出了特征差异融合方案，但难以推广到其他场景 [35]。总之，虽然深度学习在双模态融合方面表现出色，但在计算受限的情况下，为实时多模态感知任务开发通用且高效的并行融合网络仍然是一个重要的挑战。

为了解决上述挑战，本文的主要贡献如下：

• •
  我们构建了一个包含双波长红外和可见光图像的三模态图像数据集，使用真实世界的无人机平台，从而为未来多模态图像融合研究提供基准。
• •
  我们提出了一种轻量级多模态图像融合架构，结合了基于 GAN 的图像增强。为了解决提取过程中的跨模态特征融合挑战，我们定义了一个标准特征图并引入了一种旋转交叉特征提取方法，这在保持有效特征提取能力的同时减少了参数数量。
• •
  为了减轻由额外模态引起的结构复杂性，我们结合了非对称结构剪枝和损失函数优化，能够在不同的任务场景中自适应地利用模态信息。

大量实验表明，我们提出的融合算法在多个融合指标上达到了具有竞争力的性能。当应用于对象检测和语义分割等下游任务时，我们的方法获得了最高的 mAP 和 IoU 分数，证明了其在为下游视觉任务保留语义关键信息方面的有效性。

章节片段

图像采集系统和数据集

随着计算机视觉技术在各个行业的广泛应用，智能无人机 (UAV) 巡逻系统已成为现代安全基础设施的重要组成部分。通常，配备红外和可见光相机的双模态无人机在白天和夜间作业期间为城市安全提供一致的情报数据。然而，某些目标在有限的传感模态下可能仍然难以检测，可能

多模态融合方法

LWIR 和可见光图像的融合已证明在各种应用中为智能实时系统提供互补语义信息的有效性。然而，随着对高级场景理解需求的快速增长，将这些系统中的额外传感模态（例如 SWIR 和深度图像）集成起来的趋势日益增加，以增强其感知特定目标的能力。构建多模态感知框架可以

低光增强模块的评估

由于低光增强 (LLE) 模块在我们的框架中充当条件预处理网关，其评估侧重于平衡恢复质量和计算效率。我们利用 LoL (低光) 数据集作为基准，并采用两个广泛认可的指标：峰值信噪比 (PSNR) 和结构相似度 (SSIM)。这些指标评估增强图像相对于真实目标图像的保真度。定量结果总结如下

结论

为了增强实时智能系统和下游视觉任务的语义感知，本文提出了一种轻量级并行多模态图像融合框架。通过引入以标准化特征表示为中心的旋转交叉路径机制，所提出的 RotFuse 有效地促进了特征提取过程中的模态间交互。这种设计能够在保留显著信息的同时保持紧凑的参数足迹。此外，我们

CRediT 作者贡献声明

李昂: 写作 – 初稿，软件，方法论，概念化。 吴苏正: 写作 – 初稿，调查，数据整理。 王伟华: 写作 – 审查与编辑，可视化，调查。 王凡旬: 写作 – 审查与编辑，验证。 梁金浩: 写作 – 审查与编辑，方法论。 殷国栋: 写作 – 审查与编辑，方法论，资金获取。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，可能会影响本文报告的工作。

李昂 于 2025 年和 2022 年分别从东南大学机械工程学院和重庆大学机械与运载工程学院获得硕士学位和学士学位。他目前在中国香港中文大学（深圳）数据科学学院攻读博士学位。他的研究兴趣包括智能感知、具身 AI 和 VLM。

李昂 | 吴苏正 | 王伟华 | 王凡旬 | 梁金浩 | 殷国栋

东南大学机械工程学院，中国江苏省南京市，邮编 211189