《Optics & Laser Technology》：MIFC-Net: Joint compression and fusion for infrared-visible imaging with state-space models and invertible feature decoupling
编辑推荐：
摘要在传输受限条件下，对成对红外-可见光图像进行联合压缩与融合是边缘成像系统面临的关键挑战。现有方法在全局上下文建模方面往往存在较大的计算开销，难以对多模态潜在表示进行差异化概率建模，并且会在传感器噪声上浪费比特。我们提出了MIFC-Net，一个将状态空间建模与可逆潜在重参数
摘要
在传输受限条件下，对成对红外-可见光图像进行联合压缩与融合是边缘成像系统面临的关键挑战。现有方法在全局上下文建模方面往往存在较大的计算开销，难以对多模态潜在表示进行差异化概率建模，并且会在传感器噪声上浪费比特。我们提出了MIFC-Net，一个将状态空间建模与可逆潜在重参数化相结合的联合压缩与融合框架。该状态空间编码器采用二维选择性扫描来捕获长程跨模态依赖关系；INNFlow将融合后的潜在表示组织为基础路径和细节路径，分别由独立的概率模型进行建模；感知噪声感知目标函数与PQiM调制对重建内容和细节路径的空间尺度进行约束。在多个公开数据集上的实验表明，MIFC-Net在带宽受限条件下仍能保持良好的融合质量，同时保留了对下游目标检测有用的信息。
引言
多模态图像数据的联合融合与压缩是边缘设备大量普及和带宽受限传输场景驱动的红外-可见光成像系统面临的一项新兴挑战。多传感器系统——例如结合红外和可见光相机用于夜间监控、无人机侦察和工业检测的系统——会产生互补的数据流，这些数据流在传输前必须进行高效整合和编码。在这些场景下，传统的级联架构面临根本性矛盾。一方面，融合算法倾向于保留所有高频内容（包括传感器噪声），从而导致编码码率膨胀。另一方面，激进压缩会引入块效应和振铃伪影，抵消融合增益。因此，在可学习框架内对融合与压缩进行端到端联合优化已成为一个有前景的方向[1]。然而，仍存在若干关键挑战。
首先，全局上下文感知对于维持融合图像一致的空间分布至关重要，但现有联合方法往往依赖Transformer主干，其自注意力机制的计算复杂度与图像分辨率呈二次关系O(N2)[2]。对于高分辨率多模态数据，这会造成相当大的计算和存储开销。因此，理论上具有线性扩展特性的全局建模具有结构性意义，而其实际延迟仍取决于完整网络和硬件平台。
其次，多模态图像共享场景结构，同时保留模态特有特征[3]。许多基于VAE的架构将特征编码为混合潜在分布，而缺乏显式的统计解耦[4]。因此，熵模型无法可靠地将高价值语义信息与背景冗余区分开来，导致比特分配次优。例如，可能会浪费比特在平滑背景区域上以保留模态特有的纹理。
第三，红外相机等传感器天生会产生散粒噪声和热非均匀性，表现为高频信号。传统的对称融合损失无差别地最大化所有梯度信息，错误地将随机噪声编码为重要细节。这促使熵模型将大量比特分配给非语义高频分量，在没有改善感知质量的情况下膨胀了码率。因此，需要一种压缩友好的融合机制，能够显式地区分语义结构与噪声引起的波动。
为应对这些挑战，我们提出了MIFC-Net，一个将深度状态空间模型与可逆神经网络（INN）相结合的联合压缩与融合网络[5]、[6]。如图1所示，传统级联（左）在融合过程中保留了复杂特征和传感器噪声，给后续编码阶段带来了沉重的带宽压力。而我们的框架（右）则在传输前组织多模态表示，使得融合表示可以直接针对率失真目标进行优化[7]。
主要贡献如下。
- •
我们设计了一个状态空间编码器，包含深度变量状态空间（DVSS）模块，为联合任务引入了线性复杂度的二维选择性扫描。该模块能够捕获热分布与纹理细节之间的长程跨模态依赖关系，同时避免了自注意力机制随空间标记数量二次增长的计算模式。
- •
我们开发了INNFlow，一种可逆神经网络，将纠缠的多模态潜在变量重组为基础路径和细节路径，以支持差异化概率建模。
- •
我们设计了一种语义感知的率失真优化方法，集成了非对称梯度损失和感知质量重要性调制（PQiM），以约束传感器噪声并调制细节路径的空间尺度。
章节摘要
基于深度学习的图像融合
由于深度学习具有强大的特征提取和非线性建模能力，已成为图像融合的主流方法。代表性架构可以分为几个演进阶段。
早期的基于自编码器和CNN的方法，如DenseFuse[8]和RFN-Nest[9]，通过密集连接和残差学习有效地保留了局部细节。然而，由于依赖人工设计的融合规则和有限的感受野，它们往往无法捕获长程
方法
我们首先正式定义联合融合-压缩任务和整体优化目标。然后描述MIFC-Net架构及其核心组件：基于线性复杂度状态空间模型的深度变量状态空间（DVSS）模块[30]、[31]，可逆流（INNFlow）解耦机制，以及语义感知训练策略。
实验结果与分析
我们通过定量和定性实验系统地评估了MIFC-Net在多模态融合与压缩联合任务上的表现。首先描述实验设置、数据集、基线方法、评估指标和训练细节。然后报告融合对比实验、独立的低码率学习型压缩对比实验、跨数据集评估、下游目标检测实验、消融实验、参数敏感性分析和计算效率分析。
结论
本文提出了MIFC-Net，一个面向带宽受限条件下多模态成像的端到端联合压缩与融合框架。该框架在统一的率失真目标下组织了状态空间编码、可逆潜在重参数化和双路径概率建模。状态空间编码器通过二维选择性扫描建模长程跨模态上下文；INNFlow将融合后的潜在表示重组为基础路径和细节路径，以实现差异化的概率建模
CRediT作者贡献声明
曹品硕： 撰写——审阅与编辑，撰写——原稿，项目管理，方法，调查研究，形式化分析，数据整理，概念构思。林晨有康： 方法，调查研究，形式化分析，概念构思。马向阳： 调查研究，形式化分析，概念构思。王子玺： 调查研究，形式化分析，概念构思。王心怡： 调查研究，形式化分析，概念构思。王博： 监督指导，项目管理，资金支持
利益冲突声明
作者声明，他们不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
曹品硕|林晨有康|马向阳|王子玺|王心怡|王博
