VCHANet：用于红外-可见光图像融合的变分跨模态超图注意力网络

《Information Fusion》：VCHANet: Variational Cross-modal Hypergraph Attention Network for Infrared-Visible Image Fusion

　　

超级像素超图编码了固定网格方法之外的结构拓扑关系。四种超边类型用于建模空间拓扑和跨模态语义。变分高斯节点量化跨模态不确定性。VCHANet在四个基准测试的20个指标-数据集组合中有13项排名第一。

引言

鲁棒的多模态感知是计算机视觉众多应用的基础，包括监视、自动驾驶以及在恶劣条件下的场景理解。在真实视觉环境中，单模态成像系统存在固有的局限性：可见光相机在低光照、烟雾或雾天条件下性能退化，而红外传感器缺乏纹理细节和颜色信息。红外（IR）与可见光（VIS）图像的协同融合提供了互补的表示，从而在各种视觉条件下增强场景理解和目标检测的鲁棒性。安全关键事件通常出现在小的局部区域，需要选择性地对信息丰富的时空块进行建模[1]，这促使融合模型在下游感知中保留精细的结构显著性。

然而，实现这一潜力要求融合模型联合应对两个非平凡的挑战：捕捉异构红外与可见光特征间复杂的结构关系，以及处理由其不同强度域产生的表示不确定性。主流的红外与可见光图像融合（IVIF）方法大多依赖卷积神经网络（CNN）或图神经网络（GNN）架构，这些方法存在以下固有局限。

在处理复杂场景时，传统的基于CNN的IVIF方法[2]、[3]主要依赖欧氏空间中局部的卷积感受野，这限制了它们直接建模长程依赖和不规则区域级拓扑的能力。基于Transformer的融合架构通过自注意力缓解了部分此类局限；例如，SwinFusion[4]将基于Transformer的长程建模引入图像融合。然而，这类架构仍在规则划分的空间表示上操作，其边界不一定与不规则热目标重合。这种均匀划分可能将边界很少与网格边界对齐的不规则热目标碎片化为多个标记，并限制单个标记表示其完整结构范围的能力。更根本的是，全局自注意力以O(M2)复杂度计算所有标记对之间密集的成对交互，但仍然仅表示成对而非空间分布的目标组件之间的高阶多对多关系。借助稀疏关联表示，超图传播可以避免显式计算所有标记对的交互，同时通过超边表示群组关系。

基于图的图像融合方法[5]、[6]通过将像素或图像区域视为节点、其关系视为成对边，提供了一种替代表示，从而实现非欧几里得的图结构建模。然而，传统图边一次仅连接两个顶点，因此只能通过反复的消息传递间接编码高阶区域交互。现有的基于图的IVIF方法通常首先将每个节点限制到一个空间候选池，然后使用单一特征空间距离对候选进行排序，从而构建固定的KNN拓扑。该拓扑对所有区域应用同一邻域规则，并不显式区分边界邻接、空间上下文、模态感知的特征亲和力以及联合跨模态亲和力。在模态依赖退化下，例如可见光图像中烟雾导致的纹理抑制或红外图像中的热伪影，候选池内的特征排序可能在目标邻域中包含类似背景的超像素。图1说明了固定KNN构建在模态依赖退化下的一种代表性局限。目标人物在红外图像中仍保持热区可辨，而烟雾抑制了对应的可见外观。固定KNN构建先将候选限制在2跳空间池内，然后使用单一特征空间距离进行排序。在此例中，所得邻域包含来自人工标注烟雾/背景风险区域的超像素，以红色叉号标记。该观察结果促使使用关系特定的超边，分别编码空间、模态感知和跨模态依赖。该示例仅用于说明，并不意味着每种固定KNN构建都会产生错误的边。成对边同样只能通过反复的消息传递编码多对多交互，而一个超边可以在一个关系单元中表示完整的等高阶区域组。

上述局限本质上源于两个挑战：第一，模态异质性差距阻碍了特征对齐。红外图像编码热辐射分布，而可见图像捕获光学纹理。它们在强度统计和边缘响应上的根本差异使跨模态特征对齐异常困难。第二，成对的图表示无法建模高阶依赖。成对边结构无法捕捉多模态视觉数据固有的多对多语义相关性。此外，从网络中提取的红外与可见光信息分布不均往往使融合结果偏向单一模态。

相比之下，超图神经网络[7]、[8]允许单个超边连接任意数量的顶点，从而为显式的高阶多对多关系提供自然的表示。这一性质促使我们使用超级像素超图来联合建模IVIF中的空间拓扑与跨模态语义关联。此外，热辐射与光学纹理之间的固有异质性使确定性的跨模态特征对齐显得脆弱。这种跨模态歧义促使我们采用一种与观测相关的方差线索来处理不完整或冲突的模态证据：相同的红外热强度与多种合理的可见外观兼容，因此没有确定性的嵌入能够完全解决对应关系。变分框架通过将每个超级像素节点表示为潜空间上的一个高斯分布而非单点估计来解决此问题。方差参数化模态特定潜表示的分布广度，并为后续的聚合提供相对线索，而KL项则将其均值和方差正则化到一个公共的参考分布。这种正则化稳定了随机潜空间，但单靠它并不能保证模态平衡。两个模态的相对贡献由下文所述的注意力与门控机制决定。

因此，本研究旨在构建融合表示，同时保留可见光纹理细节和红外热显著性，方法是显式建模高阶跨模态相关性，并在超图传播中使用随机潜表示和方差衍生的可靠性作为辅助线索。基于上述分析，本文提出变分跨模态超图注意力网络（Variational Cross-modal Hypergraph Attention Network, VCHANet），这是一种用于IVIF的变分超图神经网络，操作于超级像素节点而非原始像素。我们不是在原始像素或固定网格标记上操作，而是在紧致图像区域上构建超图节点，其边界遵循局部强度梯度。我们采用SLIC以完成此目的。SLIC强制执行连通性约束以保证空间连续的超级像素，使得邻接矩阵能够作为场景物理边界结构的空间先验。SLIC分割误差可能传播到超边构建。这一局限促使使用四种互补的超边类型。当空间边界线索不可靠时，语义超边提供互补关系。

我们的设计遵循红外-可见光融合的失效模式。SSGM产生结构感知的引导图，而局部SLIC分配将像素分组为紧致区域，同时保留不规则物体边界。基于超级像素的自适应混合超图构建模块（Superpixel-based Adaptive Hybrid Hypergraph Construction Module, SAH-HGCM）随后构建四种关系族，以覆盖边界上下文、局部空间上下文、局部约束的模态内相似性和全局联合相似性，从而在一个模态有噪声或退化时提供互补的关系路径。在变分跨模态注意力超图卷积模块（Variational Cross-modal Attention Hypergraph Convolution Module, VCA-HGCM）中，VFE、NHAM和CHG处理三个不同的聚合问题：如何正则化潜节点特征，如何为每个超边内的节点加权，以及在融合期间如何平衡两个模态路径。最后，空间读出重新引入密集的编码器特征，使区域级传播不会洗掉像素级细节。整体动机与范式比较见图2，完整架构见图3。

本文的主要贡献总结如下：
•为解决早期阶段模态不平衡问题，在双分支编码器中提出结构显著性引导模块（Structure Salience Guide Module, SSGM），其中应用模态非对称池化以锐化热显著性同时保留光学纹理，为结构感知超级像素分割产生联合引导图。
•提出基于超级像素的自适应混合超图构建模块（SAH-HGCM），在SLIC超级像素节点上通过四种互补的超边类型（ELAH、NAH、FASH、CJSH）编码空间拓扑和跨模态语义关联，并基于空间紧致性和特征一致性进行自适应加权。
•提出变分跨模态注意力超图卷积模块（VCA-HGCM）作为IVIF的变分超图公式。它将高斯节点编码与基于方差衍生的相对可靠性线索、超边内注意力以及基于引导图驱动的超级像素关系上的双向跨模态超边门控相结合。KL项将各模态特定的后验分布正则化到所选的先验，而可靠性项与门控项确定超图传播过程中每个模态的贡献程度。

章节片段
红外与可见光图像融合
深度学习推动了图像融合领域的快速发展[9]、[10]、[11]。早期的基于CNN的方法可以大致分为直接映射模型[3]、编解码器模型[2]以及基于对抗学习的模型[12]。编解码器方法设计显式的融合规则以整合多尺度编码器特征，而基于GAN的方法通过对抗学习实现协同优化。在对抗学习路线中，方法已从……演进

预备知识
超图神经网络（Hypergraph Neural Networks, HGNNs）通过使用超边对多个节点之间的高阶关系进行建模，扩展了传统的图神经网络（Graph Neural Networks, GNNs）。与边仅连接两个节点的标准图不同，超图允许每个超边连接任意数量的节点。

形式上，超图定义为G=(V,E)，其中V={v?,v?,…,v_M}表示M个顶点的集合，E={e?,e?,…,e_N}表示超边的集合。顶点与……之间的关系

实验设置
数据集 为评估所提方法的有效性，我们在四个公开数据集上进行了全面实验：M3FD[14]、LLVIP[32]、MSRS[33]和RoadScene[34]。M3FD数据集是一个热红外-可见光目标检测数据集，包含4,200个对齐的图像对，由同步系统配备双光学相机和红外传感器拍摄。它提供了覆盖六个对象类别（People、Car、Bus、Motorcycle、Lamp、Truck）的34,407个人工标注，所有……

结论
本文提出的VCHANet通过三个协同贡献解决了现有IVIF方法的局限。SSGM通过非对称池化在特征提取阶段缓解早期阶段的模态不平衡，在超图聚合之前锐化红外热显著性。SAH-HGCM用结构保留的超级像素超图替代了刚性的网格表示。通过将SLIC边界视为结构感知的图先验，它构建四种互补的超边……

未引用的引用 缺失的引用 图5
CRediT作者贡献声明
Shuting Duan：写作——原稿撰写、验证、软件、方法论、概念构思。Yuchen Yan：可视化、调查。Zhongxin Feng：可视化、数据管理。Zhongyuan Wang：监督、资金获取。Jinsheng Xiao：写作——审校与编辑、监督、项目管理、资金获取。

利益冲突声明
作者声明没有已知的竞争经济利益或个人关系可能影响本文所述工作。

Shuting Duan获得了中国武汉大学电子信息学院通信工程学士学位。她目前在中国武汉大学电子信息学院攻读硕士学位。她的研究方向包括图像处理、计算机视觉、机器学习和人工智能。

Shuting Duan | Yuchen Yan | Zhongxin Feng | Zhongyuan Wang | Jinsheng Xiao