RSDC-Net：基于自监督动态协作的红外与可见光图像融合方法及其在感知增强中的应用

本文提出了一种新颖的自监督动态协作网络（RSDC-Net），通过稳态对比自编码器（self-supervised contrastive autoencoder）和潜在跨模态聚焦引导模块（latent inter-modal focus-guided module），有效解决了红外与可见光图像融合（IVIF）中的模态偏差与浅层交互退化问题，在多个数据集上实现了最优性能。

　　

亮点

我们提出一种稳态对比自编码器，采用自监督学习（self-supervised learning）和多样化数据增强策略，在编码过程中显式注入互补模态信息，从而鲁棒地提取关键共享特征。

我们设计了一种跨模态聚焦引导模块，该模块在潜在空间中优化融合表示，并在语义和细节层次上动态调整异构表达的优先级。

RSDC-Net 在 MSRS、TNO 和 M3FD 三个数据集的大多数八项评价指标中均达到了最先进的性能。此外，在这些数据集以及极具挑战性的场景下，其融合质量在视觉评估中也表现卓越。

结论

本文提出了一种鲁棒且通用的红外与可见光图像融合框架——RSDC-Net，其重点在于关键表征的稳定提取和潜在空间中局部信息的自适应调控。为实现关键共享信息的潜在嵌入，我们设计了一种以自监督方式训练、结合多任务策略的稳态对比自编码器，以确保跨模态线索的稳定提取。此外，我们还引入了跨模态聚焦引导模块，通过动态选择机制和门控前馈单元优化异构信息的融合与过滤。