一种基于上下文适应性的双维协作方法，用于红外与可见光图像的配准与融合

《Engineering Applications of Artificial Intelligence》：A context-adaptive and dual-dimensional collaboration method for infrared-visible image registration and fusion

红外可见光图像配准与融合需解决几何一致性及互补信息保留的冲突，本文提出Context-Adaptive Dual-Dimensional Collaboration Method（CD2RF），通过自适应上下文感知卷积模块ACFConv动态协调模态差异，结合双维动态协作模块DD-DCM实现跨模态特征融合，并利用空间变换网络与轻量级解码器重建图像，在多场景数据集上验证其优于现有方法的性能。

　　红外与可见光图像的配准与融合是紧密关联的任务，然而在未配准的情况下，过于强调配准精度可能会牺牲互补信息的完整性，而强制融合质量则可能破坏几何一致性。为了解决这一问题，本文提出了一种上下文自适应的双维度协作方法（CD2RF），用于红外与可见光图像的配准与融合。该方法旨在通过协同机制，在保持图像信息完整性的前提下，实现图像之间的准确对齐与高质量融合。

在图像融合过程中，不同模态的图像通常包含各自独特的信息。例如，红外图像能够捕捉热辐射特征，而可见光图像则能提供丰富的纹理和颜色信息。这两种信息在实际应用中具有重要的互补性，但它们之间的差异也可能导致图像融合时出现信息冲突或语义碎片化的问题。传统的图像配准与融合方法在处理这些任务时往往存在一定的局限性，如依赖于手动提取的特征、计算复杂度高、适应性差等。此外，由于红外图像通常对比度较低，传统方法在处理这类图像时可能会导致特征丢失或配准不准确。

随着深度学习技术的不断发展，其在图像配准与融合领域的应用逐渐增多。深度学习方法能够更有效地捕捉多模态图像之间的特征关联性，同时保持信息的完整性。例如，基于深度学习的配准方法可以通过学习图像中的关键点或特征，实现更精确的对齐，而融合方法则能够利用神经网络的强大表达能力，保留并整合来自不同模态的互补信息。然而，现有的深度学习方法在处理红外与可见光图像融合任务时，仍然面临一些挑战。一方面，图像配准需要消除模态间的差异以实现几何对齐，而图像融合则需要保留这些差异以整合互补信息，这种矛盾使得传统的单任务优化策略难以兼顾两者的性能。另一方面，不同模态图像的特征提取方式存在差异，这导致了计算资源的浪费以及特征利用效率的低下。

针对上述问题，本文提出的CD2RF方法采用了一种新的设计思路，即通过上下文自适应的双维度协作机制，实现红外与可见光图像的高效配准与融合。该方法的核心思想是将配准与融合视为一个协同过程，而非相互独立的任务。具体而言，CD2RF方法首先设计了一种自适应上下文感知的通道融合卷积模块（ACFConv），该模块能够在统一的特征空间中动态感知上下文特征关系，从而协调不同模态图像之间的对应区域，并生成任务自适应的特征表示。ACFConv模块通过轻量级的通道解耦技术，构建了一个统一的跨模态特征空间，并利用自适应平均池化来建模模态间的依赖关系。这一设计不仅有效缓解了配准与融合任务之间的固有冲突，还显著降低了特征冗余，提升了特征表示的准确性和利用率。

在特征提取层面，配准任务通常关注于共享的几何特征，而融合任务则需要保留模态间的差异以整合互补信息。这种任务需求的差异导致了特征提取过程中的计算冗余和共享特征的低效利用。为此，CD2RF方法引入了双维度动态协作模块（DD-DCM），该模块通过动态同构通道分解器（DICD）实现通道维度的解耦与跨模态特征的映射，同时结合动态异构空间交互器（DHSI）的空间序列重组技术，以捕捉长距离依赖关系。DD-DCM模块的设计使得特征提取过程能够兼顾配准与融合任务的不同需求，从而有效缓解特征冲突和语义碎片化问题，提高互补信息的整合能力与细节保留效果。

此外，CD2RF方法在图像融合过程中引入了空间变换网络（Spatial Transformer Network, STN）和轻量级解码器（Lightweight Decoder），以实现高精度的跨模态对齐和高质量的图像融合。STN模块基于多尺度密集特征匹配生成仿射变换矩阵，从而实现精确的跨模态对齐。轻量级解码器则负责将对齐后的特征进行重建，以生成最终的融合图像。这种设计不仅提升了融合图像的结构完整性，还确保了信息的完整性，使得融合结果更加符合实际应用的需求。

在实验部分，本文在多个数据集上进行了广泛的测试，以验证CD2RF方法的性能。实验结果表明，CD2RF方法在视觉效果、定量指标以及泛化能力方面均表现出色。与其他最先进的算法相比，CD2RF方法在保持图像细节和纹理信息的同时，实现了更准确的跨模态对齐和更高质量的图像融合。此外，本文还通过应用实验（如目标检测和语义分割）证明了CD2RF方法在高级视觉任务中的适应性。实验结果表明，CD2RF方法能够有效支持各种应用场景，如安全监控、故障检测和目标识别等。

综上所述，CD2RF方法通过引入上下文自适应的双维度协作机制，有效解决了红外与可见光图像配准与融合任务之间的固有冲突。该方法不仅提高了特征表示的准确性与利用率，还增强了互补信息的整合能力与细节保留效果。在实际应用中，CD2RF方法能够生成高质量的融合图像，为多模态图像处理提供了新的思路和解决方案。