《Information Fusion》：SORF: One-Stage Structure-Aware Registration and Speckle-Robust Fusion for Misaligned SAR-Optical Images
编辑推荐：
•一种用于SAR-OPT联合配准与融合的统一单阶段框架。•基于结构一致性的渐进式对齐能够抵抗SAR相干斑噪声。•基于双注意力的模块自适应滤除SAR相干斑噪声，实现高保真融合。•特征级联合优化打破了级联模型的误差累积。引言由于单一图像所包含的信息有限，将来自不同模态的互补信息整合到
- •
一种用于SAR-OPT联合配准与融合的统一单阶段框架。
- •
基于结构一致性的渐进式对齐能够抵抗SAR相干斑噪声。
- •
基于双注意力的模块自适应滤除SAR相干斑噪声，实现高保真融合。
- •
特征级联合优化打破了级联模型的误差累积。
引言
由于单一图像所包含的信息有限，将来自不同模态的互补信息整合到融合图像中对于完整描述场景至关重要。光学（OPT）图像以其丰富的光谱信息和精细的纹理细节而著称。然而，它们极易受到光照变化以及云和雾的影响，导致在夜间低光照条件下或被云、雾遮挡时难以有效捕获目标细节。相比之下，合成孔径雷达（SAR）能够提供全天候、昼夜成像能力，并捕捉地物的几何散射特性。但这以图像中存在显著的相干斑噪声为代价。SAR-OPT图像融合将光学图像的光谱信息和精细纹理与SAR图像的强散射响应和全天候观测能力相结合。因此，融合图像能够在保留视觉细节的同时增强地物的结构和物理散射特性。该方法克服了单图像数据的局限性，为全天候地物分类、地面监测、目标检测和军事侦察等应用提供了独特的信息，从而增强了复杂环境下的目标识别能力[1]、[2]、[3]。
近年来，多模态图像融合因其广泛的应用潜力而取得了显著进展[4]、[5]。然而，绝大多数现有的融合方法都基于图像严格对齐的假设。但在实际应用中，由于传感器视角和成像机制的差异，多模态图像之间往往存在显著的空间畸变和错位。直接融合未对齐的图像会导致伪影和边缘模糊。为解决这些错位数据，多模态图像配准与融合方法被提出。如图1(a)所示，传统主流方法通常采用先配准[6]、[7]、[8]后融合[9]、[10]、[11]、[12]的级联处理范式。首先使用专门的配准网络对图像进行空间对齐，然后将扭曲后的对齐图像输入融合网络以生成最终结果。这种方法遵循典型的两阶段设计；虽然有效，但完全依赖配准模块来消除伪影。此外，整个过程涉及两轮编码和解码。这种分阶段方法不仅导致冗余的特征提取，而且缺乏配准与融合任务之间的协同机制，使得配准误差累积到融合阶段。
近期，研究兴趣[13][14]、[15]、[16]、[17]已转向探索配准和融合任务的联合优化。如图1(b)所示，这些方法能够实现一定程度的协同优化，但仍依赖中间配准图像。由于配准先于融合，整体流程仍然是两阶段的。联合训练可以相互促进配准和融合。然而，两轮特征编码和有限的任务集成使得该设计更接近于级联而非高效统一网络。因此，研究人员开始研究统一的单阶段框架[18]、[19]、[20]、[21]。如图1(c)所示，这些框架直接在特征层面执行配准和融合。具体而言，这些方法直接对齐特征而非配准图像，以整合配准和融合模块。与传统级联架构相比，该框架在共享特征空间内同时执行空间变换和信息融合。通过避免冗余的编码和解码过程，单阶段方法不仅提高了网络的计算效率，还消除了由显式图像畸变引起的像素级插值误差。在特征级联合任务中，配准逐步对齐跨模态特征，而融合聚合这些对齐后的互补特征，从而为多模态图像配准与融合形成一个统一而鲁棒的联合框架。
现有的单阶段框架已经证明了特征级联合配准与融合的可行性。然而，在SAR-OPT图像中，单阶段集成面临一个模态特有的困难：强相干斑噪声可能破坏几何对应关系估计，并且还可能传播到融合输出中。为解决这一问题，我们提出了一种用于SAR和OPT图像联合配准与融合的网络。具体而言，单阶段框架的核心挑战在于两个任务对特征的需求存在冲突：配准依赖于特征一致性，而融合则需要特征互补性。为解决这一问题，我们将大核卷积神经网络（CNN）与Transformer[22]结合，构建了双分支架构。该设计能够同时捕捉细粒度的局部纹理和长距离的结构依赖关系。随后，这些特征通过基于结构一致性的渐进式多尺度配准（PMSR）模块进行对齐，有效减轻了相干斑噪声的干扰，实现了鲁棒的特征对齐。最后，对齐后的特征被输入到基于双注意力的融合模块（DAFM）中，该模块利用空间和通道注意力机制自适应地滤除噪声。这确保了融合网络在提取SAR图像关键信息的同时，保留了光学图像的纹理和光谱细节，从而生成高质量的融合结果。总之，本文的主要贡献如下：
- •
我们提出了一个名为SORF的单阶段框架。通过构建双分支特征编码器并采用基于结构一致性的隐式空间对齐策略，该模型在共享特征空间内执行配准和融合，从而减少了传统级联架构带来的误差累积和计算冗余。
- •
我们设计了一个双注意力特征融合模块。该模块利用空间和通道注意力自适应分配权重，在抑制SAR图像中强相干斑噪声的同时，将光学纹理与SAR几何散射特征相结合，实现高保真融合。
- •
我们的模型表现出优异的泛化能力和鲁棒性。SORF仅需在单个数据集上训练，即可直接泛化到多个数据集而无需任何微调。大量实验表明，其在定性和定量方面的性能全面超越了现有的最先进（SOTA）方法。
章节片段
多模态图像配准
多模态配准方法包括传统方法和深度学习方法。然而，模态之间的巨大差异仍然阻碍了它们的发展。早期方法[23]通常依赖于稀疏匹配。它们根据手工设计的特征点或归一化互相关（NCC）[24]和互信息（MI）[25]等相似性度量来估计几何变换参数。为了解决辐射度差异和噪声问题，研究人员引入了
概述
如图2所示，我们提出了一种端到端框架，用于联合配准和融合未对齐的SAR和OPT图像。与传统的“先配准、后融合”SAR-OPT图像范式不同，我们的方法直接在特征空间中执行空间对齐和融合。这避免了由未配准图像引起的误差传播，并能在严重错位的情况下生成高质量的融合图像。所提出的方法由四个主要组件组成：特征提取器（FE）、
数据集与实现细节
数据集。 我们基于公开的WHU-OPT-SAR[41]数据集构建训练数据集。该数据集包含100对分辨率为5, 556 × 3, 704像素的SAR/OPT图像。我们将100张大图像裁剪为多个256 × 256的小图像，并随机选择20,580对图像用于训练，2,940对用于验证，5,880对用于测试。此外，我们将公开的SEN1-2[42]和QXS-SAROPT[43]数据集与
结论
本文提出了一种新颖的单阶段特征级联合配准与融合网络，旨在解决涉及SAR和OPT图像的跨模态任务中的空间错位和相干斑噪声干扰问题。为克服传统两阶段级联范式中的误差累积和计算冗余，SORF采用双分支特征提取器（FE）来满足不同任务的特征需求，并引入PMSR通过测量结构一致性来对齐特征。DAFM自适应地
CRediT作者贡献声明
Shiyao Tang: 写作 – 原稿、可视化、验证、软件、正式分析、数据管理、概念化。 Siyuan Hao: 写作 – 审阅与编辑、监督、资源、资金获取、概念化。 Yuanxin Ye: 写作 – 审阅与编辑、监督、资金获取。
利益冲突声明
作者声明，他们不存在已知的、可能影响本文所报告工作的竞争性经济利益或个人关系。
Shiyao Tang|Siyuan Hao|Yuanxin Ye
