基于噪声鲁棒多尺度结构特征的可见光与SAR图像匹配方法研究

《Remote Sensing》：Noise-Robust Multiscale Structural Feature for Optical and SAR Image Matching

　　

中文摘要翻译 可见光与合成孔径雷达（SAR）图像匹配是众多遥感应用的基础。尽管基于相位一致性的方法已被广泛用于该任务，但其提取的结构特征对斑点噪声固有敏感，这显著降低了匹配性能。为解决这一局限，研究人员提出了一种新颖的噪声鲁棒多尺度结构特征（NMSF）方法。与现有基于相对全变差（RTV）的方法不同，这些方法要么修改RTV模型本身，要么依赖相位一致性，而本框架采用标准RTV模型配合一种有原则的指数缩放方案来构建多尺度结构图（MSM），在抑制噪声和缓解模态差异的同时，有效捕获多个尺度上的显著结构信息。在MSM的基础上，研究人员开发了一种带有非极大值抑制的MSM-ORB检测器，以提取可靠且分布良好的关键点。研究人员进一步提出了一种具有方形网格嵌套架构的多层方向梯度特征（MFOG）描述子，该描述子从根本上不同于先前方法中使用的对数极坐标结构，并在不增加维度的前提下实现了多尺度集成。在公开数据集上的大量实验表明，NMSF持续优于最先进的方法，在非线性强度变化、几何畸变和严重斑点噪声下展现出卓越的鲁棒性和准确性。

论文解读

一、研究背景与问题

可见光与合成孔径雷达（SAR）图像匹配是遥感图像处理领域的热门研究方向，在变化检测和图像融合等任务中具有广泛的应用前景。然而，实现可见光与SAR图像的鲁棒且精确匹配仍然面临重大挑战，其困难主要源于两个因素。其一，可见光与SAR传感器截然不同的成像机制导致同一地理场景呈现出差异显著的强度和纹理表征，这种非线性辐射差异掩盖了共同的视觉外观，使得提取共享的、模态不变的特征本质上十分困难。其二，SAR图像受到固有斑点噪声的污染，这种乘性噪声会降低图像对比度、模糊精细结构细节，并显著损害传统匹配方法的性能。

针对上述挑战，学术界已提出多种匹配方法，大致可分为基于强度和基于特征两大类。基于强度的方法通过在预定义局部窗口内直接评估统计或结构相似性来建立对应关系，虽在可见光与SAR图像匹配中展现了令人满意的精度，但往往遭受较高的计算复杂度，且对几何形变和模态间显著非线性辐射变化表现出明显敏感性。基于特征的方法通过提取对模态差异不变的共享判别特征来实现配准，通常包括特征检测、描述和匹配三个阶段。在特征方法中，基于相位一致性（PC）的方法利用频域信息识别对强度反转不变的稳定边缘点，但PC特征对强斑点噪声敏感，可能导致特征检测和描述的误差。基于局部自相似性（LSS）的方法通过计算局部区域与其周围邻域的相似性来捕获内部几何布局，对SAR场景固有的复杂噪声和纹理变化具有较高弹性，但许多现有方法在保持充分判别力的同时难以维持稳健的噪声不变性。近年来，深度学习方法在可见光与SAR图像匹配中展现出潜力，但其性能严重依赖大规模高质量标注训练数据，而这类数据在实际多模态遥感应用中往往难以获取。

在特征方法中，相对全变差（RTV）模型因其在保留显著边缘的同时将图像分解为结构和纹理分量的能力而受到关注。然而，现有RTV-based方法可归为两类：修改RTV模型本身的方法，以及将RTV作为中间预处理步骤但最终依赖PC进行核心特征表示的方法。前者因模型修改而增加计算复杂度，后者因依赖PC而仍易受斑点噪声影响。

二、研究内容与结论

针对上述问题，研究人员提出了一种新颖的噪声鲁棒多尺度结构特征（NMSF）方法，旨在实现可见光与SAR图像之间鲁棒且精确的匹配。该方法由三个核心组件构成：第一，通过应用标准RTV模型配合有原则的指数缩放方案构建多尺度结构图（MSM），在多个尺度上捕获互补的结构信息，同时有效抑制斑点噪声和纹理杂波；第二，开发MSM-ORB检测器，直接在MSM上执行特征点提取，并配合非极大值抑制以确保关键点集分布良好且具有改进的可重复性；第三，引入具有方形网格嵌套架构的多层方向梯度特征（MFOG）描述子，通过分层方案集成多尺度结构信息，且不增加最终特征维度。

该方法与现有RTV-based方法存在三个关键差异：其一，不同于修改RTV模型本身的MORTV方法，本方法采用未经修改的标准RTV模型，创新之处在于如何通过MSM构建以及随后的特征提取和描述阶段来利用该模型；其二，不同于依赖PC进行特征检测或描述的MISFR、RTV-SIFT和RTV-RIFT方法，本方法采用纯RTV框架，特征检测和描述完全在RTV导出的结构图上进行，完全避开PC及其固有的斑点敏感性；其三，MFOG描述子采用方形网格嵌套架构，在不增加维度的前提下实现多尺度集成，从根本上不同于现有RTV-based方法中使用的对数极坐标结构。

三、关键技术方法

研究人员采用的主要技术方法包括：其一，RTV结构分解模型，通过全局优化显式分离结构分量与纹理和噪声分量，其核心洞察在于纹理区域中窗口化全变差与窗口化固有变差的比值显著小于结构区域，从而能够抑制整个纹理模式而不仅仅是平滑局部强度变化；其二，多尺度结构图（MSM）构建，采用级联参数对（λ_l, σ_l）生成结构图堆栈，参数由指数缩放方案确定，初始基参数设为λ₀ = 0.01和σ₀ = 1.2，实现结构表示的连贯渐进粗化；其三，MSM-ORB检测器，通过堆叠MSM第一结构图及其逐步降采样版本构建多尺度图像金字塔，在各金字塔层级采用FAST-9算法识别候选角点，随后应用Harris角点度量排序筛选，最后执行半径为两像素的非极大值抑制；其四，MFOG描述子构建，采用三层架构，各层从MSM堆栈中不同尺度的结构图提取方向梯度直方图，顶层L₁从最细尺度结构图S₁提取，中间层L₂从中尺度结构图S₂提取，底层L₃从最粗尺度结构图S₃提取，最终描述子维度固定为288。实验数据来源包括公开的OS数据集、GFGE_SO数据集以及从多篇文献聚合的第三数据集。

四、研究结果

噪声鲁棒性测试。 在模拟数据集上，研究人员将RTV与六种代表性滤波方法（高斯滤波GF、各向异性扩散滤波ADF、共现滤波CoF、逐点形状自适应纹理滤波PSATF、局部归一化滤波LNF、梯度域引导图像滤波GDGIF）进行对比，结果表明RTV在所有噪声级别下均取得最高正确匹配数（NCM），且标准差更小，性能差距随噪声严重程度增加而扩大。在九个噪声级别下与八种最先进方法对比，NMSF在所有噪声级别上持续保持最高NCM，性能下降速度明显更慢。在真实数据集上，NMSF取得最高平均NCM为91.7，显著优于第二名的WSSF（78.6），成功率（SR）达95.0%，均方根误差（RMSE）为2.65像素。

匹配性能分析。 在数据集1的四个实验组中，NMSF在无几何变换组取得NCM为114.3、SR为100%、RMSE为2.11像素；在旋转组取得NCM为103.1、SR为96.0%、RMSE为2.37像素；在尺度变化组取得NCM为100.2、RMSE为2.41像素；在旋转与尺度联合变换组取得NCM为93.5、SR为93.0%、RMSE为2.61像素。四组平均NCM为102.8、SR为96.1%、RMSE为2.38像素。在数据集3上，NMSF成功配准全部50对图像，RMSE一致低于3像素。定性分析表明，NMSF建立的对应关系沿显著结构轮廓密集且精确分布。

消融实验。 在MSM表示消融中，将MSM替换为六种多尺度表示策略，结果表明MSM取得NCM为96.8、SR为97.3%、RMSE为2.43像素，与八方向扩展的MORTVSS（NCM为97.2）性能相当但RMSE更优。在MFOG描述子消融中，与单尺度变体和拼接式多尺度变体对比，MFOG取得最优NCM为96.8、SR为97.3%、RMSE为2.43像素，而拼接式变体MFOG-C维度高达864（三倍于MFOG的288）但NCM仅为73.3。在整体框架消融中，移除MSM导致NCM骤降至18.2、SR降至25.3%，移除MSM-ORB检测器使NCM降至37.5，移除MFOG使NCM降至48.1，而完整NMSF-All取得NCM为96.8、SR为97.3%、RMSE为2.43像素。

五、讨论与结论

研究结果表明，NMSF方法在可见光与SAR图像匹配任务中展现出卓越的鲁棒性和精度。其成功可归因于两个主要因素：其一，通过RTV模型将原始可见光和SAR图像转换为结构图，有效抑制了模态特异性辐射差异和噪声干扰，而MSM的构建在多个空间尺度上提供了鲁棒且层次化的场景结构组织表示；其二，MSM-ORB检测器与MFOG描述子的协同组合发挥了关键作用，前者可靠提取可重复且结构有意义的关键点，后者以分层方式捕获丰富的多尺度结构信息，在不增加特征维度的前提下增强了判别力和对残余畸变的鲁棒性。该方法为多模态遥感应用提供了高度可靠且高效的解决方案，在多样场景和传感器条件下展现出强大的泛化能力，为可见光与SAR图像匹配领域提供了一种有效的纯RTV框架替代方案。