HGSD：一种用于可见光-红外无人机图像的稳健配准方法

《Optics and Lasers in Engineering》：HGSD: A robust registration method for visible-infrared UAV images

　　•引入了针对不同模态的去噪步骤：高斯滤波可保留可见光通道中的边缘结构，而维纳滤波则能根据红外通道的局部信噪比进行调整，从而恢复微弱的热梯度细节。•采用基于相位一致性引导的双分支检测器，二者功能互补。赫斯矩阵行列式被用于相位一致性最大矩图上，以定位团块结构；而哈里斯响应则应用于相位一致性最小矩图上，用于检测边缘和角点特征。由于这两种相位一致性矩在本质上是正交的，因此这两个分支能够提取出结构上互补的关键点。•设计了具有尺度置信度加权的多尺度二阶张量。该模型采用三尺度张量形式，并为每个位置设置置信度权重wσ=|λ1σ?λ2σ||λ1σ|+|λ2σ|+?。在各向异性（结构丰富）的位置，该权重接近1，而在各向同性位置则为0，这样融合后的张量就能让局部响应最强的尺度主导描述符。这一设计拓展了单尺度SOFT以及盲目平均多尺度方法的适用范围，同时解决了SOFT在无人机飞行高度变化导致尺度差异时的缺陷。•采用了联合关键点筛选机制。本文通过整合边界衰减、网格聚类以及显著性评分过滤，构建了一套完整的关键点筛选方案。

引言
近年来，随着无人机技术的快速发展，无人机能够高效且经济地采集大范围的热红外图像和可见光图像[1]。双光无人机图像能够反映地面物体的热特性和反射特性，被广泛应用于军事、精准农业以及电力巡检等领域[2]、[3]。因此，双光无人机图像的配准具有重要的实际意义。当无人机在低空飞行时拍摄双光图像，其空间视角会发生显著变化。在天气和光照条件的影响下，这些图像容易发生非刚性变换和非线性辐射度变换。图像配准方法通常根据建立对应关系的方式分为三类：基于区域的方法通过比较局部窗口内的强度或统计相似性；基于学习的方法直接从训练数据中回归几何关系；而基于特征的方法则通过提取稀疏且可重复的关键点，再匹配其特征描述符来恢复变换关系[4]。其中，基于深度学习的配准方法需要大量的数据集训练才能获得稳定的配准结果[5]；基于区域的方法计算成本较高；而基于特征点的配准方法则无需数据集训练，能够快速高效地得到配准结果，且对几何失真具有一定的鲁棒性。基于特征点的配准方法通常包括四个步骤：特征提取、特征描述、特征匹配以及图像配准。在过去几十年中，许多专家学者对配准方法进行了大量研究。D. G. Lowe于1999年提出了尺度不变特征变换SIFT[6]；Herbert Bay在2008年提出了快速鲁棒特征SURF[7]；Ethan Rublee则在2011年提出了定向FAST与旋转BRIEFORB特征点检测与匹配算法[8]。这些方法在配准相似图像方面表现出一定的鲁棒性，但对于双光无人机图像的配准却极为敏感，也无法有效解决无人机低空飞行时出现的NRD问题。因此，基于相位一致性的模型逐渐受到重视。2020年，Li等人提出了辐射度不变特征变换RIFT模型[9]，该模型结合了角点和边缘信息，以应对异构图像配准中的难题。然而，这些算法存在旋转不变性限制，且易受双光图像中对应点之间梯度差异的影响。随后，在2023年，Zhang等人提出了面向多模态遥感图像匹配的定向加权相位直方图HOWP模型[10]，该模型解决了旋转不变性问题，但对无人机低空飞行时的梯度变化仍较为敏感。因此，开发一种能够抵御非刚性变形、光照变化以及噪声干扰的双光无人机图像配准方法具有重要意义。尤其是，由未冷却微测辐射热计传感器采集的红外图像存在不均匀性伪影和固定模式噪声，这些因素会进一步降低配准性能。已有研究提出了基于高阶方向信息和低秩先验信息的多阶段不均匀性校正方法[11]，以减轻此类问题带来的影响，这也凸显了在后续视觉任务中进行专门的红外图像预处理的重要性。为了解决上述问题，本文提出了一种名为HGSD的基于特征的双光（可见光-红外）低空无人机图像配准算法。该算法的目标是在热红外图像和可见光图像之间获得可靠且空间上一致的对应特征点。整个处理流程包含五个阶段：首先进行针对不同模态的去噪处理——高斯滤波用于保留可见光通道中的边缘结构，而维纳滤波则根据红外通道的局部信噪比进行适配；其次，采用基于相位一致性引导的双分支检测器从盒型滤波金字塔中提取多尺度关键点——在相位一致性最大矩图上计算经过尺度归一化的赫斯矩阵行列式以定位团块结构，同时在相位一致性最小矩图上计算哈里斯响应以定位边缘和角点结构，随后将这两组互补的关键点进行融合；第三，采用一种联合关键点筛选策略，整合边界衰减、尺度空间网格聚类以及显著性评分过滤等功能，以此去除不可靠的边界点，平衡特征在图像中的空间分布，确保每个网格单元中保留最具代表性的关键点；第四，计算每个保留关键点的主方向，进而构建具有尺度置信度加权的多尺度二阶张量方向特征图；结合类似GLOH的描述符框架，最终得到一个204维的特征向量，从而实现具有强鲁棒性的旋转不变匹配；最后，利用FLANN进行快速的粗略匹配，再通过EGIO算法剔除不匹配的关键点，最后通过迭代优化求解最优的二阶多项式变换参数，从而得到最终的配准图像。为说明本研究所面临的典型挑战以及所实现的改进效果，图1展示了一个典型的匹配场景——在无人机低空飞行过程中，双光图像受到了噪声、光照变化以及非刚性变形的干扰；图2则显示了在同一坐标系下的相应配准结果。可以看出，在如此复杂的条件下，不同方法的匹配质量和对齐一致性存在明显差异。本研究的主要贡献如下：(1)引入了针对不同模态的去噪步骤：高斯滤波可保留可见光通道中的边缘结构，而维纳滤波则能根据红外通道的局部信噪比进行调整，从而恢复微弱的热梯度细节。(2)采用基于相位一致性引导的双分支检测器，二者功能互补。赫斯矩阵行列式被用于相位一致性最大矩图上，以定位团块结构；而哈里斯响应则应用于相位一致性最小矩图上，用于检测边缘和角点特征。由于这两种相位一致性矩在本质上是正交的，因此这两个分支能够提取出结构上互补的关键点。(3)设计了具有尺度置信度加权的多尺度二阶张量。该模型采用三尺度张量形式，并为每个位置设置置信度权重wσ=|λ1σ?λ2σ|/(|λ1σ|+|λ2σ|+?)。在各向异性（结构丰富）的位置，该权重接近1，而在各向同性位置则为0，这样融合后的张量就能让局部响应最强的尺度主导描述符。这一设计拓展了单尺度SOFT以及盲目平均多尺度方法的适用范围，同时解决了SOFT在无人机飞行高度变化导致尺度差异时的缺陷。(4)提出了统一的关键词筛选策略。该策略将边界抑制、基于网格的聚类以及基于显著性评估的选择功能整合到同一个框架中，从而有效去除不稳定响应，同时保留图像中具有代表性的关键点。实验验证表明，该策略能够生成结构更为稳固、空间分布更为均匀的关键点。所提出的HGSD框架还整合了多种现有的技术手段，包括相位一致性模型[12]、类似GLOH的描述符框架[13]、EGIO异常点剔除算法[13]、基于FLANN的匹配方法[14]以及二阶多项式变换模型[15]、[16]。这些组件作为整体框架中的辅助元素，并不被视为独立的方法创新点。因此，本研究的贡献主要集中在针对不同模态的去噪步骤、基于相位一致性引导的双分支检测器、具有尺度置信度加权的多尺度二阶张量描述符以及统一的关键词筛选策略上，同时也包括将这些要素整合为一个用于低空可见光-红外无人机图像配准的完整框架。本文的其余部分安排如下：第2节回顾相关研究，第3节详细介绍所提出的配准方法，第4节分析和讨论实验结果，第5节对全文进行总结。

相关研究
传统上，根据建立对应关系的方式，图像配准方法可分为三类：基于区域的方法、基于特征的方法以及基于学习的方法。以下各小节将分别对这些方法进行介绍。

方法
本节详细介绍了HGSD配准算法的具体内容：3.1节阐述该框架的整体结构，3.2节介绍针对不同模态的图像预处理方法，3.3节详细描述多尺度特征提取过程，3.4节介绍特征描述符的设计，3.5节则涵盖匹配与配准的实现步骤。为阐明本研究与笔者早期研究的HRCP[35]之间的关联，表1从多个设计维度对二者进行了系统对比。HRCP是……

实验与分析
下文将对HGSD的实验效果进行评估，评估内容共分为四个部分：实验配置、所采用的四种匹配指标、逐项的消融实验，以及与现有先进方法的对比分析。

结论与未来工作
本研究探讨了在光照变化、噪声干扰以及非刚性变形等复杂环境下，可见光-红外无人机图像的配准问题。所设计的HGSD框架采用了针对不同模态的自适应去噪技术，以及基于赫斯矩阵和哈里斯算子的、由相位一致性引导的双分支特征检测方法。此外，该框架还整合了边界抑制、网格聚类以及显著性评估功能，用于优化关键点选择，同时还构建了具有尺度置信度加权的多尺度二阶张量描述符……

CRediT作者贡献说明
陈梦婷：撰写——初稿、软件实现、方法设计、概念构思。龙世功：撰写——审稿与编辑、指导工作。石毅：撰写——审稿与编辑、指导工作。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了四川省科技计划项目（项目编号2024NSFSC0498）以及成都工业学院研究生教育教学改革项目（项目编号2023YJG217）的支持。

陈梦婷|龙世功|石毅