XoFTR++：用于可见光-热成像点对应匹配的双阶段跨模态增强

《Scientific Reports》：XoFTR++: dual-stage cross-modal enhancement for visible-thermal point correspondence matching

　　

摘要

可见光至热红外特征匹配对于多传感器融合至关重要，但由于图像形成机制、纹理统计和结构响应中存在巨大的模态差异，这一任务仍然具有挑战性。现有的由粗到精框架（如 XoFTR）改善了跨模态匹配，但其跨模态交互主要集中在 Transformer 匹配阶段，尚未充分解决阶段性误差传播问题。本研究提出了 XoFTR++，一种用于可见光 - 热红外对应匹配的双阶段跨模态增强框架。在粗粒度阶段，引入了跨模态特征增强（CMFE）、自适应特征金字塔融合（AFPF）和粗粒度 Transformer 增强（CLTE），以减少早期模态偏移，将多尺度语义上下文注入细粒度特征，并提高粗候选者的可靠性。在细粒度阶段，细粒度跨模态注意力增强（FCAE）建模局部上下文、模态差异和双向窗口交互，以减少最终相似度估计前的局部匹配歧义。在 METU-VisTIR 数据集上（RANSAC=1.5），XoFTR++ 在晴朗 - 多云场景中将 AUC@5/10/20 从 12.31±0.62/28.03±0.52/44.92±0.49 提升至 15.07±0.44/29.95±1.32/47.14±1.28，在多云 - 多云场景中将 AUC@5/10/20 从 22.05±1.72/39.11±1.63/54.96±1.59 提升至 23.28±0.52/41.02±1.04/57.13±1.21，参数增加了 10.29%。受控消融实验和阶段性诊断支持了四个模块的互补贡献。在公开的 FusionDN RoadScene 和 MSRS 数据集上进行的独立合成单应性评估，提高了总体 AUC@5/10/20 并降低了平均角点误差，在指定的外部协议下提供了补充的迁移证据。