多尺度平移不变度量学习网络MSSI：突破可见光与长波红外图像匹配瓶颈

来自多机构的研究人员针对可见光与长波红外图像匹配中存在的空间错位、特征尺度差异等难题，开发了多尺度平移不变度量学习网络MSSI，并构建了迄今最大跨光谱数据集VL-CMIM。该模型通过特征相关性计算与深度交互机制，在VL-CMIM数据集上将FPR95显著提升至3.95，为多模态图像匹配提供了创新解决方案。

　　

基于学习算法在可见光（VIS）与长波红外（LWIR）图像块匹配任务中展现出潜力，但仍面临两大挑战：缺乏涵盖多场景的大规模数据集，以及现有空间度量学习方法忽视空间错位问题。此外，这些方法往往均质化处理图像特征，未能充分考虑同一图像对中不同尺度特征的多样性相似关系。

为此，研究团队发布了迄今最大规模的VIS-LWIR图像块匹配数据集VL-CMIM，包含1300对严格配准的可见光-红外图像及超300万图像块对，覆盖小行星、田野、乡村、建筑、街道与河流等多样化场景。同时提出多尺度平移不变度量学习网络（MSSI），创新性引入特征相关性计算取代传统的特征差分与乘积运算，实现平移不变的特征度量学习。该网络聚合多尺度特征关系以提取尺度分离的判别性信息，并在融合为统一特征关系前采用深度交互机制，促进两类特征关系间的信息流动，显著提升对光谱差异导致的表观变化的鲁棒性。

在VL-CMIM及其他公开跨光谱数据集上的实验表明，该模型在匹配精度与泛化能力方面均超越现有最优技术，其中VL-CMIM数据集的FPR₉₅指标从9.51大幅提升至3.95。