用于鲁棒红外可见特征匹配的跨模态代理令牌

《Computer Vision and Image Understanding》：Cross-modal proxy tokens for robust infrared-visible feature matching

　　

• •
  提出了一种基于Transformer的框架，用于红外-可见光图像匹配。
• •
  引入了跨模态代理令牌作为中间表示，以捕获模态不变的结构知识。
• •
  一种稀疏-密集混合注意力机制增强了全局语义推理和局部对应关系估计。
• •
  一种基于置信度的提前退出策略在保持匹配可靠性的同时提高了计算效率。

引言

红外-可见光（IR-VIS）特征匹配在许多多光谱视觉应用中起着重要作用（Lim等人，2022年；Mur-Artal等人，2015年；Fan等人，2022年；B. Chen等人，2024年），包括自主导航、跨模态定位和环境感知。通过利用互补的感知机制，红外图像能够捕捉热辐射，而可见光图像则编码反射光，从而在低光照、雾天和夜间等具有挑战性的条件下实现稳健的感知。然而，红外图像和可见光图像之间存在显著的模态差异，这对可靠的特征对应关系估计造成了重大挑战。成像物理的差异通常导致外观上的严重不一致性，许多局部区域具有模态特异性，因此在不同模态之间缺乏有效的对应关系。

传统的特征匹配方法主要是为同质图像对设计的，并依赖于外观一致性假设。这些假设在跨模态场景中不再成立，因为强度模式、纹理分布和噪声特性在不同模态之间差异很大。因此，直接对齐异构特征往往会导致不稳定的对应关系和匹配准确性下降。

基于学习的特征匹配方法，特别是那些利用Transformer架构的方法（Sun等人，2021年；Lindenberger等人，2023年；Chen等人，2022年；Huang等人，2023年），最近在对应关系估计方面取得了显著的性能提升。通过注意力机制对长距离特征交互进行建模，这些方法可以在单模态场景中捕获复杂的空间关系和上下文依赖性。然而，直接将密集注意力应用于跨模态匹配存在问题：大量令牌对应于缺乏可靠几何对应关系的模态特定结构，将所有令牌平等对待会迫使不匹配的区域之间发生交互。这不仅引入了噪声特征传播，还不必要地增加了计算成本，可能会导致注意力计算被不可靠的令牌主导。

为了克服这些挑战，表示学习的最新进展建议使用中间语义表示（Castrejon等人，2016年；Liu等人，2022年）。模型可以学习编码跨异构传感器共享的模态不变模式的潜在知识结构，而不是直接对齐原始特征图。这种中间表示为跨模态推理提供了稳定的基础，并能够在红外-可见光匹配任务中实现更可靠的对应关系估计（见图1）。

为了减轻计算负担，一些研究探讨了稀疏注意力机制（Tuzcuo?lu等人，2024年；Wang等人，2024年）或分层匹配策略（Lindenberger等人，2023年）。尽管这些方法降低了注意力计算的总体复杂性，但它们通常依赖于基于相似性的剪枝或粗略的特征交互。然而，在跨模态设置中，由于模态差异，特征相似性本身可能是不可靠的。因此，模态不一致的区域仍然可能参与注意力计算，导致噪声交互，从而降低匹配的稳健性。

在这项工作中，我们提出了一种带有跨模态代理令牌的双分支注意力框架，用于稳健的红外-可见光特征匹配。关键思想是在执行跨模态注意力之前，明确建模模态不变的结构表示。为此，我们引入了一组跨模态代理令牌，作为连接红外和可见光特征空间的中间表示。这些代理令牌聚合了跨模态共享的稳定结构线索，并提供了模态不变信息的紧凑表示。通过与图像特征交互，代理令牌引导注意力过程朝向可靠区域，同时抑制来自模态特定结构的干扰。

在代理令牌表示的基础上，我们进一步设计了一种自适应的稀疏注意力机制，该机制选择性地对有信息量的特征交互进行注意力计算。这种机制显著减少了不必要的计算，同时保持了由代理令牌引导的可靠对应关系。此外，为了提高实际部署效率，我们引入了一种深度提前退出策略，一旦获得稳定的对应关系，该策略会动态终止匹配过程，从而在有利的条件下实现更快的推理。

在红外-可见光匹配基准测试上的广泛实验表明，与现有的基于Transformer的匹配框架相比，提出的方法在准确性和效率之间取得了良好的平衡。特别是，我们的方法在显著模态差异的情况下提高了匹配的稳健性，同时保持了更低的计算成本。

贡献。本工作的主要贡献总结如下：

• •
  我们提出了一种跨模态代理令牌框架，用于捕获红外-可见光匹配的模态不变结构知识。
• •
  将稀疏（平方ReLU）和密集（Softmax）路径结合的双分支注意力机制与代理令牌设计集成，以平衡全局语义推理和局部几何判别。
• •
  引入了一种基于置信度的提前退出推理策略，以在保持匹配可靠性的同时降低计算成本。
• •
  广泛的实验证明了所提出框架在具有挑战性的跨模态基准测试上的有效性和稳健性。

章节摘录

可见光图像中的局部特征匹配

可见光图像的特征匹配已经得到了广泛研究。早期的方法，如SIFT（Lowe，2004年）、SURF（Bay等人，2008年）和ORB（Rublee等人，2011年），通过手工制作的梯度和尺度不变性提供了基线稳健性，但在严重的光照变化和非刚性变形下性能会下降。随着深度学习的出现，基于学习的方法变得主流。例如，LIFT（Yi等人，2016年）和SuperPoint（

方法论

在红外-可见光（IR-VIS）匹配中，跨模态域差异通常会导致纹理贫乏区域的代表性差异，而几何线索（如边缘和角落）在不同模态中往往保持结构一致性。所提出框架的总体架构如图2所示。

给定一个红外图像$I_A$和一个可见光图像$I_B$，目标是建立可靠的像素级对应关系。为此，我们采用了多层Transformer

实验细节

准备：遵循LightGlue（Lindenberger等人，2023年）的监督训练协议，对注释过的IR-VIS对进行训练。最初，模型在公共可用的特征对齐的IR-VIS数据集（Jia等人，2021年；Brown和Susstrunk，2011年）上进行预训练。这些数据集包含20,831个具有直接可导出对应标签的像素对。随后，在MD-syn（Ren等人，2025年）上进行微调，该数据集包含约一百万张图像，覆盖了196

实验

为了评估所提出框架的有效性，我们在具有显著模态差异的红外-可见光匹配基准测试上进行了广泛实验。实验旨在评估对应关系的准确性和计算效率。为此，我们在合成和真实世界数据集上评估了所提出的方法对红外-可见光跨模态特征匹配的影响，并进一步分析了其对下游任务（如相机姿态和单应性）的影响

结论

本研究解决了红外图像和可见光图像之间跨模态特征匹配的挑战性问题。为了减轻传统注意力机制在跨模态对应关系学习中的计算效率低下和噪声敏感性问题，我们提出了一种自适应的双分支注意力模块，该模块将自注意力的二次复杂度从降低到，同时在保持全局上下文聚合的稳健性的同时

CRediT作者贡献声明

Qian Luo：写作 - 审阅与编辑，撰写 - 原始草案，可视化，验证，软件，方法论，调查，形式分析，数据策划，概念化。Jiangpeng Du：写作 - 审阅与编辑，形式分析，数据策划，概念化。Hong Zhang：写作 - 审阅与编辑。Yachun Feng：写作 - 审阅与编辑。Yawei Li：写作 - 审阅与编辑。

利益冲突声明

作者声明以下可能的财务利益/个人关系可能被视为潜在的利益冲突：Qian Luo报告称得到了北航大学的写作协助。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

Qian Luo|Jiangpeng Du|Hong Zhang|Yachun Feng|Yawei Li