基于最优运输的遥感图像匹配视觉语义一致性方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Optimal Transport–Driven Visual Semantic Consensus for Remote Sensing Image Matching

　　

摘要：

遥感图像匹配是众多地球观测应用中的基础任务，比如变化检测、多时相分析以及跨传感器融合等。然而，由于成像条件存在较大差异，要实现可靠的匹配仍然极具挑战性。现有的方法在面对较大的几何变形时，往往缺乏足够的鲁棒性。为了解决这一问题，我们提出了一种基于最优传输理论的新型语义共识框架。与传统依赖特征点空间拓扑结构的共识方法不同，我们的方法利用视觉语义线索来提升潜在匹配结果的区分度。具体而言，通过整合视觉语言大型模型，我们设计了一种语义共识学习范式，可用于评估对应关系之间的视觉语义一致性。更重要的是，该框架基于最优传输理论，可通过自监督方式训练，无需额外的手动标注。在本研究中，我们还提供了一种模型实现方案，将所提出的语义共识学习与不匹配拒绝网络相结合。总体而言，这项工作为将自监督学习与局部语义共识学习相结合提供了通用范式。在多个数据集上的全面测试表明，我们的方法不仅在匹配精度上优于现有的先进基准方法，而且还能很好地适应各种图像变形情况。