DeMatch++：通过深度运动场分解和相应的局部上下文聚合实现的双视图对应关系学习

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：DeMatch++: Two-View Correspondence Learning via Deep Motion Field Decomposition and Respective Local-Context Aggregation

DeMatch++方法基于傅里叶分解原理，通过分解噪声污染的运动场为线性无关基向量生成平滑子场，结合局部上下文聚合与全局信息增强，采用掩码分解策略抑制冗余子场，并构建离散可学习架构避免密集场计算，在保证计算效率的同时提升匹配精度和鲁棒性。

　　

摘要：

双视图对应关系学习越来越关注图像对之间运动场的连贯性和平滑性。传统方法要么通过大量的计算开销来规范场函数的复杂性，要么应用局部滤波器，但这些方法在处理较大场景差异时效果不佳。在本文中，我们提出了DeMatch++，这是一种受到傅里叶分解原理启发的新网络，它将运动场分解为保留其主要“低频”和平滑成分的部分。这种方法在实现隐式规范化的同时降低了计算负担，并具有固有的分段平滑性。具体来说，我们的方法将受噪声污染的运动场分解为多个线性独立的基向量，生成保持原始场主要能量的平滑子场。这些子场有助于恢复更清晰的运动场，从而实现精确的向量提取。在这个框架下，我们在每个子场内聚合局部信息，同时增强所有子场之间的全局信息。我们还采用了一种掩码分解策略来减轻错误匹配的影响，并构建了一个紧凑的表示形式以抑制冗余子场。整个流程被设计为一个离散的可学习架构，从而避免了密集场计算的需要。大量实验表明，DeMatch++在保持计算效率和分段平滑性的同时，性能优于现有的最先进方法。

引言

在计算机视觉中，找到从不同视角表示相同场景点的双视图对应关系是一个基本问题[1]。在建立稀疏对应关系后，会估计双视图图像之间的几何关系，这是结构从运动[2]、同时定位与映射[3]以及新视图合成[4]等应用的关键前提。典型的匹配流程从识别关键点和构建局部描述开始，通过评估描述相似性来生成候选匹配集[5]。尽管SIFT[6]仍然是一种广泛使用的手工设计描述符，但基于学习的替代方法也已出现[7]、[8]。然而，由于视角变化或重复模式的存在，通常会产生大量错误匹配（异常值），因此需要剔除异常值以识别真实的匹配（内点），这也是本文的重点。