SDE2D：基于语义引导的可区分性增强特征检测器和描述符

《IEEE Transactions on Multimedia》：SDE2D: Semantic-Guided Discriminability Enhancement Feature Detector and Descriptor

语义分割引导的特征区分性增强方法在室内场景计算机视觉任务中显著提升性能，通过设计SDE损失函数和集成语义分割网络的新框架，有效解决弱纹理区域特征区分度不足的问题，实验验证优于现有方法。

　　

摘要：

局部特征检测器和描述符在各种计算机视觉任务中发挥着重要作用，例如图像匹配、视觉定位和3D重建。为了应对现实世界中旋转和光照的极端变化，大多数检测器和描述符会尽可能捕捉到更多的不变性。然而，这些方法忽略了特征的区分能力，在室内场景中的表现较差。室内场景中存在大量纹理较弱甚至纹理重复的区域，因此提取的特征需要具备足够的区分能力。为此，我们提出了一种基于语义指导的方法（称为SDE2D），以增强特征的区分能力，从而提高描述符在室内场景中的性能。我们开发了一种基于语义指导的区分能力增强（SDE）损失函数，该函数利用了室内场景的语义信息。据我们所知，这是首次将语义分割应用于增强特征区分能力的深度研究。此外，我们设计了一个新的框架，使得语义分割网络能够作为模块很好地融入整个框架中，并为训练提供指导信息。我们还探讨了不同语义分割模型对我们方法的影响。在室内场景数据集上的实验结果表明，所提出的SDE2D与现有的最先进模型相比表现更为出色。

引言

局部特征检测和描述可用于识别和匹配两张或多张图像中的相同内容[1]。这是多种应用（如机器人视觉定位、3D重建、基于运动的结构分析和虚拟现实）中的基本计算机视觉问题[2]、[3]、[4]、[5]。为了在图像之间重复检测相同的内容，大多数方法需要提取可重复的关键点（也称为特征点或兴趣点）[6]。