《Signal Processing: Image Communication》：Enhanced image retrieval: Leveraging multi-head attention & multi-scale descriptors and hybrid aggregation feature indexing
编辑推荐：
图像检索算法通过引入多头注意力机制与多尺度特征融合（MAMSD）及混合聚合特征索引（HAFI）优化CNN架构，显著提升复杂环境下的检索准确性与效率，并验证了方法优势。
余文斌|李佳琪|张一凡|张成军|陈亚当|尹娜|刘亚历克斯·X
南京信息科学大学软件学院，中国江苏省南京市210044
摘要
检索技术，特别是在人工智能、计算机视觉以及视觉同时定位与映射（vSLAM）领域，已经在图像检索方法上取得了显著进展。尽管如此，算法复杂性和检索精度仍然存在挑战，尤其是在复杂环境中，传统算法在精度和效率方面表现不佳。为了解决这些问题，本文介绍了一种应用于实际场景的方法。该方法通过修改三种现有的卷积神经网络模型来保留手动提取方法常常丢失的局部图像特征。我们提出了一种多头注意力与多尺度描述符（MAMSD）方法，能够在不增加额外计算负担的情况下增强空间信息提取，并通过反向传播将其集成到卷积网络中进行了端到端的优化。此外，我们还引入了一种混合聚合特征索引（HAFI）技术，利用径向基函数（RBF）神经元量化CNN提取的信息，并通过基于空间划分的特征包（BOF）将其编译成直方图，从而在保持精度的同时提升推理能力。实验结果证实了MAMSD和HAFI在精度和性能上优于传统图像检索算法，其中MAMSD实现了更高的精度，而HAFI在高精度水平下表现出更好的性能。
引言
检索技术作为人工智能的基础支柱，一直是学术研究的焦点。在这一领域中，图像检索技术逐渐成为核心，尤其是在计算机视觉和视觉同时定位与映射（vSLAM）系统[1]、[2]中。图像检索技术的出现显著提高了查询效率，通过一套复杂的算法[3]实现了在庞大数据库中搜索和索引相似图像的功能。这一过程的核心包括三个步骤：局部特征描述符的提取、它们的聚类以及查询图像与数据库图像之间的相似性计算。深度学习在计算机视觉中的发展推动了快速图像特征提取技术的探索，这也是本文的重点。
基于这些核心步骤，三种代表性的算法塑造了图像检索：局部聚合描述符向量（VLAD）、特征包（BOF）和Fisher向量（FV）。每种算法采用不同的策略进行局部特征提取、聚类和相似性计算。其中，由Jégou等人[4]首次提出的VLAD影响尤为深远。其扩展版本——如集成CNN的NetVLAD[5]以及Hausler等人[6]提出的空间多尺度融合方法——进一步推动了该领域的发展。最近的变体不断改进VLAD：MS-NetVLAD[7]引入了多尺度特征融合，MR-NetVLAD[8]结合了语义分割以增强鲁棒性，SuperVLAD[9]通过超向量编码提升了性能。我们提出的MAMSD方法同样解决了VLAD的局限性，但采用了独特的多头注意力机制。与此同时，源自词袋模型[10]的BOF已成功应用于视觉任务，例如Ashour等人[11]在COVID-19检测中的应用。总体而言，从手动特征提取向基于CNN的特征提取的转变显著提高了现代图像检索系统的精度和效率。
尽管取得了这些进展，图像检索领域仍面临挑战，特别是在选择最佳模型架构和开发同时提高复杂性和检索精度的算法方面。为了解决这些问题，我们精心挑选并优化了多种CNN架构的配置以优化局部特征提取。我们进行了彻底的实验分析，以了解不同网络架构对精度和计算效率的影响。此外，本研究还探讨了图像中局部特征的空间动态性，这是传统VLAD方法所忽略的方面。我们引入了多头注意力与多尺度聚合描述符（MAMSD）方法，这是对VLAD的重大改进。该方法通过多头注意力机制显著提升了特征提取效率。同时，我们实现了多尺度融合技术，提高了模型的表示能力和泛化能力，从而提高了图像检索任务的精度。为了进一步提高图像检索效率，我们开发了混合聚合特征索引（HAFI）技术，该技术结合了VLAD和BOF的优势，提高了模型性能而不牺牲精度。利用BOF算法的固有简单性和效率，这种方法显著提升了VLAD的精度，同时保持了计算效率。
本文的结构如下：第2节探讨了CNN、VLAD和BOF的相关工作。第3节详细介绍了所提出的MAMSD方法和基于优化CNN的HAFI方法。第4节概述了实验设置和性能比较，第5节进行了深入讨论，第6节给出了结论性意见。
部分摘录
用于图像特征提取的CNN
最初，图像特征的提取主要依赖于主观评估，利用纹理和颜色等属性，并辅以SIFT[12]和SURF[13]等技术。随着深度学习的发展，这一范式转向使用预训练的神经网络进行特征提取，以应对日益增长的图像数据量和复杂性带来的快速索引需求。卷积神经网络（CNN）的发展始于
方法
在本节中，我们首先选择了三种卷积神经网络进行剪枝，以从图像中提取局部描述符，这是后续两种方法的基础步骤。然后，我们介绍了两种图像检索方法：集成多头注意力与多尺度描述符（MAMSD）方法和混合聚合特征索引（HAFI）方法。
数据集和预处理
(1) 数据集
为了收集足够的标记地标图像数据集，[46]开发了一种新的图像收集方法，该方法可以在地图上的不同时间和季节提供多个全景图像。本章选择上述数据集中的Pittsburgh30k作为实验数据，数据信息如表1所示：
(2) 预处理
为了有效提高图像检索的精度和效率，并更好地适应不同的应用
讨论
为了验证MAMSD中每个组件的有效性，本章对所提出的模型进行了消融研究。为此，使用ResNet50、MobileNet_V2和ConvNeXt提取局部特征描述符，以NetVLAD作为基线模型。MAMSD的操作被降级为仅包含多尺度融合描述符（MSD）而不包含多头注意力机制的情况，以及仅包含多头注意力机制而不包含多尺度融合机制的情况。
结论
在这项研究中，我们提出了一种创新的图像检索方法，结合了多头注意力与多尺度描述符（MAMSD）和高级版本的VLAD技术，并引入了创新的混合聚合特征索引（HAFI）策略。通过采用三种不同的卷积神经网络架构，我们成功提取了局部图像特征，从而克服了选择有效模型结构的挑战
CRediT作者贡献声明
余文斌：撰写 – 审稿与编辑，撰写 – 原稿，方法论。李佳琪：撰写 – 审稿与编辑，验证，概念化。张一凡：撰写 – 原稿，验证，方法论。张成军：撰写 – 审稿与编辑，方法论。陈亚当：研究，资金获取，概念化。尹娜：可视化，研究。刘亚历克斯·X：研究，资金获取。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：余文斌、张成军报告称，国家自然科学基金提供了财务支持、文章发表费用、设备、药品或耗材以及差旅费用。如果还有其他作者，他们声明没有已知的可能会影响所报告工作的财务利益或个人关系
致谢
资助：本研究由国家自然科学基金资助，授权编号为62473201；江苏省基础研究计划，授权编号为BK20231142。
