一种基于自监督学习和动态组合注意力机制的玉像检索方法

《Pattern Recognition Letters》：A Jade Image Retrieval Method Based on Self-Supervised Learning and Dynamically Composable Attention

玉器图像检索面临细粒度纹理与全局形态融合的挑战，本文提出JadeFormer模型与GCM框架。JadeFormer基于增强型Swin Transformer，创新性设计CW-MHA机制实现局部与全局特征协同提取，并引入LPFM模块通过双向跨注意力融合原型知识。GCM框架通过动态图结构对比损失与注意力正则化增强负样本区分能力。实验表明在自建数据集上准确率达82.7%，有效支撑文化遗产数字化保存。

　　

李文佳|乔尚晓|朱鹏宇|赵一轩|王振宇

华北电力大学控制与计算机工程学院，北京，102206，中国

摘要

玉器作为重要的文化遗产象征，在数字保存方面面临挑战，因为它们具有多样的形式和复杂的纹理。本研究介绍了一种名为JadeFormer的新图像检索模型，该模型是在我们提出的图对比动量（GCM）框架下训练的。JadeFormer基于改进的Swin Transformer架构，整合了一种新颖的组合窗口多头注意力（CW-MHA）机制和基于双向交叉注意力的可学习原型融合模块（LPFM），以高效捕捉细粒度纹理和全局形态。我们的核心贡献是GCM框架，它引入了基于图的对比损失和注意力正则化，以增强对复杂负样本的区分能力。在自构建的数据集上的实验表明，我们的方法在所有评估方法中取得了82.7%的最佳准确率，为文化遗产保护提供了强大的支持，同时保持了计算效率。

引言

玉器作为中国文化的象征，拥有丰富的器形多样性和复杂的装饰纹理。这些文物的数字化超越了时间和空间的限制，为艺术史和考古学等领域提供了高效的内容基础图像检索（CBIR）方法[1]、[2]。

然而，高精度检索面临三个核心挑战。首先，微观雕刻纹理与宏观形态之间的复杂相互作用形成了一个具有挑战性的特征景观，这种挑战因类别间的细微视觉差异而加剧。其次，大规模、精确标注的玉器数据集非常稀缺，限制了传统监督模型的泛化能力。第三，传统的卷积网络或基本Transformer架构往往难以同时捕捉细粒度纹理细节和整体结构语义[3]。

最近在自监督学习（SSL）方面的进展，特别是对比方法，通过从未标记数据中提取区分性表示来为图像检索任务提供强大的解决方案[4]。同时，视觉Transformer的多头注意力（MHA）机制经常受到头部冗余和低秩瓶颈的影响[5]、[6]，这阻碍了对复杂玉器特征至关重要的特征整合。

为了解决这些问题，本研究引入了JadeFormer，这是一种在图对比动量（GCM）框架下训练的新玉器图像检索模型。JadeFormer基于改进的Swin Transformer，提出了一种新颖的组合窗口多头注意力（CW-MHA）机制来适应性地建模局部纹理和全局结构。我们进一步提出了一个可学习原型融合模块（LPFM），它使用双向交叉注意力机制来融合训练得到的原型知识，以增强对特征性玉器特征的敏感性。最后，GCM框架利用基于图的损失函数来增强对复杂负样本的区分能力。

本文的主要贡献如下：

•

我们提出了图对比动量（GCM）框架，这是一种专为玉器图像检索设计的新自监督学习方法，通过动态相似性图和注意力正则化来增强区分能力。

•

我们提出了JadeFormer，这是一种改进的Swin Transformer编码器，具有新颖的组合窗口多头注意力（CW-MHA）机制，可以高效捕捉玉器的细粒度纹理细节和全局形态结构。

•

我们设计了一个具有双向交叉注意力机制的可学习原型融合模块（LPFM），用于融合训练得到的原型知识，以增强玉器特征的特异性。

相关文献片段

相关工作

对比视觉表示学习。自监督学习（SSL）通过设计伪任务从大量未标记数据中提取区分性特征表示[4]。特别是对比学习，通过最大化正样本对内的相似性并最小化负样本对间的相似性来优化网络，以学习鲁棒特征。常见的方法，如MoCo、BYOL和SimSiam，采用带有各种数据增强技术的孪生网络架构来捕捉内在特征

方法

本节介绍了JadeFormer，这是一种使用图对比动量（GCM）框架训练的新玉器图像检索模型。GCM结合了动态注意力和自监督学习，以应对玉器图像中固有的复杂纹理和多样形态（图1）。

实验

在本节中，我们介绍了实验设置、性能评估和消融研究，以评估我们提出的方法GCM的有效性，该方法以JadeFormer架构作为其基础。

结论

在这项研究中，我们通过提出图对比动量（GCM）框架和JadeFormer架构解决了玉器图像检索的挑战。JadeFormer基于改进的Swin Transformer，结合了组合窗口多头注意力（CW-MHA）机制和可学习原型融合模块（LPFM），有效捕捉了细粒度细节和全局语义。在我们自构建的数据集上的实验确认，所提出的方法取得了

CRediT作者贡献声明

李文佳：撰写——原始草稿、方法论、概念化。乔尚晓：软件、形式分析。朱鹏宇：数据整理。赵一轩：可视化。王振宇：项目管理和资金获取。

利益冲突声明

王振宇报告称获得了国家自然科学基金的支持。王振宇报告称获得了中央高校基本研究基金的支持。如果有其他作者，他们声明没有已知的利益冲突或个人关系可能影响本文报告的工作。