对称双向知识对齐在零样本草图图像检索中的创新应用

本文提出了一种创新的对称双向知识对齐框架(SBKA)，用于解决零样本草图图像检索(ZS-SBIR)中的跨模态差异问题。通过设计教师-学生模型间的双向知识交互机制和首创的一对多聚类跨模态匹配算法，显著提升了模型在Sketchy Ext等数据集上的检索性能，为计算机视觉领域提供了新的跨模态学习范式。

　　

Highlight

零样本草图图像检索

早期SBIR方法采用手工特征进行跨模态图像检索，如Eitz等[2010a,b]。随着深度学习发展，Shen等[2018]首次提出ZS-SBIR任务并开发了三通道哈希网络架构。当前ZS-SBIR研究主要分为基于卷积网络的方法(Dey等[2019])和基于Transformer的方法(Lin等[2023])两类。

创新方法

本研究提出对称双向知识对齐框架(SBKA)，重点解决零样本跨模态检索中的两大核心问题：模态间差异和类内差异。草图的高度抽象线条与照片的丰富纹理形成显著领域差异，而SBKA通过双向知识交互机制实现：

1）教师模型将ImageNet预训练知识蒸馏至草图域

2）学生模型通过对抗学习将草图特征反向对齐至照片域

3）创新性地引入动态温度系数调节知识传递强度

实验验证

在Sketchy Ext等标准数据集上的实验表明：

• 检索准确率较基线模型提升12.7%

• 双向对齐策略使特征空间相似度提高29.3%

• 聚类匹配算法有效降低类内方差达18.5%

研究结论

本工作提出的SBKA框架通过：

1）建立教师-学生模型的双向学习通道

2）开发基于密度峰值的自适应聚类算法

3）设计跨模态对比损失函数

为计算机视觉领域的跨模态检索提供了新思路，特别在医疗影像检索等场景具有应用潜力。

作者贡献声明

刘德成：方法论，初稿撰写

罗旭：可视化，软件开发

彭春雷：论文审阅，研究指导

王楠楠：数据资源管理

胡瑞敏：实验验证

高新波：论文审阅，项目监督

利益冲突声明

所有作者声明不存在可能影响本研究结果的财务或个人关系冲突。