动态聚类驱动的弱监督在线哈希方法：增强相似性优化与大规模图像检索应用

本文提出一种创新的动态聚类驱动弱监督在线哈希（DC-WOH）方法，通过集成预训练CLIP模型构建增强语义相似度矩阵，结合动态同步聚类机制有效净化噪声标签，并采用离散优化算法直接生成二进制码。该方法在保持线性计算复杂度的同时显著提升图像检索精度，为大规模多媒体数据分析提供高效解决方案。

　　

亮点

批处理式社交图像哈希

个人设备与社交媒体的广泛使用显著增加了用户生成内容，包括带有用户提供标签的社交图像。但与专家标注不同，这些标签存在错误、遗漏和重复等噪声问题。社交图像哈希（又称弱监督哈希）旨在利用这种“弱”监督生成高质量哈希码。

早期方法侧重于通过矩阵分解或图学习等技术减轻标签噪声。随着深度学习发展，后续工作采用深度神经网络从图像和标签中学习联合表示。然而，这些批处理方法需要在整个数据集上进行训练，无法适应流数据场景。

在线哈希方法

在线哈希方法可分为监督、无监督和弱监督三类。监督在线哈希（如OKH、SketchHash）依赖真实标签但成本高昂。无监督方法（如AdaptHash、MIHash）不依赖标签但性能受限。弱监督在线哈希（如WOH、RPT-WOH）利用噪声标签实现性能与可扩展性的平衡，但仍在噪声处理和灾难性遗忘方面存在局限。

所提出的方法

如图2所示，DC-WOH框架包含三个核心模块：增强型 pairwise 相似度计算、动态聚类与自适应学习、在线哈希函数训练。本节概述各模块的详细方法。

数据集

我们在两个基准数据集上进行了广泛实验：MIRFlickr和NUS-WIDE。据我们所知，这是仅有的两个提供图像-标签-标注三元组的大型常用基准，对弱监督哈希评估至关重要。

MIRFlickr数据集最初包含25,000个实例和1,386个用户生成标签。出现次数少于50次或缺乏语义相关性的标签（如“2007”或“i500”）被排除，最终保留20,015个图像和1,000个标签。每个图像至少与24个语义概念中的1个相关联。

NUS-WIDE数据集包含269,648张图像，标注有81个语义概念。遵循标准协议，我们选择出现频率最高的21个概念，获得195,834张图像。每张图像配备1,000个最常用标签中的部分标签。

结论

本文提出动态聚类驱动的弱监督在线哈希与增强相似性（DC-WOH）。该方法通过新颖的同步聚类机制有效降低标签噪声，并在CLIP增强的相似度矩阵指导下学习鲁棒哈希码。高效的在线优化算法确保其可扩展至大规模数据集，大量实验证明其优于最先进基线方法。该适用性...