《Journal of Web Engineering》：Unsupervised Cross-Modal Hashing Algorithms for Web Multimedia Retrieval
编辑推荐：
随着Web中多模态数据的迅猛增长，开发高效且经济实惠的跨模态（Cross-Modal, CM）检索技术以提升Web应用中的用户体验日益重要。然而，传统哈希方法往往忽略Web图像附带文本描述中蕴含的有价值语义信息。此外，这些方法通常过度依赖监督学习，这使其在标注
随着Web中多模态数据的迅猛增长，开发高效且经济实惠的跨模态（Cross-Modal, CM）检索技术以提升Web应用中的用户体验日益重要。然而，传统哈希方法往往忽略Web图像附带文本描述中蕴含的有价值语义信息。此外，这些方法通常过度依赖监督学习，这使其在标注常常稀缺的现实Web场景中难以适应。为解决这一问题，研究人员提出了一种用于Web多媒体检索的无监督CM哈希算法。通过挖掘与Web图像关联的文本语义结构，并利用深度网络实现从文本到视觉的语义迁移，构建了一个统一且高效的哈希学习框架。实验表明，所提方法在16位哈希码（Hash Codes, HCs）下取得的平均精度均值（mean Average Precision, mAP）为0.3370和0.6990；当HC长度增加至128位时，mAP分别提升至0.3632和0.7575，与性能最优的基线方法相比实现了13.0%和4.04%的绝对提升。进一步分析表明，语义迁移机制显著提升了HCs的语义表示能力。即使在仅使用20%标注数据的半监督设置下，检索mAP仍可达0.8871。该方法在训练阶段仅需部分图像-文本对，并在检索阶段支持纯图像查询，在汉明距离计算下可实现毫秒级响应时间。这为Web规模的多媒体检索提供了一种高效且实用的解决方案。
论文解读：基于AlexNet语义迁移的无监督跨模态哈希算法
随着Web 2.0和移动终端的普及，图像、文本、视频等多模态数据急剧增长，如何从海量异构数据中准确、高效地检索有效信息成为亟待解决的问题。传统跨模态哈希方法依赖手工特征和浅层语义建模，难以捕捉模态间的高层语义关联；而现有深度跨模态哈希方法大多依赖大规模标注数据进行监督学习，在Web场景中标注稀缺且获取成本高，难以实际应用。此外，多数方法将文本和视觉特征独立处理或简单拼接，未能利用文本描述中丰富的语义结构来指导视觉表示学习。为此，研究人员提出了一种基于AlexNet语义迁移的无监督跨模态哈希算法，用于Web多媒体检索，旨在通过文本到视觉的语义迁移实现零标注条件下的高效检索。该研究发表在《Journal of Web Engineering》。
研究人员构建了端到端的无监督跨模态哈希框架。该框架首先利用AlexNet多层卷积网络提取图像视觉特征，再通过语义迁移模块将文本侧无监督语义信息注入视觉通道，使图像特征在保持自身相似性的同时融合文本语义。随后，网络联合生成二值哈希码和可复用哈希函数，完成训练。训练后的哈希函数可对任意查询图像实时生成紧凑编码，实现Web图像快速检索。在完全无标注条件下，文本主题分布构建的语义相似性矩阵作为软标签监督视觉哈希学习；在半监督条件下，20%标注数据使用真实标签严格监督，其余80%依赖语义相似性矩阵进行弱监督。
为开展研究，作者采用的主要技术方法包括：其一，基于K-means的无监督语义学习方法，对文本语义特征计算高斯核相似度矩阵，经稀疏化、度矩阵归一化和拉普拉斯图特征分解，取前K个特征向量归一化后执行K-means聚类，生成文本伪类别标签；其二，基于AlexNet的视觉特征提取网络，将池化核调整为2×2、明确各卷积层padding策略，并将全连接层输出维度改为哈希码长度，前七层使用ImageNet预训练权重微调，第八层随机初始化；其三，跨模态语义对齐与哈希优化方法，利用最大似然估计构造目标函数，引入辅助变量松弛离散优化问题，通过交替优化和反向传播更新网络参数，最终以符号函数生成哈希码。实验数据来自公开数据集WiKi（含2866个图像-文本对）和NUS-WIDE（过滤后5200张图像），文本部分使用隐狄利克雷分配提取主题特征，图像部分使用原始像素输入。
4.1 实验设置
研究人员在WiKi和NUS-WIDE数据集上与UKD-SS、DJSRH、CMFH算法进行对比，以平均精度均值（mAP）和精度（Precision）为评价指标。通过敏感性分析确定WiKi数据集上最优参数为谱聚类数10、高斯核参数0.1、稀疏正则项1，此时检索时间为7.1 ms，表明参数设置有效。算法迭代400次，输入图像尺寸为227×227。
4.2 总体性能比较与分析
实验结果显示，在16位哈希码条件下，所提算法在WiKi和NUS-WIDE数据集上的mAP分别为0.3370和0.6990；当哈希码长度增至128位时，mAP提升至0.3632和0.7575，相比对比算法分别实现了13.0%和4.04%的绝对提升。在WiKi数据集上，当检索量为1000时，16位、32位、64位和128位哈希码下的精度分别为0.098、0.130、0.120和0.140，均高于UKD-SS、DJSRH和CMFH。在NUS-WIDE数据集上，所提算法的精度曲线在不同哈希码长度下均高于对比算法。与无监督算法UCCH和CIRH相比，128位哈希码下所提算法在WiKi和NUS-WIDE上的mAP分别高约1.22%和1.32%、1.68%和2.09%，表明其能学习到更具判别性的跨模态特征表示。
4.3 语义迁移机制有效性验证
在0%标注且纯图像查询条件下，WiKi数据集128位哈希码的mAP为0.948，NUS-WIDE数据集为0.936，均优于对比算法。在20%标注的半监督条件下，WiKi数据集128位哈希码时，所提算法mAP为0.8871，高于UKD-SS的0.7476、DJSRH的0.7328和CMFH的0.7251；NUS-WIDE数据集上也获得更高mAP。训练阶段仅需部分图像-文本对，检索阶段支持纯图像查询，随检索量增加，汉明距离计算下的响应时间稳定在4 ms至18 ms，实现毫秒级响应。WiKi数据集文本-图像相关性高且类别空间较小，语义聚类更准确，因此性能优于NUS-WIDE。
讨论部分认为，基于K-means的无监督语义学习方法能够有效捕获文本模态的潜在语义结构，通过谱聚类和稀疏约束优化的语义类别矩阵为图像哈希学习提供可靠监督信号；基于AlexNet的语义迁移机制使图像特征融合文本语义，优化了哈希码的语义表示能力。最大似然估计优化的哈希码矩阵可充分利用有限标注信息，结合无监督语义学习伪标签实现高效半监督哈希学习。固定参数离散化和反向传播梯度计算保证了部分标注数据下算法的收敛性与稳定性。二值哈希表示与汉明距离高效计算使大规模检索可在毫秒级完成，满足Web规模多媒体检索的实时性要求。未来可采用Vision Transformer等新架构结合轻量化方法进一步提升检索精度。
研究结论可翻译为：为应对标注数据稀缺的Web环境中的跨模态检索挑战，研究人员开发了一种无监督哈希框架，将语义知识从文本迁移到视觉模态，从而消除对人工标注的依赖。在标准基准上的大量实验表明，与现有基线方法相比，该方法实现了更优的检索精度和平均精度均值。值得注意的是，该框架在有限标注数据下仍保持有效性能，并实现了适合实时应用的响应时间。这些结果表明，语义迁移构成了无需大量监督即可进行大规模多媒体检索的可行机制。
