面向大规模跨模态检索的PPMI驱动语义增强图正则化哈希方法（SEGRH）

《Data Science and Engineering》：Semantic-Enhanced Graph Regularization Hashing for Large-Scale Cross-Modal Retrieval

　　

在大规模数据领域，跨模态哈希（cross-modal hashing）因低存储需求和快速检索速度而在快速相似性搜索任务中受到显著关注。现有监督式跨模态哈希学习方法已为充分利用监督信息进行了广泛尝试。与以往工作不同，研究人员提出一种名为语义增强图正则化哈希（Semantic-Enhanced Graph Regularization Hashing, SEGRH）的方法，为该研究领域贡献了新的探索。具体而言，该方法包含两个核心组件：对比式跨模态融合（contrastive cross-modal fusion）和鲁棒语义保持（robust semantic preservation）。研究人员采用预训练的CLIP模型作为骨干网络提取模态特定特征，随后通过多模态Transformer（multimodal Transformer）进行融合。鲁棒语义保持旨在挖掘并整合高质量语义信息。SEGRH首先利用正点互信息（positive pointwise mutual information, PPMI）将标签信息转换为语义关联度量。其次，引入图拉普拉斯（graph Laplacian）以吸收此类语义线索，并进一步约束哈希空间的结构。SEGRH能够执行高质量多模态学习，并具备强语义一致性建模能力，从而实现满意的泛化性能。在三个标准数据集上的实验结果表明，该方法显著优于先前的最先进方法。

研究背景与问题：跨模态检索（cross-modal retrieval，支持图像与文本等异构数据间相似性搜索）是大规模多媒体信息系统的关键任务。跨模态哈希（cross-modal hashing，将不同模态数据映射为共享短二进制码并以Hamming距离进行高效相似性度量）因低存储需求和快速检索速度而受到关注。现有方法可分为无监督与监督两类；无监督方法避免标注成本，但哈希码语义判别性常不足；监督方法利用标签信息生成更具判别性的哈希码，而CLIP（Contrastive Language–Image Pre-training，视觉-语言预训练模型）的兴起为跨模态理解提供了强特征空间。尽管如此，监督信息利用仍存在两个问题：多数方法以样本标签向量间余弦相似度构造监督，只判断样本是否“相关”，不度量类别间语义关联强度，导致监督信号不可靠并影响哈希码语义一致性；对比损失或三元组损失仅作用于样本对层面，无法在二值化前对连续表示空间施加全局结构约束，造成最终Hamming空间中语义拓扑缺乏连贯性、相似性度量不一致。为此，研究人员受正点互信息（positive pointwise mutual information, PPMI；衡量两个元素共现频率高于随机预期的关联强度）启发，提出语义增强图正则化哈希（Semantic-Enhanced Graph Regularization Hashing, SEGRH）方法。SEGRH包含对比式跨模态融合与鲁棒语义保持两个核心组件：以预训练CLIP为骨干提取模态特定特征，经多模态Transformer（multimodal Transformer，利用自注意力建模跨模态交互）融合；以PPMI将类别共现统计转化为连续语义关联，并通过图拉普拉斯正则化（graph Laplacian regularization，利用图结构约束表示空间）约束哈希空间结构。该研究的意义在于为跨模态哈希提供同时捕捉细粒度连续语义关联和全局结构对齐的监督机制，并首次将PPMI引入跨模态哈希。

关键技术方法：采用MIRFlickr（20,015有效图文对）、NUS-WIDE（186,577图文对）、MS COCO（123,287图文对）三个公开基准，按既有协议划分查询集、检索库与训练集。以CLIP ViT-B/32提取图像和文本特征，解冻最后层并以跨模态对齐损失优化；将图像、文本特征拼接后输入多模态Transformer融合，再经模态特定MLP（multi-layer perceptron，多层感知机）生成K位近似哈希码，并以对比式哈希损失保持跨模态一致性，最终得到图像与文本二进制码B^v、B^t。利用标签共现统计构造PPMI语义关联矩阵，结合图拉普拉斯正则化对哈希空间施加全局约束；以sign(·)二值化，并以Adam（自适应矩估计优化器）优化。

研究结果：4.2 与基线方法比较（Comparison with Baselines, RQ1）：通过三个数据集在不同哈希长度下的mAP@50（前50个检索结果的平均精度均值）比较及top-N精度曲线，SEGRH在图像到文本（I2T）和文本到图像（T2I）任务中均优于所比较的监督与无监督基线；在NUS-WIDE上较BiLGSEH平均提升I2T约4%、T2I约7.7%；将基线骨干统一替换为CLIP后，SEGRH仍领先九个基线，表明PPMI驱动图拉普拉斯正则化策略有效且性能稳健。4.3 进一步分析（Further Analysis, RQ2）：4.3.1 消融研究（Ablation Studies）：通过SEGRH-1（以均方损失替代拉普拉斯正则化）、SEGRH-2（以标签向量余弦监督替代共现统计与PPMI）、SEGRH-3（冻结CLIP最后残差注意力块）及逐项移除J_align、J_fusion、J_hash、J_semantic，发现各变体与各损失移除均导致mAP@50下降，说明拉普拉斯正则化、PPMI监督、CLIP微调及各损失项均必要。4.3.2 超参数敏感性（Sensitivity to Hyperparameters）：通过分析λ₁～λ₄在三数据集不同哈希长度下的平均mAP，发现λ₁超过0.1后性能渐降，λ₂在[0.1, 1]较优，λ₃接近1时峰值，λ₄在1最优且超过1急剧下降，趋势跨数据集大致一致，表明模型具稳定性和泛化性。4.3.3 收敛性分析（Convergence Analysis）：通过目标函数性质分析与不同数据集/哈希长度的收敛曲线，早期检索精度快速上升后趋于稳定；MIRFlickr较NUS-WIDE和MS COCO收敛更快更稳，后者因标签密度和语义复杂度更高而方差更大、需更多迭代。4.3.4 可视化（Visualization）：通过64位哈希码的top-5检索展示，MS COCO查询“A man riding a wave on top of a surfboard”返回冲浪相关图像，表明方法能捕捉跨模态语义关系并给出精确多样结果。4.4 训练效率（Training Efficiency）：通过在预提取特征上与BiLGSEH比较不同哈希长度训练时间，SEGRH在各设置下训练时间更少，归因于简化公式减少冗余计算，显示效果与效率的较好权衡。

讨论与结论：讨论部分强调，SEGRH以PPMI将类别共现统计转化为可量化连续语义关联，较依赖标签向量、成对相似矩阵、层次标签、标签嵌入或复杂模块的监督方式，可避免过度简化的离散判断并过滤偶然噪声；图拉普拉斯约束无需额外网络参数即可将PPMI拓扑嵌入哈希空间，保持连续语义流形并实现全局语义对齐。结论翻译：本文针对监督跨模态哈希提出SEGRH方法。鉴于监督信息在该研究领域的关键作用，研究人员探索了一种挖掘和利用语义信息的新策略。具体而言，通过PPMI将类别共现统计转化为可量化语义关联，并借助图拉普拉斯正则化对哈希空间施加全局约束，该方法能够生成更忠实捕捉跨模态真实语义关系的二进制码。此外，为促进多模态学习，研究人员设计了对比式跨模态融合模块。标准基准上的广泛实验表明，SEGRH相较现有最先进方法取得更优性能，证明了其有效性和泛化性。研究人员希望该工作能为监督跨模态哈希算法设计提供新视角。