
-
生物通官微
陪你抓住生命科技
跳动的脉搏
面向流式数据与层级标签的在线跨模态哈希学习:OH-CMH模型在标签增量场景下的创新研究
【字体: 大 中 小 】 时间:2025年06月17日 来源:Knowledge-Based Systems 7.2
编辑推荐:
针对流式数据环境下层级标签语义利用不足及新标签增量难题,山东大学团队提出在线层级跨模态哈希模型OH-CMH。该研究首创融合混合语义矩阵与层级标签动态编码技术,在FashionVC和Ssense数据集上实现MAP指标显著提升,为多模态检索系统提供高效解决方案。
在大数据时代,跨模态检索面临存储成本高、检索效率低、语义理解粗放三大痛点。传统哈希方法(如SDH、NSH)依赖批量学习模式,难以适应实时数据流场景;而现有层级哈希模型(如SHDH、HiCHNet)虽能捕捉标签层级关系,却无法处理动态新增标签。更关键的是,这些方法普遍忽视层级标签间隐含的语义关联——例如"袜子"与"鞋子"的相似度应高于"手套",但现有技术将其均视为零相似度。这种语义缺失导致检索结果偏离人类认知,严重制约实际应用效果。
山东大学的研究团队在《Knowledge-Based Systems》发表的研究中,提出在线层级跨模态哈希模型OH-CMH。该研究通过构建混合语义矩阵(Hybrid Semantic Matrix)动态编码层级标签关系,结合流式学习框架,首次实现跨模态检索中标签增量与层级语义的双重优化。关键技术包括:1)基于层级标签拓扑结构的语义相似度计算;2)面向流式数据的在线参数更新机制;3)线性复杂度的增量标签扩展算法。实验采用FashionVC(20,726样本)和Ssense(32,121样本)两个标准层级数据集,对比现有最优模型SHOH在标签增量和无增量两种场景下的性能。
Notations部分
研究明确定义层级高度K为剔除根节点后的层数,用ck
表示第k层标签数量。特别强调第一层为粗粒度标签(如"服饰"),第K层为细粒度标签(如"运动袜"),这种分层编码为后续混合语义矩阵构建奠定基础。
Experimental setup部分
在FashionVC(2层35类)和Ssense(2层32类)数据集上的测试表明,OH-CMH在16-bit哈希码下MAP达到0.752,较SHOH提升9.6%。值得注意的是,在模拟新增"智能穿戴"类别的标签增量场景中,其检索精度波动幅度小于3%,验证了模型良好的扩展性。
Conclusion部分
该研究的突破性体现在三方面:首先,通过层级语义的量化建模,使"服饰-袜子"与"服饰-鞋子"的相似度差异得以显式表达;其次,创新的流式学习框架确保模型复杂度仅与新数据块大小线性相关;最后,混合语义矩阵的设计使模型摆脱层级深度限制,无论标签层级K如何增加,损失函数项数保持恒定。
这项研究为动态环境下的跨模态检索提供了新范式。其技术路线可延伸至医疗影像检索(如病理图像分级标签)、电商多模态搜索等场景。作者在致谢中特别提到Kai Han对SHOH复现的技术支持,暗示该方法对现有层级哈希模型的兼容性优势。未来工作将探索更复杂的层级语义关系建模,以及面向超大规模数据(>100万样本)的分布式优化策略。
生物通微信公众号
知名企业招聘