超图Kolmogorov–Arnold网络对比哈希技术用于无监督的跨模态检索
《Information Processing & Management》:Hypergraph Kolmogorov–Arnold networks contrastive hashing for unsupervised cross-modal retrieval
【字体:
大
中
小
】
时间:2026年05月02日
来源:Information Processing & Management 6.9
编辑推荐:
詹阳|王博轩|龙伟璐|陈云飞
中南大学计算机科学与工程学院大数据研究所,中国长沙410083
摘要
跨模态哈希由于其高效的信息检索能力、高速的查询性能和最小的存储开销,已成为一个重要的研究焦点,使其在学术和工业应用中处理复杂的多媒体数据集时不可或缺。然而,现有方法面
詹阳|王博轩|龙伟璐|陈云飞
中南大学计算机科学与工程学院大数据研究所,中国长沙410083
摘要
跨模态哈希由于其高效的信息检索能力、高速的查询性能和最小的存储开销,已成为一个重要的研究焦点,使其在学术和工业应用中处理复杂的多媒体数据集时不可或缺。然而,现有方法面临三个相互关联的挑战:由于固定架构网络(例如MLP)的限制,非线性拟合能力有限,难以建模复杂的跨模态语义;由于通常依赖简单图谱,无法捕捉超出成对的相关性,从而无法保留细粒度的结构信息;以及在无监督对比学习中对假阴性对的敏感性,这严重降低了检索精度。为了系统地解决这些挑战,我们提出了Hyper-KAN对比哈希(HKCH),这是一个引入了三项关键架构创新的无监督框架:首先,我们通过用Fast-Kolmogorov–Arnold网络(F-KANs)替换传统的MLP来重新设计特征映射模块,这些网络使用可学习的样条RBF激活函数,实现了动态且表达力强的非线性语义表示;其次,我们结合了超图神经网络来建模模态内部和跨模态的高阶关联,有效捕捉多方向的结构相关性,同时过滤语义冗余;第三,我们开发了一个具有自适应权重的新型对比哈希模块和改进的三元损失函数,以 robustly 减轻假阴性干扰并增强语义对齐。这些组件不仅仅是简单组合,而是被结构化地集成到一个连贯的架构中,超越了现有的方法。实验结果表明,HKCH在MIRFlickr上平均准确率提高了1.38%,在NUS-WIDE上提高了1.72%,在MSCOCO上提高了1.37%,这些显著的优势验证了其架构的有效性。
引言
在大数据时代,多媒体内容已经无处不在。用户经常需要跨不同模态检索信息,例如使用文本描述搜索图像或根据视觉查询找到相关文档。这项任务被称为跨模态检索,对于从搜索引擎和电子商务到社交媒体分析等各种应用都至关重要。然而,由于图像和文本存在于具有不同统计特性的不同特征空间中,弥合它们之间的“语义差距”仍然是一个基本挑战。尽管已经取得了显著进展,但现有的检索系统在涉及微妙语义差异或复杂上下文关系的实际场景中常常失败。主要原因在于多模态数据固有的语义模糊性。例如,考虑一个用户查询“Apple”这个词。依赖浅层特征的传统系统可能难以区分用户是对水果还是技术品牌感兴趣,从而导致混合且不相关的结果。这种多义性问题需要具有高非线性拟合能力的模型来辨别细粒度的语义细微差别。此外,现实世界中的概念很少孤立存在;它们通常是更大、相互关联的群体的一部分。例如,“海滩”、“防晒霜”、“太阳镜”和“夏天”这些概念在语义上是相互关联的,应该在检索任务中一起被归类。然而,传统方法通常只建模数据点对之间的关联(成对相关性)。它们可能成功地将“海滩”与“海洋”联系起来,但无法捕捉到将所有这些元素连接成一个连贯的“度假”主题的高阶上下文分组。如果不建模这些复杂的多方向关联,检索系统就会错过更广泛的语义上下文,导致搜索结果不完整或碎片化。
在这种背景下,跨模态检索成为一个有吸引力且具有挑战性的研究领域。为了解决上述挑战并实现高效的跨模态检索,跨模态哈希是一种常用的方法,它通过将高维特征特性映射到低维二进制哈希码中,使不同模态能够在同一维度上进行比较(Qi等人,2020年),从而实现更准确的跨模态检索,同时保持数据之间的相似性结构,并显著降低存储和计算数据的成本(F. Yang等人,2023年)。然而,由于基本视觉/音频特征与抽象概念表示之间的语义解释差异,开发有效且高效的跨模态哈希方法仍然是一个具有挑战性的问题(Li等人,2025年;Zhang等人,2024年)。
一般来说,现有的跨模态哈希方法可以根据训练期间是否使用语义标签分为两类:监督学习和无监督学习。监督方法(Chen等人,2024年;Tu等人,2025年)利用标签信息来指导哈希码的生成,而无监督方法(Liang等人,2024年;Yao等人,2024年)仅依赖于数据本身的内在结构。具体来说,监督方法通过使用类别标签或成对相似性矩阵(Wei等人,2024年;Zhang等人,2022年)从不同模态数据生成具有区分性的哈希码。然而,这些方法高度依赖于注释质量,并且在类别稀缺的情况下面临泛化瓶颈。相比之下,无监督方法仅依赖于数据本身的统计特性(Kang等人,2024年;Wang等人,2024年),并通过矩阵分解、图学习或对抗生成实现跨模态对齐,避免了标注成本和应用场景稀缺的问题。在无监督学习中,有时相似样本被错误地标记为负样本(假阴性对,FNPs)。
深度神经网络(DNNs)的引入为跨模态哈希提供了新的解决方案路径。通过非线性变换和分层特征提取,DNNs可以有效地减少模态之间的异质性差距,并将原始数据映射到一个统一的语义空间。多层感知器(MLPs)通常用作深度学习的基础组件(Jakhar & Borah,2025年)。然而,它们固定的节点激活函数和线性权重结构限制了复杂函数的逼近能力和可解释性。基于上述问题,我们在本文中围绕神经网络的结构问题进行了创新,提出了一个网络框架:(Hyper-KAN对比框架),其中我们引入了Fast-Kolmogorov–Arnold网络(F-KANs)作为MLP的替代方案,将图形特征作为初始输入输入F-KANs以生成更具表现力的中间特征向量。具体来说,我们使用更准确和动态的F-KANs代替了传统研究中使用的多层感知器(MLPs)。KANs(Z. Liu等人,2024年)是样条和MLP的结合体,具有全连接结构。然而,虽然MLP使用固定的激活函数,KANs使用动态的可学习激活函数。在KANs中,每个权重参数都被替换为一个可学习的一维函数,该函数被参数化为样条曲线。KANs的节点简单地对输入信号求和,不应用任何非线性操作。因此,KANs同时具有样条学习组合结构(外部自由度)和可优化的单变量函数(内部自由度),这使得KANs在准确性和可解释性方面具有显著优势。在函数拟合任务中,较小的KANs可以实现甚至超过大型MLP的准确性,其独特的结构使它们在理论和实践中都具有更快的神经扩展定律。此外,F-KANs通过使用高斯RBF函数基于KANs近似计算密集型的B样条基,简化了计算过程,同时保留了原始功能。为了更好地捕捉跨模态数据的语义结构和更高阶的相关性,我们使用同模态特征作为顶点,计算它们与其他特征向量的欧几里得距离,并选择距离最近的多个顶点来构建超图。超图神经网络(M. Li等人,2025年)进一步细化了特征,这一过程使模型能够专注于对任务最关键的特征,减少了大量冗余或不相关的语义。KANs和MLP之间的比较见表1。
总之,我们提出了一种名为Hyper-KAN对比哈希(HKCH)的新型无监督跨模态哈希检索方法,该方法通过创新设计的架构整合了F-KAN和超图神经网络技术,以更好地捕捉跨模态数据的语义结构和更高阶的相关性,从而提高检索准确性和效率。我们工作的主要贡献有三个方面且具有协同作用:
•我们基于Fast-Kolmogorov–Arnold网络(F-KANs)引入了一个结构重新设计的特征映射模块,首次在跨模态哈希中使用它们来替代传统的MLP。通过使用动态可学习的样条RBF激活函数,该模块能够增强对复杂跨模态非线性关系的建模,同时保持计算效率。
•我们设计了一种先进的超图驱动的特征重建机制,超越了传统的成对建模。该框架捕捉模态内部和跨模态的高阶相关性,有效过滤语义冗余,同时保留细粒度的多模态结构。
•我们开发了一个具有自适应权重编码函数和改进的三元损失函数的稳健对比哈希模块。该组件动态调整学习焦点,以减轻假阴性对的影响,实现更可靠的跨模态语义对齐。
在三个基准数据集上的广泛实验表明,HKCH的集成架构设计——而不仅仅是现有技术的组合——实现了最先进的性能,显著超越了现有的无监督方法,甚至优于某些监督方法,验证了其在跨模态检索方面的重大创新。
相关工作
过去的研究中提出了许多监督和无监督的跨模态哈希方法(Y. Li等人,2025年)。监督跨模态哈希方法通常利用标记数据来学习哈希函数(Han等人,2024年;Z. Yang等人,2023年),这些方法在有足够标记数据的情况下能够获得更好的检索结果。无监督跨模态哈希方法因其能够学习语义对齐的哈希码而受到高度评价(Fan和Cao,2025年;X. Liu等人)。
研究目标
本研究的主要目标是提出Hyper-KAN对比哈希(HKCH)方法,以解决无监督跨模态检索中的挑战。具体而言,研究旨在:
•通过使用动态激活函数增强语义建模:用Fast-Kolmogorov–Arnold网络(F-KANs)替换传统的多层感知器(MLPs),利用动态可学习的激活函数。通过结合基于样条的优化和高斯径向基函数(RBFs),
方法
提出的Hyper-KAN对比哈希(HKCH)框架是为无监督跨模态检索设计的。考虑到图像-文本数据在现实世界多媒体应用中的普遍性,本研究重点关注这种双模态场景,同时保持框架对其他模态对的扩展性。如图1所示,HKCH采用了一个三阶段流程,系统地解决了第1节中概述的核心挑战:(1)通过Fast-KANs进行非线性特征转换,(2)
实验
我们选择在三个广泛使用且具有代表性的多模态数据集上验证HKCH的可行性,这些数据集的结果更好。它们是MIRFlickr-25K、NUS-WIDE和MS-COCO。
结论与未来工作
在本文中,我们提出了Hyper-KAN对比哈希(HKCH),这是一种无监督跨模态哈希方法,解决了多模态检索中异构数据分布和语义差距的挑战。HKCH整合了Fast-Kolmogorov–Arnold网络(F-KANs)和超图神经网络,以提高检索准确性和效率。与依赖多层感知器(MLPs)的传统方法不同,我们的框架利用F-KANs中的动态可学习激活函数。
CRediT作者贡献声明
詹阳:撰写——原始草稿、资源收集、调查、数据整理。
王博轩:撰写——审阅与编辑、方法论。
龙伟璐:数据整理。
陈云飞:撰写——审阅与编辑、软件开发、项目管理、形式分析。
致谢
本工作得到了湖南省自然科学基金(2025JJ40057)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号