SpikeHSA：面向跨模态检索的异构空间对齐脉冲哈希

《Pattern Recognition》：SpikeHSA: Heterogeneous Space-Aligned Spiking Hashing for cross-modal retrieval

　　

• •
  H-LIF使用维度特定的阈值来产生多样的二值尖峰响应。
• •
  异构空间捕获互补的跨模态语义信息。
• •
  融合引导的HSA在异构空间中实现对齐图像和文本。
• •
  SpikeHSA实现了准确且节能的跨模态检索。

引言

脉冲神经网络（SNNs）[1]已成为人工神经网络（ANNs）的生物学上合理且节能的替代方案。在脉冲驱动的层中，二值尖峰以低功耗累加（AC）操作取代了大量能耗密集的乘累加（MAC）操作[2]。尽管SNNs在单模态任务中取得了成功[3]、[4]、[5]，但它们在跨模态哈希（CMH）和多模态表示学习中的探索仍然不足[6]、[7]。

随着互联网规模多模态数据的快速增长，CMH[8]、[9]、[10]通过在共享汉明空间中的按位异或操作实现高效检索而变得日益重要。因此，将CMH与SNNs结合对于资源受限的部署具有吸引力。然而，稀疏的基于尖峰的表示可能编码的语义信息不足，而传统的单一同质空间内对齐无法捕获互补的跨模态关系。这些局限性共同降低了哈希码的判别能力，并阻碍了有效的模态桥接。

现有的脉冲框架[11]、[12]通常采用统一阈值，产生信息密度有限的同质放电模式，如图1(a)所示。近期的多阈值设计[13]通过多级激活增加放电灵活性，但可能削弱二值尖峰的离散性或引入额外的计算开销。因此，现有的神经元设计无法同时保持脉冲驱动的效率和提供足够的多样化表示以满足细粒度跨模态对齐的需求。

为了解决这些挑战，我们提出了SpikeHSA，一个面向跨模态检索的异构空间对齐脉冲哈希框架。SpikeHSA为图像、文本和融合多模态分支构建异构表示空间，并利用融合表示作为语义参考来引导跨模态对齐。

受生物系统中异质神经元响应的启发[14]，H-LIF在预定义区间内均匀分布维度特定的阈值，在不增加额外MAC操作的情况下产生多样的二值放电模式。如图2所示，不同阈值在相同的膜电位演化下产生不同的放电响应，从而增加了时间维度和表示维度的多样性。与为每个神经元分配多个激活阈值或自适应学习阈值值的方案不同，H-LIF为每个特征维度分配一个固定阈值，同时保持二值尖峰输出。

基于这些多样化的尖峰表示，HSA将图像、文本和融合多模态特征投影到多个异构空间中。在每个空间内，融合表示作为共享语义参考来对齐两个单模态分支，为从互补语义角度进行细粒度对齐提供稳定指导。

我们的贡献总结如下：

• •
  针对稀疏脉冲表示信息密度有限的不足，我们引入了异构泄漏积分-发放（H-LIF）神经元，通过分配固定的维度特定阈值来产生多样的二值尖峰模式，且无需额外的MAC操作。
• •
  克服单一空间对齐的局限性，我们提出了异构空间对齐（HSA），利用融合多模态表示作为语义参考，在互补的异构空间中实现对齐图像和文本特征。
• •
  我们在三个基准数据集上评估了SpikeHSA：MIRFlickr-25k、MS-COCO和NUS-WIDE。使用卷积图像编码器时，SpikeHSA在16位T2I mAP上分别在MIRFlickr-25k和NUS-WIDE上超越最强对比基线3.7和4.6%，同时所需推理能量估计仅为非脉冲基线的约八分之一。

章节摘要

脉冲神经网络

脉冲神经网络（SNNs）通常通过两种范式进行开发：ANN-to-SNN转换和直接训练。转换方式将从预训练的人工神经网络（ANN）转移参数到SNN中，但通常需要许多时间步来保持性能。直接训练则使用替代梯度来近似不可微的尖峰函数，但仍受梯度近似误差的影响。

预备知识

与ANNs相比，SNNs模拟了生物神经元的时间动态和稀疏通信机制。与ANNs的连续激活不同，SNNs在离散时间步上处理信息，在此期间，神经元状态通过积分输入电流进行迭代更新。一旦膜电位超过预定义阈值，就会产生二值尖峰并重置膜电位。这种事件驱动的计算使SNNs能够以低功耗的累加（AC）操作取代能耗密集的MAC

整体框架与数据流

基于SNN的CMH的关键挑战在于，在保持脉冲驱动能效的同时增强脉冲表示的丰富性以实现有效的跨模态对齐。然而，稀疏的二值尖峰信息密度有限，使得单一同质表示空间不足以建模细粒度的跨模态语义。为解决这一问题，SpikeHSA首先生成异构脉冲表示，然后通过两条耦合路径对其进行优化

数据集与评价指标

遵循先前CMH研究中常用的数据预处理和划分协议，每个数据集被划分为留出查询集和训练集。训练集同时作为检索数据库，因此与检索数据库完全重叠，而查询集与之不相交。不使用单独的验证集。

MIRFlickr-25k[43]包含来自24个类别的20,015对图文数据。我们使用2000对作为查询，其余18,015对用于训练和

结论

本文提出了SpikeHSA，一个异构空间对齐脉冲哈希框架，以解决基于SNN的跨模态检索中的对齐瓶颈。受生物系统中异质神经元响应的启发，我们引入了异构泄漏积分-发放（H-LIF）神经元，利用固定的维度特定阈值来提高二值脉冲表示的信息密度和多样性。在此基础上，我们的异构空间对齐（HSA）

CRediT作者贡献声明

张震（Zhen Zhang）：撰写——初稿、可视化、软件、方法论、调查、形式化分析、概念构思。杨尧辰（Yaochen Yang）：撰写——审阅与编辑、可视化、软件、数据管理。黄文欣（Wenxin Huang）：撰写——审阅与编辑、资源、调查。朱雷（Lei Zhu）：撰写——审阅与编辑、形式化分析、概念构思。钟贤（Xian Zhong）：撰写——审阅与编辑、监督、资源、项目管理、方法论、经费获取、概念构思。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Xian Zhong报告获得了国家自然科学基金（编号62271361和62301213）的财务支持。Xian Zhong报告获得了湖北省重点研发计划（编号2024BAB039）的财务支持。Xian Zhong报告获得了中央高校基本科研业务费的

致谢

本工作部分由国家自然科学基金（资助编号62271361和62301213）、湖北省重点研发计划（资助编号2024BAB039）以及中央高校基本科研业务费（资助编号104972026KFYzxk0029）支持。

张震|杨尧辰|黄文欣|朱雷|钟贤