通过利用并行可编程反向互补交叉阵列电路的忆阻器神经网络增强跨模态联想记忆
《Neural Networks》:Enhancement of Cross-Modal Associative Memory Through Memristive Neural Networks Utilizing Parallel Programmable Reverse-Complementary Crossbar Arrays Circuit
【字体:
大
中
小
】
时间:2026年10月11日
来源:Neural Networks 7.2
编辑推荐:
•我们介绍了一种创新电路,利用反向互补忆阻器交叉阵列的并行处理优势,显著提升了跨模态联想记忆系统的速度和可扩展性。
•通过 PSPICE 对所提电路进行验证,显示出极高的稳定性和可靠性,即使在使用失真或噪声灰度图像时也能实现优异的回忆准确率。
•所提电路促进了音频和视觉模态之
•我们介绍了一种创新电路,利用反向互补忆阻器交叉阵列的并行处理优势,显著提升了跨模态联想记忆系统的速度和可扩展性。
•通过 PSPICE 对所提电路进行验证,显示出极高的稳定性和可靠性,即使在使用失真或噪声灰度图像时也能实现优异的回忆准确率。
•所提电路促进了音频和视觉模态之间的双向联想记忆,为多媒体内容的分析和检索开辟了新的可能性。
引言
联想记忆是神经信息处理的基本组成部分,包括两种主要子类型:自联想记忆和异联想记忆(Du, Zhang, Li, Sun, Sun, Hong, 2023, Zhang, Lv, Zeng, 2022, Zhang, Zeng, 2023)。异联想是指系统摄取输入模式并获取相关辅助模式的能力,使得能够从噪声输入中提取关联表示。异联想的一个具体实例是自联想,它为将退化输入模式恢复为完整原始形式提供了机制解释(Wang et al., 2021)。1988 年,Kosko(Pershin and Ventra, 2010)引入了双向联想记忆(BAM),这是一个双层神经网络框架,旨在存储模式集并实现正向和反向检索。双向结构提供了简单的训练和清晰的模式映射解释,这有助于 BAM 在联想记忆研究中的突出地位。随后的工作表明,通过改进学习规则、正则化策略和替代拓扑结构(例如扩展的 BAM 变体、多层配置和混合连接方案),可以进一步增强 BAM 的性能(Chartier, Boukadoum, 2006a, Chartier, Boukadoum, 2006b)。这些发展拓宽了 BAM 处理复杂模式关系和噪声环境的能力、鲁棒性和适用性(Liu et al., 2023)。
1971 年,Chua 提出了忆阻器作为第四个基本二端无源电路元件的存在理论(Chua, 1971)。忆阻器的物理实现在 2008 年实现,当时 Williams 及其同事展示了这一创新元件,引发了该领域广泛而迅速的兴趣(Strukov et al., 2008)。自那以来,大量研究探讨了使用忆阻器来模拟电子突触,其忆阻值非常接近突触权重(Jo, Chang, Ebong, Bhadviya, Mazumder, Lu, 2010, Sheridan, Cai, Du, Ma, Zhang, Lu, 2017)。Krestinskaya 等人(2018)和张等人(2017)早期的努力追求基于单忆阻器突触构建神经网络。然而,独立管理两种权重状态增加了外围电路的复杂性,例如泄漏电流和错误编程。另一种策略——在突触中集成一个晶体管和一个月忆阻器(Wang et al., 2014)——通过调制晶体管栅极电压来抑制外部编程电压,从而缓解了这些问题。此外,使用单忆阻器、双晶体管配置也实现了两种极性的表示(Soudry et al., 2015a)。Kim 等人提出了一种由四个忆阻器排列成桥式配置的电路,能够实现正、负和零突触点权的稳定实现(Kim et al., 2012),桥式拓扑也支持动态权重适应。随着基于忆阻器的突触在人工神经网络中日益突出,这一研究路线代表了重要且快速演变的前沿领域(Adhikari, Yang, Kim, Chua, 2012, Soudry, Di Castro, Gal, Kolodny, Kvatinsky, 2015b)。
在忆阻器 BAM 网络的电路实现方面取得了重大进展。在 BAM 和 Hopfield 网络的背景下,Tarkov (2016a) 提出使用改进的忆阻器桥突触。Li 等人也展示了一种用于 BAM 且具有原位学习能力的忆阻器神经网络电路,能够在无芯片外训练的情况下实现片上适应。Qi 等人(2019)提出了一种集成双 CMOS 与忆阻器技术的突触电路;基于此架构构建的网络在图像分辨率增强方面具有潜在应用。Hu 等人(2015)首次设计并制造了使用 HfO2 忆阻器突触在 Hopfield 网络内实现联想记忆的电路。此外,Yang 等人(2017)提出了一种采用忆阻器桥突触的基于 Hopfield 的电路,能够实现对二值和彩色图像的联想记忆。
在相关领域,Yang 等人(2019)引入了一种基于联想记忆的可重构忆阻器神经形态电路,并展示了同步权重训练。Chen 等人(2020)开发了一种基于忆阻器突触的混沌神经网络,以实现联想记忆。Yang 等人(2025)提出了一种基于忆阻器的岛屿式脉动阵列可重构加速器,用于深度神经网络。Yang 等人提出了一种用于短期抑制和长期记忆的忆阻器混合动态硬件突触单元(Tiw et al., 2026),实现了一个基于单脉冲编码的端到端全硬件实施类脑人机交互系统(Dang et al., 2026)。
尽管取得了这些进展(Yao, Gao, Sun, Wen, Xiong, Chen, 2026, Yao, Gao, Wang, Lin, Wu, Xu, Zhang, 2025, Zhang, Shi, Yang, Zeng, 2026),但仍存在一个共同局限:许多现有的忆阻器 BAM 实现依赖于固定互连或需要迭代的顺序编程周期(逐行或逐列),这限制了可重构性并在大规模权重更新期间造成速度瓶颈。虽然之前已经报道了差分忆阻器对和单独编程技术,但实现专为 BAM 量身定制的算法与架构协同设计——即在单个并行步骤中更新整个符号权重矩阵——仍然是高效硬件实现的关键挑战。
为了弥合这一差距,本工作提出了一种基于反向互补忆阻器交叉阵列实现的双向联想记忆(BAM)网络,该阵列采用晶体管栅极位线驱动器。所提出的电路架构没有引入独立的编程单元,而是直接将 BAM 关联矩阵学习规则映射到硬件上,从而实现对整个符号突触权重矩阵的并行编程。所提电路的有效性和鲁棒性通过全面的 PSPICE 仿真进行了验证。具体而言,该架构展示了针对失真和噪声灰度图像的稳健回忆性能。此外,我们将所提 BAM 框架的应用扩展至支持音频 - 图像跨模态双向关联,突显了其在多媒体内容分析和检索方面的潜力。
本文其余部分结构如下:第 2 节介绍了一种受电压阈值自适应忆阻器(VTEAM)启发的电路,其中包括反向互补忆阻器。第 3 节简要描述了用于灰度模式的 BAM 的反向互补忆阻器交叉阵列。第 4 节概述了三个旨在验证基于反向互补忆阻器交叉阵列构建的神经网络 BAM 功能的实验;结果表明,不仅能稳健回忆噪声和失真灰度图像,还能获取和保留受不同类型噪声影响的二值图像。此外,BAM 框架被扩展以支持音频 - 图像跨模态。第 5 节总结了论文,并考虑了影响和潜在的未来途径。
章节片段
基于 VTEAM 的多个并行反向互补忆阻器电路
忆阻器模型是在 VTEAM 框架内开发的(Kvatinsky et al., 2013),该框架描述了忆阻元件的非线性动力学。VTEAM 模型中内部状态变量 y(t) 随时间的进展由以下微分方程描述:
dy(t)/dt = {
koff(v(t)/voff - 1) αoff foff(x), if 0 < voff < v0,
kon(v(t)/von - 1) αon fon(x), if v < von < 0
}
这里,kon 和 koff 分别是正和负常数,代表状态变化率
基于反向互补忆阻器交叉阵列的 BAM
如图 4 所示,我们将反向互补忆阻器交叉阵列集成到 BAM 神经网络中。系统由四个组件组成:忆阻器突触权重矩阵电路,以及激活函数电路、输入控制模块和模式选择模块。网络包含一个人工神经元和突触阵列,其中 x(0) 和 y(0) 分别表示初始输入和输出向量,x(t) 和 y(t) 表示相应的向量
实验结果
本节介绍了一系列综合实验,旨在验证 BAM 的有效性和鲁棒性。该研究涵盖了针对失真或噪声灰度图像的应用,并系统地评估了在不同退化条件下的性能。此外,我们将 BAM 的范围扩展到多模态数据,进行了包括图像和音频模态在内的跨域评估,以评估其在不同数据类型上的通用性和适用性。
结论
在本研究中,我们提出并验证了一种利用反向互补忆阻器交叉阵列的 BAM 网络,该阵列能够实现并行编程,并通过 PSPICE 仿真进行验证。基于反向互补忆阻器交叉阵列的 BAM 网络促进了权重矩阵的同步编程,并减少了连续权重更新之间的延迟。在此基础上,提出了一种 BAM 神经网络电路,其特征是更加简洁
CRediT 作者贡献声明
Yajuan Hui:写作 – 审阅与编辑,写作 – 原稿,可视化,验证,项目管理,数据管理,概念化。Yuanchen Wang:软件,方法论,调查。Yonghui Han:验证,软件,方法论,调查,正式分析,数据管理。Leimin Wang:写作 – 审阅与编辑,写作 – 原稿,可视化,概念化。Xiangshui Miao:资源,资金获取。
利益冲突声明
作者声明,他们不知道任何可能影响本工作所展示研究的财务或个人联系。
致谢
本研究由国家自然科学基金资助(项目编号:62104217)。
Yajuan Hui|Yuanchen Wang|Yonghui Han|Leimin Wang|Xiangshui Miao