一种使用神经常微分方程对阻变随机存取存储器器件进行建模的器件无关框架

《Engineering Applications of Artificial Intelligence》：A device-agnostic framework for modeling resistive random-access memory devices using neural ordinary differential equations

　　

摘要 随着人工智能（AI）基础模型的兴起，开发节能硬件架构以应对由此产生的巨大计算需求变得日益关键。基于电阻式随机存取存储器（ReRAM）的交叉阵列提供了有前景的存内计算能力，但实际部署需要精确的紧凑模型进行电路级仿真。本研究提出了基于神经常微分方程的随机存取存储器建模框架（NeurODE-RAM），这是一种利用深度神经网络（DNNs）对 ReRAM 设备进行紧凑建模的数据驱动方法，适用于物理理解有限的高级设备。受基于方程的紧凑模型启发，NeurODE-RAM 采用神经常微分方程在常微分方程 - 循环神经网络（ODE-RNN）框架内近似连续的内部存储状态动态，使用经实验校准的模拟数据。这对于电路级集成至关重要，因为集成电路设计程序（SPICE）瞬态分析使用自适应时间步长，产生需要鲁棒处理的不规则采样时间序列。NeurODE-RAM 在各种电压脉冲条件下准确预测了长时程增强（LTP）和长时程抑制（LTD）特性，具有极高的测试时间准确性和强大的外推能力——超过观察周期的三倍，相对线性误差低于 5%。重要的是，该框架的设备无关性在三种具有不同材料堆叠（TiN/TaOx/Pt、Ta/HfO2/Pt 和 Pd/Ta2O5/TaOx/Pd）和几何尺寸的 ReRAM 设备上进行评估，证明了无需架构修改的一致准确性和外推能力。最后，通过 7 × 7 交叉阵列的 SPICE 仿真在电路级评估了 NeurODE-RAM，在非均匀局部电压下准确再现了多级电导模式，证明了其作为大规模神经形态和存内计算电子设计自动化（EDA）工作流程中实用组件的适用性。

引言 大规模人工智能（AI）模型的普及产生了前所未有的计算速度和能效需求，推动了半导体行业对创新架构和材料的探索。其中，交叉阵列架构凭借其高集成密度和高效数据处理潜力脱颖而出，成为一种有前景的解决方案。该架构受到了极大关注，尤其是当它与基于新材料的忆阻设备（如电阻式随机存取存储器（ReRAM）（Huang 等，2023；Wan 等，2022）、铁电随机存取存储器（FeRAM）（Hur 等，2022）、相变随机存取存储器（PRAM）（Le Gallo 等，2023）和磁阻随机存取存储器（MRAM）（Jung 等，2022））相结合时。这些设备各自利用独特的材料特性来克服传统硅基存储技术的局限性，提供更好的可扩展性、速度和能效。将这些新兴存储设备集成到交叉架构中，对于解决大容量存储系统和存内计算应用中的关键挑战具有巨大前景，特别是对于加速大型 AI 模型的推理和训练。

在这些存储技术中，ReRAM 展示了尤为快速的进展。基于不同材料和相应导电机制的各种 ReRAM 设备正在积极开发中（Bao 等，2022；Sohn 等，2025），实现了具有前景的存内计算能力的大型交叉阵列的成功实施（Kim 等，2021）。这些进展突显了 ReRAM 设备在下一代存储和计算系统中的潜力，特别是对于高密度集成和高效数据处理。

向量 - 矩阵乘法（VMM）是关键计算方法，因其适合并行数据处理和高效内存计算集成（Sebastian 等，2020；Chen 等，2021a）。在交叉阵列架构中，ReRAM 设备作为可编程电阻元件，其电导状态编码矩阵权重。VMM 过程通过对交叉阵列的行施加输入电压来运行。通过每个 ReRAM 设备的电流由其电导决定，贡献于在列上收集的输出电流。通过应用基尔霍夫定律，这些电流在每列上的总和产生输出向量元素。此过程直接在存储阵列内使用模拟计算执行矩阵乘法，消除了内存和处理单元之间的频繁数据传输，从而显著提高了 AI 模型训练和推理的计算效率。

为了使用集成在交叉阵列中的 ReRAM 设备执行 VMM 操作，这些设备的 LTP 和 LTD 特性起着至关重要的作用。这些特性能够根据外部电压刺激增量调整电导，使其成为神经形态和存内计算应用中表示突触权重变化的关键（Huang 等，2021；Pedretti 和 Ielmini，2021）。ReRAM 设备的 LTP 和 LTD 特性主要由电导的逐渐调节控制，这取决于施加的电压。因此，不仅要表征 ReRAM 设备在直流电压条件下的静态行为——通常用蝴蝶曲线表示——还必须优化影响随时间变化的电导动态的瞬态编程脉冲条件（Mahata 等，2020；Banerjee 等，2022）。此优化对于确保精确控制权重更新至关重要，从而提高交叉架构中 VMM 操作的性能和可靠性。

设计包含 ReRAM 设备的交叉阵列需要进行电路级仿真以评估其性能。为此，与 SPICE 等电路模拟器兼容的紧凑模型是必不可少的（Zanotti 等，2022；Aguirre 等，2021）。这些紧凑模型大致可分为两类方法：基于物理的模型，制定支配潜在机制的方程；以及行为模型，经验性地重现观察到的电学特性而不明确建模物理过程。先前的研究提出了各种 ReRAM 紧凑模型，为 ReRAM 设备的运行行为提供了有价值的见解（Reuben 等，2019；Ielmini 和 Pedretti，2025）。

然而，基于物理和基于方程的行为模型在应对 ReRAM 设备固有的多样材料和复杂导电机制时面临局限性。每种新的材料系统或器件结构都需要广泛的参数提取和方程制定，限制了这些模型的适应性。为了克服这些挑战，使用深度神经网络（DNNs）的数据驱动方法最近引起了关注，作为一种有前景的替代方案（Reuben 等，2019）。与基于方程的模型不同，基于 DNN 的模型可以直接在新型设备的实验数据上进行训练，实现快速准确的模型生成。这种方法减少了对基于物理的假设和手动调整的依赖，并为具有不同材料成分和开关特性的 ReRAM 设备提供了可扩展性，使其成为推进基于 ReRAM 的交叉阵列设计的重要工具。

尽管对此类高级紧凑模型的需求不断增长，但关于基于 DNN 的 ReRAM 动态特性建模的研究仍然有限。据作者所知，尚无先前的工作展示了捕获存内计算应用所必需的 LTP 和 LTD 特性的基于 DNN 的紧凑模型（Aguirre 等，2022a；Sha 等，2023）。此外，尚未报告将此类基于 DNN 的 ReRAM 模型集成到实际电路仿真中。这一差距突显了需要新的建模方法，以有效捕获 ReRAM 动态特性，同时证明其在现实电路设计中的可行性。

在这项研究中，开发了基于 DNN 的 ReRAM 设备紧凑模型 NeurODE-RAM，并展示了其在电路设计中的适用性。所提出的方法捕获了关键的 ReRAM 特性，包括直流 I–V 行为中独特的挤压滞环以及在电压脉冲下使能 LTP 和 LTD 的随机、逐渐调节的电导变化。NeurODE-RAM 通过学习设备的平均响应，在各种脉冲条件下表现出高精度，使其特别适合于模拟基于 ReRAM 的存内计算应用。为了证明其有效性，该模型被集成到与 SPICE 兼容的电路仿真中，并展示了交叉阵列架构中的 VMM 操作。通过弥合 ReRAM 设备建模与存内计算应用之间的差距，本研究为该领域提供了重大进展。

章节片段
ReRAM 特性与用于存内计算的交叉阵列 如图 1 所示，基于 ReRAM 的交叉阵列通过后段工艺（BEOL）中集成的垂直堆叠结构最大化信息存储密度。通过直接在存储阵列内执行 VMM 操作，这些架构实现了高速、低功耗的人工神经网络系统（Aguirre 等，2024；Mannocci 等，2023；Chen 等，2021b）。
在实际实施基于 ReRAM 的交叉阵列时，由于线路会产生诸如压降等寄生效应

NeurODE-RAM：ReRAM 设备的神经紧凑模型 本节介绍了 NeurODE-RAM，这是一种受基于方程的紧凑模型启发设计的深度神经网络（DNN）模型，旨在捕获 ReRAM 设备的复杂动态。NeurODE-RAM 集成了用于连续时间动态的 ODE-RNN 架构以及用于 ReRAM 顺序数据的专门数据处理技术。本节开始阐述在 ReRAM 建模中使用循环神经网络（RNNs）的动机并探索其挑战，特别是处理方面的局限性

统一动态库（UDL）方法 Verilog-A 是专门设计用于模拟和混合信号（AMS）系统行为建模的硬件描述语言，它允许使用连续时间电压、电流和状态方程而不是离散逻辑操作来描述设备和块行为。大多数商用 SPICE 模拟器提供接口，允许研究人员开发并将其用 Verilog-A 编写的紧凑模型集成到专有模拟环境中。因此，几个先前

数据准备 在本文中，使用了一种基于 TaOx 材料的 ReRAM 设备，具有 TiN/TaOx/Pt 立方结构的电极，由面积为 2 μm × 2 μm、厚度为 25 nm 的 TiN 和 Pt 组成（Wang 等，2016）。该基于 TaOx 的 ReRAM 设备使用动态忆阻二极管模型（DMM）进行模拟，参数见表 1，源自（Aguirre 等，2021），以生成大量用于提议模型的训练和测试数据集。这些 DMM 参数拟合到实验测量的

结论 本文开发了 NeurODE-RAM，一种用于 ReRAM 设备的设备无关数据驱动紧凑模型，使用深度神经网络。NeurODE-RAM 准确预测了不同电压脉冲条件下的 LTP 和 LTD 特性，展示了在训练期间对观察时间段进行三倍以上的卓越外推能力。NeurODE-RAM 处理非均匀时间步长——这对 SPICE 集成至关重要——并在三种不同的 ReRAM 设备上一致表现出性能，无需

CRediT 作者贡献声明 Ye Sle Cha：撰写 – 审阅与编辑，撰写 – 原稿，可视化，验证，软件，项目管理，方法论，调查，形式化分析，数据整理，概念化。Juhwan Park：撰写 – 审阅与编辑，撰写 – 原稿，可视化，验证，软件，调查，概念化。Premkumar Vincent：撰写 – 原稿，可视化，数据整理。Wanki Lee：撰写 – 原稿，软件，数据整理。Jongwook Jeon：

资助 这项工作由韩国政府（MSIT）资助的信息与通信技术规划与评估研究所（IITP）拨款支持（编号 RS-2024-00399394，“新型存储器 -CMOS 协同集成存内处理系统 PDK 和工艺集成平台开发”），部分由韩国国家研究基金会（NRF）通过纳米与材料技术开发计划资助（RS-2024-00450836）。

利益冲突声明 作者声明以下可能被视为潜在利益冲突的财务利益/人际关系：Hyunbo Cho 报告获得了信息与通信技术规划与评估研究所（IITP）的财务支持。Hyunbo Cho 报告获得了韩国国家研究基金会（NRF）的财务支持。Jongwook Jeon 拥有向 Alsemy Inc.颁发的专利。Ye Sle Cha 拥有向 Alsemy Inc.颁发的专利。Premkumar Vincent 拥有向

Ye Sle Cha|Juhwan Park|Premkumar Vincent|Wanki Lee|Jongwook Jeon|Hyunbo Cho 研发中心，Alsemy Inc.，韩国首尔，06154