基于忆阻器的自适应激活函数电路设计用于神经网络硬件加速

《Microelectronics Journal》：Memristor-based adaptive activation function circuit design for neural network hardware acceleration

　　

## 摘要

激活函数为硬件实现的深度神经网络引入了非线性特性，然而传统设计依赖固定的传输特性，限制了在复杂架构中的适应性和片上学习能力。在本研究中，我们提出了三种基于忆阻器的自适应激活电路：A-Sigmoid、A-Tanh和A-ReLU。这些电路能够在数字域中进行实时参数调谐。通过利用忆阻器件固有的可编程性，它们提供了可调的传输特性，可在训练过程中进行优化，从而克服了静态激活轮廓的局限性。全面的软件仿真验证了其功能、鲁棒性和动态可重构性。所提出的激活函数被集成到神经网络中用于图像识别，并与固定激活函数进行了基准测试。在CIFAR-10上的实验表明，使用自适应激活函数的网络通常收敛更快，且分类准确率更高。这些结果表明，基于忆阻器的自适应激活电路可以显著提高深度学习硬件加速器的性能和灵活性，为下一代神经形态计算系统铺平了道路。

## 引言

神经网络在计算机视觉、语音识别、自然语言处理、自主系统以及众多其他人工智能应用中取得了显著成功[1-4]。随着神经网络模型深度和复杂度的不断增加，深度学习相关的计算负担和能源消耗也在大幅增长[5-7]。基于冯·诺依曼架构的传统计算平台在处理大规模神经网络工作负载时面临固有的局限性，包括内存带宽受限、频繁的数据搬运以及相对较低的能效[8]。因此，硬件加速已成为提升深度学习系统计算性能和能效的重要研究方向[9,10]。

在神经网络加速器中，激活函数起着至关重要的作用。通过引入非线性，激活函数决定了网络的表达能力，影响训练过程中的梯度传播，并显著影响收敛行为和最终推理准确率。大多数现有的激活函数电路实现固定的非线性传输特性。这些电路通常经过设计、布局和制造以实现预定的功能，例如Sigmoid函数的分段线性近似[11]、钳位整流线性单元，或由差分对电路产生的双曲正切特性[12]。尽管此类固定实现针对特定工作条件可以高度优化，但它们缺乏制造后的适应性。这一局限性有几个重要后果。首先，离线设计的激活函数无法在部署后响应输入数据分布的变化、任务需求的变化或前序网络层的变化[13]。其次，在片上学习场景中，无法就地调节激活特性会将全部适应负担置于突触权重上，这可能导致比能够联合优化权重和激活参数的网络更慢的收敛或次优的优化轨迹[14]。第三，不同的层和网络架构可能受益于不同的激活轮廓；因此，通用的固定非线性不太可能在所有工作环境下都是最优的[15]。随着深度学习系统日益向动态和自适应架构发展，静态非线性可能成为片上适应性和学习效率的制约因素。

为了克服这些局限性，自适应激活函数在软件领域受到了相当大的关注。参数化整流线性单元使负输入斜率可以被学习，允许网络为每一层确定适当的线性程度[16]。指数线性单元及其相关变体引入了饱和行为，可以改善鲁棒性并稳定训练[17]。Swish和其他门控激活函数采用可学习的标量因子或辅助门来实现平滑的自调制非线性响应[18]。这些自适应激活函数在收敛速度、泛化能力和对初始化的鲁棒性方面展现了改进。然而，将这种适应性转化为硬件仍然充满挑战。在软件中，自适应激活参数可以通过数字计算和基于梯度的训练轻松更新。相比之下，模拟或混合信号电路实现通常需要使用复杂且功耗大的组件，如对数放大器、高分辨率数模转换器或大型查找表，才能实现可变传输特性。因此，自适应激活函数的算法优势与紧凑、低功耗且可持续调谐的硬件实现之间的巨大差距仍然存在。

忆阻器件提供了弥合这一差距的有前景的解决方案[19]。忆阻器是一种两端非易失性电阻开关器件，其电导可以通过电压脉冲进行编程，并且无需静态功耗即可保留[20-22]。各种具有可调特性的忆阻器仿真器电路已被开发，以促进忆阻行为的实验研究[23]。除了在交叉阵列中作为突触权重元件被广泛使用外，忆阻器表现出固有的非线性电流-电压特性，并且可以提供模拟值、局部存储的参数来直接调制电路传输函数。其纳米级占位面积、低编程能耗以及与CMOS后道工艺的兼容性使其成为实现自适应模拟计算原语的有吸引力的候选方案[24]。通过利用忆阻器的连续电导可调性，可以设计激活函数电路，使得关键特性——包括增益、阈值、饱和水平和整体非线性形状——通过一个或多个集成忆阻器件的电阻状态进行调整[25]。这种方法消除了对预定义固定激活轮廓的依赖，并允许激活参数与突触权重一起进行离芯片优化，然后映射到忆阻电阻状态用于推理[26]。已报告的基于忆阻器的神经网络电路实现了片上训练和关联记忆功能[26]，这突出了片上学习作为一个长期方向。本工作并未实现这一路径。

受此潜力的启发，本文提出了一系列基于忆阻器的自适应激活函数电路，即自适应Sigmoid、自适应双曲正切和自适应整流线性单元电路。在提出的设计中，关键非线性参数被映射到集成忆阻器的可编程电导，使相应传输特性能够通过可编程忆阻电阻状态在制造后进行调谐。全面的电路级仿真表明，所提出的电路在广泛的参数范围内准确地重现了预期的数学形式，表现出对器件变化的鲁棒性，并支持在推理前通过电导编程进行参数重构。这些特性表明它们适用于深度学习推理，其中忆阻器充当非易失性模拟配置元件。忆阻架构在图像处理和噪声去除方面已展现出有效的边缘保持能力，这对于卷积神经网络应用尤为重要[27]。

为了评估所提出的电路对学习效果的影响，使用详细电路仿真校准的行为模型被集成到卷积神经网络中，用于CIFAR-10数据集的图像识别任务。在多次试验中，所提出的自适应激活函数通常表现出更快的损失下降，并且在大多数测试配置中比传统的固定激活函数具有更高的分类准确率，证明了在不同深度的网络中，在硬件可行的参数约束下联合优化突触权重和激活参数的优势。这些结果表明，基于忆阻器的自适应激活电路可以增强神经网络加速器的性能和灵活性，提供了一条通往神经形态系统的途径，其非线性响应可以在制造后进行配置[28]。

本文其余部分组织如下。第2节回顾了激活函数电路和基于忆阻器的神经网络硬件的相关工作，并提出了所设计的电路架构。第3节报告了电路级仿真结果和分析。第4节描述了卷积神经网络实验并评估了学习效果。最后，第5节对论文进行了总结。

## 章节摘要

### 传统激活函数

在神经网络中，传统激活函数的形态和参数通常是固定的，在模型训练过程中不会修改（如图1所示）。最常用的激活函数主要分为三类：Sigmoid、Tanh和ReLU，其数学定义如下：

$$f_{Sigmoid} = \frac{1}{1+e^{-x}}$$

$$f_{Tanh} = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$$

$$f_{ReLU} = \max(0, x)$$

这些激活函数为神经网络引入了非线性，

### 忆阻器模块

自适应激活函数电路使用PSpice软件进行仿真，其中忆阻器采用Ag/AgInSbTe/Ta（AIST）忆阻器模型。当施加在AIST忆阻器上的电压超过其阈值电压时，忆阻电阻值发生变化；否则保持不变。AIST忆阻器的内部微分方程表示如下：

$$\frac{dx(t)}{dt} = \begin{cases} \frac{\mu_v R_{on}}{D^2} i_{off}(t) - i_0 f(x(t)), & 0 < V_{+th} < v(t) \\ 0, & V_{on} \leq v(t) \leq V_{off} \\ \frac{\mu_v R_{on}}{D^2} i_{on}(t) f(x(t)), & v(t) < V_{-th} < 0 \end{cases}$$

其中$\mu_v$表示

### 应用测试与分析

每个自适应激活层的参数a和b被视为可训练变量，并与传统的网络权重和偏置一起进行优化。在数字计算平台上进行离芯片训练时，网络使用当前权重和激活参数值进行前向传播。然后评估损失函数，并通过反向传播获得相对于网络权重和激活参数的梯度。

### 结论

在本文中，我们提出并实验验证了三种基于忆阻器的自适应激活函数电路——A-Sigmoid、A-Tanh和A-ReLU，这些电路包含可学习参数以在神经网络训练期间动态调整激活形状。通过利用Ag/AgInSbTe/Ta忆阻器的可编程电阻状态，这些电路能够在没有复杂数字控制逻辑的情况下连续调节输入缩放和输出幅度。电路级仿真表明高度...

### 利益冲突声明

作者声明他们不存在已知的可能影响本论文所述工作的竞争性经济利益或个人关系。

### 致谢

本工作得到了安徽省自然科学基金（项目编号：2408085QF211和2308085QF213）的支持；部分由中国国家自然科学基金（NSFC）资助（项目编号：62201005、62304001和62274002）；部分由安徽省教育厅自然科学研究项目资助（项目编号：2023AH050072）。

徐子宇 | 田靖宇 | 孙家正 | 王浩杰 | 陆文东 | 许丽华 | 冯哲 | 朱云来 | 吴祖恒 | 戴跃华
安徽大学集成电路学院，中国安徽省合肥市，230601