模拟忆阻神经网络中激活函数的硬件适配性研究：饱和特性决定器件电导非线性下的性能差距且硬件排名与数字网络反转

《Scientific Reports》：Activation function saturation determines robustness to conductance nonlinearity in analog in-memory learning

　　

摘要

在模拟忆阻神经网络中，加权求和在交叉阵列中高效完成，但激活函数与器件不完美的、非线性的电导更新之间的相互作用如何发生，目前仍缺乏深入理解。我们在 MNIST 和 Fashion-MNIST 数据集上比较了五种激活函数——Sigmoid、Tanh、ReLU、GELU 和 SiLU，分别采用理想化的软件配置以及基于已制造 TiO₂ 器件测量电导特性参数化的硬件配置。每种函数和配置的超参率均单独调优，所有结果均在三个随机种子上取平均。在该协议下，五种函数在软件中统计上无法区分，在 MNIST 上差异为 0.68 个点，在 Fashion-MNIST 上差异为 0.56 个点，因此硬件上的任何分离都不能归因于某一种函数更适合该任务。在硬件上，各函数差异显著：软件到硬件的性能差距从 Tanh 的 0.23 ± 0.12 个点到 ReLU 的 10.54 ± 1.23 个点不等。分界线在于饱和特性，而非负分支的形状。GELU 和 SiLU 虽然具有小幅衰减的负响应，本应被认为能缓解该问题，但其性能退化程度与 ReLU 同样严重；两种饱和函数平均下降 1.36 个点，而三种非饱和函数平均下降 7.82 个点。其机制通过直接测量得以揭示：累计权重更新幅度在五种函数之间跨越了近三个数量级，并且能以 r2 = 0.85 的预测精度解释该差距。饱和函数将更新幅度限制在有限范围内，使器件保持在电导响应的近线性区域，而非饱和函数驱动的更新则会穿越电导的强非线性和不对称区域。这种硬件排名与数字深度学习中所熟知的排名恰好相反，且这种反转正是发生在当前实践所偏好的那些函数上。