基于SOT-MRAM的可编程随机神经元实现高效不确定性感知推理

《IEEE Journal on Exploratory Solid-State Computational Devices and Circuits》：A CMOS-MRAM Stochastic Neuron with Programmable Pulse-Encoded Activation Functions

　　摘要：概率计算和不确定性感知推理需要硬件高效的随机激活生成。本文提出了一种CMOS-MRAM随机神经元，其中随机性被编码到编程脉冲分布中，而不是完全依赖于MRAM器件的固有随机开关动力学。SOT-MRAM的非线性开关边界充当紧凑的概率比较器，将随机脉冲宽度和脉冲幅度组合转换为伯努利分布的神经元激活。通过独立调制编程脉冲参数，能够使用单个伯努利随机源实现数百条可编程随机传输曲线。与显式计算激活函数的确定性神经元不同，所提出的神经元通过随机开关尝试直接生成伯努利分布的激活样本。电路级仿真表明，完整实现需要1175个晶体管，每随机输出位消耗0.77 pJ，延迟约为20 ns（50 Mbit/s）。使用量化MNIST推理框架评估了所提出的神经元，以研究可编程随机传输曲线对乘加（MAC）变异性下分类性能的影响。自适应选择传输曲线在-40%至+40%的MAC变异水平下将分类准确率保持在90%左右，在-40%的严重变异条件下恢复了约35%的绝对准确率。除了分类之外，重复的随机推理通过测量结果类别分布的预测熵，自然地实现了不确定性估计。使用域外旋转MNIST输入，随着分类准确率从90.5%下降到近10%，平均归一化预测熵从0.104增加到约0.27。基于置信度的过滤进一步提高了保留预测的准确率，……