使用垂直NAND闪存的大规模、高可靠性的Hopfield神经网络，用于内存中的关联计算

《Advanced Intelligent Systems》：Large-Scale and Highly Reliable Hopfield Neural Networks Using Vertical NAND Flash Memory for the In-Memory Associative Computing

基于垂直NAND闪存的Hopfield神经网络异步更新架构实现高密度、高可靠的大规模 associative computing，恢复准确率提升13%，更新速度提高60.4%，并通过阈值调节优化全局极值搜索，片上集成面积比传统RRAM架构减少117倍。

　　近年来，人工智能技术的迅猛发展极大地拓展了机器的能力，使其能够执行诸如模式识别、自然语言生成和联想计算等类似人类认知的任务。这些任务通常由多种神经网络（NN）架构来解决，每种架构都针对特定的数据类型和问题领域进行了优化，包括卷积神经网络（CNNs）、基于变压器的大型语言模型（LLMs）以及递归神经网络（RNNs）。在这些架构中，Hopfield神经网络（HNN）因其基于能量的计算框架和全互连的神经元结构而备受关注，尤其适用于联想计算和优化问题。HNN中的突触权重（W_ij）在训练后存储在单层神经元之间，并在迭代更新过程中用于计算每个神经元的输入值（V_n）。然而，随着神经网络规模的增大，HNN的神经元数量（N）和突触权重矩阵的大小（N2）会迅速增加，从而对数据存储提出了更高的要求。例如，解决10个城市旅行商问题（TSP）只需102个神经元和10?个权重，而解决100个城市TSP则需要10?个神经元和10?个权重，这使得传统的HNN在处理复杂任务时面临显著的数据存储挑战。此外，由于权重矩阵在更新周期中需要反复与输入向量相乘（向量-矩阵乘法，VMM），HNN在大规模应用中需要承受高内存密集度的操作，这进一步限制了其在传统冯·诺依曼架构下的扩展性，导致更高的能耗、延迟以及整体计算效率低下。

为了解决这些问题，研究者们提出了多种新型的神经形态架构，将计算功能直接集成在内存中，以减少数据在存储器与处理器之间的传输。然而，大多数基于电阻式随机存取存储器（RRAM）和静态随机存取存储器（SRAM）的HNN硬件仍然存在可扩展性、集成密度和可靠性方面的关键限制。例如，RRAM-based HNN通常受到设备间差异的严重影响，使得其神经元数量受到限制，通常在约100个左右。相比之下，SRAM-based HNN虽然具有较高的计算速度，但由于其占用较大的芯片面积，难以在实际的大规模应用中推广。因此，研究者们开始探索其他类型的存储器，以克服这些限制并实现更高效的HNN。

本研究首次提出了基于垂直NAND（VNAND）闪存存储器的大型HNN架构，用于高效的联想计算。VNAND的垂直堆叠结构和逐页读取操作方式使其能够有效实现N2级的权重矩阵存储，从而显著提升网络能量表面的维度。此外，VNAND的固有逐页操作模式天然契合异步更新机制，因为每个页面独立存储一个神经元的突触权重，从而使得异步更新能够顺利进行。因此，VNAND HNN能够高效地执行异步更新，适用于复杂的联想计算任务，同时保持与传统VNAND操作模式的高度兼容性。在该架构下，1024个神经元的HNN可以在单个存储块中实现，用于1024位（1 Kb）图像的恢复和联想任务，这在性能和能效方面均表现出色。

为了验证这一架构的性能优势，研究者们进行了广泛的设备仿真和实验验证，特别是在恢复精度、更新速度和设备差异容忍度方面。结果表明，采用异步更新方法的VNAND HNN在恢复精度和更新速度方面优于同步更新方法。具体而言，异步更新方法在恢复精度上提高了13%，在更新速度上提升了60.4%。此外，研究还分析了制造差异对恢复精度的影响。通过采用增量步脉冲编程（ISPP）方法对权重进行微调，制造差异导致的精度下降率被控制在4%以内。在使用未训练的MNIST图像进行联想性能测试时，采用阈值（θ）调制方法优化异步更新后，VNAND HNN的联想准确率达到98.7%。

进一步地，由于VNAND结构具有极低的比特成本，其占用的面积显著小于基于1T1R电阻式随机存取存储器（RRAM）的HNN。例如，在相同的工艺节点下，VNAND HNN的面积仅为RRAM HNN的约117倍。这一优势使得VNAND HNN在实现大规模联想计算时具备更高的集成度和更低的功耗，从而在实际应用中更具可行性。

在实现过程中，研究者们利用了VNAND的逐页更新机制，使得每个神经元的更新可以独立进行。这种机制不仅提高了计算效率，还减少了电路复杂度。通过将每个神经元的突触权重存储在不同的页面中，VNAND HNN能够在每个更新步骤中独立处理神经元的状态变化，从而避免了同步更新中可能出现的非单调能量变化和收敛不稳定问题。同步更新方法在更新过程中会同时计算所有神经元的VMM结果，并集体更新它们的状态，这可能导致能量表面的非单调变化，进而引发网络振荡或无法收敛的问题。而异步更新方法则通过逐个神经元的更新，确保了能量的持续下降，从而实现了更稳定的收敛过程。

此外，研究还探讨了异步更新方法在应对设备差异方面的鲁棒性。由于VNAND的权重存储在电流-电压（I_BL-V_WL）曲线的线性区域，其对设备差异的敏感度较低。然而，当设备差异加剧时，权重存储的精度会受到影响，进而导致恢复精度的下降。通过采用ISPP方法对权重进行微调，可以显著降低设备差异对恢复精度的影响，使得精度下降率低于4%。这表明，通过合理的权重调制策略，可以有效提升VNAND HNN在设备差异条件下的性能。

在联想计算方面，VNAND HNN能够通过模式相似性识别最相关的图像，从而扩展了其功能范围。例如，在未训练的MNIST图像输入下，VNAND HNN能够准确地找到与其能量景观中最近的吸引子，从而实现高效的联想任务。为了克服可能陷入局部最小值的问题，研究者们引入了阈值调制方法。该方法通过在更新过程中动态调整神经元的阈值（θ），使得网络能够更灵活地应对不同的输入模式，从而提升联想计算的可靠性。实验结果表明，通过合理调整阈值，可以显著提高VNAND HNN的联想准确率，使其在复杂任务中表现出更高的鲁棒性。

总的来说，本研究提出的基于VNAND闪存存储器的HNN架构在多个方面展示了其优势。首先，其高密度和高可靠性特性使得大规模HNN的实现成为可能，且在单个存储块中即可支持超过1000个神经元的计算。其次，异步更新机制不仅提升了计算的稳定性，还显著提高了恢复精度和更新速度。最后，通过合理的权重调制和阈值优化，VNAND HNN在应对制造差异和复杂输入模式时表现出良好的性能。这些成果表明，VNAND作为一种新兴的存储器技术，具有成为联想计算和优化问题解决平台的巨大潜力，能够有效弥合存储技术与脑启发神经网络硬件之间的差距。