Mems-GCN：一种用于忆阻式图卷积网络的算法-电路协同优化方法

《Neurocomputing》：Mems-GCN: An algorithm-circuit co-optimization approach for memristive graph convolutional networks

　　摘要
图神经网络（GNNs）在处理图结构数据时表现出了出色的性能。与此同时，基于忆阻器的内存计算（IMC）作为一种有前途的硬件平台应运而生，旨在克服冯·诺依曼瓶颈。然而，图卷积层（按列聚合）和全连接（FC）层（按行转换）之间的相互冲突的向量访问模式迫使现有的忆阻器实现严重依赖中间数字存储。这种依赖导致了频繁的数据转换开销，从根本上削弱了IMC的效率优势。为了解决这一挑战，本文提出了一种称为Mems-GCN的硬件感知算法-电路联合优化方法，用于部署忆阻式图卷积网络。通过重新设计算法以分离图卷积层和FC层，并配置电路拓扑以便直接进行模拟级联，Mems-GCN协调了相互冲突的数据流需求，将外部数据访问时间从一个周期减少到了一个周期。在对十个数据集的广泛评估中表明，Mems-GCN保持了具有竞争力的准确性。值得注意的是，我们的系统对比显示，与交错式GCN相比，这种解耦架构不会降低准确性，并且在硬件非理想情况下仍能确保稳健的部署。定量效率分析进一步证实，与传统忆阻式GCN部署相比，Mems-GCN在能源和延迟方面都有显著降低。这项工作为忆阻式GCN加速器的硬件-算法联合优化提供了经过验证的路径和设计参考。

引言
图神经网络（GNNs）[29]已成为处理基于图的任务的事实标准，涵盖了从社交网络分析[11]、[16]、[30]到生物化学发现[5]、[10]、[35]等应用。随着这些模型的复杂性不断增加，对高性能、低能耗硬件的需求也在增强[33]。基于忆阻器交叉开关的内存计算（IMC）[6]、[25]通过使用欧姆定律和基尔霍夫定律直接在内存阵列中执行向量-矩阵乘法（VMM），为“冯·诺依曼瓶颈”提供了一个令人信服的解决方案。这种范式在加速各种神经网络架构方面表现出巨大潜力，包括MLP、CNN和Transformer [15]、[17]、[21]、[28]、[36]、[37]、[39]、[42]。尽管取得了这些进展，但在忆阻器交叉开关上部署GNN仍存在一个独特且常被忽视的硬件-算法不匹配问题。尽管GNN架构多种多样——包括基于注意力的模型（GAT）、基于采样的模型（GraphSAGE）和谱模型——图卷积网络（GCNs）仍然是最具有代表性且被广泛采用的现实世界图学习任务框架之一。一个GCN层包含两个不同的操作：通过图卷积进行特征聚合（）和通过全连接（FC）层进行特征转换（）。这两种操作在数据映射上存在根本冲突：FC层需要将输入矩阵拆分为行向量以便与权重矩阵相乘，而图卷积则从左边开始进行乘法运算，这从结构上要求按列访问输入矩阵以进行邻居聚合。因此，我们的工作主要针对GCN进行了硬件-算法联合优化。
在传统的GCN中，这两个操作是交织在一起的。因此，为了忠实实现这种标准的数据流，现有的忆阻器设计[18]、[32]通常采用“存储-转发”策略。虽然这种方法对于标准部署有效，但它需要将卷积结果读出、数字化并存储在外部存储器中以解决维度不匹配问题。对于一个n层的GCN，这将导致数据传输周期增加。

为了克服这一瓶颈，我们提出了Mems-GCN，这是一种针对忆阻式图卷积网络部署的硬件感知算法-电路联合优化方法。Mems-GCN通过将所有图卷积操作与FC层分离来重构标准GCN：归一化邻接矩阵被预先计算并编程到一个专用的忆阻器交叉开关阵列上。在推理过程中，图传播（）和FC层都通过模拟VMM在交叉开关阵列上执行，之后得到的节点表示被保存一次以便进行列到行的重新格式化，然后输入到一系列忆阻器FC层中。在这个FC级联中，所有层通过模拟ReLU电路连接在一起，消除了FC层之间的中间数字存储。尽管本文专门讨论了GCN，但我们希望这一基本见解——即通过重新设计网络将图操作与FC层解耦可以大幅减少忆阻器电路中的数据移动——能够启发其他GNN架构的类似硬件-算法联合优化。

本文的主要贡献如下：
1. 算法解耦：我们提出了一种将图结构处理操作与FC层分离的解耦GNN架构。通过在统一阶段聚合拓扑信息，我们消除了交替的行/列访问冲突。
2. 电路级级联：利用算法解耦，我们设计了一种多层直接连接方案。FC层通过模拟激活函数电路（例如修正线性单元）级联，使得数据能够在模拟域中通过所有FC阶段而无需中间数字存储。
3. 效率与准确性：我们通过实验验证，Mems-GCN将外部数据访问次数减少到一个周期，无论网络深度如何。此外，对十个数据集（包括同构和异构图）的广泛评估表明，这种解耦结构不仅保持了算法准确性，还增强了对硬件非理想情况的鲁棒性。

部分摘录
基于忆阻器的VMM电路
忆阻器是一种基本的无源组件，其电阻随通过它的电荷量而变化。在本文中使用了Ag/AgInSbTe/Ta（AIST）忆阻器模型[40]。忆阻效应可以通过突触模型[41]来描述：
其中w是掺杂区域的宽度，d是厚度，Rmin和Rmax分别是最小和最大的忆阻值。宽度的导数遵循[41]中描述的基于阈值的切换模型。
其中A、d和R是常数，N表示平均离子数。

Mems-GCN设计方法
GCNs由两种类型的操作组成：图卷积和FC层。为了在忆阻器阵列上部署GCNs，必须分别实现这两种操作。前者需要在多个节点之间聚合信息，而后者需要在单个节点上处理所有信息。换句话说，前者操作矩阵的每一列信息，后者处理矩阵的每一行信息。

忆阻式电路架构用于Mems-GCN
前一节介绍了为忆阻器电路部署优化的GCN架构。在本节中，我们展示了在忆阻器电路上部署Mems-GCN的电路级改进方案。由于GCN的图卷积和FC层本质上是VMM操作，我们可以直接使用第2节中介绍的忆阻器VMM电路来执行这两种计算，如图4所示。对于其他类型的GNN，图结构处理电路需要进行相应的调整。

实验结果
尽管Mems-GCN的优势已在前面的章节中详细说明，但其相对于传统GCN的优化效果的几个关键方面仍需验证：算法准确性、忆阻器电路部署的可行性以及鲁棒性。在本节中，我们通过实验验证了所提出的Mems-GCN的各种性能，特别关注在某些数据集上的更高准确性。这种准确性提升归因于Mems-GCN更灵活的架构。

结论
本文提出了一种硬件感知的部署方法Mems-GCN，它通过重组GCN计算来最小化忆阻器交叉开关系统中的芯片外数据移动。通过将图卷积与FC层解耦并在模拟域中级联后者，该架构将DRAM访问次数从一个周期减少到一个周期，无论网络深度如何。在10个数据集上的广泛实验确认，这种解耦架构与严格交错式的GCN相比不会降低准确性。

作者贡献声明
赵贤卓：撰写——原始草案、可视化、验证、软件、方法论、形式分析、概念化。
王腾飞：撰写——审阅与编辑。
毛博环：撰写——审阅与编辑、验证。
程瑞青：撰写——审阅与编辑、监督。
王浩：撰写——审阅与编辑、监督。
常胜：撰写——审阅与编辑、验证、监督、资源管理、方法论。

利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢
本项工作得到了海洋核紧急辐射监测与防护技术创新中心（202509001）的支持。本文中的数值计算是在武汉大学的超级计算中心完成的。
赵贤卓于2024年获得中国武汉大学的物理学学士学位，目前正在同一机构攻读微电子和固态电子学博士学位。他的研究兴趣包括忆阻器及其电路应用，尤其是在基于忆阻器的内存计算电路中的神经网络部署，以及神经网络算法。

赵贤卓|王腾飞|毛博环|程瑞青|王浩|常胜
武汉大学物理与技术学院，中国湖北省武汉市八一路299号，430072