《Future Internet》：Communication-Aware Collaborative Graph Neural Network Inference: Accuracy and Serialized Traffic Under Partition-Aware Emulation
编辑推荐：
摘要：表示压缩本身并不能决定分区图神经网络（Graph Neural Network, GNN）推理中的序列化流量。去重、分区拓扑、节点标识符和批处理帧结构同样影响线缆上的数据量。本研究针对一层图注意力网络（Graph Attention Network, G
摘要：表示压缩本身并不能决定分区图神经网络（Graph Neural Network, GNN）推理中的序列化流量。去重、分区拓扑、节点标识符和批处理帧结构同样影响线缆上的数据量。本研究针对一层图注意力网络（Graph Attention Network, GAT）测量了这些效应，该网络传输任务训练后的嵌入。验证选取了Cora、CiteSeer、PubMed和Flickr四个数据集上五个随机种子生成的64维嵌入。这些嵌入分别保留了全特征准确率的97.9%、97.7%和99.2%；Flickr达到了全特征准确率的102.4%。在四种平衡随机分区下，相对于一次性集中式float32上传，其单轮通信缩减因子分别为12.69×、41.30×、5.19×和3.01×。预设的95%准确率保持标准和至少四倍的单轮通信缩减因子因此在三个数据集上达标。Int8传输将有效载荷减少了四倍，但由于标识符和帧结构仍然存在，且每个非空int8批次增加了一个4字节的缩放因子，实际线缆流量仅减少3.66–3.67×。集中式int8上传比较器将全特征准确率保持在0.0006以内。相对于该比较器，float32协作实现了12.69×、41.30×、5.19×和3.01×的单轮通信缩减因子，其中Flickr上的通信量反而增加。在后审平衡METIS基线条件下，相对于随机放置，三分区种子使四分区序列化流量分别减少了89.6%、97.6%、88.9%和44.7%。恒定宽度深度外推将四层通信因子降至12.69×、41.30×、5.19×和3.01×；更深模型的准确率未作测量。本研究在一台工作站上采用分区感知仿真，未测量物理设备或能耗。其主要贡献在于提出了一种可复现的线缆流量核算协议，该协议区分了表示大小、有效载荷大小、序列化流量、主机成本和建模链路延迟。
研究背景与动机
随着图神经网络（Graph Neural Network, GNN）在社交网络分析、推荐系统和生物信息学等领域的广泛应用，其推理过程中的计算与通信开销成为制约大规模部署的关键瓶颈。传统的集中式推理将所有图数据和模型参数集中于单一服务器，导致高昂的数据传输成本和隐私风险。为此，分布式GNN推理被提出，通过将图划分为多个子图并在不同设备上并行执行，以减少单点负载。然而，现有研究多聚焦于如何压缩嵌入表示（embedding）以降低通信量，却忽视了其他因素对实际线缆流量的影响。事实上，去重机制、分区拓扑结构、节点标识符（node identifier）以及批处理帧结构（batch framing）均会显著改变序列化后的真实数据量。此外，分区策略（如随机分区与基于图划分算法METIS的分区）对通信效率的影响尚未得到系统评估。因此，有必要建立一套能够精确量化各因素贡献的流量核算协议，从而为优化分布式GNN推理提供理论依据。
研究方法
研究人员采用分区感知仿真（partition-aware emulation）的方法，在一台工作站上模拟分布式GNN推理场景。核心技术包括：使用一层图注意力网络（Graph Attention Network, GAT）作为推理模型，提取任务训练后的64维嵌入；应用四种平衡随机分区方案（balanced-random partitions）将图划分为四个子图；设计了一套可复现的线缆流量核算协议（wire-accounting protocol），区分表示大小（representation size）、有效载荷大小（payload size）、序列化流量（serialized traffic）、主机成本（host cost）和建模链路延迟（modeled link delay）。实验在Cora、CiteSeer、PubMed和Flickr四个公开数据集上进行，每个数据集运行五个随机种子以保证统计稳定性。
研究结果
嵌入压缩的有效性
研究人员发现，64维嵌入在Cora、CiteSeer和PubMed上分别保留了全特征准确率的97.9%、97.7%和99.2%，而Flickr甚至达到了102.4%的全特征准确率，表明适度降维不会显著损失性能，甚至在特定数据集上可能提升泛化能力。
通信缩减因子的测量
在四种平衡随机分区下，相对于一次性集中式float32上传，单轮通信缩减因子（single-round communication reduction factor）分别为12.69×、41.30×、5.19×和3.01×。预设的95%准确率保持标准与至少四倍通信缩减的双重条件，在Cora、CiteSeer和PubMed上得以满足，但在Flickr上未达到最低四倍的要求。
Int8传输的实际效果
Int8量化传输虽将有效载荷减少至原来的四分之一，但由于节点标识符和批处理帧结构仍占用固定开销，且每个非空int8批次需额外增加4字节的缩放因子（scale），实际线缆流量仅缩减3.66–3.67×，低于理想值。
集中式int8上传比较器的性能
集中式int8上传比较器（centralized int8-upload comparator）将全特征准确率控制在0.0006以内的误差范围内，表明int8量化在精度损失极小的情况下即可实现高效传输。
分区拓扑的影响
相对于随机分区，采用后审平衡METIS（post-review balanced METIS）基线进行图划分后，四分区序列化流量在三分区种子下分别降低了89.6%、97.6%、88.9%和44.7%，证明分区拓扑对通信效率具有决定性作用。
深度外推的通信因子
恒定宽度深度外推（constant-width depth extrapolation）将四层GNN的通信因子降至12.69×、41.30×、5.19×和3.01×，但研究人员未测量更深模型的实际准确率，故深度扩展的可行性尚待验证。
讨论与结论
本研究的核心贡献在于提出并验证了一套可复现的线缆流量核算协议，首次系统地区分了表示大小、有效载荷大小、序列化流量、主机成本和建模链路延迟这五个维度。研究结果表明，仅关注嵌入压缩是不够的，分区拓扑、标识符开销和帧结构等因素必须纳入优化考量。特别是，METIS分区能够大幅降低序列化流量，而int8量化虽能减少有效载荷，但其实际收益受限于固定开销。未来工作应在物理设备上验证这些发现，并探索更优的分区与编码策略。研究结论强调：在设计分布式GNN推理系统时，应从端到端的线缆流量视角出发，而非孤立地优化某一环节。
