利用DoReFa-Net量化算法提升分子性质预测的图神经网络模型效率

推荐 为解决图神经网络（GNN）在分子性质预测中存在的高内存占用、计算需求大和推理延迟问题，研究人员将DoReFa-Net量化算法与GNN模型结合，系统评估不同位宽量化水平对模型性能的影响。结果表明，该方法在保持预测性能的同时显著提高了计算效率，尤其适用于资源受限设备。

　　

论文解读
分子性质预测在化学和制药行业中至关重要，涉及水溶性、脂溶性、量子力学性质等关键指标。然而，传统的图神经网络（GNN）模型在处理这些任务时面临高内存占用、计算需求大和推理延迟等挑战，尤其是在资源受限的设备如智能手机和物联网设备上部署时。为解决这些问题，研究人员探索了将DoReFa-Net量化算法与GNN模型结合的方法，以提高计算效率并保持预测性能。

研究人员利用DoReFa-Net量化算法对GNN模型进行优化，重点评估了不同位宽量化水平对模型性能的影响。研究使用了MoleculeNet基准数据集，包括ESOL、FreeSolv、Lipo和QM9，分别用于水溶性、溶剂化自由能、脂溶性和量子力学性质的预测。通过对FP16、INT8、INT4和INT2等不同量化水平的实验，研究人员发现GNN模型在INT8精度下能够保持与全精度模型相当的性能，而极端量化如INT2则显著降低了性能。

研究采用了图卷积网络（GCN）和图同构网络（GIN）两种GNN架构。GCN通过消息传递机制更新节点嵌入，而GIN则通过多层感知机（MLP）和可学习参数实现更强大的图结构区分能力。DoReFa-Net算法通过量化权重、激活值和梯度，将模型参数表示为低位宽，从而减少存储需求和计算成本。具体来说，权重量化使用tanh函数限制值范围后进行k位量化，激活值量化则假设前一层的输出通过有界激活函数，确保值在[0,1]范围内。

实验结果表明，在ESOL数据集上，FP16-GCN和INT8-GCN的均方根误差（RMSE）分别为0.967和0.970，与全精度模型（0.957）几乎持平，而INT2-GCN的RMSE显著增加到4.043。在FreeSolv数据集上，GCN模型在INT8量化下的RMSE为1.749，接近全精度模型的1.754，但INT2-GCN的RMSE大幅上升至2.690。Lipo数据集的结果类似，GCN在INT8量化下的均方根误差为1.003，而INT2-GCN的误差增加到1.360。对于QM9数据集，GNN模型在INT8量化下的平均绝对误差（MAE）为0.446，与全精度模型的0.415相比略有增加，但INT2-GCN的MAE显著上升到1.734。

研究结论表明，GNN模型在物理化学数据集上通过DoReFa-Net量化算法能够在INT8精度下保持与全精度模型相当的性能，显著减少了存储和计算需求。然而，GIN模型在量化后表现出较差的鲁棒性，特别是在INT8以下的量化水平上。QM9数据集的结果显示，尽管在INT8精度下性能略有下降，但整体表现仍然可接受。

这项研究的重要意义在于为资源受限设备上的分子性质预测提供了高效的解决方案。通过量化技术，GNN模型能够在不显著牺牲预测性能的情况下实现快速推理和低存储需求，适用于智能手机和物联网设备等场景。此外，研究结果强调了选择合适的GNN架构和量化策略的重要性，为未来的研究提供了有价值的参考。