HGSAF：一种基于异构图结构对齐与蒸馏模型，并结合注意力机制进行微生物-药物关联预测的系统

《Journal of Biomedical Informatics》：HGSAF: Heterogeneous graph structural alignment and distillation model with attentive fusion for microbe-drug association prediction

摘要：抗菌素耐药性的迅速出现需要基于人工智能的计算策略来应对微生物-药物相互作用的分子多样性挑战。尽管图神经网络在预测此类关联方面显示出潜力，但现有方法在处理拓扑特征和语义特征时存在困难，并且难以处理生物医学数据集中固有的严重类别不平衡问题。在这项工作中，我们设计了一种异构图结构对齐和蒸馏方法，结合了注意力融合模型来预测微生物-药物关联。我们的模型构建了异构生物图以及由元路径诱导的子图，以捕捉微生物和药物实体的互补视图。我们开发了一种层次自适应图变换器，同时编码拓扑和位置信息，同时减少噪声和过度平滑。关键的是，我们引入了一种双向蒸馏模块，用于在路径之间相互转移结构和语义知识，从而消除了在表示对齐过程中进行显式负样本采样的需要。对于最后的关联预测，未观察到的配对被作为负样本进行监督训练，遵循标准实践。通过交叉图对齐损失和焦点损失的联合优化，在受控采样比率（1:1和1:5）下提高了对类别不平衡的鲁棒性。广泛的评估，包括与领域专用预测器和通用图神经网络框架的比较，表明HGSAF始终表现出优越的性能，并突出了该方法在生物医学网络分析中的方法论稳健性和潜在应用。

引言：传统的药物发现过程通常耗时且风险高，使得新治疗化合物的识别极其困难。人类微生物群对健康和疾病有着重要影响，从而影响药物的药代动力学和反应。理解微生物-药物相互作用对于个性化医学至关重要，然而实验验证仍然缓慢且成本高昂。计算方法提供了可扩展且成本效益高的解决方案，利用了如MDAD和DrugVirus等数据库以及先进的表示学习技术。现有的计算方法大致可以分为基于网络传播的方法、传统机器学习模型和基于图神经网络（GNN）的方法。例如，Ling等人利用了网络传播框架中的药物化学结构，而Zhu等人提出了高效的最近邻注意力模型用于微生物-药物关联预测。最近，异构GNN在抗真菌肽、药物重新定位和药物协同作用方面表现出强大性能。为了推断微生物-药物关联，Guo等人设计了一个基于异构图的协作表示学习模型，结合了元路径，Wang等人将变分自编码器与生成对抗网络相结合，Tan等人将图注意力与稀疏自编码器融合。尽管取得了这些进展，许多基于GNN的模型仍然孤立地处理节点嵌入和图结构。此外，使用未观察到的相互作用作为负样本的常见做法存在一个主要障碍，因为这些稀疏数据对往往是由于缺乏实证研究而非确认的非相互作用造成的，从而导致假阴性结果。因此，学术界和工业界迫切需要开发高效的方法来发现微生物和药物之间的潜在关联。与我们的先前工作不同，HGSAF引入了具有位置编码和多尺度聚合的层次自适应图变换器，增加了具有VICReg风格正则化的交叉图对齐损失以防止维度崩溃，并通过化学指纹结构相似性整合了药物/微生物属性。虽然HGSAF建立在我们在之前的工作中引入的双向蒸馏概念之上，但它通过四个新颖组件实现了实质性的方法论进步：1）具有位置编码和多尺度聚合的层次自适应图变换器；2）拓扑视图和语义视图之间的跨模态蒸馏；3）具有EMA、停止梯度和VICReg正则化的交叉图对齐损失；4）通过化学指纹进行属性整合。现有计算方法的一个共同限制是孤立处理节点嵌入和图结构数据。此外，许多当前模型没有充分利用拓扑或位置信息，而是依赖简单的关联矩阵或过度依赖基本的相似性指标。另外，使用均值融合来聚合同源性相似性通常无法捕捉异构生物网络中的复杂多方面相互作用。实际上，大量与药物相关的信息结构在非欧几里得空间中，其特征是异质性和多类型节点的长距离依赖性。尽管图对比学习在推导节点嵌入方面显示出巨大潜力，现有模型往往难以完全捕捉复杂的结构细节。基于网络的预测器的一个关键瓶颈是系统性地忽略了内在实体属性，而微生物携带了基因组和系统发育特征，这些特征对于微生物-药物相互作用至关重要。当前方法将节点视为抽象的拓扑实体，仅依赖于连通性，这限制了嵌入的区分度。将这种细粒度的分子属性纳入微生物-药物关联预测仍然是一个未解决的挑战，超出了本研究的范围，本研究专注于异构图表示学习中的架构创新。为了克服这些限制和挑战，我们开发了一种结合了双向蒸馏的异构图结构对齐和蒸馏方法（HGSAF）用于关联预测。HGSAF构建了异构生物图和由元路径诱导的子图，然后通过层次自适应图变换器和元路径编码器共同学习拓扑和语义表示。这种新颖的双向蒸馏模块在拓扑和语义路径之间相互转移知识，而不依赖于对比负样本进行表示对齐。这与最终预测阶段不同，在最终预测阶段，负样本用于监督学习，符合现有的微生物-药物关联预测协议。尽管通用异构GNN（如HAN、RGCN、HGT）在微生物-药物预测方面面临固有挑战——严重类别不平衡、噪声拓扑和多视图语义融合的需求——但现有领域特定方法很少与它们进行基准测试。为了提供全面评估，我们通过替换层次自适应图变换器（LAGT）模块，将HGSAF与专门的基线和代表性的通用图编码器进行了比较。所提出的HGSAF在两个广泛使用的基准数据集上取得了竞争性能，始终超越了最先进的基线。这些结果表明HGSAF是微生物-药物关联预测的有效工具。

材料与方法：如图1所示，所提出的HGSAF框架的架构主要包括异构图和元路径的构建、基于元路径的语义特征编码器、通过双向蒸馏进行优化以及最终的关联预测。
?缩放点积注意力融合H(k)表示LAGT第k层的特征矩阵输出。SDAF模块接受来自前一层H(k-1)∈RN×d的特征，这些特征最初被编码为单独的查询Q、键K和值V矩阵，以便在并行注意力头中计算。随后，采用特定的边注意力机制来编码微生物-药物对之间的相互作用。对于特定的边(i,j)和注意力头h，有一个特定于该边的标量权重wij,h(k)∈R。?节点信息聚合首先，通过SDAF，一个位置化的全连接网络（PFN）单独对每个节点表示进行操作，以施加额外的非线性变换。PFN函数的计算定义如下：Opfn(k)=?(Hmha_out(k)W1(k)+b1(k))W2(k)+b2(k)，其中?代表修正线性单元激活函数。W1(k)∈Rd×dffn，b1(k)∈R1×dffn，W2(k)∈Rdffn×d，b2(k)∈R1×d是PFN的层特定可学习参数。随后，输出经过精细化处理。

实验设置和评估指标：模型使用五折交叉验证在微生物-药物对层面进行评估。在每个折叠中，验证的关联被分为互斥的训练/测试集，所有图派生特征——高斯相互作用轮廓相似性、MDM/DMD元路径邻接矩阵和加权异构图拓扑——仅使用训练折叠的关联进行重新计算，以防止测试折叠的信息泄露到训练表示中。

1) 与不同GNN编码器的比较：在本节中，我们系统地将HGSAF的LAGT模块替换为四种广泛使用的GNN模块，如图卷积网络（GCN）[40]、图注意力网络（GAT）[41]、门控图卷积（GGC）[42]和GraphSAGE（SAGE）[43]，同时保持所有其他架构组件不变。如图4(c-d)所示，带有LAGT的HGSAF在两个数据集上都一致且显著优于所有四种通用框架。在DrugVirus数据集上，HGSAF实现了平均...
2) HGSAF中LAGT关键组件的分析：为了分离HGSAF中LAGT关键组件的影响，设计了一个详细的消融研究，涉及模型的三个修改版本：一个没有位置编码的版本（PE）、一个没有层次自适应聚合的版本（LAG）以及一个使用标准注意力（SA）代替所提出的SDAF模块的版本。HGSAF的变体模型分别表示为HGSAF w/o PE、HGSAF w/o LAG和HGSAF w SA。如图5(a)所示，位置编码（PE）机制被认为是最重要的...

案例研究：首先，转运设置是微生物-药物关联预测中的标准做法，被所有主要基线采用。这确保了与现有方法的公平比较。其次，虽然位置编码使用节点索引，但它只是LAGT模块的一个组成部分。注意力机制和多尺度聚合还可以捕获与节点ID无关的结构模式。在我们的消融研究中，移除PE仍然表现出强劲的性能，证实HGSAF并不完全依赖于...

可视化：我们通过应用t-SNE将高维节点嵌入投影到二维空间中，定量评估了HGSAF的特征表示能力。这将我们允许我们在MDAD和DrugVirus数据集上直观地比较初始特征空间和学习到的潜在流形的分布和局部邻域结构。如图6所示，初始节点表示（“训练前”）显示出高度纠缠和扩散的分布，没有明显的...