《Frontiers in Bioinformatics》：BioGraphBench-PPI enables audit-first evaluation of negative-sampling contracts and structural baselines in protein interaction networks
编辑推荐：
引言： 当数据源版本、标识符规则、数据划分、结构特征以及采样非边契约未被完整记录时，生物医学图学习结果难以进行比较。
方法： 研究人员开发了BioGraphBench-PPI，一个针对蛋白质-蛋白质相互作用（PPI）链路预测的审计优先基准测试，使用STRING
引言： 当数据源版本、标识符规则、数据划分、结构特征以及采样非边契约未被完整记录时，生物医学图学习结果难以进行比较。
方法： 研究人员开发了BioGraphBench-PPI，一个针对蛋白质-蛋白质相互作用（PPI）链路预测的审计优先基准测试，使用STRING v12.0、BioGRID 5.0.260以及两个跨资源无重叠消融数据集。对于每个PPI任务，研究人员生成了10个预定义随机种子和三种平衡的采样非边契约：随机（random）、度匹配（degree-matched）和两跳（two-hop）。研究人员比较了局部启发式方法、逻辑回归（logistic regression）、随机森林（random forest）、直方图梯度提升（histogram gradient boosting，HGB）、可审计的node2vec兼容随机游走基线以及两层图卷积网络（GCN）链路预测基线，并报告了排序、校准、运行时间和置信区间。
结果： 随机采样非边产生了较高的HGB AUPRC值（0.942–0.964），但度匹配采样非边将AUPRC降低了0.049–0.259。GCN基线在随机负样本条件下在部分图中显示出信号（AUPRC 0.526–0.717），但在度匹配和两跳契约下接近随机水平（AUPRC 0.500–0.515）。
讨论： BioGraphBench-PPI表明，PPI基准测试的结论在很大程度上取决于采样非边设计和图数据源。因此，该基准测试贡献的是一个可审计的评估契约，而非PPI预测已解决的声明。
论文解读
一、研究背景与问题
生物医学知识天然具有关系性结构：蛋白质之间相互作用、基因参与通路、化合物结合靶标、表型源于相互关联的生物学过程。图神经网络（GNN）为将这种关系结构与分子或功能属性相结合提供了灵活手段，现已支持从蛋白质相互作用（PPI）预测到治疗发现等多种应用。然而，生物医学图学习结果的比较面临严峻挑战：当数据源版本、标识符规则、数据划分方式、结构特征构建以及采样非边契约未被完整记录时，不同研究之间的结果难以进行公平对比。
STRING和BioGRID是公开可获取的高价值蛋白质关联与 curated 相互作用资源，但它们并非为封闭实验数据集而设计。两者的记录在证据类型、覆盖范围、标识符、冗余度和发布节奏上可能存在差异，同一蛋白质对可能同时出现在两个资源中。若基准测试缺乏明确的审计机制，就可能奖励偶然的数据可用性、跨资源复用或过于宽松的数据划分。这一问题对GNN尤为关键，因为消息传递机制可能传播测试阶段本不应获得的信息，数据划分或特征构建的细微差异可能实质性改变研究结论。
现有研究表明，拓扑结构本身即可成为强判别因子：共同邻居分数、度乘积及其监督组合可能已能将观察到的相互作用与随机采样的非边区分开来。若缺乏这些对照，模型相对于弱基线的性能提升难以被解读为额外的生物学学习。此外，在蛋白质功能注释任务中，标签稀疏且高度不平衡，AUROC可能看似可接受，而精确率-召回率性能和阈值化预测仍然较差。因此，排序、校准和决策指标必须同时报告。
二、研究内容与核心结论
研究人员开发了BioGraphBench-PPI，一个审计优先的实验基准测试和方法学工作流，用于蛋白质相互作用网络上的可重复学习。其核心研究问题是：开放的PPI资源能否转化为链路预测任务，使其证据链从源数据下载、规范化处理、划分生成、特征构建、模型拟合到统计报告全程可重建。
该贡献兼具方法学与实证意义。方法学上，该基准测试将数据溯源、泄漏控制、负采样和划分契约作为一等实验对象而非事后文档；实证上，它建立了多随机种子非GNN基线的严格下限，并表明模型排序取决于负采样契约。研究得出以下核心结论：随机负样本条件下HGB AUPRC高达0.942–0.964，但度匹配负样本使AUPRC降低0.049–0.259；GCN基线在随机负样本下于部分图中显示信号（AUPRC 0.526–0.717），但在度匹配和两跳契约下接近随机水平（AUPRC 0.500–0.515）。模型排序在不同契约下不再保持不变，这证明基准测试结论强烈依赖于采样非边设计和图数据源。
三、关键技术方法
研究人员采用了以下主要技术方法：
- 1.
数据源与规范化处理：使用STRING v12.0（2026年8月4日获取）和BioGRID 5.0.260的人类物理相互作用网络，以及OBNB 0.1.0数据包作为次级任务。STRING蛋白质标识符映射至Entrez Gene标识符，相互作用对转换为规范无向对，排除自相互作用和无效端点记录，合并重复规范对。所有获取文件均包含源URL、观测版本、获取日期、字节大小和SHA-256校验和的清单。
- 2.
任务定义与固定划分：保留五个任务，其中四个PPI链路预测任务为核心贡献。每个PPI图的正边使用10个预定义随机种子（42–51）打乱，按80%训练、10%验证、10%测试划分，同时保持训练图中的生成森林。OBNB任务作为次级压力测试。
- 3.
三种采样非边契约：随机契约从完整观测正边集之外的节点对中均匀采样；度匹配契约近似保留对应正划分的端点对数度分箱分布；两跳契约采样在训练正图中共享至少一个邻居的未观测节点对，构成局部困难负样本条件。
- 4.
结构特征与基线模型：候选对的结构特征向量包含共同邻居（CN）、Jaccard系数、Adamic–Adar（AA）、优先连接（PA）及两个端点度。每种启发式作为无监督分数，完整特征向量提供给逻辑回归、随机森林和直方图梯度提升（HGB）作为监督结构基线。另实现可审计的node2vec兼容随机游走基线（p=q=1）和两层GCN链路预测基线。
- 5.
评估与统计方法：测试AUROC和AUPRC衡量排序判别力，Brier分数和期望校准误差（ECE-10）评估概率质量。指标以10个随机种子的均值和样本标准差汇总，使用Student t分布（9自由度）计算95%置信区间，采用配对Wilcoxon符号秩检验和配对标准化效应量支持契约间比较。
四、研究结果
3.1 接受任务与基准规模
接受的任务集应被视为质量控制结果。BioGraphBench保留了五个可审计任务，因其源文件、转换、划分定义、特征策略和输出均可从本地清单重建。四个任务评估无向PPI链路预测，OBNB代表不同的次级节点标注任务。完整STRING和BioGRID图包含数十万条规范相互作用，无重叠消融也足够大以支持评估。协议生成了120个划分清单、1680条经典基线结果行、240条node2vec兼容结果行和240条GCN链路预测结果行。
3.2 PPI链路预测的强结构基线
在随机负样本下，监督结构模型表现强劲，HGB达到平均测试AUPRC值：STRING 0.950、BioGRID 0.943、STRING without BioGRID 0.964、BioGRID without STRING 0.942。度匹配负样本降低HGB AUPRC：STRING降低0.069、BioGRID降低0.172、STRING without BioGRID降低0.049、BioGRID without STRING降低0.259。两跳契约下，BioGRID without STRING的HGB AUPRC升至0.849，高于度匹配的0.684，表明困难负样本不可互换。GCN在随机负样本下于STRING without BioGRID达到0.717，但在度匹配和两跳下接近随机水平（约0.500–0.515）。
3.3 校准与计算成本区分监督基线
逻辑回归在校准误差范围上最大，HGB在低ECE-10值下紧密集中。GCN的ECE-10在各契约下均很高（约0.486–0.500），表明其不仅判别力弱且校准差。运行时间方面，逻辑回归最快但变异性最大，随机森林训练时间最高，HGB在保持强AUPRC和校准的同时成本低于随机森林，node2vec因随机游走嵌入阶段主导而具有紧凑运行时间带，GCN平均训练时间约1.8–5.3秒。
3.4 功能节点分类仍然困难
OBNB BioGRID + GOBP多标签任务中，常数特征逻辑回归对照给出随机水平的macro-AUROC 0.500和macro-AUPRC 0.0107。独热对数度特征将逻辑回归macro-AUROC提升至0.531，而MLP和GCN未产生决定性改进。阈值调优产生非零micro-F1，但增益伴随极低精确率。
3.5 结果衍生的基准解释要求
综合结果定义了后续模型提交的实证要求：任何提交模型必须在采样非边契约间进行解释，而非单一负样本规则下；必须与强非GNN基线直接比较；校准和计算成本必须伴随排序指标；神经链路预测模型必须与相同非GNN基线和相同负采样机制进行解释。
五、讨论与结论
讨论部分： BioGraphBench-PPI表明，生物医学图基准测试的科学价值取决于其实验契约的可解释性。高PPI链路预测性能在随机负样本下是真实且可重复的，但不完整。度匹配和两跳契约改变了性能绝对水平和模型家族相对排序。STRING和BioGRID共享423,528个映射蛋白质对，跨资源评估若不进行对齐可能将先前观察到的相互作用误认为独立证据。校准是第二项核心贡献：逻辑回归有时接近树集成排序性能但产生更大ECE。保留的功能节点分类任务防止基准被解读为单一简单PPI练习。研究局限性包括：研究范围限定于PPI链路预测、两跳策略是局部困难负样本代理、node2vec基线未穷尽调优、GCN实验为最小神经基线而非穷尽GNN搜索。
结论部分翻译： BioGraphBench-PPI将开放的蛋白质相互作用资源转化为可重建的实验任务，并揭示了一个核心方法学结果：PPI链路预测结论强烈依赖于采样非边契约。随机负样本产生高且稳定的结构基线，而度匹配和两跳负样本改变了任务难度，并在若干设置中改变了模型排序。当两层GCN在相同四个PPI任务、三种采样非边契约和多随机种子协议下评估时，这些效应持续存在，表明该基准测试能够在结构和神经基线中暴露契约依赖行为。由此产生的基准测试并非声称PPI预测已解决，而是提供了一个可审计框架，使模型性能能够针对明确的数据溯源、泄漏控制、负采样规则、强非GNN基线、校准、统计不确定性和计算成本进行解释。未来扩展应在相同实验契约下评估更具表达力的GNN架构和额外鲁棒性条件，同时保留此处建立的公开可重复证据链。
