《Machine Learning and Knowledge Extraction》：Is There a Best Hypergraph Neural Network? A Significance-Aware Recomputation and Statistical Audit of DHG-Bench
编辑推荐：
深度超图学习几乎完全通过排行榜评估，即按少量随机种子下的平均准确率对方法排序，通常不进行显著性测试。超图神经网络(HNN)中是否存在最优者，还是表观排序仅反映种子噪声？研究人员在单块GPU上以二十个随机种子（对照上游五个）和不同软件栈独立重计算了DHG-Ben
深度超图学习几乎完全通过排行榜评估，即按少量随机种子下的平均准确率对方法排序，通常不进行显著性测试。超图神经网络(HNN)中是否存在最优者，还是表观排序仅反映种子噪声？研究人员在单块GPU上以二十个随机种子（对照上游五个）和不同软件栈独立重计算了DHG-Bench的节点分类赛道，并对逐种子准确率施加四层统计审计：可复现性检查、带Holm修正的每数据集配对Wilcoxon检验、跨数据集Friedman/Iman–Davenport omnibus检验配合Nemenyi与Holm修正配对检验，以及方差分解。在单一数据集内，二十个种子可区分大多数方法对（74–98%），故协议非低功效。在全部17种方法均完成的九个数据集上，omnibus检验拒绝全局相等（Kendall’s W），但无任一对在Holm修正后存活，且顶尖方法落于同一临界差(critical-difference)带内。一个数据集的种子噪声高于方法间信号，无法排序。重计算还记录了一种不可复现方法、标签范围数据故障及公开发布中缺失的每数据集配置。这些数据集上无单一方法统计最优，故单一榜首主张不受支持；研究人员发布可复用的显著性感知评估协议。
研究背景与动机
深度超图学习领域的进展几乎完全由排行榜驱动：基准固定数据集与流水线，各方法跑少量种子后按平均准确率排序。图学习与超图神经网络(HNN)继承了该实践，但反复受质疑——受训练/验证划分、超参预算影响，表观排序常落入运行间方差内，且调优充分的简单基线常匹配复杂模型。DHG-Bench虽统一预处理、将17种HNN与3种非超图基线置于共同流水线，仍以5种子均值±标准差排序且未附显著性分析。因此“是否存在最优HNN”仍开放：表观榜首可能只是种子噪声产物。研究人员对此独立重计算并补上统计层。
研究内容与结论概要
研究人员在单块NVIDIA A100(40GB)上以20种子、Python 3.12.3+PyTorch 2.4.0+cu121（对照上游Python 3.9.21+PyTorch 2.2.2）重算DHG-Bench节点分类赛道，保留上游训练过程与超参仅做环境门控补丁，扩展钩子落盘逐种子train/val/test准确率；因同种子固定划分，两方法在同数据集的逐种子准确率为配对观测。审计覆盖225个完成单元（260中），trivago因标签断言与内存故障排除，部分大图单元因OOM/超时缺失。四层审计结论一致：单数据集内20种子功效充足（配对Wilcoxon+Holm区分74–98%方法对），但跨9个完整块数据集Friedman拒绝全局等价（χ2显著，Iman–Davenport F显著，Kendall’s W≈0.5）后，136对中0对经Holm修正配对Wilcoxon显著，顶尖EDHNN、AllSetformer、EHNN、TFHNN、SheafHyperGNN同处一Nemenyi临界差带；twitch上种子内噪声SD≈1.9pp大于方法间均值SD≈1.4pp（η<1）故不能排序。重计算另暴露HJRL在新栈下不可复现（控制重跑上游栈仍复现自身低值）、公开配置缺cora外各集专属段致使NTU2012/ModelNet40/walmart-trips-100全方法同向下偏、trivago发布管道与训练配置不一致。论文发表于《Machine Learning and Knowledge Extraction》。
主要关键技术方法（≤250字）
研究人员采用DHG-Bench公开节点分类轨道（17种HNN+MLP/CEGCN/CEGAT），单A100上以20种子重算，软件栈换为Python 3.12.3+PyTorch 2.4.0+cu121；环境门控钩子落盘逐种子准确率。统计上依次用：Layer1绝对差±容差做可复现性检查；Layer2每数据集配对Wilcoxon符号秩检验+Holm逐步下降修正（α=0.05）；Layer3跨9完整块数据集以每集均值排名做Friedman检验、Iman–Davenport校正、Kendall’s W一致性系数、Nemenyi临界差图与Holm修正配对Wilcoxon；Layer4按Bouthillier式分解η=方法间均值SD/方法内种子SD。结构刻画用释出数据重算超边同配率h与类数等，Spearman联排名能力与结构量。
研究结果（保留小标题）
4.1 相对报告均值的可复现性：222可比单元中距差中位1.8pp、均值6.7pp，32%≤1pp、64%≤3pp；HJRL九单元均差18.7pp且上游栈控制重跑仍复现低值，属方法/默认配置本身问题；去HJRL后NTU2012/ModelNet40/walmart-trips-100/pubmed系统性下偏（同向下偏、细胞内种子SD仅1–3pp），对应公开配置缺专属段，故这三集绝对值视为默认配置下限而非否定原值。
4.2 每数据集跨种子显著性：20种子下walmart-trips-100区分98%、coauthor_dblp 96%、多数集74–94%，twitch仅21%；证明5种子功效疑虑消除，twitch低区分由其方差结构致。
4.3 跨数据集比较：9集17法Friedman χ2=132.4(p<1e-3)、Iman–Davenport F=3.71(p<1e-3)、Kendall’s W=0.52；平均排名EDHNN(5.1)居首但136对Holm-Wilcoxon零显著，Nemenyi CD大于榜首间隙，前五同带；剔TMPHN结论不变。
4.4 方差分解：walmart-trips-100 η=19、ModelNet40 η=12、多集η=5–9；twitch η=0.74（种子噪声>方法间差）故不能排序，amazon 1.3、yelp 1.6弱排序。
4.5 显著性感知排行榜：池化1889对中不修正p<0.05占88.8%，仅为描述补充，不抵跨集修正后零显著。
4.6 超图结构、可排序性与领先族：η随超边同配率h(Spearman ρ=0.81)与类数(ρ=0.76)升；twitch(yelp/amazon/pokec)低h少类致η<1；机制级分组中multiset/等变集函数(AllSetformer/EDHNN/EHNN)均排5.3最优，谱卷积中间、HJRL末；但跨集无族对显著分离。
讨论与结论翻译
讨论指出单集内可分离与跨集不可分非矛盾：前者问a是否胜b于该集，后者问是否持续胜出异质套件；Kendall’s W=0.52正对应omnibus拒等而配对零显著之态。榜首声明过度陈述实验所立者。twitch类集η<1应筛除后再聚合。结构读解显示同配大中超边集赏更高阶聚合（集函数法领先），异配集超边聚合混类致HNN逼近MLP、线展开LEGCN在actor/pokec领先。部分启发式（看η、同配选集函数或TFHNN、异配选MLP/展开法、大图选解耦免训练）仅选不可分顶带非保赢。
结论部分翻译：研究人员独立以20种子与现代栈重算近期超图基准节点分类轨道，施四层统计审计。各层一致——足种子数下集内常可区分，跨集榜不 Survive 显著性：omnibus拒17法全局等，但Holm后无对可分，顶尖同处一临界差带；原报与重算榜首互换本身即顶带不稳症状。方差分解示至少一集种子噪声超方法间信号故不能排序却等权投票。重计算另记HJRL不可复现、公开释放缺专属配置、trivago管道不一致。贡献非新模型而是可读基准之复用协议：报逐种子、测排序而非仅展示、筛不可排序集、顶带视带除非显著。联结构读解示η与领先族随h与类粒度走，集函数在高阶结构有用处领先、失同配后展开法/MLP竞争，虽顶带内仍统计不可分。释出分析与逐种子结果供他处复用。未来扩至超边预测/图分类轨、大显存补重法单元、评调优配置是否改集内分离而跨集不稳仍在。
