EVENET：融合自监督学习与物理感知监督的事件级粒子对撞数据基础模型

《Nature Machine Intelligence》：Foundation model for particle collision data analysis

　　

数据密集型对撞机实验日益需要能够跨高维、部分观测的测量进行迁移的模型，然而目前大多数分析仍针对各个任务分别优化彼此独立的模型。为应对这一瓶颈，研究人员提出了EVENET，一种在5亿个模拟对撞事件上、采用自监督学习（self-supervised learning, SSL）与物理感知监督（physics-informed supervision）预训练的事件级基础模型（foundation model）。该模型利用每个事件中物理对象的可变长度集合，构建共享的粒子云（particle-cloud）表示。在重共振粒子搜索与奇异希格斯玻色子衰变搜索中，EVENET的性能优于既有基线方法与当前最先进的模型，在低统计量情形下尤为突出。研究人员通过在紧凑μ子螺线管（Compact Muon Solenoid, CMS）开放数据中重新发现?介子，验证了预训练表示向真实实验数据的迁移能力。预训练模型还支持对量子关联观测量（quantum-correlation observables）的精确提取，该观测量在经受系统变化的检验下保持稳定。综合这些结果，EVENET确立了一种可复用的骨干网络（backbone）作为多种对撞机分析的基础，能够在一次性的大规模预训练投入之后显著改善下游适配效果。

研究背景

基础模型（foundation model）已重塑自然语言处理、计算机视觉以及蛋白质结构预测、临床影像标志物提取等数据科学领域的大规模数据分析范式，其共同经验是：在领域数据上进行大规模预训练能够捕获具有强泛化能力的潜在结构，在标注数据稀缺时远优于任务专属训练。然而高能物理面临类似的数据格局：大型强子对撞机（LHC）每年产生数十亿次质子-质子对撞，每次对撞被记录为可变长度的末态粒子集合，从高维、部分观测的记录中提取信息是LHC物理计划的核心。尽管机器学习已在对喷注标记、事件分类、反常探测与快速模拟中不可或缺，当前主流范式却仍是为每项新分析专门设计、训练并独立验证模型，导致专家人力、计算资源与周转成本持续攀升，并将随高亮度LHC（HL-LHC）在数据规模与对稀有过程灵敏度方面的提升而进一步加剧。同时，现有对撞机物理的基础模型尝试多局限于单个喷注、少数下游任务或狭窄的物理过程覆盖，且普遍缺乏在真实实验数据上的验证，这构成了亟待突破的瓶颈。

研究内容与结论

针对上述问题，研究人员提出了EVENET，一种面向粒子对撞数据的事件级基础模型。该模型将每次对撞表示为无序的粒子云，由共享的"点-边Transformer"（point–edge transformer）骨干网络处理，并通过可替换的任务头支持物理过程分类、对象-共振分配、末态分割以及基于扩散模型（diffusion）的掩蔽或未探测粒子重建。骨干网络在5亿个模拟事件上通过两阶段策略预训练，结合自监督学习（self-supervised learning, SSL）与物理感知监督（physics-informed supervision）。研究团队在四类场景评估其能力：跨假设网格的新物理发现、模拟到数据的迁移与共振重新发现、探测器系统学下的结构化多任务协同与鲁棒性，以及训练收敛效率。结果表明，EVENET在精密测量、新物理搜索与碰撞数据反常探测中性能均可比肩或优于任务专属的最新基线及预训练表格基础模型TabPFN；两阶段预训练显著优于无预训练与仅自监督的变体，并将下游微调的最优更新步数减少数倍。论文发表于《自然·机器智能》（Nature Machine Intelligence），确立了可复用的事件级骨干网络（backbone），可通过一次性的大规模预训练投入摊销成本，显著改善各类下游分析。

关键技术方法：混合"点-边Transformer"骨干网络处理可变长度粒子云；自监督生成头（self-supervised generation, SS-Gen）以扩散模型对掩蔽粒子去噪重建，掩蔽率由30%渐增至100%；监督生成头（supervised generation, Sup-Gen）以观测对象为条件重建不可见粒子，以丢失横向能量（missing transverse energy, E_T^miss）为全局条件；分类头（Cls）、分配头（Asn）、分割头（Seg）对应判别目标。样本方面，约3×10⁹个标准模型（standard model, SM）模拟事件（MADGRAPH5_aMC@NLO生成、PYTHIA 8强子化、Delphes探测器模拟）经预筛选保留约5×10⁸个，迁移验证使用CMS开放数据；训练在512块NVIDIA A100 GPU上以PyTorch 2.6和LION优化器完成，两阶段预训练约耗O(10⁵) GPU-时。

研究结果

跨假设网格的泛化：在CMS开放数据涵盖的121个(m_X, m_Y)质量点上，针对X → YH_SM、Y → b b?、H_SM → WW*这一预训练语料中不存在的新拓扑，EVENET–Full在大多数网格点取得最高信号显著性改善特征（significance improvement characteristic, SIC），其平均最大SIC相对Scratch提升约50%、相对XGBoost约20%、相对TabPFN约10%，且约1000个有效步即收敛，而Scratch需约3000步。这表明预训练在高容量模型、低信号统计量条件下同时改善数据效率与收敛速度。

模拟到数据迁移与共振重新发现：在2016年CMS开放数据的反隔离区? → μ⁺μ^?反常探测中，EVENET–Full经运动学校正后的中位局部显著性达7.6^+0.4_?0.4σ，超过已发表基准的6.4σ，而EVENET–Scratch仅达1.5σ；预训练变体的运动学校正幅度为11.6%，远低于Scratch的74.4%，说明预训练表示在物理一致性约束下更稳健。同向与反向电荷对照配置均与零显著度相容，证实不存在人工构造的共振峰。

物理结构化多任务协同与鲁棒性：在分布外奇异希格斯玻色子衰变搜索H_SM → aa → 4b中，代表性m_a = 30 GeV处EVENET–Full的最大SIC为4.1，优于Scratch的1.6与SPANet的1.4，且在5%参考数据下即超越基线在150%数据下的峰值；在100次喷注能量标度（jet energy scale, JES）系统学变化下，归一化SIC偏移的68%与95%中心区间分别为0.21与0.34，远小于Scratch的0.71与1.42。在双轻子顶夸克对量子关联测量中，纠缠敏感观测量Δ = |C_kk + C_rr| ? C_nn ? 1的相对精度σ_Δ/Δ在约1.5%参考数据下达3.88%，饱和值约3.33%，较5.26%的已有基准改善约37%；在JES与软丢失横向能量变化下，EVENET–Full的精度偏移波动较Scratch小约5倍，表明预训练同时提升中心性能与系统学稳定性。

训练收敛：在量子关联任务中，EVENET–Full在O(200)有效步内达到验证损失1.11，Scratch为1.87；在最优平台0.86上以近一个数量级的更少更新次数达到。奇异希格斯基准亦呈相同模式，EVENET–Full在O(10²)–O(10³)有效步内达到0.40–0.45的损失，而Scratch需O(10³)–O(10⁴)步。

讨论与结论：讨论部分指出，单一预训练骨干网络可跨异质推断场景高效适配而不损失物理性能；与以往聚焦判别任务的喷注级预训练不同，EVENET采用混合判别-生成预训练，同时支持推断驱动分析与生成式重建。研究提炼出核心经验：在其他领域自监督往往足够，但在对撞机数据上，显式物理结构监督能够利用明确的模拟真值标签作为强归纳偏置，从而优于仅自监督预训练。借助预训练，辅助分配头与分割头的增益减弱，分类头单独即可达到高灵敏度，降低了对任务专属架构增强的依赖；多目标耦合的端到端训练仍保持稳定。这些结果将自监督生成部署延伸至真实碰撞数据。讨论同时指出挑战：模型尚非完全不确定性感知的框架，探测器与理论系统学的显式建模与传播仍需完善；不同任务头的预测未显式约束为相互一致；在显著模拟-数据失配下的系统压力测试尚未开展；潜在空间组织与可解释性分析留待未来。结论部分认为，EVENET展示了事件级基础模型作为广泛对撞分析类别灵活框架的潜力，其近期验证里程碑明确而长期展望审慎；未来将其与对象级框架OmniLearn耦合、接入可微分探测器或快速模拟框架，有望支持从重建观测量到理论参数的基于梯度的优化。EVENET为对撞机物理的基础模型奠定了具体而坚实的一步。