《Pattern Recognition Letters》：Anti-Neutron Transformer Pre-Trained with Position Cloze Procedure for High-Energy Particle Detection
编辑推荐：
研究人员设计了一种命中令牌序列表示模型反中子Transformer（Anti-Neutron Transformer，ANT）。研究人员指定一种位置完形填字过程（Position Cloze Procedure，PCP）来预训练ANT并学习空间先验。在BESI
研究人员设计了一种命中令牌序列表示模型反中子Transformer（Anti-Neutron Transformer，ANT）。研究人员指定一种位置完形填字过程（Position Cloze Procedure，PCP）来预训练ANT并学习空间先验。在BESIII上达到最优性能：平均角度偏差（mean Angular Bias，mAB）9.17°，平均相对误差（mean Relative Error，mRE）20.78%；超越传统方法。
研究背景与动机
在高能物理实验中，电磁量能器（Electromagnetic Calorimeter，EMC）记录粒子相互作用沉积的能量并以离散能量命中（hit）形式读出。反中子（n?）作为强子衰变分析中的重要末态粒子，其在EMC中的命中分布比光子等电磁簇射粒子更稀疏、不规则且非局域，导致真实位置不与能量簇几何中心对齐，动量亦无法直接观测，传统聚类算法面临挑战。现有基于集合或粒子的深度学习方法（如Set Transformer、EFN、ParticleNet、ParT）多聚焦喷注表示或分类，针对EMC读数中反中子命中级序列建模、位置预测与动量回归的研究尚不充分；同时自然语言与视觉中的自监督范式（BERT、MAE）不直接适配稀疏无语法顺序的命中序列。为此，研究人员提出ANT与PCP，以命中令牌为单元建模全局关系并从未标注数据中学习探测器几何与能量分布的结构先验。该文发表于《Pattern Recognition Letters》。
关键技术方法
研究人员采用BESIII实验电子-正电子对撞事例，反中子样本来自J/ψ→p n? π?衰变道；标注集n?-1m含986 343例（取10万测试），无标注预训练集n?-fullana含11 093 276例。每事例EMC命中表示为(?,θ,e)，经离散化嵌入为命中令牌，按固定长度L重复填充并施以次序打乱与?循环平移增强；编码器仅段内自注意力，另设动量令牌聚合全局。预训练阶段提出PCP：对高能量排名前50%命中随机掩去20%的位置角(?,θ)，仅以能量提示与上下文恢复角度，损失为掩码命中归一化坐标L1误差；下游检测头对有效命中做正/负分类与局部角度残差回归，动量令牌输出经线性层回归ln(p*/p?)。优化采用AdamW，预训练12轮、微调12轮。
研究结果
3 Anti-Neutron Transformer
3.1 Data Pre-Processing：BESIII EMC共6240晶体，命中经预处理后>99%事例仅含单一主导响应，故每事例视为关联单粒子的命中集，标签由伴生粒子能动量守恒反推。
3.2 Representing Collision Events as Hit Sequences：命中令牌由?（360维离散）、θ（180维离散）、log e（768维离散）嵌入拼接；稀疏事例通过同集重复获更多注意力上下文；?循环平移模拟方位旋转不变性。
3.3 Self-Supervised Learning with Position Cloze Procedure：PCP反转MAE逻辑——从能量推位置而非从位置推能量；掩码命中解码端仅接收能量提示m_pcp占位，恢复归一化(?,θ)，迫使模型摄入探测器几何与能谱共现结构。
4 Anti-Neutron Detection
4.1 Particle Position Prediction：以几何距离阈值(??,θ?=π/4)分正负命中，正命中回归归一化残差(α,β)；推断取置信最高命中作锚，输出n?角度(??,θ?)。
4.2 Particle Momentum Regression：动量令牌聚合并行有效命中注意力，回归z=ln(p*/p?)，p?=p?·exp(z?)，与位置损失相加得总检测损失。
5 Experiment
5.1 Experimental Setting：指标mAB（°）与mRE（%）；少样本设100/1K/10K训练例。
5.2 Position Cloze Procedure：少样本下PCP预训练显著降mAB；Top-50%能量中掩20%最优（mAB 9.17°，mRE 20.78%）；位置恢复优于能量恢复，证成位置信息具稳定结构性。
5.3 Detection Performance：ANT+PCP在n?-1m上mAB 9.17°（ClustAlgo 17.31°，DINOv3 10.84°），mRE 20.78%（ParT 34.60%）；自然图像预训练ViT与BERT/MAE式自监督均不及从头训，表明EMC物理结构需领域专属先验；J/ψ不变质量峰更尖锐。
5.4 Ablation Study：重复填充+次序打乱+?循环平移联合最优（mAB 10.35°）；跨事例拼接严重退化（15.49°）；能量分箱768饱和。
6 Conclusion
研究人员实现首次以深度学习完成反中子动量回归，ANT+PCP将位置误差压至9.17°、动量相对误差20.78%，证明稀疏命中序列表示是高能粒子探测的有效技术路线；PCP以无标注对撞数据注入空间结构先验，在少标注场景增益明显，对后续末态含反中子物理测量具备直接应用价值。
