《Nature Methods》：Lessons learned from a Kaggle challenge for particle picking in cryo-electron tomography
编辑推荐：
冷冻电子断层扫描（cryo-electron tomography, cryoET）中粒子拾取（particle picking）的困难仍然是常规原位结构测定的障碍。机器学习（machine learning, ML）非常适合通过高效算法克服这一瓶颈，这些算法
冷冻电子断层扫描（cryo-electron tomography, cryoET）中粒子拾取（particle picking）的困难仍然是常规原位结构测定的障碍。机器学习（machine learning, ML）非常适合通过高效算法克服这一瓶颈，这些算法可推广至不同分子种类。为了推动新算法开发，研究人员举办了一场为期3个月的Kaggle挑战赛，要求参赛者标注数百张实验断层扫描图中的五种分子种类。本文分析了该竞赛的结果，该竞赛成功吸引了超过1000名参与者，并提供了优于现有最先进技术的粒子拾取器。对参赛者提交结果的系统比较揭示了亚断层图像平均（subtomogram averaging, STA）对适度但非严重过度拾取的耐受性，并强调了需要更稳健的标注质量衡量标准。获胜模型还突出了数据增强（data augmentation）在克服有限训练数据方面的重要性。所有竞赛断层扫描图以及真实标注和获胜团队的注释已发布在CryoET数据门户（CryoET Data Portal）上，作为评估当前和未来粒子拾取算法的资源。
**冷冻电子断层扫描中粒子拾取的Kaggle挑战经验教训——论文解读**
**研究背景、问题与意义**
冷冻电子断层扫描（cryo-electron tomography, cryoET）是一种能够在原位可视化细胞超微结构和分子复合物的强大技术。然而，在cryoET数据处理中，分子注释（即粒子拾取）仍是主要瓶颈。由于数据信噪比（signal-to-noise ratio, SNR）极低、成像轴方向存在缺失楔（missing wedge）信息导致信号模糊、细胞断层扫描图中分子极度拥挤以及目标物种的多样性和异质性，手动注释耗时且困难。传统的模板匹配方法计算量大，且依赖于已知结构的模板，难以推广至构象异质性目标或低分子量复合物。机器学习（machine learning, ML）算法有望提供更可扩展和通用的解决方案，但该领域尚未形成单一成熟方法，仍需进一步发展。社区挑战赛已被证明在催化结构生物学新方法开发和验证现有工具方面具有重要价值。此前，该领域举办过两次针对cryoET专家开发的ML算法的标注挑战赛，但基于合成数据集且规模有限。为了推动进展，研究人员发起了一项范围更广的挑战赛，基于大规模实验数据集，利用Kaggle平台吸引全球ML社区参与，旨在开发更优的粒子拾取算法，并通过系统比较分析揭示影响算法性能的关键因素。该研究发表于《Nature Methods》。
**关键技术与方法**
研究人员利用一个包含492张高质量断层扫描图（tomogram）的exphantom数据集（源自细胞裂解物富集溶酶体，混合五种商业蛋白和病毒样颗粒，以及内源性核糖体），分为训练集（7张）、公共测试集（121张）和私有测试集（364张）。评分采用F
β分数（β=4），优先召回率（recall）并对困难目标加权。竞赛吸引了1131名参与者，提交约28000个解决方案。主要方法包括：基于3D U-Net的模型架构、数据增强（data augmentation）与测试时增强（test-time augmentation, TTA）、模型集成（如model soup）、扩大推断patch size、指数移动平均等。通过自动化参考基础的亚断层图像平均（subtomogram averaging, STA）流程（基于RELION-5）评估注释质量，并比较了获胜模型与现有算法（DeepFinder、DeepETPicker）的性能。
**研究结果**
**Competition format（竞赛格式）**
竞赛围绕一个exphantom数据集设计，包含492张断层扫描图和约60000个真实标注，涵盖六种粒子类别（apoferritin、beta-amylase、beta-galactosidase、thyroglobulin、virus-like particles和ribosomes）。数据集被分割为训练集（7张，反映手动注释的合理工作量）、公共测试集（121张，提供公开分数指导模型设计）和私有测试集（364张，用于最终排名）。评分采用F
β分数（β=4），优先召回率，对困难目标（thyroglobulin和beta-galactosidase）权重为2，不评分beta-amylase。该设计鼓励算法在有限训练数据下稳健泛化，并容忍因真实标注不完美而可能存在的假阳性。
**Statistical analysis of the submissions（提交结果的统计分析）**
竞赛吸引1131名参与者，提交近28000个解决方案。近四分之三的提交优于基准解决方案的公共测试分数。获胜模型性能优于DeepFinder和DeepETPicker（未经超参数调优）。模型性能在公共和私有测试数据间一致，表明数据集分割合理，未过度拟合。分析各粒子类别的召回率和过度拾取比率（over-picking ratio）发现：对于病毒样颗粒，召回率较高且稳定；对于困难目标（如thyroglobulin），中等分数提交的召回率略高，但过度拾取严重；ribosomes和apoferritin的过度拾取比率较稳定。类间重复坐标分析进一步证实，高分数模型选择性更好。
**Structural analysis of select submissions（选定提交的结构分析）**
对前十名获胜团队、十名低排名团队、前五名共识注释以及DeepFinder和DeepETPicker的注释进行STA，比较精炼图的分辨率。对于容易标注的目标，几乎所有团队和算法都能获得与真实标注相当的地图质量；对于困难目标，低排名团队和DeepFinder常产生伪影重构。地图分辨率随测试分数降低而恶化，但过度拾取阈值因物种而异。在去除真实标注后，许多团队仍能重构正确结构，表明假阳性中包含有效粒子。然而，地图分辨率在去除真实标注后差异显著，且无法从完整注释的地图质量或粒子数量预测，这凸显了STA对中等数量假阳性的有限敏感性，以及需要更稳健的标注质量评估指标。
**Common themes of the winning models（获胜模型的共同主题）**
十名获胜模型均以3D U-Net为骨干架构，部分结合2D/3D卷积神经网络（CNN）编码器，第一、二名分别使用YOLO类检测模型和残差神经网络（ResNet）与3D U-Net的组合。获胜模型倾向于轻量级3D U-Net，以避免过拟合有限训练数据。共同策略包括：模型集成（如model soup平均权重或集成不同架构预测）、广泛的数据增强与测试时增强（TTA）、扩大推断patch size、模型指数移动平均等。敏感性分析表明，仅增加训练数据增强即可将模型分数从0.44提升至0.70，而其他策略的组合进一步缩小了与获胜模型分数的差距，突出了数据增强在有限训练数据约束下的关键作用。
**Additional highlights（其他亮点）**
获胜团队对beta-amylase的预测质量优于真实标注，且其注释在分子拥挤的断层扫描图中定位了更多有效粒子。前五名团队的共识注释为更新真实标注提供了起点，但需进一步筛选以避免混淆非目标粒子。此外，该数据集还可扩展至核小体、蛋白酶体等物种，以进一步挑战算法泛化能力。这些结果暗示获胜算法具有推广至细胞断层扫描图的潜力。
**讨论与结论**
讨论部分指出，本次竞赛成功吸引了超过1000名多领域专家，开发了优于现有技术的多类粒子拾取算法。参赛者的结果强调了数据增强等策略在克服有限训练数据中的重要性，以及严重过度拾取对STA的负面影响。然而，STA对中等假阳性的相对不敏感性暴露了测量拾取准确性的困难，凸显了开发更稳健评估指标的需求。此外，STA在分子异质性处理方面存在局限，而视觉蛋白质组学倾向于更全面的注释，算法需根据任务灵活调整。竞赛后举办的研讨会讨论了后续挑战赛的设计，但cryoET实践者与Kaggle社区在目标上存在分歧，目前倾向于在保持设计简单和范围明确的前提下，利用数据固有挑战（如低SNR、信号各向异性、有限训练数据）来吸引广泛参与者。
研究结论：这项竞赛通过Kaggle平台成功推动了cryoET粒子拾取算法的发展，验证了exphantom数据集作为多类注释算法基准的有效性。获胜模型的策略（如数据增强、轻量级架构）具有普适性，其算法已开源并显示出可迁移至其他挑战的能力。所有竞赛数据、真实标注和获胜团队注释已发布在CryoET数据门户上，为评估当前和未来算法提供资源，也为算法在原位数据上的泛化性能评估提供了可能。
