开普勒系外行星分类中的模型间分歧：一个泄漏感知的基准

《Astronomy and Computing》：Inter-model disagreement in Kepler exoplanet classification: A leakage-aware benchmark

　　• 感知泄漏感知的KOI基准排除了审查标志和置信度评分。
• 在宿主分组、泄漏控制协议下比较了五个分类器。
• XGBoost领先（ROC AUC 0.979）；XGBoost-RF差距无统计学显著性。
• 约三分之一的候选者处于模型间不一致的灰色地带。
• 不一致性在低信噪比和小半径处达到峰值；这是诊断而非验证。

引言

开普勒太空望远镜任务于2009年发射，旨在确定类太阳恒星周围类地行星的出现频率（Borucki等，2010）。在其运行寿命期间，开普勒监测了超过150,000颗恒星，并编制了迄今为止最全面的凌星系外行星候选星表。最终数据发布25星表包含8054个开普勒目标体（KOI），其中4034个被归类为行星候选者（Thompson等，2018）。

将KOI分类为已确认系外行星或假阳性是系外行星科学中的一个根本性挑战。传统审查方法依赖于人工检查或基于规则的自动化系统，如Robovetter（Thompson等，2018），尽管有效，但难以处理低信噪比候选者和长轨道周期。机器学习提供了一种可扩展的替代方案，能够自动且一致地处理大型星表。

机器学习已沿若干互补方向应用于开普勒分类。McCauliff等（2015）引入了一种基于星表级属性的KOI凌日信号自动随机森林分类器，确立了表格机器学习作为人工审查的可扩展替代方案。Shallue和Vanderburg（2018）引入了AstroNet，一种直接在开普勒光变曲线上训练的深度卷积网络，而Ansdell等（2018）表明添加科学领域知识输入可进一步改善光变曲线凌日分类。概率方法将多种模型与校准后验结合用于行星验证（Armstrong等，2021），而最近的系统强调可解释性和跨任务迁移：Valizadegan等（2022）开发了ExoMiner，一种可解释的深度分类器，验证了301颗新系外行星，Valizadegan等（2025）使用开普勒和TESS组合数据的多源训练将ExoMiner框架扩展到TESS。可解释和集成方法也已应用于表格KOI累积星表（Marín Díaz，2025）。这些研究确立了领域信息表示、校准分类和可解释性的价值，但它们主要优化或验证个体预测系统，而非表征未解决候选者上异构、泄漏感知模型之间的持续不一致。

更一般地说，具有相似总体性能的模型可以实现实质性不同的预测函数。这一现象在欠确定性、Rashomon集合和预测多重性下得到研究（D’Amour等，2022；Marx等，2020；Rudin等，2024），而集成多样性和模型差异研究考察了拟合系统在何处以及为何发散（Kuncheva和Whitaker，2003；Haldar等，2023；Lee等，2023）。相关研究还将不一致性用作分布偏移和有限部署重叠下的诊断（Rosenfeld和Garg，2023；Mishra和Liu，2025）。本研究在泄漏感知的开普勒设置中建立在上述思想之上，其中未解决的候选者可测量地偏离标注样本，且不存在候选者真实标签。

然而，若干方法论问题限制了现有方法的可推广性。将表格机器学习应用于KOI星表的研究报告了高分类精度，但并未始终明确解决审查派生特征的排除问题。例如，Marín Díaz（2025）将koi_score（Robovetter处置置信度评分）直接纳入特征集，同时包含所有三个星表处置类别。该量独立于其输出被建模的审查流程不可获得，因此不能作为独立于部署的预测器；它编码了星表处置结果的信息，而非独立物理测量。包含此类审查派生字段引入了目标代理泄漏：模型从产生星表目标标签的同一审查过程中构造的量中学习，虚增了表观性能并阻止了独立的部署解释。此外，尽管引入标签不确定性，CANDIDATE处置类别经常被包含在训练数据中，因为这些对象没有确定的星表处置。

本文通过提出一项可复现的基准研究来解决这些局限性，该研究评估五个机器学习分类器——逻辑回归、决策树、随机森林（Breiman，2001）、XGBoost（Chen和Guestrin，2016）和支持向量机——仅使用十二个物理驱动的凌日、恒星和信号质量特征进行训练，仅使用具有明确处置（CONFIRMED或FALSE POSITIVE）的对象。所有实验均使用scikit-learn框架（Pedregosa等，2011）在标准化协议下进行，包括组感知训练/测试分割（按宿主恒星的GroupShuffleSplit）、宿主聚类自助法不确定性和跨分组重分割的稳定性分析。

先前的系外行星研究确立了星表分类、领域信息表示、可解释性和概率验证，而一般机器学习文献确立了偏移下的预测多重性和不一致性。本文的独特贡献在于使异构模型不一致性本身成为泄漏感知、宿主感知开普勒基准中的研究对象，并表征其候选者级流行率、分组重分割持续性、物理定位、表示敏感性、非线性结构以及与长周期负共识的分离。

基准可以报告高总体性能，而个体候选决策仍可能不稳定；并且由于未解决的候选者不必来自标注分布，候选预测必须解读为部署诊断而非精度估计。考虑到这两个关注点，本文做出了三项明确贡献：

• 一个量化泄漏而非仅避免泄漏的泄漏感知基准：我们将由显式审查派生量（koi_fpflag_*、koi_score）引起的性能虚增与由同宿主重叠引起的较小虚增分离，并通过宿主聚类重采样估计基准不确定性。

• 模型间不一致性分析（IMDA）：一个可复现的诊断协议——投票、成对一致性和灰色地带表征——用于测量未解决候选者上对可辩护异构模型选择的敏感性，并证明其在宿主分组重分割中持续存在。该分析受预测多重性和欠确定性研究（Marx等，2020；D’Amour等，2022；Rudin等，2024）以及既有集成不一致性概念（Hastie等，2009；Kuncheva和Whitaker，2003）的启发，但完整五模型委员会有意比正式的近最优Rashomon集合更广泛。

• 对两种部署风险状态的实证识别：局部类别混合的低信噪比、小半径候选者中的持续不一致性，其中非线性模型优势最大；以及长周期候选者中的负共识状态，其中低不一致性与标注数据中弱正表示一致，不应被解读为可靠候选分类的证据。

除基准本身外，训练模型使用模型间不一致性分析（IMDA）框架（第5节）应用于1979个未解决候选者。分析揭示了基于树和光滑边界模型分组之间的系统性不一致，并确定低信噪比和小行星半径为模型间不一致性的主要观察相关量。分析识别了位于高或低模型共识区域的候选者，并为后续基于光变曲线或概率验证提供了诊断指导。由此产生的灰色地带表征——模型系统性不一致的候选者——构成本研究的核心实证发现。

章节摘录

数据集与预处理

分析使用NASA系外行星档案馆（NASA Exoplanet Archive，2026）的开普勒目标体（KOI）累积表。本研究使用的星表提取包含9564个KOI和49列，携带档案生产时间戳2026-04-08 13:29:09 UTC；每行代表开普勒太空望远镜探测到的凌日信号，以物理和仪器参数为特征（Thompson等，2018）。由于在线累积表可能随

分类器

评估五个机器学习分类器，选择以代表决策边界几何和归纳偏置的多样化范围（Hastie等，2009；Bishop，2006）：

逻辑回归（LR）是一个线性分类器，将类别成员的对数几率建模为输入特征的线性组合。它作为简单但可解释的基线。

决策树（DT）使用轴对齐分割递归地划分特征空间，产生分段常数决策边界。

基准性能

表3展示了所有五个模型在留出测试集上的分类性能，包括ROC AUC的95%聚类自助法置信区间（按kepid重采样宿主星；1000次重采样）。XGBoost在所有报告指标中取得最高分，准确率93.8%，F1分数0.9189，ROC AUC 0.9793 [0.972, 0.985]。随机森林以ROC AUC 0.9769 [0.969, 0.984]排名第二。XGBoost和随机森林的置信区间大幅重叠，

标注参考与候选群体之间的分布偏移

训练模型应用于CANDIDATE对象，其特征分布不必与其训练时的标注群体匹配。由于这种特征分布偏移（Moreno-Torres等，2012）仅取决于输入特征，因此无需候选标签即可直接测量。两项分析对其进行量化。

首先，标注群体（N=7585）和候选群体（N=1979）之间的逐特征双样本比较显示，显著偏移集中在凌日和

模型间一致性分析

为理解投票分布中观察到的分歧模式的结构来源，检查所有模型对之间的成对一致性——揭示分歧是随机的还是反映决策边界几何的系统性差异。

灰色地带分析

灰色地带定义为在给定决策阈值下五个模型中收到2或3票的候选者集合（方程1），代表最大模型间不一致性。在默认阈值0.5下，这包括696个候选者（占全部1979个的35.2%）。在评估阈值的全范围（0.40–0.60）内，灰色地带占候选者的32.3%–37.2%，确认约三分之一的CANDIDATE对象落在模型间不一致区域。

可分离性与非线性优势

基准排名（第4节）和经验一致性分组（第6节）提出了关于类别边界几何的数据分布优先问题（Ho和Basu，2002）：树集成利用了线性基线之外的什么结构，以及为什么它们的候选决策可能不同于光滑边界模型？

上下文中的基准性能

基准结果表明，在默认超参数基线协议下，梯度提升和随机森林集成在KOI分类任务上实现显著高于线性和核方法的ROC AUC，与树基模型在表格数据上仍然是强基线的普遍发现一致，Grinsztajn等（2022）将其归因于适合不规则（非光滑）目标函数的归纳偏置和对无信息特征的鲁棒性。

总结与结论

本文提出了一个可复现的、泄漏感知的基准，用于从十二个物理驱动的特征将开普勒目标体分类为已确认系外行星或假阳性，并通过IMDA框架将训练模型应用于1979个未解决候选者。得出四项结论。第一，没有显式审查派生字段的基准仍然强劲，XGBoost和随机森林实现最强基准性能，其差异无统计学

CRediT作者贡献声明

Andrii Mykuliak：写作——审阅与编辑，写作——原稿，可视化，验证，软件，方法学，调查，正式分析，数据管理，概念化。Andrii Vovk：写作——审阅与编辑，写作——原稿，验证，调查，概念化。

稿件准备过程中生成式AI和AI辅助技术的声明

在本文准备过程中，作者使用Claude（Anthropic）协助代码开发支持、调试协助、语言编辑和稿件起草支持。使用该工具后，作者根据需要审阅并编辑内容，对发表文章的内容承担全部责任。

利益冲突声明

作者声明没有已知的竞争经济利益或个人关系可能影响本文报告的工作。

致谢

作者感谢NASA系外行星档案馆团队维护并提供开普勒目标体累积星表的公开访问。本研究使用的开普勒KOI星表基于开普勒任务的数据，由NASA科学任务理事会资助，并由Thompson等（2018）表征。

Andrii Mykuliak | Andrii Vovk