基于曲率的稳定超参数检测用于太阳耀斑的机器学习预测

《Pattern Recognition Letters》：Curvature-based Stable Hyperparameter Detection for Machine Learning Prediction of Solar Flares

　　

• •
  基于曲率的方法识别机器学习模型中超参数的稳定高原区域。
• •
  基于超参数构建三维性能超曲面并预测其特性。
• •
  SVM 高原区域出现在较大的 C 值（≥ 100）和中等 γ 值处。
• •
  RFC 在大多数超参数配置下表现出广泛稳定性。
• •
  减少对特定时间窗口穷举超参数调优的需求。

引言

太阳耀斑是太阳表面突然释放能量的现象，可能损坏卫星 [1] 并扰乱电网及其他基础设施 [2]。机器学习（ML）方法在耀斑预测中日益重要，支持向量机（SVM）和随机森林分类器（RFC）已成为基于太阳活动区（AR）数据推导的磁场参数进行耀斑预测的有效模型 [2]、[3]。（活动区是太阳圆面上磁场强度较高的区域。）

与所有监督学习模型一样，SVM 和 RFC 需要经过仔细的超参数（HP）调优才能达到最佳性能。对于使用高斯径向基函数（RBF）核的 SVM，关键超参数包括正则化参数 C 和核系数 γ。对于 RFC，超参数为树的数量 n_e 和最大树深度 d。常见的优化策略包括网格搜索和随机搜索 [4]，但随着超参数空间的增大，这些方法的计算成本也会增加。

然而，针对时间序列数据集（如太阳耀斑预测中使用的数据集）的超参数优化（HPO）提出了一个独特的挑战，且往往未得到妥善解决。具体而言，对于耀斑发生前24小时内的预测窗口——也称为提前时间（LT）——由于太阳磁场演化，已知最优超参数在不同预测提前时间之间差异显著 [2]。这种时间变化表明，选择一组"全局最优"超参数可能导致许多提前时间下的性能非常不优。因此，通常做法是为每个提前时间寻找唯一的最优超参数，这十分繁琐。这种时间变异性提出了我们的核心研究问题：是否存在在时间变化条件下保持稳定高性能的超参数配置，且能否将其识别出来？ 我们假设超参数空间中存在稳定最优区域，我们将其称为稳定高原，或简称高原。从几何上看，高原是超参数空间中的一个区域，在该区域上性能超曲面近似平坦，使得模型性能在超参数和提前时间变化时始终保持高位。该超曲面是性能统计量关于超参数和提前时间的函数图形；其正式定义见 §3.2。如果此类高原存在且可被系统识别，从业者便可从这些稳定区域中选择一种在所有提前时间下性能接近最优的配置，从而大幅减少对特定时间窗口进行密集调优的需求。

为解决这一挑战，我们提出了一种基于曲率的方法，通过分析性能超曲面的几何特征来工作。将微分几何应用于量化其局部平坦度（曲率），从而揭示高原区域。

我们的工作提供了三个关键贡献。首先，我们展示了为 SVM 和 RFC（"这两种模型"）构建三维性能超曲面的方法，该超曲面联合映射超参数（C, γ）或（n_e, d）以及提前时间 t，涵盖25个小时窗口。据我们所知，这是首次对太阳耀斑预测中超参数-时间联合超曲面进行系统性研究。 其次，我们应用微分几何中的曲率分析来识别和量化模型保持稳定性能的高原区域。利用时间平均平均曲率，我们定位了曲率接近零的超参数区域，表明对超参数本身的变化具有鲁棒性。这是几何曲率分析首次应用于该领域的超参数优化。 第三，我们展示了两种模型都存在广泛的高原区域，并证明从 SVM 高原中选取单一配置并在所有提前时间中固定使用，其性能与在每个提前时间重新调优几乎相当。因此，该方法将搜索范围缩小到稳定区域，而非消除对特定提前时间的选择需求。

本文其余部分组织如下：第2节（§2）介绍相关工作；第3节（§3）阐述我们的方法；第4节（§4）和第5节（§5）分别介绍实验设置和结果；第6节（§6）和第7节（§7）分别讨论意义和局限性。

各节摘要

相关工作

接下来，我们讨论基于机器学习的耀斑预测、超参数优化方法以及时间序列场景下的超参数稳定性。

方法

我们考虑在重大太阳耀斑（M级和X级）预测框架下的超参数优化，涵盖 $N_f=25$ 个小时级提前时间。耀斑通常源自活动区，按强度从高到低分为 X、M、C、B 或 A 类事件。该框架使用从空间天气 HMI 活动区图像（SHARP）推导出的时间序列物理参数。我们的目标是识别超参数空间中的一个区域，使得该区域内的配置在广泛的提前时间范围内保持强劲性能，从而使逐提前时间选择成为一个……

实验流程

本节描述我们实验的输入数据、实现方式和计算环境。

结果

为建立超参数搜索空间的基线视图，我们首先考察了 SVM 在初始时间窗口（$t=0$）下的性能曲面（§3.2）。图 1a 展示了（C, γ）网格上的 TSS（真技能统计量），其中 C 在纵轴上，γ 在横轴上。热力图揭示了周围环绕着 TSS 急剧下降区域的明显高性能区域，同时还有广阔的平坦区域，在这些区域中尽管 C 和 γ 发生变化，性能仍保持稳定。

RFC 在（d, n_e）空间中于 $t=0$ 时表现出类似特征，

结论：贡献与意义

我们提出了一种基于曲率的方法，用于识别用于太阳耀斑预测的机器学习模型中稳定的超参数高原区域。我们将该方法应用于两种分类算法——SVM 和 RFC，使用来自 554 个活动区、涵盖 21,578 个小时观测数据的 SHARP 参数。

第一个发现是超参数高原区域的存在：SVM 和 RFC 在超参数空间中均表现出稳定高原。对于 SVM，高原区域涵盖 $C\in [{10}^{?2},2.15\times {10}^2]$ 和 $\gamma \in [{10}^{?3},2.15\times {10}^3]$，包含 111 个非退化配置。对于 RFC，高原区域……

局限性与未来潜力

首先，SDO/HMI SHARP 数据集仅涵盖约 1.5 个太阳周期，且需要数据清洗（60° 位置过滤、Q 标志为零、单一活动区区域 [5]），导致 19 个最具能量的重大耀斑被排除在外，其中 9 个仅来自两个活动区。这种集中性限制了多样性，并在正样本量与活动区级交叉验证独立性之间造成了权衡。其次，预测性能本质上受到 20 个 SHARP 派生特征（表 2）的限制，且 SHARP 观测仅……

作者贡献声明

Prajun Trital：撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、调查研究、正式分析、数据整理、概念构思。Timothy S. Newman：撰写——审阅与编辑、验证、监督、资金获取、数据整理、概念构思。Nikolai Pogorelov：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。

Prajun Trital|Timothy S. Newman|Nikolai Pogorelov