中心引导强化学习方法用于超参数优化及其在古代汉语历史文献关系抽取中的应用

《Machine Learning and Knowledge Extraction》：A Center-Guided Reinforcement Learning Method for Hyperparameter Optimization and Its Application to Relation Extraction

　　

超参数优化（HPO）旨在有限评估预算下识别高质量模型配置。针对基于强化学习（RL）的HPO中混合搜索空间、反馈稀疏及样本效率低的问题，研究人员提出一种中心引导强化学习（CGRL）方法。在CGRL中，策略输出由待直接评估的配置重构为定义有前景区域的搜索中心，将区域级引导与精确配置选择解耦。围绕中心生成混合候选池，并由随机森林（RF）代理模型筛选待真实评估的候选；同时，过程感知奖励为策略学习提供稠密且信息丰富的反馈。在20个YAHPO Gym环境下实验验证了CGRL的有效性。相较于随机搜索（RS）、树状Parzen估计器（TPE）、序贯基于模型的算法配置3（SMAC3）、近端策略优化基线（PPO-basic）、基于RL的HPO（Hyp-RL）及用于HPO的Q学习（HyperQ-Opt），CGRL在最终最优目标值上的平均排名达1.800，优于对照的6.000、3.600、2.200、4.450、6.350与3.600。在古汉语历史文献关系抽取（RE）的低秩自适应（LoRA）HPO中，CGRL验证集Macro-F1相较RS、TPE、SMAC3与PPO分别提升8.66%、3.10%、3.18%与5.13%，测试集提升11.15%、2.03%、3.11%与9.59%。结果表明CGRL在有限预算HPO的有效性及对实际RE任务的适用性。

研究背景方面，随着神经网络在文本与日志智能分析、医学图像处理、通信信号感知等领域广泛应用，模型性能不仅依赖架构与数据，还受学习率（LR）、正则化强度、优化器设置及参数高效微调（PEFT）中LoRA秩等超参数显著影响。由于超参数无法通过反向传播优化，需反复训练验证，经验调参低效难复现，HPO常被建模为有限稀疏反馈的黑盒优化问题。现有基于RL的HPO将策略动作定义为待评估的最终配置，使区域判定与精确生成耦合于同一策略，在含连续、离散、类别变量的混合空间中早期反馈不足时易致无效探索与预算浪费。为此，研究人员提出核心研究问题：能否通过分离区域判定与精确选择改进有限预算下RL-based HPO，并据此设计CGRL方法，以PPO为策略骨干，将策略输出解释为归一化编码空间中的搜索中心而非直接评估配置，围绕中心构建混合候选池（含中心自身、局部扰动、历史精英、纯随机与类别变异五类），由RF代理模型结合预测均值、跨树不确定度与基于最小编码空间距离的新颖性打分筛选唯一候选送真实评估，并以融合全局历史最优改进、单步改进、近优衰减、退化惩罚与停滞惩罚的过程感知奖励提供稠密反馈。论文发表于《Machine Learning and Knowledge Extraction》。

关键技术方法上，研究人员在YAHPO平台选取nb301、lcbench、xgboost、super、glmnet五场景共20个实例（F01–F20）做消融与对比，固定300次真实评估预算、5次独立运行；在应用端采用CHisIEC语料RE子集，以DeepSeek-R1-Distill-Qwen-7B为基模、4-bit量化仅训LoRA，按原始训练集比例分层抽样1000例作训练子集，验证/测试集不变，构建12类关系分类的长尾低资源设定，搜索空间覆盖LR、正则、调度、梯度裁剪、LoRA秩/缩放/注入模块等，目标为最小化Composite F1（0.85×Macro-F1+0.15×Tail Macro-F1）。

研究结果部分，第3节问题建模与方法设计中，3.1节中心引导MDP建模将评估历史编码为统一归一化向量，状态由历史最优、上轮评估、前中心、剩余预算、近期趋势等压缩表示，动作即搜索中心c_t=π_θ(s_t)∈[0,1]^d，转移经候选生成与代理筛选实现；3.2节混合候选池以五类成分平衡利用与探索并保证合法化；3.3节RF代理（80树，≥8次评估激活）以α_RF·μ?+β(t)·σ?+γ·nov筛选，β线性退火由1.0至0.1，γ固定0.05；3.4节过程感知奖励r_t由五项加权构成，提供比仅看历史最优更稠密信号；3.5节算法流程明确每轮由策略出中心、建池、代理或冷启动规则选候选、真实评估、算奖励、攒PPO rollout、定期更新。第4节实验中，4.3节消融显示CGRL平均排名1.575，中心生成相对PPO显著（p<0.05），加RF筛选亦显著（p<0.05），过程奖励在完整框架内显著（p<0.05）；CGBP对照（以incumbent代中心）CGRL胜13/20任务、排名1.350、Wilcoxon显著；奖励参数扰动平均排名3.65–4.40劣于默认3.40。4.4节对比七法，CGRL最终最优值平均排名1.800，显著优于RS/TPE/PPO-basic/Hyp-RL/HyperQ-Opt（Holm校正后p<0.05），与SMAC3无显著差异但13/20任务占优；复合目标权重扰动下CGRL排名仍居首（1.80–2.15）。第5节应用显示，验证集CGRL相对RS/TPE/SMAC3/PPO的Macro-F1提升8.66%/3.10%/3.18%/5.13%，测试集11.15%/2.03%/3.11%/9.59%；图11轨迹表明CGRL后期集中于低目标区且历史最优持续下降；表16事后分析示高质量配置倾向较高LR（非端点）、高LoRA容量、全当前模块注入、常带warmup调度、中等权重衰减与梯度裁剪。

讨论与结论翻译部分，研究人员指出CGRL通过将策略输出重构为搜索中心、混合池生成、RF代理筛选与过程感知奖励解耦区域引导与精确选择，降低直接生成配置难度并提升有限预算利用率。YAHPO上三机制协同改善搜索质量与收敛，平均排名与收敛行为占优；古汉语RE的LoRA HPO上验证/测试集Composite F1、Macro-F1、Tail Macro-F1、Accuracy均最佳。局限在于YAHPO为代理基准而非原模型反复训练，运行次数有限（YAHPO五遍、LoRA三遍），实际应用仅单RE场景，故结论应视为所评设定内有效而非所有HPO普适保证。未来将扩展至多模型/数据集/空间，并探索多目标、多保真、早停、并行评估及迁移与元学习以增强跨任务适应性。