基于CNN的短期负荷预测中贝叶斯优化参数的受控敏感性分析

《Scientific Reports》：A controlled sensitivity analysis of Bayesian optimization settings for CNN-based short-term load forecasting

　　

摘要

本研究探讨了贝叶斯优化算法参数设置对卷积神经网络模型在短期电力负荷预测中的超参数优化及预测性能的影响。本研究并未提出新的预测架构或对各种优化算法进行广泛比较，而是重点对贝叶斯优化的内部配置进行了可控的敏感性分析。其目的是在相同的预测模型、输入窗口、搜索空间、数据处理流程和评估标准下，探究不同贝叶斯优化设置如何影响CNN模型的参数调整结果。分析重点关注两个关键参数：获取函数以及优化迭代次数。研究共评估了四种获取函数，即期望改进值、改进概率、上置信界和汤普森采样法，并在5次、10次、15次和20次迭代的条件下进行了测试，由此形成了16种固定的贝叶斯优化配置。对于每种配置，CNN的超参数都在相同的预定义搜索空间内进行优化，而CNN的整体结构及其他实验条件则保持不变。具体而言，层的数量和顺序、核大小、激活函数、填充方式、丢弃率、优化器、学习率以及输出结构均保持不变。相反，四个Conv1D层中的滤波器数量、批量大小以及训练轮数则在预定义的候选范围内进行优化。这样的设计有助于确保观察到的差异主要源于贝叶斯优化参数的差异，而非整体预测框架或数据处理方式的改变。所有贝叶斯优化试验及重复测试均以平均绝对百分比误差作为唯一的预测误差指标。选择这一指标是因为本研究旨在在单一、统一且易于理解的评估标准下比较不同贝叶斯优化配置的相对影响，而非进行多指标的综合预测性能对比。平均绝对百分比误差以百分比形式体现预测误差，这一特点使其非常适合用于短期负荷预测，也可用于比较不同需求规模的区域电力负荷数据集。采用相同的基于平均绝对百分比误差的指标来进行贝叶斯优化试验评估、配置选择及最终分析，还能避免因不同指标侧重于预测误差的不同方面而导致的不一致性。研究结果表明，获取函数的选择会影响预测精度和优化稳定性。期望改进值在各类测试数据集中通常能展现出相对稳定的性能，而改进概率在某些情况下也能取得不错的预测效果。此外，增加迭代次数并不一定能让所有数据集的MAPE值都下降，较小的迭代次数在某些特定数据集条件下也能获得不错的MAPE值，同时还能减少CNN的训练次数。运行时间分析还显示，由于需要更多的CNN训练次数，较大的迭代次数通常会导致更高的总运行时间。这些发现表明，在为短期负荷预测优化CNN模型时，尤其是当计算资源有限且需要稳定优化性能时，应谨慎选择贝叶斯优化的内部参数。因此，本研究的结论应视为在所研究的可控贝叶斯优化配置分析框架下，基于平均绝对百分比误差得出的结果及运行时间观察结果。