《Energy and AI》:From Distributional to Quantile Neural Basis Models: The case of electricity price forecasting
编辑推荐:
概率电价预测(PEPF)在现代电力市场中对于不确定性感知决策日益重要。尽管神经网络(NNs)取得了强大的预测性能,但其有限的可解释性阻碍了操作员的信任和可靠部署。研究人员提出了一种新颖的基于神经可加模型的PEPF框架,融合了NNs的表达能力与广义可加模型(GA
概率电价预测(PEPF)在现代电力市场中对于不确定性感知决策日益重要。尽管神经网络(NNs)取得了强大的预测性能,但其有限的可解释性阻碍了操作员的信任和可靠部署。研究人员提出了一种新颖的基于神经可加模型的PEPF框架,融合了NNs的表达能力与广义可加模型(GAM)的固有透明性,支持分布映射和分位数映射。开发了一种共享基分解方法,利用可训练的线性投影和低秩分解(low-rank factorization)来实现形状函数的可扩展聚合。应用于多个市场区域的日前(day-ahead)PEPF,该方法匹配了最先进的黑盒NNs性能,同时通过可解释的形状函数(shape functions)增强了透明度,这些形状函数捕获了输入变量与预测分布关键特征之间的学习关系。这通过将稳健的不确定性量化与驱动PEPF模型输出的特征效应的显式全局解释相结合,促进了信任。
## 论文解读:面向可解释概率电价预测的神经基础模型
### 研究背景与问题
概率电价预测(PEPF)在现代电力市场中对不确定性感知决策至关重要,但电价受需求、可再生能源出力、气象条件等多因素影响,呈现高波动性和突变性。现有神经网络(NNs)虽能实现强预测性能,但其黑箱特性限制了操作员对预测机制的理解与信任,进而阻碍可靠部署。可解释性是提升模型可信度、支持合规验证的关键,但传统后验解释方法(如LIME、Shapley值)难以提供全局一致的因果映射。因此,研究人员寻求将透明性直接嵌入神经网络架构,平衡准确性与可解释性。本研究旨在探索更可解释的神经网络用于PEPF,提出基于神经可加模型(NAM)的新框架,在保持高预测精度的同时提供显式的全局特征效应解释,弥补概率预测与模型透明度之间的鸿沟。论文发表在《Energy and AI》。
### 研究人员开展的研究与结论
研究人员提出了一种基于神经可加模型的PEPF框架,包括分布型(D-NBM)和分位数型(Q-NBM)两种形式,分别对应分布神经网络(D-DNN)和分位数神经网络(Q-DNN)的可解释替代。通过共享基分解(shared basis decomposition)方法,利用可训练线性投影和低秩分解(low-rank factorization)实现形状函数(shape functions)的可扩展聚合,使模型在多个市场区域(比利时BE、德国DE、西班牙ES、瑞典SE)的日前PEPF任务中匹配或超越最先进黑盒NNs性能,同时通过可解释形状函数揭示输入变量与预测分布参数(如位置、尺度、偏度、尾重)或分位数之间的学习关系。研究表明,可解释架构无需牺牲预测精度,并可增强操作员对模型的信任。论文发表《Energy and AI》。
### 关键技术方法概述
研究人员主要采用以下关键技术方法:1)**共享基分解**:通过单个骨干神经网络学习一组基函数,基函数经可训练线性投影聚合为特征专用形状函数,避免每个特征独立网络带来的计算爆炸;2)**低秩矩阵分解**:对权重张量进行低秩近似(秩r=16),使分位数映射(99个百分位)在24小时预测范围内计算可行,同时促进紧凑鲁棒表示;3)**可逆实例归一化(RevIN)**:对输入数据按实例进行归一化,预测后还原,缓解分布漂移;4)**多任务学习设置**:基函数共享于所有特征,同时学习多个分布参数或分位数。所有模型在公开数据集(基于ENTSO-E透明度平台,覆盖2019年1月至2024年9月)上训练,每周重新校准,采用Adam优化器和早停策略。
### 研究结果
#### 4. 概率性能分析
通过对比黑盒DNN与可解释NBM在BE、DE、ES、SE四个市场测试集上的表现,研究人员发现:NBM架构在概率性能上(CRPS、区间得分、MSE、PICP)与DNN相当,且在多个配置下更优(如BE市场)。不同分布参数化形式(正态、Student-t、Johnson's SU)和分位数形式无一致最优,选择依赖市场特性。正态分布模型在中间覆盖水平(0.4–0.6)表现欠佳,而Johnson's SU和Student-t在极端波动下校准更好。分位数基础模型(Q-NBM)避免分布假设,在极端价格波动期间无尾部分布模型的尖峰失真,且通过低秩分解引入正则化效应,校准更稳定。RevIN层改善校准但部分牺牲锐度,仅部分缓解分布漂移。
#### 4.1. 打开黑箱:识别的形状函数
通过分析J-NBM和Q-NBM在DE市场提取的形状函数,研究人员发现:分布参数主要受相同时刻的外生变量(如负荷、风电、光伏)影响;不同随机初始化下,预测分布相似但形状函数分解可高度不同,表明存在近似共线性(concurvity)问题。通过掩码特征集(仅保留对应时刻的外生变量),形状函数跨运行模式更稳定,冗余变量是变异主要来源。负荷变量在高峰时刻与位置参数呈正陡峭关系,与偏度参数呈负相关;可再生能源对位置参数有预期抑制效应,与偏度负相关。分位数模型(γ=0.05和0.95)的形状函数收敛到相似模式,与分布模型一致。掩码配置下校准略有改善但CRPS升高(预测区间更宽)。研究提出实践流程:检查形状函数与领域知识一致性,评估跨运行稳定性,将差异视为隐藏共线性指示。
### 总结与讨论
研究结论部分指出:最先进的PEPF方法(基于分布和分位数回归的NNs)在灵活映射和预测精度上表现优异,但黑箱特性限制了用户对学习关系的理解。本研究提出基于神经可加模型(NAM)的PEPF框架,将透明性直接嵌入神经网络设计,通过共享基分解和低秩分解实现可扩展的形状函数表示,在保持高预测性能的同时提供显式全局解释。实验表明,该框架在多个市场匹配或超越黑箱NNs,且通过形状函数揭示输入变量与预测分布参数/分位数之间的学习关系。研究还分析了形状函数在随机初始化下的模式,指出共线性挑战并提出基于集成的方法。未来方向包括:利用Rashomon集近似技术深入探讨特征共线性,采用自动特征选择控制多元共线性,引入二阶交互建模,并扩展至更广泛的电力市场和应用。研究人员强调,可解释架构不应被视为黑箱模型的替代,而应作为互补组件,根据具体需求平衡可解释性、灵活性与数据特性,实现准确性和可解释性的协同优化。