NICEk指标：评估确定性太阳能预测准确性的统一多维框架

本刊推荐：为解决传统误差指标（如RMSE、MAE、R2和SS）在评估确定性太阳能预测时存在的多维复杂性捕捉不足、缺乏可预测性敏感性、依赖任意基线及难以适应运营需求等问题，研究人员开展了NICEk（标准化知情误差比较）评估框架的主题研究。研究结果表明，NICEΣ在判别力方面持续优于传统指标（p<0.05），且能在更长的时间范围内保持显著的p值（10-6至0.004），而nRMSE和nMAE则不能。该框架为确定性太阳能预测提供了一个统一、可解释且稳健的替代方案，具有重要的理论和实践意义。

　　

在可再生能源领域，特别是太阳能预测中，精确预测太阳辐照度或光伏功率输出对于电网稳定和高效的能源管理至关重要。然而，尽管确定性预测方法被广泛使用，但其性能评估严重依赖于误差指标。传统的指标，如均方根误差(Root Mean Squared Error, RMSE)、平均绝对误差(Mean Absolute Error, MAE)、确定系数(coefficient of determination, R2)和技能评分(Skill Scores, SS)，在应对太阳能预测的复杂挑战时显得力不从心。它们无法捕捉预测误差的多维特性，缺乏对可预测性的敏感性，常常依赖于像晴空模型这样的任意基线，或者难以适应多变的运营需求。这种评估体系的局限性，阻碍了模型间的有效比较和该领域的进一步发展。

为了应对这些挑战，由Cyril Voyant领衔的研究团队在《Sustainable Energy Technologies and Assessments》上发表了他们的最新研究成果。他们引入了一个名为NICE^k（Normalized Informed Comparison of Errors，标准化知情误差比较）的全新、稳健、灵活且多维的评估框架。该框架旨在提供一个更全面、更可靠的模型性能评估工具。

研究人员综合运用了多种关键技术方法来完成这项研究。首先，他们设计了一个结构化的文本挖掘流程，从Scopus等数据库中提取并筛选了2014-2024年间70篇相关出版物，以系统梳理该领域的研究现状和误差指标面临的挑战。其次，研究采用了蒙特卡洛(Monte Carlo)模拟方法，生成了大量合成时间序列数据（每个5万个数据点），用于在受控环境下验证理论假设并初步评估不同预测模型和指标的性能。第三，研究利用了来自西班牙灌溉农业气候信息系统(SIAR)网络的真实测量数据，该网络包含分布在西班牙不同气候区的68个气象站，提供了从2017年到2020年以30分钟为分辨率的全球水平辐照度(Global Horizontal Irradiance, I)数据，确保了研究结论的实证基础。最后，研究团队对多种预测模型进行了测试和比较，包括自回归(Autoregressive, AR)方法、极限学习机(Extreme Learning, EL)、智能持续性(Smart Persistence, SP)以及一个特殊的AR(2)类模型ARTU，涵盖了从线性到机器学习的策略。模型性能的评估严格基于75/25的样本内外划分，并采用了 Kolmogorov-Smirnov 和 Kruskal-Wallis 等统计检验方法来确保结果的可信度。

Monte Carlo-based analysis of forecasting metrics

通过蒙特卡洛模拟，研究人员在合成数据上验证了NICE^k指标的理论属性。结果显示，在严格的统计假设下（如对于NICE2，需要R2 ～ 1.0），理论推导的NICE^k值与经验值完美匹配。然而，对于NICE1、NICE3和NICE^Σ，则观察到了一些差异，这表明正态性等假设在实践中并不总能完美成立，从而凸显了经验计算方法的稳健性。在基准测试中，传统的nRMSE、nMAE、nMBE和R2在区分智能持续性(SP)和自回归(AR)模型时表现不佳（p > 0.05），而NICE^k系列指标则 consistently 地成功区分了这些模型（p < 0.05），其中复合指标NICE^Σ通过整合多个误差维度，展现了更强的判别力和鲁棒性。

SIAR-based forecast metric analysis

在基于真实SIAR数据的分析中，NICE^k指标的优势得到了进一步证实。

Discriminative power of NICE^k metrics in forecasting model evaluation

研究比较了EL、AR、SP和ARTU四种预测模型。结果表明，传统指标（nRMSE, nMAE, nMBE, R2）再次未能有效区分不同模型的性能（例如，在比较EL和AR时，其p值大于0.05）。相反，所有的NICE^k指标，包括NICE^Σ，都显示出极高的统计显著性（p < 0.001），清晰地揭示了模型间的差异。此外，NICE^k指标的值的分布通常更接近正态分布且更为分散，这避免了传统指标可能出现的“度量退化”问题，使得跨研究比较变得更加可行和有意义。

Horizon-wise discriminative power of NICE^k versus conventional metrics

研究人员考察了预测范围（从30分钟到6小时）对指标性能的影响。分析表明，随着预测范围的延长，NICE^Σ始终保持着强大的统计显著性（p < 0.05），其值从0.75（30分钟）逐渐下降到0.29（6小时），直观地反映了模型精度随时间推移而下降的趋势。而nRMSE和nMAE的值则相对稳定（例如nRMSE从0.19到0.37），变化不明显，且其判别能力随着 horizon 的延长而减弱甚至消失（例如nMAE在6小时 horizon 的p值为0.6984）。这突显了NICE^Σ在捕捉不同时间尺度上模型性能细微变化方面的卓越能力。

该研究的结论部分强调，NICE^k框架为解决太阳能预测评估中的长期挑战提供了一个理论坚实且操作稳健的方案。它成功地克服了传统指标的局限性，在判别力、对预测范围的敏感性以及结果的可解释性方面均表现出显著优势。复合指标NICE^Σ因其平衡性和鲁棒性而被推荐作为首选的综合评估工具，但其权重可以根据具体的应用场景（如一般辐照度估算、区域预测或对极端误差高度敏感的智能电网管理）进行调整。这项研究的重要意义在于，它不仅推进了太阳能预测模型评估的理论基础，而且为从业者提供了一个更可靠、更有效的工具，用于模型选择、比较和性能优化，最终将促进太阳能更高效、更可靠地集成到能源电网中，加速该领域的研究进展和实际应用。