基于天空云图的状态感知自适应多模态融合超短期太阳辐照度预测

《PLOS One》：State-aware adaptive multimodal fusion for ultra-short-term solar irradiance forecasting using sky cloud images

　　

随着可再生能源渗透率的持续提高，准确的超短期太阳辐照度预测对于提升能源利用率和支撑电力系统运行至关重要。然而，辐照度变化受历史趋势与云层快速变化的共同影响，使得传统单模态方法难以捕捉多变天气条件下的复杂动态。本文提出了一种基于天空云图与数值序列协同表示的多模态太阳辐照度预测框架。该框架引入了异构模态状态编码机制（heterogeneous modal state encoding mechanism）与状态感知自适应选择性注意力融合机制（state-aware adaptive selective attention fusion mechanism），以增强视觉天气信息与历史物理模式之间的交互。具体而言，数值模态（numerical modality）通过依赖关系建模（dependency modeling）捕捉辐照度趋势与时间相关性，而图像模态（image modality）通过时空表示（spatiotemporal representation）提取云层结构与演变特征。所提出的融合机制根据预测条件动态调整模态贡献，实现互补信息的有效整合。实验结果表明，所提出的框架在预测精度与鲁棒性方面优于基准模型（benchmark models），验证了将视觉云信息与数值演变模式相结合用于超短期太阳辐照度预测的有效性。

研究背景与问题：在"双碳"目标推进与新型电力系统加快建设的背景下，太阳能光伏（PV）发电在能源结构中的占比持续上升。太阳辐照度具有显著的波动性与不确定性，其变化不仅受日循环和季节变化等规律性因素影响，还受局部天气突变等随机因素影响。在超短期预测场景中，观测站或光伏电站上方云层的快速形成或消散可导致辐照度急剧上升或下降，进而影响光伏输出功率估计，给可再生能源并网和电力系统安全稳定运行带来挑战。现有太阳辐照度预测方法多依赖结构化数值数据（历史辐照度记录或数值天气预报），虽能有效捕捉辐照度的连续变化规律，但历史辐照度值主要反映过去的太阳辐射状况，无法充分表征局部天气突变和未来辐照度变化等先导性指标，在复杂天气条件下易出现预测滞后或误差放大。引入外生气象变量和数值天气预报信息后，受空间分辨率和更新频率限制，仍难以准确刻画局部云层演变。卫星图像虽提供直观的云信息，但其覆盖范围大、更新频率有限，限制了在分钟级超短期局部云变化预测中的应用。地基天空图像具有更高的时空分辨率，能直接捕捉局部云覆盖和太阳遮挡，适合分钟至小时尺度的云动态分析。然而，现有基于卫星图像或天空图像的研究仍主要依赖单一图像模态进行太阳辐照度预测，图像提供丰富的视觉天气信息但无法直接反映历史辐照度变化，且图像质量和单帧信息不足可能影响特征稳定性。图像与数值时间序列方法在太阳辐照度预测中具有天然互补性：图像提供云演变和遮挡事件的外部视觉信息，数值序列提供历史辐照度趋势和时间约束。在融合策略方面，现有方法可大致分为输出级融合、特征级融合和基于深度学习的联合融合。输出级融合仅整合模型输出，未能在特征学习过程中利用跨模态交互；将图像压缩为有限特征（如天气类别）作为外部输入的方法可能导致云空间结构和运动特征的损失；特征拼接策略通常假设不同模态以固定或近似固定的重要性贡献，难以在变化的预测条件下自适应调整；基于门控和Transformer的方法虽提升了多模态特征整合能力，但门控决策主要源自潜在特征表示，未能充分表征不同预测状态下模态可靠性的变化；跨模态交互方法主要关注特征匹配和信息传递，未明确考虑图像和数值信息在不同天气条件、云状态和辐照度变化模式下的可靠性和相对重要性差异。鉴于现有方法在多模态信息交互机制和对复杂天气场景适应性方面的不足，研究人员提出了TSGAN（Transformer Selective Gated Attention Network），一种基于Transformer的状态感知自适应融合预测框架，通过协同融合天空云图的视觉信息与结构化数值序列数据，增强模型捕捉超短期太阳辐照度复杂动态变化的能力。

关键技术方法：研究人员构建了统一状态编码器（Unified State Encoder, USE），包含面向不同模态数据特性的异构表示路径：数值模态采用Transformer编码结构建模历史辐照度与气象变量间的深层时间关系；图像模态构建了融合空间感知与时间演变的视觉编码分支，采用轻量级CNN（4个卷积块，通道数32/64/128/256）提取云图局部空间结构，结合时序Transformer建模云层运动等动态信息。核心跨模态融合模块为选择性门控注意力网络，通过联合建模不同模态状态生成动态模态选择权重（sigmoid门控，特征维度级互补约束），实现基于样本状态的自适应信息筛选。预测解码器由三层全连接变换（128-128、128-64、64-1）构成，采用GELU激活和dropout，以MSE损失端到端训练。数据来源为Open Energy Data Initiative（OEDI）平台的Albuquerque 2021和Eugene 2024数据集，按季度划分为Q1-Q4，采用10分钟分辨率、前1小时观测窗口预测未来10/20/30分钟GHI，按时间顺序以70%/15%/15%划分训练/验证/测试集。评估指标包括MAE、SMAPE、NRMSE和R2，并采用Diebold-Mariano（DM）检验结合Newey-West HAC估计和Holm逐步校正进行统计显著性检验。

研究结果：（1）与数值基线模型比较：在Albuquerque 2021和Eugene 2024数据集上，TSGAN在绝大多数季度-预测视野评估设置中取得最佳或竞争性性能，Albuquerque数据集平均MAE、NRMSE、SMAPE和R2分别为47.312、17.813、21.245和0.9194，Eugene数据集分别为57.234、34.826、30.002和0.7840。一步预测优势更为明显，因视觉信息提供了局部空间状态先验知识，使模型能提前捕捉潜在辐照度趋势。随预测视野从Step 1延伸至Step 3，性能总体下降，但TSGAN仍保持相对数值基线模型的整体优势，表明多模态信息融合能有效增强模型预判未来辐照度趋势的能力。（2）与单模态图像模型比较：与CNN、ResNet和CNN-LSTM相比，TSGAN在Albuquerque数据集上MAE和NRMSE分别降低32.38%和23.32%，在Eugene数据集上分别降低25.98%和17.02%。散点图显示TSGAN预测点更集中于理想对角线附近，预测值分布更接近实际值分布，表明多模态融合有效解决了单图像模型在锚定绝对辐照度水平和保持历史连续性方面的局限。（3）与其他多模态融合方法比较：与拼接融合（CFN）、交叉注意力融合（CAFN）、选择性门控融合（SGFN）和基于Transformer的交叉注意力融合（TCAFN）相比，TSGAN较其他融合方法平均性能将MAE、NRMSE和SMAPE分别降低17.92%、13.15%和13.31%，R2平均提高0.0472；即使与最佳融合基线相比，MAE、SMAPE、NRMSE和R2仍分别平均改善15.66%、10.34%、11.71%和9.46%。TSGAN在所有四个季度和预测视野下保持较低误差水平且误差条更窄，表明动态融合机制不仅提高预测精度还降低了跨场景性能波动。（4）季节性变化分析：TSGAN在所有四个季度始终维持最优或近最优性能，性能波动较小，而单图像模型在Q1和Q4波动显著，单数值模态模型在Q2、Q3和Q4误差逐渐增大。TSGAN的模态选择机制根据当前天气条件和辐照度变化动态调整两种模态贡献，在辐照度变化相对稳定时更多依赖历史数值序列，在云层快速运动或消散导致辐照度急剧波动时增强天空图像中云结构和空间变化信息的贡献。（5）DM检验结果：在两个数据集上，经Holm校正后分别有92.97%和91.15%的比较在10%和5%水平上保持统计显著，几乎所有DM统计量为负，表明TSGAN在绝大多数情况下实现较低的均值预测损失，为预测改进提供了统计推断层面的证据。（6）关键超参数敏感性分析：共享隐藏表示维度（d）、学习率（lr）和dropout率（p）的单因素变化实验表明，模型整体性能变化有限，NRMSE和R2尤为稳定，未观察到明显性能退化，表明模型对关键超参数具有较好鲁棒性，基线配置d=128、lr=1×10??、p=0.05提供最均衡的整体性能。

讨论与结论总结：讨论部分从季节性变化角度分析了不同模型在季节过渡期间呈现显著性能差异的原因，指出辐照度时间序列具有强季节性依赖，其变化模式并非完全由历史趋势决定，而是受外部环境条件动态调制。TSGAN通过状态依赖的模态过滤机制，在不同季节条件下实现多源信息的有效互补与耦合，其性能提升不仅源于输入信息量的增加，更源于动态识别不同模态在季节变化下的可靠性。DM检验从统计推断角度进一步验证了所提模态选择性注意力门控机制在协调图像信息与数值状态、增强预测稳定性和可靠性方面的有效性。结论部分翻译如下：本文提出了一种用于超短期太阳辐照度预测的多模态自适应融合框架。通过联合建模历史辐照度时间序列与天空图像中的动态云信息，该框架有效克服了传统单源预测方法在复杂天气条件下难以捕捉局部云变化引起的快速波动的局限。该方法并非简单增加输入模态，而是在数值状态演变与视觉环境变化之间建立深层关联，使模型能够同时学习辐照度变化的历史模式和潜在的未来扰动，从而增强预测精度、稳定性及对复杂场景的适应性。基于不同季度、预测视野和多种基准模型的系统实验验证，本文得出以下主要结论：（1）所提出的统一状态编码器有效解决了传统数值基线模型检测局部云引起的突变能力有限的问题，通过引入天空视觉信息使模型不仅能捕捉辐照度序列的时间依赖关系，还能利用外部环境状态预判未来变化；（2）所提出的多模态联合表示方法有效解决了单图像模型在锚定绝对辐照度水平和维持历史连续性方面的局限，将数值模态提供的历史物理模式与图像模态提供的未来变化先验信息相整合，使预测过程从简单状态匹配转变为辐照度变化机制的综合建模；（3）所提出的状态感知自适应融合机制有效克服了传统融合机制在响应模态可靠性变化方面的局限，将融合过程转变为状态驱动的信息过滤过程，使模型根据当前辐照度变化动态调整数值和图像模态的贡献，在晴朗或稳定条件下更多利用历史时间序列的连续性信息，在云层快速变化或局部遮挡条件下增强视觉信息的贡献，从而降低固定融合策略带来的信息偏差。未来工作方面，当前研究受数据范围和预测视野限制，且聚焦于确定性点预测，未明确表征未来辐照度变化的不确定性，未来研究可纳入连续云运动表征和卫星或红外图像，并通过跨站点验证和概率区间预测评估模型在分布偏移和不确定性量化下的适用性。