基于注意力的Transformer框架结合预测不确定性量化技术用于多作物产量预测 Bharat Lal、 Abhinav Shukla、 Ayush Kumar Agrawal、 R Kanesaraj Ramasamy 和 Parul Dubey

《Computation》：Attention-Based Transformer Framework with Predictive Uncertainty Quantification for Multi-Crop Yield Forecasting Bharat Lal, Abhinav Shukla, Ayush Kumar Agrawal, R Kanesaraj Ramasamy and Parul Dubey

　　摘要 准确的作物产量预测对于确保粮食安全、优化农业资源分配以及支持具有气候适应性的农业系统至关重要。最近在深度学习方面的进展提高了产量预测的准确性；然而，大多数现有模型提供的都是确定性估计，而没有量化预测的不确定性。这种限制在气候变异性、数据缺失以及需要风险意识的实际决策场景中限制了它们的可靠性。本研究利用了两个公开可用的多作物数据集，这些数据集包含了多个生长季节的历史产量记录以及与之相关的天气和土壤属性。提出了一种基于注意力机制的Transformer框架，并通过蒙特卡洛Dropout、分位数回归和贝叶斯注意力机制增强了不确定性量化功能。所提出的方法代表了一个集成的、具有不确定性意识的Transformer框架，它将时间自注意力与互补的不确定性估计策略相结合。本工作的贡献在于在统一的深度学习框架内系统地整合并比较评估了多种不确定性量化机制，用于多作物产量预测。实验结果表明，与确定性基线相比，预测准确性和校准效果有所提高。然而，这些发现受到数据集范围的限制，因为这些数据集包含的是粗略的表格形式的气候和土壤变量，因此应据此进行解释。

1. 引言
随着气候变异性和土壤退化，不断增长的人口对地球提出了更高的要求，因此精确的作物产量预测已成为一个重要的研究领域，具有重大的政策意义[1,2]。联合国粮农组织和世界银行的最新估计表明，过去二十年全球作物产量的变异性增加了15-25%，其中天气冲击导致了雨养农业系统年际产量波动的60%以上[3,4]。经验证据表明，季节性产量预测误差超过10-15%会对供应链规划、价格机制和粮食安全干预产生严重的扭曲效应[5,6]。从统计学的角度来看，预测作物产量是一个具有高时间自相关性、非线性特征交互作用、非恒定误差方差和数据缺失的问题，这超出了标准回归或机器学习方法仅提供点估计预测的能力。最近数据可用性的提高，如开源天气档案、土壤数据库和作物统计资料，使得能够在区域到国家范围内创建数据驱动的作物产量预测模型[7]。传统的线性回归和自回归模型正逐渐被随机森林、梯度提升或浅层神经网络等机器学习算法所取代，这些算法能够捕捉环境变量与作物响应之间的非线性关系。然而，大多数这些方法将时间观测视为独立或预定义的特征，因此难以有效捕捉生长季节天气动态中的长期时间依赖关系。此外，尽管预测能力在过去几十年有了显著提高，但模型通常只提供一个确定性的产量估计，并没有捕捉到由于气候变异性或数据不完整或模型限制而导致的预测不确定性。这种对不确定性的忽视阻碍了这些技术在农业中用于风险敏感决策的广泛应用。

1.1. 问题陈述和提出的解决方案
本研究提出了一种基于注意力机制的、具有不确定性意识的多作物产量预测框架，以克服这些限制。与其提出和探索一个全新的架构，本研究更侧重于将时间自注意力建模与几种不确定性量化方法（如蒙特卡洛Dropout、分位数回归和贝叶斯注意力）结合起来。这种集成方法使我们的模型能够在提供用于实际决策的有信息量的概率预测的同时，学习时间依赖性。为了解决这些挑战，我们开发了一种新的基于注意力机制的Transformer框架，该框架具有预测不确定性估计功能。这项工作不仅贡献了混合的时间和认知注意力基础模型架构，还展示了时间注意力机制与各种不确定性量化技术在联合框架中的结构整合。这样的结构使模型能够提供点估计以及不确定性预测，从而支持更好、更具风险意识的农业决策。

1.2. 科学贡献
本研究的主要科学贡献总结如下：
- 我们开发了一个基于注意力机制的、具有不确定性意识的多作物产量预测框架，该框架使用时间天气序列和静态土壤及上下文特征。
- 我们在共同的Transformer预测框架中整合并比较了三种不确定性估计策略——蒙特卡洛Dropout、分位数回归和贝叶斯注意力。
- 我们使用两个公开可用的多作物数据集和一种时间顺序评估协议，在数据缺失、噪声输入和部分季节预测场景下评估了预测性能、校准性和鲁棒性。
- 我们分析了不同不确定性估计方法之间的实际权衡，突出了它们在风险意识农业决策中的相对优势。

2. 文献综述
由于气候、土壤、作物管理实践和季节性生理发展之间的相互作用，农业生态系统的复杂性给作物产量预测带来了挑战。近年来，研究人员探索了各种建模范式，从传统的统计方法到先进的基于深度学习的方法，旨在提高产量预测的准确性。在这里，我们回顾了现有的作物产量预测工作，并讨论了这些工作的局限性，指出了开发具有不确定性意识的、基于深度注意力的模型的必要性。

2.1. 传统的作物产量预测方法
传统上，作物产量预测依赖于利用历史产量数据以及气候和土壤预测因子的统计和计量经济模型[8]。区域和国家层面的产量趋势估计使用了线性回归、时间序列分析和面板数据模型。虽然这些方法具有可解释性和计算效率，但它们在建模非线性交互作用、复杂的特征依赖性和农业系统固有的时间变异性方面存在局限性[9,10]。随着气候变异性加剧，这些模型的预测能力进一步减弱，这促使人们采用数据驱动的学习技术。

2.2. 用于产量预测的机器学习模型
随着农业数据量的增加和遥感技术的不断出现，机器学习在作物产量估计研究中的关注度越来越高。诸如随机森林、支持向量机和梯度提升等模型在处理植被指数、气象变量、土壤特征和产量输出之间的非线性关系方面表现更好。已广泛证明，集成模型在多样化的农业气候条件下表现良好，并且在一定程度上能够抵抗噪声输入。然而，这些方法主要依赖于手工制作的特征，并且本质上处理时间信息，这阻碍了它们捕捉季节性作物生长动态的能力。

2.3. 农业中的深度学习和时间建模
深度学习模型被更广泛地用于解决传统机器学习算法的挑战[11,12,13,14]。特别是LSTM和GRU模型被应用于模拟整个生长季节的序列天气模式和植被指数轨迹[15,16,17]。这些模型提供了更好的时间表示，但经常存在长期依赖性建模问题，对缺失数据过于敏感，或在训练过程中不稳定[18,19,20,21,22]。其次，当考虑现有的基于深度学习的产量预测模型时，大多数模型只是提供单一的确定性产量估计，并且没有捕捉到由于气候变异性或不完美数据或模型限制而导致的预测不确定性。这种对不确定性的忽视阻碍了这些技术在实际农业风险决策中的广泛应用。

2.4. 基于Transformer的农业时间序列模型
基于自注意力机制的Transformer架构最近作为一种流行的方法出现，用于模拟序列数据中的长期时间依赖性[27,28]。在农业领域，Transformer显示出从天气和作物相关时间序列数据中学习季节级模式的潜力，而不会受到基于循环模型的限制[29]。自注意力允许模型以不同的方式权衡时间步长，这意味着可以区分重要的生长时期和气候事件[30]。然而，这些模型并没有提供与预测结合的不确定性估计，这使得用户难以解释和信任基于这种模型的预测[31]。最近的研究还表明，不确定性意识的Transformer公式正在序列建模和预测领域中出现，超越了农业领域[32]。例如，通过随机注意力机制和概率注意力公式探索了基于Transformer的不确定性估计，表明注意力层可以适应表示预测不确定性而不仅仅是确定性特征的重要性。相关的具有不确定性意识的时间Transformer模型也被报道用于预测应用，如预测性维护和风力发电预测，其目标不仅是准确的点预测，还包括校准的区间估计和可靠性意识推断[33]。这些发展表明，具有不确定性意识的Transformer建模是一个活跃的研究方向；然而，将其应用于使用表格形式农业时间序列数据的多作物产量预测仍然有限。

2.5. 健壮的产量估计和基础论文的回顾
Vafaeinejad等人（2025年）的一项有趣的工作提出了基于集成机器学习模型和多源遥感数据的县级玉米产量强估计方法[34]。该研究结合了MODIS植被指数和GPP、土壤数据、气候变量来预测研究区域的森林入侵可能性，并对模型在数据扰动（例如NDVI值缺失或GPP时间变化）下的稳定性进行了全面分析。作者表明，基于随机森林的模型可以在输入数据损坏时提供稳健的预测结果，但模型仅使用静态特征工程表示，没有使用序列知情架构或提供预测不确定性。因此，没有考虑预测的置信区间和风险相关的解释。

2.6. 研究空白和动机
从回顾的文献中可以看出两个重要的不足之处。首先，目前还没有一个统一的框架来联合建模基于注意力的时间关系和作物产量预测中的数据不确定性。其次，尽管已经实践了对噪声/高缺失数据的鲁棒性，但农业中用于风险知情决策的不确定性意识预测仍然没有得到探索。填补这一空白是当前工作的动机，即提出一个基于Transformer的多作物产量估计框架，该框架结合了多种不确定性量化机制，以实现准确、稳健和具有风险意识的预测。因此，文献提出了两个重要的观察结果。首先，不确定性意识的Transformer架构在更广泛的预测和序列建模文献中并不完全是新的，因为先前的研究已经将随机注意力、蒙特卡洛采样和基于区间的预测纳入了Transformer框架。其次，它们在作物产量预测中的实际应用仍然相对有限，特别是对于基于表格形式的气候、土壤和管理变量的多作物设置，而不是高分辨率遥感流程。因此，本研究的贡献不在于提出第一个具有不确定性意识的Transformer，而在于在统一的框架下系统地整合并比较评估多种不确定性量化策略，用于时间有序的农业数据的多作物产量预测。

3. 数据集描述
本研究利用了两个公开可用的多作物数据集，这些数据集将作物产量结果与土壤和天气因素结合起来，以展示一般的具有不确定性意识的产量预测[35,36]。这些数据集共同代表了静态的土壤变量和时间性的气候强迫，允许进行基于序列的建模以及不确定性估计。作物产量预测被建模为一个监督回归任务，输入包括随时间变化的天气序列和时间不变的土壤属性。气象变量在整个生长季节都被考虑在内，而土壤特征和作物模式指标被描述为静态的上下文因素。所有天气读数都被转换为固定长度的序列，作物类型以分类方式处理，以便与所考虑的Transformer架构兼容。天气变量中的缺失值被保留下来，以便进行不确定性敏感性研究。聚合数据使得可以在多作物、环境和产量分布之间进行评估，这有助于将模型推广到特定作物条件之外。表1显示了本研究中使用的数据集，重点介绍了作物、气候和土壤管理变量以及它们如何用于多作物预测。这两个数据集包含了跨越多个年份和生长季节的时间有序农业记录。数据根据年份和季节属性以时间顺序组织，使得可以进行时间意识模型的评估。这种时间结构允许使用严格有序的训练、验证和测试部分进行无泄漏的预测协议。表1总结了本研究中使用的数据集的关键特性，包括它们的时间覆盖范围、空间分辨率和变量组成。这两个数据集都包含了多年收集的多作物农业记录，并且在不同作物类型之间的分布并不完全均衡，这反映了现实世界农业数据的分布特性。两个数据集都使用了单位面积的产量值，因此预测目标是一致的。与数据集1相比，数据集2包含了更多的土壤属性，并提供了在不同输入特征丰富度水平上与两个数据集的对比评估。尽管如此，这两个数据集都是基于聚合的气候和土壤变量，缺乏高分辨率的遥感特征，这可能会影响预测的准确性。

在本研究中，时间输入是基于从聚合的气候观测中得出的生长季节窗口构建的。一个完整的季节窗口指的是从播种到收获的整个作物生长周期内的连续时间观测序列，表示为T。相比之下，部分季节窗口代表了一个早期预测场景，仅使用季节中的前k个观测值，其中k
4. 提出的方法论
本节介绍了基于注意力机制的transformer以及用于多作物产量预测的预测不确定性量化方法。该方法结合了天气的时间序列、静态土壤和作物信息以及具有不确定性意识的学习机制来做出产量预测，并附有相应的置信度。图2展示了端到端模型流程，包括带有位置编码的天气时间序列嵌入、用于学习时间依赖性的多头自注意力transformer编码器、静态上下文特征的整合以及用于产量预测的回归头。预测不确定性是通过蒙特卡洛dropout、分位数回归和贝叶斯注意力机制计算的，这些机制提供了概率性的产量预测，而不仅仅是点估计。

4.1. 问题表述
假设我们用一对在农业季节内记录的时间和静态输入来表示每个农业实例。目标是获得一个能够明确建模预测不确定性的作物产量预测模型。
给定：
- 生长季节内的一系列天气观测，由公式（1）表示：w={w1,w2,…,w??}，w??∈?????（1）其中??表示生长季节窗口的长度，????表示天气变量的数量。
- 一组静态上下文特征，由公式（2）表示：s∈?????（2），包括土壤属性、作物类型、季节和农业输入指标。
- 学习任务是估计一个预测分布：???(??∣w,s)（3），其中?? ∈?表示作物产量。

4.2. 输入表示和嵌入
每个天气观测向量w??首先使用可学习的线性嵌入投影到一个潜在空间中，如公式（4）所示：e??=w???w??+b??（4），其中w?? ∈???×????，??是transformer嵌入的维度。
为了保持时间顺序，添加了位置编码，如公式（5）所示：z??=e??+p??（5），其中p??表示位置编码向量。
公式（6）显示静态特征s通过一个单独的全连接层进行处理：s=???(w???s+b??）（6），其中???( ?)是一个非线性激活函数。

4.3. 基于注意力的transformer编码器
嵌入的时间序列{z??}????=1通过由多头自注意力和前馈层组成的transformer编码器进行处理。
对于每个注意力头，查询矩阵、键矩阵和值矩阵分别按照公式（7）计算：q=z?w??，k=z?w??，v=z?w??（7），其中z ∈???×??。
缩放后的点积注意力定义如公式（8）所示：attention?(q,k,v)=softmax?(q?k?√????)?v（8）。多头注意力在多个表示子空间中聚合信息，可以表示为公式（9）：mha?(z)= concat?(head1,…,head??)?w??（9）。输出通过逐位前馈层和残差连接处理，得到一个潜在的时间表示h??。

4.4. 特征融合和产量预测
最终的时间表示与静态上下文特征结合，如公式（10）所示：h=[h?? ∥ s]（10）。预测的产量均值通过公式（11）获得：^??=?????(h)（11），其中?????( ?)表示一个全连接回归头。

4.5. 不确定性量化策略
使用了三种互补的方法来估计预测不确定性。图3展示了当数据存在损坏（包括缺失的气候变量、噪声输入或部分季节截断）时，transformer编码器如何发现潜在的季节表示和时间步的重要性。学习到的表示随后被输入到不确定性量化层，该层包括蒙特卡洛（mc）dropout、分位数回归和贝叶斯注意力，以输出预测分布、校准的预测区间和可信区域。这种架构在存在真实世界数据变异性的情况下，能够实现稳健且可解释的不确定性意识时间序列预测。

4.5.1. 蒙特卡洛dropout
在推理过程中保留dropout层，并执行多次随机前向传递，如公式（12）所示：{^??(??)}????=1（12）。预测均值和方差分别根据公式（13）估计：???[^???]=1?????∑??=1^??(??)，var[^??]=1?????∑??=1(?^??(??)????[^??])2（13）。

4.5.2. 分位数回归
模型通过最小化pinball损失来训练以预测多个条件分位数^????，如公式（14）所示：????(??,^????)=m?a?x?(???(???^????),(???1)?(???^????)（14）。这直接从估计的分位数产生预测区间。

4.5.3. 贝叶斯注意力
为了在注意力机制中明确建模不确定性，与注意力投影相关的参数被视为随机变量而不是确定性权重。特别是，在查询矩阵、键矩阵和值投影矩阵中引入了不确定性，统称为???? ={????,????,????}。对这些参数假设一个高斯先验，如公式（15）所示：???(????)=???(0,??2?????)（15），其中??2??表示先验方差，??是单位矩阵。公式（16）表明真实后验分布是难以处理的，使用变分推断通过平均场高斯后验来近似它：???(????)=???(??,diag?(??2))（16），其中??和??是可学习的变分参数。在训练过程中使用重参数化技巧对注意力参数进行采样，如公式（17）所示：????=??+??⊙??,??～???(0,??）（17）。然后使用采样的参数在多头自注意力层内计算查询矩阵、键矩阵和值投影，允许不确定性通过transformer编码器传播。
贝叶斯注意力模型通过最小化以下目标进行训练：???????????????=????????????+?? ??????(???(????)∥???(????)（18），其中????????????表示预测损失，实现为产量回归的均方误差，??控制变分正则化项的贡献。在推理过程中，通过从变分后验中蒙特卡洛采样注意力参数来近似后验预测不确定性，然后进行重复的前向传递。得到的预测集用于估计预测均值和可信区间。

4.6. 模型训练目标
对于基线预测任务，模型使用均方误差损失进行训练，如公式（19）所示：?????????=1?????∑??=1(??????^????)2（19）。对于具有不确定性意识的变体，训练目标取决于相应的不确定性估计策略。在分位数回归的情况下，使用pinball损失来处理目标分位数。对于贝叶斯注意力，最终优化目标结合了预测误差和变分正则化项，如公式（20）所示：???????????????=????????????+?? ??????(???(????)∥???(????)（20），其中????????????是预测损失，??平衡了预测准确性和不确定性正则化。算法1一目了然地解释了这一过程。

算法1：基于注意力的transformer用于多作物产量预测的预测不确定性量化
输入：训练集?? ={(w??,s??,????)}????=1，其中w?? ∈???×????（天气序列），s?? ∈?????（静态上下文：土壤/作物/季节/输入），???? ∈?（产量）。
超参数：周期数??、批量大小??、学习率??、dropout率??、mc样本数??、分位数?? ={??1,…,????}、贝叶斯权重??。
输出：预测分布摘要 (^??,^??2) 或预测区间 [^??????,^?????]。

1. 初始化网络参数 ?? ={????,????,????,???}（嵌入层、transformer编码器、静态编码器、预测头）。
2. 对于周期数??从1到??执行以下操作：
3. 打乱??并形成大小为??的小批量{?}。
4. 对于每个小批量?执行以下操作：
5. 对于每个(w,s,??) ∈?执行以下操作：
6. 带有位置编码的时间嵌入：
7. z =embed2(w;????) +posenc2(??)，z ∈???×??。
8. transformer编码（多头自注意力）：
9. h =transformerenc2(z;????)，h ∈???×??。
10. 时间池化（例如，均值池化或[cls]：
11. h =pool2(h) ∈???。
12. 静态特征编码：
13. s =???(w???s +b??) ∈???′??。
14. 融合：u =[h ∥ s]。
15. 如果uq策略 = 分位数回归，则预测分位数：
16. ^???? =??(??)???2(u)，??? ∈??。
17. 否则预测均值产量：
18. ^?? =?????2(u)。
19. 结束。
20. 根据uq策略计算批量损失?2(??)：
21. 标准/mc-dropout训练：
22. ?mse =1∣?∣∑(?)∈?(???^??)2。
23. （b）分位数回归：pinball损失：
24. ?qr =1∣?∣∑(?)∈?∑??∈??m?a?x{??(???^????),(?? ?1)?(?? ?^????)}。
25. （c）贝叶斯注意力：
26. ???2???????? +?????????(???(????)∥???(????))。
27. 通过梯度下降/adam更新参数：
28. ?? ←?? ??? ????2(??)。
29. 结束。
30. 根据验证损失应用提前停止。
31. 结束。
32. 使用预测不确定性进行推理：
32. 给定一个测试样本(w\*,s\*)，按照步骤6–14计算融合表示u*。
33. 如果uq策略 = mc dropout，则：
34. 启用dropout并采样??个随机预测{^??(??)}????=1。
35. 预测均值和方差：
36. ^?? =1???∑????=1^??(??)，^??2 =1???∑????=1(?^??(??) ?^??)。
37. 如果uq策略 = 分位数回归，则：
38. 返回{^????}??∈??并形成预测区间[^?????,^?????]。
39. 如果uq策略 = 贝叶斯注意力，则：
40. 通过从???(????)采样来近似后验预测???(?? ∣w\*,s\*)并计算可信区间。
41. 如果，则返回产量预测及其相关不确定性摘要。

5. 实验设置
实验结果是在两个公开可用的多作物农业数据集上获得的，这些数据集包含了作物产量记录以及相应的天气、土壤和管理因素，使用了具有预测不确定性量化的基于注意力的transformer框架。数据涵盖了多种作物、地区和季节，从而实现了超出单一作物建模的多作物产量预测。天气参数（降雨、温度、湿度）的预测变量在生长期间被连续聚合，而土壤特性、作物类型、季节和输入管理被视为静态特征。数值特征通过最小-最大缩放进行了标准化。缺失的天气数据通过向前填充和季节平均处理，进一步的实验考虑了引入缺失或噪声输入以检验不确定性敏感性。所有实验都是在python（版本3.10）中使用最常用的深度学习库（tensorflow（版本2.x）和keras）进行的。模拟在一个标准计算系统上完成，无需专用硬件。本研究没有使用制造商的外部工具或专有设备。

为了在不同的预测范围内进一步评估模型，考虑了部分季节和完整季节的输入。完整季节设置使用了给定作物周期的完整时间观测集合，而部分季节设置仅使用序列的初始部分（大约前50%的观测值），模拟了在尚未获得完整季节数据时的早期产量预测场景。数据集根据时间顺序进行划分，其中最早的观测值用于训练，随后的数据用于验证，最新的观测值用于测试。我们比较了三种不确定性量化技术（蒙特卡洛dropout、分位数回归和贝叶斯注意力），它们基于相同的骨干架构、训练设置和评估设置来应用和测试所提出的具有不确定性意识的transformer。

表2. 多作物产量预测的实验设置和模型配置。

6. 结果和讨论
本节对提出的基于注意力的transformer框架及其预测不确定性量化进行了全面评估。 4. 提出的方法论 本节介绍了基于注意力机制的transformer以及用于多作物产量预测的预测不确定性量化方法。该方法结合了天气的时间序列、静态土壤和作物信息以及具有不确定性意识的学习机制来做出产量预测，并附有相应的置信度。图2展示了端到端模型流程，包括带有位置编码的天气时间序列嵌入、用于学习时间依赖性的多头自注意力transformer编码器、静态上下文特征的整合以及用于产量预测的回归头。预测不确定性是通过蒙特卡洛dropout、分位数回归和贝叶斯注意力机制计算的，这些机制提供了概率性的产量预测，而不仅仅是点估计。 4.1. 问题表述 假设我们用一对在农业季节内记录的时间和静态输入来表示每个农业实例。目标是获得一个能够明确建模预测不确定性的作物产量预测模型。 给定： - 生长季节内的一系列天气观测，由公式（1）表示：w={w1,w2,…,w??}，w??∈?????（1）其中??表示生长季节窗口的长度，????表示天气变量的数量。 - 一组静态上下文特征，由公式（2）表示：s∈?????（2），包括土壤属性、作物类型、季节和农业输入指标。 - 学习任务是估计一个预测分布：???(??∣w,s)（3），其中?? ∈?表示作物产量。 4.2. 输入表示和嵌入 每个天气观测向量w??首先使用可学习的线性嵌入投影到一个潜在空间中，如公式（4）所示：e??=W???w??+b??（4），其中W?? ∈???×????，??是transformer嵌入的维度。 为了保持时间顺序，添加了位置编码，如公式（5）所示：z??=e??+p??（5），其中p??表示位置编码向量。 公式（6）显示静态特征s通过一个单独的全连接层进行处理：s=???(W???S+b??）（6），其中???( ?)是一个非线性激活函数。 4.3. 基于注意力的transformer编码器 嵌入的时间序列{z??}????=1通过由多头自注意力和前馈层组成的Transformer编码器进行处理。 对于每个注意力头，查询矩阵、键矩阵和值矩阵分别按照公式（7）计算：q=Z?W??，K=Z?W??，V=Z?W??（7），其中Z ∈???×??。 缩放后的点积注意力定义如公式（8）所示：attention?(q,k,v)=softmax?(Q?K?√????)?V（8）。多头注意力在多个表示子空间中聚合信息，可以表示为公式（9）：MHA?(Z)= concat?(head1,…,head??)?w??（9）。输出通过逐位前馈层和残差连接处理，得到一个潜在的时间表示h??。 4.4. 特征融合和产量预测 最终的时间表示与静态上下文特征结合，如公式（10）所示：h=[h?? ∥ s]（10）。预测的产量均值通过公式（11）获得：^??=?????(h)（11），其中?????( ?)表示一个全连接回归头。 4.5. 不确定性量化策略 使用了三种互补的方法来估计预测不确定性。图3展示了当数据存在损坏（包括缺失的气候变量、噪声输入或部分季节截断）时，transformer编码器如何发现潜在的季节表示和时间步的重要性。学习到的表示随后被输入到不确定性量化层，该层包括蒙特卡洛（mc）dropout、分位数回归和贝叶斯注意力，以输出预测分布、校准的预测区间和可信区域。这种架构在存在真实世界数据变异性的情况下，能够实现稳健且可解释的不确定性意识时间序列预测。 4.5.1. 蒙特卡洛dropout 在推理过程中保留dropout层，并执行多次随机前向传递，如公式（12）所示：{^??(??)}????=1（12）。预测均值和方差分别根据公式（13）估计：???[^???]=1?????∑??=1^??(??)，Var[^??]=1?????∑??=1(?^??(??)????[^??])2（13）。 4.5.2. 分位数回归 模型通过最小化pinball损失来训练以预测多个条件分位数^????，如公式（14）所示：????(??,^????)=m?a?x?(???(???^????),(???1)?(???^????)（14）。这直接从估计的分位数产生预测区间。 4.5.3. 贝叶斯注意力 为了在注意力机制中明确建模不确定性，与注意力投影相关的参数被视为随机变量而不是确定性权重。特别是，在查询矩阵、键矩阵和值投影矩阵中引入了不确定性，统称为????={????,????,????}。对这些参数假设一个高斯先验，如公式（15）所示：???(????)=???(0,??2?????)（15），其中??2??表示先验方差，??是单位矩阵。公式（16）表明真实后验分布是难以处理的，使用变分推断通过平均场高斯后验来近似它：???(????)=???(??,diag?(??2))（16），其中??和??是可学习的变分参数。在训练过程中使用重参数化技巧对注意力参数进行采样，如公式（17）所示：????=??+??⊙??,??～???(0,??）（17）。然后使用采样的参数在多头自注意力层内计算查询矩阵、键矩阵和值投影，允许不确定性通过Transformer编码器传播。 贝叶斯注意力模型通过最小化以下目标进行训练：???????????????=????????????+?? ??????(???(????)∥???(????)（18），其中????????????表示预测损失，实现为产量回归的均方误差，??控制变分正则化项的贡献。在推理过程中，通过从变分后验中蒙特卡洛采样注意力参数来近似后验预测不确定性，然后进行重复的前向传递。得到的预测集用于估计预测均值和可信区间。 4.6. 模型训练目标 对于基线预测任务，模型使用均方误差损失进行训练，如公式（19）所示：?????????=1?????∑??=1(??????^????)2（19）。对于具有不确定性意识的变体，训练目标取决于相应的不确定性估计策略。在分位数回归的情况下，使用pinball损失来处理目标分位数。对于贝叶斯注意力，最终优化目标结合了预测误差和变分正则化项，如公式（20）所示：???????????????=????????????+?? ??????(???(????)∥???(????)（20），其中????????????是预测损失，??平衡了预测准确性和不确定性正则化。算法1一目了然地解释了这一过程。 算法1：基于注意力的transformer用于多作物产量预测的预测不确定性量化 输入：训练集??={(W??,S??,????)}????=1，其中W?? ∈???×????（天气序列），s?? ∈?????（静态上下文：土壤 作物 季节 输入），???? ∈?（产量）。 超参数：周期数??、批量大小??、学习率??、dropout率??、mc样本数??、分位数??={??1,…,????}、贝叶斯权重??。 输出：预测分布摘要 (^??,^??2) 或预测区间 [^??????,^?????]。 1. 初始化网络参数 ??={????,????,????,???}（嵌入层、Transformer编码器、静态编码器、预测头）。 2. 对于周期数??从1到??执行以下操作： 3. 打乱??并形成大小为??的小批量{?}。 4. 对于每个小批量?执行以下操作： 5. 对于每个(w,s,??) ∈?执行以下操作： 6. 带有位置编码的时间嵌入： 7. z=Embed2(W;????) +posenc2(??)，z ∈???×??。 8. transformer编码（多头自注意力）： 9. h=TransformerEnc2(Z;????)，H ∈???×??。 10. 时间池化（例如，均值池化或[cls]： 11. h=Pool2(H) ∈???。 12. 静态特征编码： 13. s=???(W???S +b??) ∈???′??。 14. 融合：u=[h ∥ s]。 15. 如果uq策略=分位数回归，则预测分位数： 16. ^????=??(??)???2(u)，??? ∈??。 17. 否则预测均值产量： 18. ^??=?????2(u)。 19. 结束。 20. 根据uq策略计算批量损失?2(??)： 21. 标准 mc-dropout训练： 22. ?mse=1∣?∣∑(?)∈?(???^??)2。 23. （b）分位数回归：pinball损失： 24. ?qr=1∣?∣∑(?)∈?∑??∈??m?a?x{??(???^????),(?? ?1)?(?? ?^????)}。 25. （c）贝叶斯注意力： 26. ???2???????? +?????????(???(????)∥???(????))。 27. 通过梯度下降 adam更新参数： 28. ?? ←?? ??? ????2(??)。 29. 结束。 30. 根据验证损失应用提前停止。 31. 结束。 32. 使用预测不确定性进行推理： 32. 给定一个测试样本(w\*,s\*)，按照步骤6–14计算融合表示u*。 33. 如果uq策略=MC dropout，则： 34. 启用dropout并采样??个随机预测{^??(??)}????=1。 35. 预测均值和方差： 36. ^??=1???∑????=1^??(??)，^??2 =1???∑????=1(?^??(??) ?^??)。 37. 如果uq策略=分位数回归，则： 38. 返回{^????}??∈??并形成预测区间[^?????,^?????]。 39. 如果uq策略=贝叶斯注意力，则： 40. 通过从???(????)采样来近似后验预测???(?? ∣w\*,s\*)并计算可信区间。 41. 如果，则返回产量预测及其相关不确定性摘要。 5. 实验设置 实验结果是在两个公开可用的多作物农业数据集上获得的，这些数据集包含了作物产量记录以及相应的天气、土壤和管理因素，使用了具有预测不确定性量化的基于注意力的transformer框架。数据涵盖了多种作物、地区和季节，从而实现了超出单一作物建模的多作物产量预测。天气参数（降雨、温度、湿度）的预测变量在生长期间被连续聚合，而土壤特性、作物类型、季节和输入管理被视为静态特征。数值特征通过最小-最大缩放进行了标准化。缺失的天气数据通过向前填充和季节平均处理，进一步的实验考虑了引入缺失或噪声输入以检验不确定性敏感性。所有实验都是在python（版本3.10）中使用最常用的深度学习库（tensorflow（版本2.x）和keras）进行的。模拟在一个标准计算系统上完成，无需专用硬件。本研究没有使用制造商的外部工具或专有设备。 为了在不同的预测范围内进一步评估模型，考虑了部分季节和完整季节的输入。完整季节设置使用了给定作物周期的完整时间观测集合，而部分季节设置仅使用序列的初始部分（大约前50%的观测值），模拟了在尚未获得完整季节数据时的早期产量预测场景。数据集根据时间顺序进行划分，其中最早的观测值用于训练，随后的数据用于验证，最新的观测值用于测试。我们比较了三种不确定性量化技术（蒙特卡洛dropout、分位数回归和贝叶斯注意力），它们基于相同的骨干架构、训练设置和评估设置来应用和测试所提出的具有不确定性意识的transformer。 表2. 多作物产量预测的实验设置和模型配置。 6. 结果和讨论>
4. 提出的方法论
本节介绍了基于注意力机制的transformer以及用于多作物产量预测的预测不确定性量化方法。该方法结合了天气的时间序列、静态土壤和作物信息以及具有不确定性意识的学习机制来做出产量预测，并附有相应的置信度。图2展示了端到端模型流程，包括带有位置编码的天气时间序列嵌入、用于学习时间依赖性的多头自注意力transformer编码器、静态上下文特征的整合以及用于产量预测的回归头。预测不确定性是通过蒙特卡洛dropout、分位数回归和贝叶斯注意力机制计算的，这些机制提供了概率性的产量预测，而不仅仅是点估计。

4.1. 问题表述
假设我们用一对在农业季节内记录的时间和静态输入来表示每个农业实例。目标是获得一个能够明确建模预测不确定性的作物产量预测模型。
给定：
- 生长季节内的一系列天气观测，由公式（1）表示：w={w1,w2,…,w??}，w??∈?????（1）其中??表示生长季节窗口的长度，????表示天气变量的数量。
- 一组静态上下文特征，由公式（2）表示：s∈?????（2），包括土壤属性、作物类型、季节和农业输入指标。
- 学习任务是估计一个预测分布：???(??∣w,s)（3），其中?? ∈?表示作物产量。

4.2. 输入表示和嵌入
每个天气观测向量w??首先使用可学习的线性嵌入投影到一个潜在空间中，如公式（4）所示：e??=w???w??+b??（4），其中w?? ∈???×????，??是transformer嵌入的维度。
为了保持时间顺序，添加了位置编码，如公式（5）所示：z??=e??+p??（5），其中p??表示位置编码向量。
公式（6）显示静态特征s通过一个单独的全连接层进行处理：s=???(w???s+b??）（6），其中???( ?)是一个非线性激活函数。

4.3. 基于注意力的transformer编码器
嵌入的时间序列{z??}????=1通过由多头自注意力和前馈层组成的transformer编码器进行处理。
对于每个注意力头，查询矩阵、键矩阵和值矩阵分别按照公式（7）计算：q=z?w??，k=z?w??，v=z?w??（7），其中z ∈???×??。
缩放后的点积注意力定义如公式（8）所示：attention?(q,k,v)=softmax?(q?k?√????)?v（8）。多头注意力在多个表示子空间中聚合信息，可以表示为公式（9）：mha?(z)= concat?(head1,…,head??)?w??（9）。输出通过逐位前馈层和残差连接处理，得到一个潜在的时间表示h??。

4.4. 特征融合和产量预测
最终的时间表示与静态上下文特征结合，如公式（10）所示：h=[h?? ∥ s]（10）。预测的产量均值通过公式（11）获得：^??=?????(h)（11），其中?????( ?)表示一个全连接回归头。

4.5. 不确定性量化策略
使用了三种互补的方法来估计预测不确定性。图3展示了当数据存在损坏（包括缺失的气候变量、噪声输入或部分季节截断）时，transformer编码器如何发现潜在的季节表示和时间步的重要性。学习到的表示随后被输入到不确定性量化层，该层包括蒙特卡洛（mc）dropout、分位数回归和贝叶斯注意力，以输出预测分布、校准的预测区间和可信区域。这种架构在存在真实世界数据变异性的情况下，能够实现稳健且可解释的不确定性意识时间序列预测。

4.5.1. 蒙特卡洛dropout
在推理过程中保留dropout层，并执行多次随机前向传递，如公式（12）所示：{^??(??)}????=1（12）。预测均值和方差分别根据公式（13）估计：???[^???]=1?????∑??=1^??(??)，var[^??]=1?????∑??=1(?^??(??)????[^??])2（13）。

4.5.2. 分位数回归
模型通过最小化pinball损失来训练以预测多个条件分位数^????，如公式（14）所示：????(??,^????)=m?a?x?(???(???^????),(???1)?(???^????)（14）。这直接从估计的分位数产生预测区间。

4.5.3. 贝叶斯注意力
为了在注意力机制中明确建模不确定性，与注意力投影相关的参数被视为随机变量而不是确定性权重。特别是，在查询矩阵、键矩阵和值投影矩阵中引入了不确定性，统称为???? ={????,????,????}。对这些参数假设一个高斯先验，如公式（15）所示：???(????)=???(0,??2?????)（15），其中??2??表示先验方差，??是单位矩阵。公式（16）表明真实后验分布是难以处理的，使用变分推断通过平均场高斯后验来近似它：???(????)=???(??,diag?(??2))（16），其中??和??是可学习的变分参数。在训练过程中使用重参数化技巧对注意力参数进行采样，如公式（17）所示：????=??+??⊙??,??～???(0,??）（17）。然后使用采样的参数在多头自注意力层内计算查询矩阵、键矩阵和值投影，允许不确定性通过transformer编码器传播。
贝叶斯注意力模型通过最小化以下目标进行训练：???????????????=????????????+?? ??????(???(????)∥???(????)（18），其中????????????表示预测损失，实现为产量回归的均方误差，??控制变分正则化项的贡献。在推理过程中，通过从变分后验中蒙特卡洛采样注意力参数来近似后验预测不确定性，然后进行重复的前向传递。得到的预测集用于估计预测均值和可信区间。

4.6. 模型训练目标
对于基线预测任务，模型使用均方误差损失进行训练，如公式（19）所示：?????????=1?????∑??=1(??????^????)2（19）。对于具有不确定性意识的变体，训练目标取决于相应的不确定性估计策略。在分位数回归的情况下，使用pinball损失来处理目标分位数。对于贝叶斯注意力，最终优化目标结合了预测误差和变分正则化项，如公式（20）所示：???????????????=????????????+?? ??????(???(????)∥???(????)（20），其中????????????是预测损失，??平衡了预测准确性和不确定性正则化。算法1一目了然地解释了这一过程。

算法1：基于注意力的transformer用于多作物产量预测的预测不确定性量化
输入：训练集?? ={(w??,s??,????)}????=1，其中w?? ∈???×????（天气序列），s?? ∈?????（静态上下文：土壤/作物/季节/输入），???? ∈?（产量）。
超参数：周期数??、批量大小??、学习率??、dropout率??、mc样本数??、分位数?? ={??1,…,????}、贝叶斯权重??。
输出：预测分布摘要 (^??,^??2) 或预测区间 [^??????,^?????]。

1. 初始化网络参数 ?? ={????,????,????,???}（嵌入层、transformer编码器、静态编码器、预测头）。
2. 对于周期数??从1到??执行以下操作：
3. 打乱??并形成大小为??的小批量{?}。
4. 对于每个小批量?执行以下操作：
5. 对于每个(w,s,??) ∈?执行以下操作：
6. 带有位置编码的时间嵌入：
7. z =embed2(w;????) +posenc2(??)，z ∈???×??。
8. transformer编码（多头自注意力）：
9. h =transformerenc2(z;????)，h ∈???×??。
10. 时间池化（例如，均值池化或[cls]：
11. h =pool2(h) ∈???。
12. 静态特征编码：
13. s =???(w???s +b??) ∈???′??。
14. 融合：u =[h ∥ s]。
15. 如果uq策略 = 分位数回归，则预测分位数：
16. ^???? =??(??)???2(u)，??? ∈??。
17. 否则预测均值产量：
18. ^?? =?????2(u)。
19. 结束。
20. 根据uq策略计算批量损失?2(??)：
21. 标准/mc-dropout训练：
22. ?mse =1∣?∣∑(?)∈?(???^??)2。
23. （b）分位数回归：pinball损失：
24. ?qr =1∣?∣∑(?)∈?∑??∈??m?a?x{??(???^????),(?? ?1)?(?? ?^????)}。
25. （c）贝叶斯注意力：
26. ???2???????? +?????????(???(????)∥???(????))。
27. 通过梯度下降/adam更新参数：
28. ?? ←?? ??? ????2(??)。
29. 结束。
30. 根据验证损失应用提前停止。
31. 结束。
32. 使用预测不确定性进行推理：
32. 给定一个测试样本(w\*,s\*)，按照步骤6–14计算融合表示u*。
33. 如果uq策略 = mc dropout，则：
34. 启用dropout并采样??个随机预测{^??(??)}????=1。
35. 预测均值和方差：
36. ^?? =1???∑????=1^??(??)，^??2 =1???∑????=1(?^??(??) ?^??)。
37. 如果uq策略 = 分位数回归，则：
38. 返回{^????}??∈??并形成预测区间[^?????,^?????]。
39. 如果uq策略 = 贝叶斯注意力，则：
40. 通过从???(????)采样来近似后验预测???(?? ∣w\*,s\*)并计算可信区间。
41. 如果，则返回产量预测及其相关不确定性摘要。

5. 实验设置
实验结果是在两个公开可用的多作物农业数据集上获得的，这些数据集包含了作物产量记录以及相应的天气、土壤和管理因素，使用了具有预测不确定性量化的基于注意力的transformer框架。数据涵盖了多种作物、地区和季节，从而实现了超出单一作物建模的多作物产量预测。天气参数（降雨、温度、湿度）的预测变量在生长期间被连续聚合，而土壤特性、作物类型、季节和输入管理被视为静态特征。数值特征通过最小-最大缩放进行了标准化。缺失的天气数据通过向前填充和季节平均处理，进一步的实验考虑了引入缺失或噪声输入以检验不确定性敏感性。所有实验都是在python（版本3.10）中使用最常用的深度学习库（tensorflow（版本2.x）和keras）进行的。模拟在一个标准计算系统上完成，无需专用硬件。本研究没有使用制造商的外部工具或专有设备。

为了在不同的预测范围内进一步评估模型，考虑了部分季节和完整季节的输入。完整季节设置使用了给定作物周期的完整时间观测集合，而部分季节设置仅使用序列的初始部分（大约前50%的观测值），模拟了在尚未获得完整季节数据时的早期产量预测场景。数据集根据时间顺序进行划分，其中最早的观测值用于训练，随后的数据用于验证，最新的观测值用于测试。我们比较了三种不确定性量化技术（蒙特卡洛dropout、分位数回归和贝叶斯注意力），它们基于相同的骨干架构、训练设置和评估设置来应用和测试所提出的具有不确定性意识的transformer。

表2. 多作物产量预测的实验设置和模型配置。

6. 结果和讨论
本节对提出的基于注意力的transformer框架及其预测不确定性量化进行了全面评估。>研究结果的结构旨在实现以下目标：(i) 验证预处理决策的有效性；(ii) 单个模型的基准测试；(iii) 使用多种准确性和不确定性指标评估整个模型在多个数据集上的性能；(iv) 确立统计显著性；(v) 通过消融实验分析架构贡献；(vi) 与基准论文进行比较；(vii) 检查模型在数据扰动下的鲁棒性。由于架构设计和不确定性建模能力的差异，主要评估了基于不确定性的变体的不确定性指标（如预测区间覆盖率和校准误差），而确定性基准模型（包括Informer和TFT）则使用标准准确性指标进行评估。

6.1 基于验证的预处理和超参数选择
为了确定有效的预处理配置，评估了三种不同的设置，这些设置在归一化策略、缺失值处理和季节窗口定义上有所不同。评估是基于时间顺序数据分割下的验证性能，而不是使用信息论标准。主要选择标准是验证平均绝对误差（MAE）和均方根误差（RMSE）。配置1采用了Z分数归一化、前向填充插补和部分生长季节窗口；配置2使用最小-最大归一化、缺失值的季节平均值和完整季节窗口；配置3结合了最小-最大归一化与混合插补策略（短时间间隔采用前向填充，长时间间隔采用季节平均值）以及完整季节窗口。在这些配置中，配置3在两个数据集上都一致地实现了最低的验证MAE和RMSE，表明其具有更强的泛化能力。因此，配置3被选为最终的预处理配置，并用于所有后续实验。这种基于验证的选择方法更适合深度学习模型，因为在这些模型中，模型复杂性和参数化程度不允许可靠地估计信息论标准（如AIC）。

6.2 单个模型性能
为了在引入不确定性之前确定基线性能，我们测试了机器学习和深度学习模型。表3比较了经典机器学习方法、深度学习方法和确定性Transformer方法在数据集1和数据集2上的表现，结果显示我们的方法具有更高的预测准确性，且误差数量最少。

6.3 提出框架的全面结果（合并数据集）
表4报告了确定性和基于不确定性的Transformer模型在两个数据集上的预测性能。为了确保统计结果的可靠性，每个深度模型都在不同的随机种子下进行了五次独立运行，结果以平均值±标准差的形式呈现。这有助于更可靠地评估观察到的改进是否是一致的，而不是单一训练初始化的结果。表4显示了确定性和基于不确定性的Transformer模型在不同数据集上的性能比较。Informer和Temporal Fusion Transformer (TFT)的加入为评估所提出的框架提供了更有力的基准。虽然这些模型由于先进的时间建模能力而表现出竞争力，但提出的基于不确定性的Transformer在提高准确性的同时，还具备校准不确定性的额外优势，进一步突显了在基于Transformer的预测模型中集成不确定性量化机制的好处。

6.4 统计显著性检验
统计显著性检验使用了五次独立运行获得的种子级性能值。鉴于样本量有限且缺乏对配对差异的强正态性假设，采用了Wilcoxon符号秩检验来比较不同模型变体之间的性能差异。这提供了一种更为稳健的非参数评估方法，以确定观察到的性能提升在重复实验中是否具有统计一致性。表5展示了多次运行中的模型性能统计分析结果。

6.5 消融研究
消融研究探讨了每个架构元素的作用。图5显示了与完整提出的模型相比，编译指标在数据集1和数据集2上的性能变化百分比。每个子图对应一个不同的指标，其负值表示移除某个系统组件后的性能下降。研究结果表明，位置编码、静态特征融合和不确定性建模对预测准确性、校准和可靠性至关重要，尤其是当关闭不确定性量化时，性能下降最为显著。表6提供了针对数据集1和数据集2的位置编码、静态上下文特征融合和不确定性建模对预测准确性、校准和可靠性影响的消融分析。

6.6 与基准论文的比较
表7将提出的框架与作者之前的工作进行了概念性对比[Vafaeinejad等人，2023年]。虽然之前的研究侧重于使用遥感数据进行单一作物的产量估计，但目前的工作则强调使用表格化气候和土壤数据以及明确的不确定性建模进行多作物预测。这种比较突出了建模目标、数据来源和输出类型的差异，而不是直接的性能对比。

6.7 对数据扰动的鲁棒性
通过控制性的数据扰动来研究模型对不确定性的敏感性。表8显示了提出的基于不确定性的Transformer模型在数据集1和数据集2上对几种数据扰动的敏感性，这有助于了解预测准确性和质量（就不确定性而言）在现实数据退化情况下的变化情况。随着数据质量的下降，不确定性指标会相应地变化，验证了不确定性的这种行为。表8表明，提出的模型在数据扰动下的鲁棒性分析。尽管提出的模型相比基线方法取得了更好的性能，但决定系数（R2）值仍保持在大约0.74–0.78的范围内。这一水平的预测准确性与作物产量预测的固有复杂性相符，因为预测结果受到许多未观察到的和异质因素的影响。此外，研究中使用的数据集主要包含汇总的气候变量和有限的土壤属性，而没有明确捕捉到几个关键的作物产量决定因素（如灌溉方式、作物管理强度、病虫害发生情况、施肥时间以及特定品种的特性）。此外，缺乏高分辨率的遥感指标（如NDVI、EVI、SAR）进一步限制了模型完全解释产量空间和时间变异性的能力。因此，在这种现实世界的农业环境中，预计R2值会处于中等水平，结果应在数据可用性和系统固有不确定性的背景下进行解释。

7. 局限性和未来研究方向
尽管本研究取得了令人鼓舞的结果，但仍需认识到一些局限性，这些局限性也为未来的研究指明了方向：
- 当前研究依赖于两个公开可获取的数据集，这些数据集通常代表历史天气、土壤特性和产量记录，这些可能与区域农业实践或极端气候条件或发展中的作物管理决策存在偏差。
- Transformer模型框架依赖于固定的季节窗口，这可能限制了其在作物不同物候阶段的适用性。
- 虽然使用了多种不确定性量化方法，但这些方法得出的不确定性度量是非贝叶斯的，可能在数据稀缺时无法充分反映认知不确定性。
- 评估仅限于离线实验测试，没有大规模的实地验证或在操作决策支持系统中的应用。
- 基于Transformer的架构的计算复杂性可能会限制其在资源受限的农业场景中的实时应用。

7.2 未来研究方向
- 可以将高分辨率遥感指标集成到该框架中，以增强空间和时间意识。
- 可以探索自适应的季节长度建模和特定于作物的注意力机制，以进一步提高对多种（非目标）作物类型和农业气候区的泛化能力。
- 可以研究更严格的概率学习方法，以进一步区分随机不确定性和认知不确定性，并提高预测区间的可解释性。
- 将模型集成到实时农业咨询支持系统中，并评估其社会和经济影响，将是实际应用的重要步骤。
- 可能需要采用计算效率高的或混合设计，以便将我们的系统可扩展且实际地应用于现实世界。

8. 结论
本研究提出了一个集成的基于不确定性的Transformer框架，用于多作物产量预测，结合了时间自注意力和多种不确定性量化策略。该工作强调在统一的深度学习框架内整合互补的不确定性估计方法的价值，而不是引入全新的架构。实验结果表明，这种整合提高了预测性能，并通过校准的不确定性估计增强了模型输出的可靠性。这些发现突显了在农业预测中考虑不确定性建模的重要性，并表明将时间建模与概率预测相结合可以支持在数据和气候不确定性下的更明智决策。提出的框架还与最先进的时间预测模型（包括Informer和Temporal Fusion Transformer）进行了比较，展示了竞争性的预测性能，并提供了校准的不确定性估计。