混合Transformer AI技术能够实现涡轮机规模黑潮（Kuroshio）发电项目的运营预测，并确保这些项目在最佳选址上高效运行

《Energy Conversion and Management-X》：Hybrid Transformer AI enables operational forecasting of turbine-scale Kuroshio power generation at optimal sites

　　吴朝荣｜张玉嘉
台湾中央研究院关键问题研究中心

**摘要**
西边界流是海洋可再生能源的持续来源，但其利用仍受到缺乏精确的、适用于特定地点的预测结果的阻碍，而这些预测结果无法直接转化为电力。基于变压器的人工智能技术已经改变了预测方式，但将其应用于实际海洋能量预测（特别是针对特定地点的海洋流速预测）方面仍存在显著局限性。本文开发了一种基于观测数据的混合深度学习（HyDL）框架，该框架提升了黑潮流的预测能力，使其更适用于电网相关的海洋流能应用。本研究主要贡献有四点：首先，我们开发了一种基于Transformer的混合AI框架，能够在多个时空尺度上提高黑潮流速的预测精度；其次，通过结合全局自注意力机制、统计校正方法和基于观测的实时学习，HyDL框架的均方误差（RMSE）相比现有最先进系统降低了约30%；第三，预测得到的流速数据能够转化为适用于涡轮机发电的功率输出，从而直接减少发电不确定性并降低系统成本；最后，该框架为整合黑潮流能发电、基于Transformer的AI预测技术和台湾能源管理系统提供了一个可扩展的方案，加速了台湾及其他主要西边界流区域的海洋流能商业化进程。

**1. 引言**
黑潮流起源于北赤道流，沿吕宋岛和台湾岛向北流动，随后进入东海，并在日本南部向东延伸（见图1a）。作为世界主要的西边界流之一，它将大量热带热量输送到中纬度地区，在区域气候及海洋-大气耦合中起着核心作用。然而，黑潮流速在不同时间尺度（从天气尺度到几十年时间尺度）上存在显著变异性，这种变化受潮汐、风暴[1]、[2]、[3]、[4]、中尺度涡旋[5]、[6]、[7]、[8]、季风强迫[9]、[10]、[11]、[12]、气候模式[13] [14]以及长期气候变化[15] [16]等因素的影响。这种多尺度影响从根本上限制了黑潮流的预测能力。

**2. 研究方法**
我们开发了一种基于Transformer的混合深度学习（HyDL）框架，该框架结合了观测数据和机器学习算法，以提升黑潮流的预测精度。具体步骤如下：
- 第一步，构建了一种混合AI框架，可在多个时空尺度上改进黑潮流速的预测；
- 第二步，通过集成全局自注意力机制、统计校正方法和基于观测的实时学习，将误差降低约30%；
- 第三步，将预测流速数据转化为适用于涡轮机发电的功率输出，从而减少发电不确定性并降低成本；
- 第四步，提供了将黑潮流能发电、Transformer-based AI预测技术和台湾能源管理系统整合的方案，加速了黑潮流能在台湾及全球主要西边界流区域的商业化进程。

**3. 结论**
本研究为黑潮流的利用提供了新思路，通过提升预测精度和降低成本，为海洋流能的商业化应用提供了有力支持。最终模型可以实现时间分辨的电流预测，适用于涡轮机规模的功率估算。为了明确解决海洋电流动力学的尺度依赖性，我们进行了时空域搜索，其中空间覆盖范围和时间窗口长度都进行了调整，以找到在预测准确性和计算成本之间达到最佳平衡的配置。随后进行了特征工程，以评估从多源观测中提取的候选变量的预测贡献，并分离出最具信息量的特征子集。在高级微调过程中，将优化后的架构、时空配置和特征集集成在一起，以训练最终的HyDL模型。这种端到端的工作流程最终提供了时间分辨的海洋电流预测，可以直接转换为涡轮机规模的功率输出和能量生产估算。为了确保可重复性，基于Transformer的HyDL框架的训练配置被明确如下定义。模型优化使用均方误差（MSE）损失函数进行，这与基于RMSE的评估指标一致。所有输入特征都使用从训练数据集中计算出的z分数标准化进行标准化，并且同样的缩放应用于验证和测试数据。训练使用Adam优化器进行，学习率为1×10^-3，批量大小为32。模型在滚动预测框架下进行训练，每个训练周期仅使用预测初始化之前的历史数据，以确保严格的时间因果关系并防止信息泄露。超参数（包括注意力头数和嵌入维度）通过第3.1节中描述的系统优化进行选择。所有训练参数的总结见表1。

表1. 基于Transformer的HyDL框架的训练配置。
| 类别 | 组件 | 设置 | 描述 |
|---------------|------------------|------------------|--------------------------------------------|
| 模型架构 | Backbone | Transformer | 结合基于注意力的预测和监督校正的混合框架 |
| 注意力头数（H） | 8 | 优化以平衡准确性和计算效率 |
| 嵌入维度（dmodel） | 512 | 确保稳定表示（dmodel / H ≈ 64） |
| 关键/查询维度（dk） | 128 | 基于超参数优化选择 |
| 层数 | 2 | 堆叠的多头自注意力块 |
| 输出层 | Regression head | 预测连续电流速度 |
| 损失与优化 | Loss & optimization | 均方误差（MSE） |
| 优化器 | Optimizer | 自适应梯度优化 |
| 学习率 | Learning rate | 1×10^-3 |
| 批量大小 | Batch size | 32 |
| 数据预处理 | Data preprocessing | Z分数标准化 |
| | | Mean = 0, Std = 1 （训练集统计数据） |
| 输入数据 | Input data | CMEMS & NOAA GDP; 地转流和漂流器速度 |
| 特征对齐 | Feature alignment | 空间-时间共位 |
| | | 确保跨数据集的一致性 |
| 可扩展性 | Scalability | 空间域 | 96个站点；台湾东部的黑潮走廊 |
| 训练策略 | Training strategy | 滚动预测训练 |
| 预测范围 | Forecast horizon | 1-7天 |
| 操作相关时间尺度 | Operatively relevant | |
| 预测数量 | Number of forecasts | 1,008个独立的滚动预测 |
| 验证 | Validation | 固定ADCP; 独立现场观测 |
| | | CG1, SA2; 高价值能源站点 |
| 绩效指标 | Metrics | RMSE, MAE, MAPE, MSE |

3. 结果与讨论
3.1. 技能-成本前沿设计
为了确定一种在不增加不必要的复杂性的情况下最大化预测能力的注意力配置，我们对头部数量（H）和关键/查询维度（dk）的组合进行了系统的超参数优化。结果发现H=8和dk=128时存在明显的最优值，这始终产生最低的RMSE。这种配置在表达能力和计算效率之间取得了最佳平衡，表明预测改进来自于解决黑潮系统的基本动态自由度，而不是无差别的架构扩展。这种最优状态与Transformer缩放研究的现有见解一致。多头自注意力通过促进异构依赖性的并行学习来增强表示能力[19]，但系统的剪枝实验表明，性能提升在头部数量达到一定程度后趋于饱和[36]。尽管增加嵌入维度和头部数量可以在大型语言和视觉模型[20][37]中提高准确性，但这些提升会带来显著的计算和内存成本增加，而当dmodel/H比率保持在约64时，通常会出现稳定的性能。综上所述，这些结果表明Transformer的性能受头部数量和每个头部的维度之间的最佳平衡控制，而不仅仅是规模本身。
在识定的最优值之外，我们的结果揭示了一个明显的饱和状态，在该状态下，一旦当前的主要时空模式得到充分表示，预测准确性就会趋于稳定。额外的模型能力带来的收益会逐渐减少，表明可实现的能力有一个上限。这种行为反映了海洋和大气预测之间的根本区别：与大气系统不同，在大气系统中，密集的观测和强烈的外部强迫可以持续推动模型的改进，而海洋电流预测受到未解决的中尺度动力学的限制，现场测量数据稀少，以及有限的观测带宽来约束非地转变异性。因此，模型的性能最终受到海洋系统内在信息内容的限制，而不仅仅是网络的表达能力。特征消融实验进一步证实了这一解释。卫星获得的地转流捕获了黑潮的大部分动能和大规模结构，而漂流器获得的速度提供了对站点规模预测至关重要的非地转和中尺度校正。这两种输入一起解释了目标信号中几乎所有可学习的物理变异。相比之下，添加风力强迫或海面高度只带来边际改进，因为它们与现有预测因子有很强的相关性，表明特征饱和状态下额外输入增加了冗余而不是预测洞察力。
综合这些结果，信息效率而非特征的增殖或激进的架构扩展，定义了稳健的海洋电流预测的实际上限。这一原则对基于AI的海洋能源系统有直接的意义，在这些系统中，最佳预测性能取决于将模型复杂性与多尺度海洋动力学和稀疏现场验证所施加的信息约束相匹配，而不是为了规模本身而追求规模。

3.2. 实地验证的混合Transformer预测
尽管数据同化的数值模型能够捕捉到黑潮的盆地规模路径，但它们在Green Island附近能量活跃区域存在系统和站点依赖的偏差（见图3）。以往的研究[13][38]表明，粗糙的海底地形和岛屿地形对操作数值建模框架中的预测能力构成了根本性的瓶颈。因此，HYCOM和GOPAF与CG1和SA2的固定ADCP测量值相比显示出明显的差异，RMSE分别达到0.32 m s^-1和0.23 m s^-1和0.43 m s^-1和0.30 m s^-1。相比之下，基于Transformer的HyDL在超过一千次滚动预测中保持了稳健的性能（图4a）。在2023年6月10日至8月20日期间，使用72个逐步扩展的训练窗口在两个站点生成了总共1,008个独立的7天预测，每个模型都基于2022年1月1日的观测数据进行训练，直到预测初始化日期。对于每个预测周期，预测速度直接与观测到的固定ADCP速度进行比较。在CG1，黑潮急流达到最大强度的地方，基于Transformer的HyDL将RMSE从0.32 m s^-1（HYCOM + NCODA）降低到0.18 m s^-1，提高了44%，并将MAE降低了42%。即使在 currents较弱且变化更大的SA2，RMSE也比HYCOM降低了26%，MAE也降低了22%（表2）。在所有站点和评估指标中，基于Transformer的HyDL框架在所有考虑的模型中始终实现了最低的预测误差，证明了基于注意力的学习在解决黑潮固有的多尺度和非线性动力学方面的优势。

下载：下载高分辨率图像（604KB）
下载：下载全尺寸图像
图3. 台湾东部黑潮区域操作海洋模型与固定ADCP观测的实地验证。上部面板显示了近表面电流速度（颜色阴影；m s^-1）和HYCOM + NCODA（左）以及GOPAF（右）的速度矢量，说明了黑潮急流的结构、它与Green Island的相互作用以及沿大陆架从CG1向SA2的下游演变。下部面板比较了2023年6月至9月CG1（上）和SA2（下）的电流速度时间序列，数据来源于HYCOM + NCODA（蓝色）、GOPAF（橙色）和固定ADCP观测（黑色）。

下载：下载高分辨率图像（473KB）
下载：下载全尺寸图像
图4. 黑潮电流预测的提前时间依赖性预测技能和模型间比较。(a) 基于Transformer的HyDL模型在CG1和SA2固定点的预测误差作为提前时间（1-7天）的函数，与ADCP观测结果进行评估。面板显示了均方根误差（RMSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）和均方误差（MSE），表明误差随提前时间的增加而稳定增长，并且在能量更大的CG1站点处的误差始终较低。(b) 在CG1和SA2处，比较GOPAF、HYCOM + NCODA、基于LSTM的HyDL和基于Transformer的HyDL的RMSE、MAE、MAPE和MSE。

表2. 站点规模黑潮电流预测的操作模型和基于AI的模型的性能比较。使用1,008个独立的7天预测与CG1和SA2的固定ADCP观测结果进行模型技能评估，通过RMSE、MAE、MAPE和MSE进行量化。操作预测系统（HYCOM + NCODA和GOPAF）与基于LSTM和基于Transformer的混合深度学习（HyDL）框架进行了基准测试。基于Transformer的HyDL在所有指标和两个站点上都始终实现了最低的误差（加粗）。

站点 | RMSE | MAE | MAPE | MSE |
|-------------|-----------------|-----------------|-----------------|
| CG1 | 0.43 m/s | 4% | 0.36 m/s | 8% |
| GOPAF | 0.32 m/s | 0% | 34% | -3% |
| HYCOM + NCODA | 0.18 m/s | 0% | 2% |
| LSTM-based HyDL | 0.24 m/s | +25% | 0.21 m/s | +19% |
| | 0.057 m/s | +44% |
| 基于Transformer的HyDL | 0.18 m/s | +42% | 0.15 m/s | +42% |
| | 0.22 m/s | +22% | +33% |在能源关键的区域，模型预测与独立的固定式ADCP观测结果更为一致，表明所学习的映射方法有效地捕捉了地形对水流的影响。然而，为了评估其在黑潮走廊以外的适用性，还需要更广泛的空间验证。

3.3. 深化海洋与电网的连接
基于Transformer的HyDL方法的重要性不仅体现在改善了流体动力学预测上，还延伸到了能源系统的运营核心。先前的研究[17]、[42]、[43]、[44]中验证的速度-容量系数（U–CF）关系，能够直接将预测水流转化为涡轮机级别的能量输出，从而获得可用于电网运行的时间分辨和发电量估计（见表3）。通过解析从宏观到中尺度的变化，该框架实现了更为准确的储备分配、发电计划制定和系统成本优化——首次实现了对黑潮发电量的运行预测（见图6）。这里给出的发电量是理想化的估计值；在实际应用中，发电量取决于具体的涡轮机特性，包括启动和停止速度、效率曲线、系统级损耗以及设备尺度上的水流相互作用[45]、[46]，这些因素在当前框架中并未得到明确解决。

表3. 黑潮海洋电流发电的速度依赖容量系数和涡轮机级别能量输出。使用Chang等人[17]提出的半经验速度-容量系数（U–CF）关系，为代表性的安装容量（IC=100 MW、1 GW和4 GW）估算了瞬时容量系数（CF）及其对应的每小时能量产生（EP）。数值显示了随着流速增加，发电量的非线性增长。EP是一个理想化的估计值，因为实际的涡轮机特性（如启动/停止速度、效率、损耗和流动相互作用）并未在当前框架中得到明确考虑。

图6. 台湾东部黑潮流速和能量指标的预测演变。图中展示了台湾东部一个假设的安装容量为1 GW时的黑潮区域，预测的绝对流速（UF；m s^-1）、理论可用功率（TAP；W m^-2/单位横截面积）以及相应日发电量（EP；MWh day^-1）在1天、4天和7天预测时间内的空间分布，对应于2023年7月16日、19日和22日（图a–i）。地图突出了黑潮急流相对于台湾海岸线的持续性及其向下游的演变，标记了CG和SA站点。图j–l总结了两个站点随预测时间（1–7天）变化的平均流速（UF）、理论可用功率（TAP）和发电量（EP）的时间序列。

理论可用功率（TAP）定义了作用在海洋流式涡轮机上的动能上限，并随流速的三次方而增加[17]、[38]：
(1) TAP = 1/2 × ρ × A × U^3
其中ρ是海水密度（kg/m^3），A是涡轮机的扫掠面积（m^2），U是流速（m/s）。TAP代表了流动中可利用的动能上限，未考虑涡轮机的特定转换效率或运行限制。因此，在本研究中，TAP被用作一个理想化的上限，而非实际操作中的估计值。代表性预测（见图6）表明，HyDL在季节性变化期间能够解析宏观和中尺度结构，从而提供空间和时间上连贯的TAP密度和能量输出估计。当这种预测集成到台湾的先进配电管理系统中时（见图7），它支持动态的发电资源重新分配、自适应电压控制和需求响应协调，从而增强电网的韧性。先前的研究[47]已经表明，准确的可再生能源发电预测可以减少削减和重新调度损失，同时降低储备需求，从而将预测能力直接转化为经济价值。在这种背景下，预测从一种被动的诊断工具转变为系统优化的主动工具。可再生能源系统通常与储能和传统发电方式结合在基于电网的能源系统中。在这里，我们通过引入一个AI预测框架来弥补这一差距，实现面向调度的可预测性和未来可再生能源、储能及传统电力系统之间的动态协调。

图7. 可持续净零能耗系统的集成AI预测和电力工程框架。该示意图展示了一个统一架构，其中黑潮海洋电流发电和所提出的AI框架被嵌入到台湾的现有能源管理系统（EMS）中。分布式可再生能源资源——包括黑潮海洋电流、太阳能和海上风能——通过分布式可再生能源高级管理系统（DREAMS）和绿色能源估算与监测系统（GEMS）进行协调，并通过基于SCADA的监控控制与区域调度中心（RDC）和配电调度中心（DDC）进行交互。在高可再生能源电力系统中，这种预测能力至关重要，它通过减少储备需求、降低运营成本和提高运行可靠性，将预测能力转化为实际的系统级价值，从而加速台湾向韧性净零能耗未来的过渡。

更广泛地说，我们的研究在人工智能、海洋动力学和电力系统运营的交叉领域实现了及时的进展，解决了海洋可再生能源长期存在的障碍。通过使黑潮在涡轮机和电网时间尺度上变得可预测，HyDL将海洋电流能量从一种持续但不确定的资源提升为可再生能源组合中的关键组成部分，为将西部边界电流整合到全球未来的低碳能源系统中提供了可扩展的蓝图。

4. 局限性和未来工作
基于Transformer的HyDL框架改进的预测能力源于全局自注意力、观测约束的统计校正以及实时学习数据的综合优势。通过利用长距离的时空依赖性，Transformer能够动态地理解整个黑潮系统的连贯模式，捕捉中尺度涡旋相互作用、流路变化和宏观尺度强迫等过程——这些过程通常无法被局部或循环架构充分解析。同时，混合设计结合了基于漂流器观测数据的监督学习组件，以捕捉观测约束的非地转变化，从而相对于纯数据驱动的方法提高了泛化能力。尽管取得了这些进展，仍存在一些局限性。首先，在沿海和浅水区域，这种限制尤为明显，因为卫星高度计的准确性较低。其次，卫星数据流的日采样频率和较低的有效分辨率限制了模型解析亚日尺度和亚中尺度过程的能力，包括近惯性振荡、内波引起的变化以及台风引起的快速加速。这些未解析的动态可能导致对短暂极端情况的低估，而这些情况对于涡轮机负荷评估和运行预测至关重要。

未来的工作将在两个关键方向上推进HyDL的发展。首先，将框架扩展到其他主要的西部边界流系统（包括湾流和阿古拉斯流），将严格评估跨流域的泛化能力，并建立一个可扩展的全球平台，用于特定站点的海洋电流能量预测。其次，通过模型裁剪、量化和降阶学习来提高计算效率，将实现实时的大规模部署，并加速其整合到全球决策支持和调度框架中。

5. 结论
1. 我们的工作建立了一个混合型的Transformer AI框架，改进了黑潮电流的站点级预测，实现了多尺度电流变化的高保真预测，这一直是传统方法面临的挑战。这为将海洋观测转化为可操作的能源情报提供了新的技术基础。
2. 所提出的基于Transformer的HyDL框架通过全局自注意力、统计校正和观测驱动的实时学习的协同作用，其预测优势使得RMSE相对于领先的运营模型减少了约30%。这一性能提升强调了观测约束AI如何系统性地克服模型偏见。
3. 我们的框架弥合了海洋学预测与工程规模能量转换之间的长期分歧。通过实现站点级别的海洋电流功率和能量生产预测，所提出的AI框架直接降低了系统级别的不确定性和运营成本。
4. 最终，本研究提供了一个可扩展且实用的蓝图，以加快全球主要西部边界流区域的海洋电流能量的部署，支持向低碳电力系统的过渡。

CRediT作者贡献声明：
吴昭荣：写作 – 审稿与编辑、监督、软件开发、资源管理、项目行政、数据整理、概念化。
张玉佳：写作 – 原始草稿、可视化、验证、方法论。