一种用于时空显著波高估计的深度学习方法，并结合了船舶姿态补偿功能

《Ocean Engineering》：A deep learning method for spatiotemporal significant wave height estimation with ship attitude compensation

融合时空深度学习与船舶姿态补偿的显著波高实时估计方法，通过多模态数据融合与自注意力机制有效抑制船体运动干扰，在47种海况仿真平台验证下，MAE=0.025m，R2=0.994，较基线提升65%以上，适用于船舶安全监测。

　　

Xinde Yang|Hongdong Wang|Runtao Zhang|Shiping Sun|Mingyang Zhang

上海交通大学海底地球科学国家重点实验室，上海，200240，中国

摘要

有效波高（SWH）是表征海洋状态的关键参数，与航行安全、海洋预报和海上工程直接相关。传统的SWH传感器可靠但成本高昂且不够灵活。基于视觉的测量方法成本较低，但对运动和光照变化敏感。基于视觉的技术提供了一种低成本的替代方案；然而，在船上使用时，由于图像模糊、视角漂移和动态干扰，其准确性会下降。本文提出了一种考虑船舶姿态的时空深度学习框架，用于船上SWH的估计。该框架将图像和姿态编码器与时间注意力机制相结合，以输出实时的SWH估计结果。所提出的模型将连续的海洋表面图像与同步的船舶姿态数据融合，并采用多头自注意力机制来共同捕捉波浪动态并补偿船舶引起的运动。开发了一个高保真模拟平台，生成了涵盖47种海况的多模态数据集，以浮标测量的SWH作为真实值基准。实验结果表明，该方法具有稳定的收敛性和较高的预测准确性，MAE = 0.025米，RMSE = 0.032米，R2 = 0.994。该方法比单帧和仅使用图像的基线方法性能提高了65%以上，并且在超过2.0米的恶劣海况下仍保持稳健性。这些发现证实，结合姿态补偿和时间建模可以实现准确、高效和实时的波高估计，为智能船舶感知和海上安全应用提供了可行的解决方案。

引言

有效波高（SWH）是描述海洋动态的关键指标，在海洋气象预报、海洋工程设计以及航行安全中有着广泛的应用（Fan等人，2020；Zhang和Dai，2019；Mahjoobi和Mosabbeb，2009）。准确估计波高对于确保船舶操作性、减轻结构载荷以及实现安全和经济的航线规划至关重要。传统的波高观测方法依赖于浮标、雷达和基于GPS的系统，尽管这些方法准确，但部署成本高、空间覆盖范围有限，且对于移动平台来说快速部署存在限制（Gulev等人，2003；Huh等人，2012；Salcedo-Sanz等人，2015）。除了现场仪器外，卫星雷达高度计还提供了全球范围的SWH观测数据，并已被广泛用于波浪气候学和模型验证（Young，1994）。然而，由于 revisit间隔、覆盖范围不匹配以及与平台运动的同步问题，卫星产品无法直接用于实时的船上估计（国际高度计团队，2021；Sentinel-3任务性能中心，2022）。

波高估计方法大致可以分为三类：基于浮标或GPS的测量方法、基于雷达图像的特征建模方法以及基于视觉的深度学习方法（Herbers等人，2012；Cornejo-Bueno等人，2016；Stopa和Mouche，2017；Choi等人，2020）。

基于浮标和GPS的测量方法利用安装在浮动或固定平台上的加速度计或位移传感器直接测量波浪引起的垂直加速度和位移，然后重建波高序列（Wang等人，2025；Rossi等人，2021；Lin等人，2017；Herbers等人，2012；Doong等人，2011）。例如，Huh等人（2012）和Kim等人（2011）提出了通过双积分或卡尔曼滤波从加速度计数据重建位移信号以获得有效波高的系统。然而，累积误差和长周期响应问题限制了它们的实时性能和稳定性（Chung等人，2014），因为加速度信号的积分会放大低频噪声并导致漂移，从而使重建的位移信号随着时间的推移逐渐偏离真实值（Gao等人，2025；Zhang等人，2023；Liu等人，2021）。

基于雷达图像的特征建模方法通过分析X波段海洋雷达和卫星合成孔径雷达（SAR）获取的雷达图像来估计波高，提取图像纹理特征或波谱（Borge等人，1999；Huang等人，2017；Stopa和Mouche，2017）。Cornejo-Bueno等人（2016）使用支持向量回归（SVR）处理雷达图像，其准确性显著优于经验公式。然而，这些方法容易受到雨滴污染、低后向散射区域和平台姿态干扰的影响（Chen和Huang，2020）。这是因为雨滴会在雷达图像中引入强烈的散射噪声，低后向散射区域会导致波形信息的丢失，而平台运动会导致几何失真和相位误差，从而降低波谱反演的准确性（Saviano等人，2019；Esposito等人，2019；Hauser等人，2001）。

基于视觉的深度学习方法利用卷积神经网络（CNN）和其他机器学习模型直接从数据序列预测波高。Berbi?和Salcedo-Sanz应用ANN和SVR模型从历史波数据预测未来波高（Berbi?等人，2017；Salcedo-Sanz等人，2015），而Malekmohamadi等人使用各种神经网络将风数据映射到波高（Malekmohamadi等人，2011）。然而，这些方法无法实现实时测量，因为它们依赖于历史波或风数据，因此不太适合船上应用。为了解决这个问题，一些研究人员如Choi等人（2020）使用光学图像进行实时波高估计，并进一步结合立体视觉以提高准确性。Mustafah等人（2012）也使用立体相机获取目标高度。然而，大多数现有的基于视觉的方法忽略了成像平台的动态特性，这使得它们在实际船上环境中容易受到图像模糊、视角漂移和其他干扰的影响，从而降低了在高海况下的稳健性。

除了船上估计外，有效波高还从时间序列预测的角度进行了广泛研究，其中未来SWH是根据历史波/风观测数据或再分析/预测时间序列进行预测的。代表性的先进方法包括动态集成深度回声状态网络（edESN）和混合集成深度RVFL基模型（Gao等人，2023a；Gao等人，2023b）。此外，现代长时段预测架构如Transformer变体在最近的时间序列预测文献中已成为常见参考（Nie等人，2023）。这些预测公式与我们的设置互补；然而，它们不能直接作为船上感知的插件基线，因为它们处理的是历史时间序列输入，而不是在平台运动下的同步视觉-惯性测量。

在多模态学习中，融合通常分为早期融合、晚期融合或中间/深度融合，越来越多地采用基于注意力和门控的设计来模拟跨模态交互并提高稳健性（Gao等人，2020；Jiao等人，2024）。典型的机制包括自适应加权不同模态的门控融合单元和多流网络的特征交换模块（Arevalo等人，2017；Joze等人，2020）。受这些进展的启发，我们采用时间多头注意力来强调图像和姿态序列中的信息线索，从而在动态船上条件下实现运动感知的融合。

在这项研究中，我们专注于在实际操作条件下的船上实时有效波高（SWH）估计。两个关键挑战推动了这项工作：（1）船舶运动会导致非静态的视觉退化（例如，模糊、视角漂移和快速变化的照明），这削弱了仅使用视觉方法的可靠性；（2）波浪动态表现出时间依赖性，这很难从单帧中推断出来，特别是当观测几何形状不断变化时。这些挑战表明，准确的船上波高估计不仅需要波浪演变的时空建模，还需要明确结合船舶姿态信息来补偿运动引起的干扰。

为了解决图像模糊、视角漂移和运动引起的干扰问题，本文提出了一种结合船舶姿态补偿的时空波高估计深度学习方法。具体来说，构建了一个时间同步的多模态数据集，结合了连续的图像数据和IMU导出的姿态信息，以浮标测量的有效波高作为真实值标签。

此外，还开发了一个时空深度回归框架，其中融合了船舶的图像特征和姿态序列，以共同建模波浪的时间演变。引入了多头自注意力机制来捕捉长距离依赖性并强调跨模态的信息特征。该设计有效补偿了船舶运动的影响，提高了动态海况下波高估计的准确性和稳健性，从而实现了可靠的实时船上监测应用。

方法

本文提出了一种考虑船舶姿态的时空深度学习框架，用于船上有效波高估计。该方法整合了连续的图像特征和船舶姿态信号，能够在动态海况下实现稳健的预测，并明确补偿船舶运动的影响。

如图1所示，所提出的视觉-姿态-时间波模型（ViAt Model）包括四个阶段。

第一阶段：数据采集。 通过

数据集

本节设计的数据集旨在服务于本研究的方法学目标。数据生成和标记与第2节中描述的几何建模和监督框架保持一致，确保了训练和评估过程中的物理一致性和可重复性。

结果与分析

本节报告了所提出的时空图像-姿态融合模型用于有效波高估计的实验评估。结果从四个方面进行了展示：（i）模型收敛性和整体预测性能，（ii）对未见海况的泛化能力，（iii）序列长度作为关键参数的敏感性，以及（iv）与基线模型的比较分析。分析证明了该方法的有效性、稳健性和实际适用性。

姿态和时间背景的贡献

实验分析证实，结合船舶姿态信息和时间建模显著提高了有效波高估计的准确性和稳健性。船上相机不可避免地会受到滚动、俯仰和偏航运动的影响，这些运动会扭曲成像几何形状并改变捕获帧中的波浪图案。如果预测仅依赖于单帧图像，这些扭曲很容易被误认为是海洋表面的变化，从而导致

结论

本研究通过在一个时空深度学习框架内整合视觉和姿态信息，解决了在动态船上环境中准确且稳健地估计有效波高的挑战。通过在高保真模拟平台上的系统评估，所提出的方法已被证明能够克服传统仅基于图像或传感器的方法的局限性，并提供适用于实时海洋应用的稳定、高精度的预测。

CRediT作者贡献声明

Xinde Yang：写作 – 审稿与编辑，撰写原始稿件，可视化，软件开发，资源管理，方法论研究，资金获取，正式分析，数据管理，概念化。Hongdong Wang：写作 – 审稿与编辑，监督，项目管理，资金获取，概念化。Runtao Zhang：方法论研究，数据管理。Shiping Sun：项目管理。Mingyang Zhang：写作 – 审稿与编辑，撰写原始稿件，

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（NSFC）（项目编号：52501441和52301401）和国家优秀青年科学家基金计划（海外）（项目编号：24FAA02373）的支持。此外，本工作还得到了国家水动力学重点实验室的资助。