基于空间邻域感知与误差自适应动态融合模型的水质数据插补

《Journal of Hydrology》:Water quality data imputation based on spatial neighborhood-aware and error-adaptive dynamic fusion model

【字体: 大 中 小 】 时间:2026年09月17日 来源:Journal of Hydrology 7.3

编辑推荐:

   •提出了一种具有空间邻域感知和误差自适应能力的融合模型,用于数据插补。•通过自适应权重和误差预测策略实现动态模型融合。•SN-EAF模型在完全随机缺失(MCAR)和连续块缺失情景下均得到验证。•针对5项水质指标和19种不同情景,数据插补精度得到提升。引言随着全球贸易和货运需求

  
  • •
    提出了一种具有空间邻域感知和误差自适应能力的融合模型,用于数据插补。
  • •
    通过自适应权重和误差预测策略实现动态模型融合。
  • •
    SN-EAF模型在完全随机缺失(MCAR)和连续块缺失情景下均得到验证。
  • •
    针对5项水质指标和19种不同情景,数据插补精度得到提升。

引言

随着全球贸易和货运需求的持续增长,航运业发展迅速,而水环境保护和污染防治已成为全球关注的焦点领域(Hasanzadeh等,2020;Ytreberg等,2021)。水质监测是海洋环境管理的基础性前提,为分析水体指标的时间趋势、追溯污染来源和评估生态风险提供了重要支撑(Barcellos和Souza,2022;Chapman和Sullivan,2022;Li等,2023)。
有效且高质量的水质监测数据可支撑全面的水质评估(Stewart,2015)。在实际监测场景中,由于极端天气事件、传感器故障、人为操作失误和数据传输异常等多种因素的影响,海洋水质数据中经常会出现缺失值(Leke和Marwala,2019)。这些缺失数据导致信息丢失、不确定性增加和数据可用性降低(Zhang和Thorburn,2022a;Zhang和Thorburn,2022b)。目前,已有大量基于数据驱动的方法被提出以解决数据缺失问题,凸显了数据质量控制在海洋水质管理中的重要性(Chou等,2018;Uddin等,2022;Xu等,2020)。
通常,处理缺失数据的典型方法可分为两类:删除法和插补法(Armijo-Olivo等,2009)。尽管删除法对于零星缺失数据而言简单可行,但当缺失率升高时,可能导致严重的信息丢失,并在海洋水质评估和环境管理中引入显著偏差。通过保留缺失信息可以增强数据完整性(Emmanuel等,2021)。传统的插补方法通常包括线性统计插值(如均值或线性回归,Jahan等,2019)和空间统计插值(如克里金插值或反距离加权(IDW),Li和Heap,2014)。由于实现简便和计算效率高,这些方法已广泛应用于环境监测数据的早期处理中。然而,随着数据集规模和复杂度的增加,传统插补方法已无法有效捕捉水质数据中复杂的非线性关系和多维时空变化,从而限制了插补精度和后续数据分析的深度(Sharafati等,2020)。
为克服这些局限性,越来越多的机器学习(ML)和深度学习(DL)方法被引入以提高水质数据插补的精度。Ratolojanahary等(2019)采用四种机器学习模型(即随机森林、提升回归树、k近邻和支持向量回归)处理众多参数间的复杂关系,实现了稳健的水质插补。Peixoto等(2023)应用前馈神经网络对伊瓜苏河流域12年的水质监测数据进行缺失值插补。Chen等(2021)采用长短期记忆(LSTM)网络捕捉时间序列数据中的长期依赖关系,完成了溶解氧(DO)数据插补。该方法与基准方法相比,插补结果提升了约20%。Zheng等(2025)引入Transformer框架以提高跨流域水质指标的预测精度。单一插补模型在复杂的数据缺失条件和环境变化下可能面临部分失效的问题。Wang等(2021)采用堆叠集成学习方法进行近海水水质预测,有效缓解了单一机器学习模型因年际变化引起的波动。Choi等(2023)通过引入动态加权策略,利用回归模型研究了数据缺失情景与个体模型插补精度之间的关系。Zheng等(2024)集成了时空注意力机制,通过利用复杂空间信息有效捕捉水质参数的变化模式。该模型揭示了监测站之间存在正相关关系,距离预测站点越近的站点显著性越强。这种方法不仅提高了水质预测精度,还解决了监测站之间的空间异质性问题。值得注意的是,基于空间信息和集成方法的框架已成为有前景的解决方案,将空间自相关和环境驱动因素纳入插补过程(Pastorini等,2024;Zhang和Thorburn,2022a;Zhang和Thorburn,2022b)。尽管取得了这些进展,但仍存在以下尚未解决的基本挑战:
首先,大多数现有的机器学习/深度学习方法在其架构中隐式地纳入了空间相关性,但很少学习空间-环境上下文如何调节模型可靠性和误差行为。因此,在非均质海洋条件下的可解释性和泛化能力将受到限制。
其次,虽然已提出集成或基于融合的增强模型鲁棒性策略,但其加权方案通常由全局性能或经验调优定义,缺乏对动态、样本特定误差特征的局部适应性。因此,插补过程通常被视为黑箱,预测可靠性在空间和时间上存在差异。
因此,一种能够根据空间-环境特征进行预测误差学习和自适应融合权重调整的更有效的模型将是有利的。本研究提出了一种空间邻域感知与误差自适应动态融合(SN-EAF)插补模型,其特点如下:
  • (1)
    基于学习的动态融合:SN-EAF不使用固定或经验权重,而是采用非线性误差预测模型学习空间-环境特征与模型特定插补误差之间的映射关系。预测的局部误差作为自适应权重生成的监督信号,实现了基于学习的动态融合机制。
  • (2)
    空间邻域智能:构建了空间-环境特征编码器,用于量化站点间配置和局部变异性,使自适应模型权重能够同时响应空间异质性和环境动态变化。
  • (3)
    样本级适应性:所提出的SN-EAF模型执行样本特定的融合,即权重在空间、时间和缺失模式上动态演化。
SN-EAF模型为海洋水质数据插补引入了一种学习驱动、可解释且具有空间自适应性的范式,从而将传统的集成平均方法推进到动态的、空间邻域感知的知识整合阶段。

章节摘要

框架设计

本研究提出了一种融合空间邻域信息、误差预测和动态加权融合的数据插补框架,如图1所示。整个过程包括以下步骤:首先,对水质监测时间序列数据进行数据清洗和质量控制(QC)。配置不同的缺失率和连续缺失长度情景,以调查典型的数据缺失机制。随后,构建空间邻域特征编码器

研究区域描述

巴兹兹湾位于美国马萨诸塞州东南沿海,是连接大西洋和科德角运河的重要航运通道(Jakuba等,2021)。该湾呈狭长形态,长约48公里,宽8至16公里,汇水面积为1123平方公里。中央盆地平均水深为11米。过去几十年来,巴兹兹湾获得了越来越多的联邦层面

讨论

为了解所提出融合机制的有效性,进一步研究了促进各种模型动态加权的误差预测模块。传统的基于集成的插补方法通常依赖固定或经验权重(如多数投票或平均,Aleryani等,2020;Li等,2022)。SN-EAF模型引入了一种新颖的误差感知动态加权策略,其中具有空间信息的误差估计决定了

结论

为应对海洋环境工程中多源数据缺失的挑战,克服经典插补模型的局限性,本研究提出并验证了一种空间邻域感知与误差自适应动态融合插补模型(SN-EAF)。该新颖框架纳入了空间邻域特征,基于插补残差构建误差预测模型,并动态调整基础模型权重以提高水质数据

CRediT作者贡献声明

方馨伟:撰写——初稿、验证、方法论、形式化分析。蒋中连:撰写——审阅与编辑、监督、资金获取、形式化分析、概念化。刘磊:可视化、软件、方法论、形式化分析。冯学军:撰写——审阅与编辑、验证、软件、概念化。郭建群:可视化、验证、资源、方法论。

利益冲突声明

作者声明不存在已知的竞争性财务利益或个人关系,这些关系可能被认为会影响本文所报告的工作。

致谢

本工作由国家自然科学基金(项目编号:52071250)和国家重点研发计划(项目编号:2021YFB2600200)资助。
方馨伟|蒋中连|刘磊|冯学军|郭建群
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号