《Water》：Statistical Outlier Removal in High-Frequency River Water-Quality Data: Effects on Total Phosphorus Virtual Sensing and on the Retention of Rainfall-Driven Events
编辑推荐：
统计离群值检测是高频率水质记录的常规预处理步骤，但极端值可分为两类：技术异常与短期水文事件的响应。本研究探讨该选择如何影响总磷（TP）虚拟传感器及所保留的信息。研究人员在韩国Hoeincheon流域站点17,059个逐时观测上，将四分位距（IQR）、Z-sco
统计离群值检测是高频率水质记录的常规预处理步骤，但极端值可分为两类：技术异常与短期水文事件的响应。本研究探讨该选择如何影响总磷（TP）虚拟传感器及所保留的信息。研究人员在韩国Hoeincheon流域站点17,059个逐时观测上，将四分位距（IQR）、Z-score、稳健马氏距离（Robust Mahalanobis distance）与孤立森林（Isolation Forest）与未进行统计离群值剔除的基线进行比较，阈值仅在训练期拟合，随机森林（RF）与梯度提升（GB）在共同测试集上评分。剔除率介于0.93%至20.53%之间，与性能无单调关系。Z-score剔除2.88%，在该评价期内对两种模型均产生五种条件中最低的误差；经多重比较校正后，该降低仅对梯度提升（GB）显著。四分位距（IQR）剔除20.53%，产生最高误差，并剔除了98.01%受降雨影响的高浓度观测。这些观测既是预测高总磷（TP）所需的样本，也是承载事件结构的时间区间，因此将其丢弃会同时降低预测性能并使序列碎片化。因此，预处理评估除误差指标外，还应针对事件保留与时间连续性进行评估。
研究背景与问题：河流水质监测对识别河流系统问题与现状至关重要，但传统周期采样与实验室分析时空分辨率低，难以实时捕捉快速变化的水质状况。物理传感器虽可实现高频连续监测，却受安装与校准不稳定、信号噪声及故障等限制。基于人工智能（AI）的虚拟传感器由此被引入，以传感器实测变量作为替代变量进行预测。然而，高频传感器水质数据本身含有不确定性与噪声，离群值可能源于传感器故障与外部环境因素。现有离群值检测研究多依赖流域或站点尺度专家判断标注以划分异常类型，难以对高频大规模数据集逐一人工检查，在气候变化与环境变化下亦缺乏可扩展性。更关键的是，高频水质记录中的极端值并非全为传感器误差，部分为降雨、径流等短期水文事件的水质响应；统计离群值检测仅作用于观测值分布，无法区分二者。已有研究多聚焦单一方法的适用性与性能评价，较少系统比较不同离群值检测方法如何影响后续预测模型性能。本研究即针对这一问题，量化评估不同离群值检测方法对数据质量与预测模型性能的影响。
研究开展与结论：研究人员以韩国大坝上游Hoeincheon流域水质监测站2023年1月至2024年12月的逐时高频记录为对象，使用水温（TEMP）、电导率（COND）、浊度（TURBIDITY）、溶解氧（DO）、pH五个输入变量，以总磷（TP）为预测目标，降雨仅作为诊断变量用于界定受降雨影响时段。分析先进行物理质量控制以剔除物理上不合理的传感器值，再按时间顺序划分训练集与测试集，所有阈值与检测器仅由训练期估计，各方法在共同输入变量集上运行，以未作统计离群值剔除的原始数据为基线。研究得出：剔除率与预测性能无单调关系，决定差异的不是剔除多少而是剔除了哪些观测；Z-score剔除2.88%并在该评价期对两种模型均给出最低误差，IQR剔除20.53%并产生最高误差且剔除了98.01%受降雨影响的高浓度观测；稳健马氏距离剔除0.93%，结果与基线几乎无差别；孤立森林剔除9.09%，略差于基线。研究意义在于表明预处理应同时以事件保留与时间连续性为评价依据，对以总磷（TP）为关键管理指标的水库水源流域，剔除降雨驱动的高浓度时段会在最需要监测的情形下削弱监测记录。
关键技术方法：采用单变量四分位距（IQR，基于Tukey箱线图法则）与Z-score（|Z|>3）检测，多变量稳健马氏距离（以最小协方差行列式MCD估计位置与散度，阈值取训练期稳健距离均值加三倍标准差），以及非线性无监督孤立森林（200棵隔离树，污染参数0.10，并考察0.03至0.20及auto设定）；以随机森林（RF）与梯度提升（GB）构建总磷（TP）虚拟传感模型，在共同测试集上以预测/观测比、平均绝对误差（MAE）与均方根误差（RMSE）评价，并用时间序列交叉验证与成对循环移动块自助法检验差异；样本队列来源为韩国Hoeincheon流域水质监测站2023—2024年逐时观测。
研究结果：
3.1 水质数据集特征：最终数据集含17,059个逐时观测。总磷（TP）均值0.029 mg/L、最大值0.585 mg/L，浊度均值7.71 NTU、最大值1210 NTU，二者均强右偏。水温（TEMP）与溶解氧（DO）呈明显互逆季节循环，总磷（TP）与浊度大部分时段偏低而在孤立时点骤升，且集中于夏季并与降雨峰值同时出现；电导率（COND）在同样降雨期骤降，符合暴雨径流的稀释响应。降雨与骤升的关联经Spearman秩交叉相关考察，浊度约在降雨后6 h最强（rho=0.235），总磷（TP）约9 h（rho=0.188），电导率约24 h呈反号（rho=?0.170）。受降雨影响时段占记录28.0%，却含上5%总磷（TP）观测的79.6%与上5%浊度观测的64.1%。由此说明极端值有两种来源，统计离群值检测无法区分。
3.2 离群值检测结果：四种方法剔除率相差逾一个数量级，IQR剔除3503个（20.53%），孤立森林1550个（9.09%），Z-score 492个（2.88%），稳健马氏距离158个（0.93%）；孤立森林剔除率由污染参数固定，属设计选择。剔除在月份上集中于降雨驱动变异时段，IQR在2024年7月达48.5%。原因在于浊度与总磷（TP）大部分观测处于狭窄低浓度带而少数取值极大，IQR上围栏对浊度仅7.14 NTU，低于训练观测上5%所超的24.68 NTU，电导率则跌破下围栏183.2 μS/cm；Z-score因极端值抬高标准差，阈值对应浊度111.2 NTU，远宽于IQR；稳健马氏距离评估联合协方差结构，多变量协同变化多不被标记。三个代表降雨事件中，IQR标记上升段、峰值与大部分退水段，Z-score与稳健马氏距离仅标记峰值附近。
3.3 总磷（TP）预测性能：Z-score在两种模型上均给出五种条件中最低误差，随机森林（RF）预测/观测比由0.501升至0.534，平均绝对误差（MAE）由0.0257降至0.0242 mg/L；梯度提升（GB）比由0.458升至0.468，平均绝对误差（MAE）由0.0264降至0.0260 mg/L，且该条件保留了689个可用于建模的受降雨影响高浓度观测中的547个。稳健马氏距离结果与基线几乎一致，孤立森林对随机森林（RF）略差，IQR误差最高，随机森林（RF）比降至0.467、平均绝对误差（MAE）升至0.0271 mg/L。成对检验显示IQR使两模型误差上升，Z-score使梯度提升（GB）误差显著下降，随机森林（RF）的降低经校正后未保持显著。分浓度区间看，低于0.04 mg/L各法相近，0.04至0.10 mg/L区间Z-score将随机森林（RF）比由0.564升至0.636，而IQR降至0.523；0.10 mg/L及以上各条件均严重低估。
3.4 时间连续性与事件保留：物理筛查后数据已有377个缺口，IQR将缺口增至727个、平均长度6.49 h、最长169 h，并使滞后1自相关降低0.038；孤立森林产生582个缺口、最长157 h，自相关降低最多0.043；Z-score与稳健马氏距离影响较小。803个受降雨影响高浓度观测中，IQR剔除787个仅保留1.99%，孤立森林保留28.52%，Z-score与稳健马氏距离分别保留80.57%与84.31%。在更长滞后上IQR序列自相关反而高于原始记录，但这源于风暴响应被移除后序列更平滑，且其最长连续空缺达168 h、使35个降雨影响事件中30个碎片化，说明自相关单独不足以衡量连续性。
讨论部分总结：四种方法剔除率与预测性能无单调关系，Z-score是唯一对两种模型均优于基线的条件，稳健马氏距离剔除过少而近乎空操作，IQR与孤立森林均使性能退化且剔除越多退化越大；区别在于剔除了哪些观测。IQR的行为源于其应用分布的形态，其上围栏低于降雨期常规取值，且总磷（TP）不在检测输入中，故随输入变量被标记而一并丢失，训练集恰在模型需学习的高浓度范围被耗尽。稳健马氏距离因最小协方差行列式（MCD）从最集中子集估计位置与散度，风暴响应造成的协同变化未必远离稳健协方差结构，故剔除极少；但其相对自身剔除率对受降雨影响高浓度观测的标记倍数为16.9，高于IQR的4.8、Z-score的6.7与孤立森林的7.9，说明所剔观测不成比例地来自降雨响应。孤立森林的地位由污染参数决定，0.03至0.20范围内无独立于测试集的最优值，其相对基线的位置本身依赖参数。Z-score的宽阈值源于强偏态分布，使其保留足够高浓度样本。预测精度与时间结构保留在本记录中同向变化，但模型逐观测拟合且不使用滞后预测因子，故不能确立自相关变化作用于精度，二者共同原因是各准则剔除的观测集合。与既有研究相比，稳健马氏距离的保守性与Alameddine等一致，Leigh等关于无单一方法充分、需组合不同方法与本研究中四法剔除比例与下游行为不同相符，Rodríguez-Pérez等强调区分技术异常与环境变异，本研究的保留率结果量化了纯分布准则在此区分上的失效。研究有六项局限：0.10 mg/L及以上严重低估；时间序列交叉验证折间变异大；单一站点两年记录；离群值仅剔除未插补；无标注参考集无法验证检测精度；所有条件在同一测试集上评分，不代表端到端业务精度。对以大坝流域饮用水源保护为目标的水质管理，总磷（TP）是关键指标而最需关注的正是降雨驱动的高浓度时段，故预处理应默认保守并以事件保留与误差指标共同评估。
研究结论翻译：本研究评估了四种统计离群值检测方法如何影响高频河流水质记录的质量以及由其构建的总磷（TP）虚拟传感器性能，得出四点结论。(1) 当准则将降雨响应保留在训练数据中时，离群值剔除改善了预测性能。Z-score预处理剔除2.88%的观测，同时保留689个可用于模型拟合的受降雨影响高浓度观测中的547个，并在该评价期对随机森林（RF）与梯度提升（GB）均产生五种条件中最低的误差，使随机森林（RF）预测/观测比由0.501升至0.534、平均绝对误差（MAE）由0.0257降至0.0242 mg/L；该降低对梯度提升（GB）显著，对随机森林（RF）在八项成对比较校正后未保持显著。改善源于0.04至0.10 mg/L的中等浓度区间，即与管理用途最相关的区间。(2) 激进剔除使性能退化。四分位距（IQR）剔除20.53%的观测并产生五种条件中最高误差，因其对五个传感器变量的单变量围栏将风暴驱动的浊度上尾及伴随的电导率稀释判为离群值，随之被剔除的观测承载了所识别受降雨影响高浓度观测的98.01%……
