基于预测残差与隔离森林(Isolation Forest)的水质异常检测——带动态阈值与选择性验证的预测辅助异常检测方法(PADSV)

《Water》：An Efficient Real-Time Anomaly Detection Scheme for Water Quality Monitoring Wenjie Guo, Leijun Huang, Yang Li and Wenxian Luo

　　

摘要：本文提出一种预测辅助异常检测方法(Prediction-Assisted anomaly Detection on Sensor Values, PADSV)，用于在线监测水体水质时间序列数据中的异常。由于原始水质实测值易受波动干扰且直接应用无监督异常检测算法效果有限，研究人员采用编码器–卷积–长短期记忆网络(Encoder–CNN–LSTM, ED?CLA)建立预测模型，计算预测值与实测值间的残差，并将残差输入隔离森林(Isolation Forest)进行异常评分。为降低误报带来的现场人工成本，PADSV引入选择性验证(Selective Verification)机制——仅对超过异常分数阈值的告警派遣现场工程师核实，并根据核实结果以动态阈值(Dynamic Thresholding)方式调整判定阈值。确认异常的数据点用预测值替换历史窗口中的实测值，以防污染后续预测，而仅正常实测值参与预测模型的再训练。研究在杭州三座水质监测站八年的五参数(pH、溶解氧DO、总磷TP、高锰酸盐指数CODMn、氨氮NH3?N)数据集上验证，结果表明相比直接使用实测值进行孤立森林检测或静态阈值方法，PADSV及带动态阈值的PADSV?DT在真阳性率(True Positive Rate, TPR)、假阳性率(False Positive Rate, FPR)及AUC(Area Under ROC Curve)方面均有提升，可在实时水质监测中实现更高精度的异常识别。

研究背景与意义

传统水质监测依赖周期性人工采样化验，难以实现实时异常发现。自动水质传感器虽可连续采集，但其原始测量值易受环境波动、仪器漂移等影响，直接对原始序列做无监督异常检测（如孤立森林 Isolation Forest）往往导致较高假阳性(False Positive, FP)。此外，无标签场景下固定阈值难以兼顾检出率与误报率，且频繁派员现场核查成本高。为此，研究人员开展了一项基于预测残差与改进孤立森林的水质在线异常检测方法研究，旨在通过预测建模分离正常波动与真实异常、引入人工反馈动态优化阈值、并对确认异常作预测值替代处理以防止误差传播，最终发表于《Water》。

主要关键技术方法

研究人员采集浙江省杭州市三座水质自动监测站2017年1月至2025年5月、每4小时一次的五年水质参数(pH、溶解氧 DO、总磷 TP、高锰酸盐指数 COD_Mn、氨氮 NH₃?N)，先剔除超传感器量程及IQR(Interquartile Range)离群原始值，缺失值约占30%–40%。离线阶段用编码器–卷积–长短期记忆网络(Encoder–CNN–LSTM, ED?CLA)以滑动历史窗口构造监督训练集拟合正常变化模式；在线阶段对每个新时刻t用历史窗口预测\hat{y}_t，计算残差r_t=|\hat{y}_t?x_t|，将残差送入预先由历史残差构建的隔离森林(Isolation Forest)求平均路径长度并换算为异常分数s_t=2^{?E(h(x))/c(n)}（其中H(i)≈ln(i)+γ，γ≈0.5772为欧拉常数，c(n)为样本数n的调和数估计）。若s_t≥Θ_anom（默认0.5），触发告警并派遣现场工程师做选择性验证(Selective Verification)；若启用动态阈值(Dynamic Thresholding)，则基于已验证样本构建ROC曲线取左上角对应最优Θ_ROC并按Θ_anom=0.5+ε(Θ_ROC?0.5)(ε∈[0,1])更新阈值。确认异常时用预测值\hat{y}_t替代历史窗口中的x_t（不断续窗口不传播误差），确认正常时将x_t追加至历史窗口及用于再训练的历史序列；异常点在训练序列中留缺（由模型处理缺失）。

研究结果

2.1.1 Prediction Model（预测模型）

研究人员采用ED?CLA(Encoder–CNN–LSTM)网络以长度为T的历史窗口预测下一时刻水质向量，用MSE(Mean Squared Error)损失函数经训练集与测试集评估后固化模型M，用于在线预测。说明在正常模式下该混合深度学习架构可较好拟合水质多参数时序依赖。

2.1.2 Anomaly Detection Using Isolation Forest（基于孤立森林的异常检测）

将残差而非原始测量值输入Isolation Forest，依据实例在森林中平均路径长度与样本规模归一化后的期望路径长度之比计算异常分数s(x,n)=2^{?E(h(x))/c(n)}，分值∈(0,1)，越接近1越可能为异常。研究表明残差比原始值对水质突变更敏感，可改善孤立森林对背景噪声的鲁棒性。

2.1.3 Selective Verification（选择性验证）

仅对s_t≥Θ_anom的样本发起现场核查，工程师反馈真/假异常。确认异常时历史滑动窗口用预测值\hat{y}_t替换实测值x_t以保证连续性且不引入偏差；历史训练序列中不补入异常实测值（留缺失由再训练时处理）。此机制降低不必要的人力投入。

2.1.4 Dynamic Thresholding（动态阈值）

利用已验证样本及其异常分数与真值绘制ROC曲线，取距(0,1)最近点对应阈值Θ_ROC，按Θ_anom=0.5+ε(Θ_ROC?0.5)平滑插值默认阈值与ROC最优阈值（ε=0属关闭动态调阈）。该方法仅需已验证子集无需全量标注，可在线迭代更新，适配不同场景对TPR/ FPR的偏好。

2.1.5 The Complete Algorithms（完整算法）

Algorithm 1描述离线ED?CLA模型训练流程；Algorithm 2描述在线循环：接收新测值→滑动窗口预测→算残差→孤立森林打分→阈值判断→选择性验证及动态阈值更新→按验证结果更新历史窗口与训练序列。整套PADSV及PADSV?DT(PADSV with Dynamic Thresholding)可嵌入实时监测系统。

讨论与结论

研究人员得出结论：①以预测残差作为孤立森林输入较直接使用原始水质测量值能更有效区分正常波动与真实异常，提高AUC；②选择性验证机制在维持检测性能的同时显著降低需现场核查的样本数；③动态阈值可根据少量人工反馈自适应优化判定边界，进一步提升TPR并压制FPR；④确认异常时以预测值替补历史窗口可阻断异常值污染后续预测且不影响正常模式学习。PADSV方法适用于具有明显时序相关性、受背景噪声干扰大且现场核查成本高的环境水质在线监测预警场景，相较传统静态阈值孤立森林方案具有更好的实用性与检测精度。