数据驱动预处理对全规模污水处理厂曝气动态α0因子预测的影响：泄漏控制消融与时间感知验证

《Results in Engineering》：Data-Driven Preprocessing for Prediction of the Dynamic α?-Factor in Full-Scale WWTP Aeration

　　

研究人员在18,467条污水厂记录上，采用泄漏控制消融（leakage-controlled ablation）逐一检验每个预处理步骤。
特征过滤（feature filtering）将输入变量由17个削减至12–15个，并使测试R²变化不超过0.01。
删除离群行（outlier rows；3σ、四分位距（IQR）、中位绝对偏差（MAD））使未改动数据上的测试R²降低0.02–0.29。
经交叉验证（CV）选择的模型达到测试R² 0.87–0.92；95–99%的预测值位于±10%以内。
时间感知验证（time-aware validation）表明α₀模型何时可信以及何时需要重新校准（recalibrate）。

研究背景与问题。曝气通常是污水处理厂（wastewater treatment plants, WWTPs）能耗最高的环节，常占全厂工艺能耗一半以上；处理每立方米废水耗电约0.18–0.8 kWh，曝气占比可达40%–80%。过度曝气不仅增加能耗，还会促进溶解态N₂O和CH₄释放。α因子是污水中氧转移效率（oxygen transfer efficiency, OTE）与清水中OTE之比，细气泡扩散器典型范围为0.3–0.85；本研究的α₀因子是在异位尾气柱中测定并按采样区溶解氧（dissolved oxygen, DO）校正后的α因子，便于比较不同DO区域。α随负荷和工艺条件动态波动，但传统设计与建模常假定其恒定；采用保守低α会造成系统性过度曝气，采用乐观值则可能导致供氧不足和处理失败。既往经验回归多以溶解性化学需氧量、混合液悬浮固体和污泥停留时间等代理变量估计α，难以刻画非线性动态，计算需气量时可产生25%–50%误差。异位尾气测试是参考方法，但需额外气相加仪器且仅代表采样部分；连续α监测对多数WWTP不现实。机器学习（machine learning, ML）可利用厂内已有传感器数据学习α₀，但Schwarz et al.和Tenneti et al.等既往研究主要关注模型架构，对数据预处理关注不足，且多仅用随机行测试，尚不清楚精度能否保持到后期运行期和其他厂。因此，研究人员在固定模型与评价协议下系统检验预处理和外部泛化。

研究设计与意义。研究人员不引入新模型架构，而量化特征筛选和离群处理对α₀预测的影响；数据在预处理前划分，所有预处理仅在训练数据拟合，并在交叉验证（cross-validation, CV）折内重新拟合。研究比较六种ML模型，以5折CV调参和独立留出测试评分，目标包括：量化逐个预处理步骤的效应、比较离群剔除与保留全部训练行、检验对留出时期和未见数据集的泛化、用Shapley加性解释（SHapley Additive exPlanations, SHAP）解释模型行为。方法上提供与模型类别和调参分离的受控预处理评价，并超越随机行划分；实践上发布基于常规厂内测量的研究原型预测器。

关键技术方法。使用Schwarz et al.公开数据集的18,467条小时记录，覆盖德国三座全规模活性污泥WWTP的四个工艺阶段（A1、A2、B、C），以行序代理时间。预处理含低方差过滤、共线性过滤（|ρ|>0.8）、标准化并裁剪至±3，均在训练集拟合且在CV折内重拟合；比较决策树（decision tree, DT）、随机森林（random forest, RF）、XGBoost、CatBoost、支持向量回归（support vector regression, SVR）和人工神经网络（artificial neural network, ANN），用Optuna调参并以5折CV选模；采用随机行分层80/20、168观测块留出、末20%时序留出和留一数据集验证（leave-one-dataset-out, LODO）；以bootstrap 95%置信区间、适用域和SHAP评价。

研究结果。
4.1 随机行测试集上的预测精度：在80/20分层随机行划分中，CV选择CatBoost用于A1、B、C和ALL，ANN用于A2；未改动测试集R²为0.872–0.924，ALL为0.965，RMSE为0.018–0.031，MAPE为2.2–3.3%，95.2–99.2%预测在±10%内；DT最差，选定模型优于RF和DT，但常与至少一个替代模型无显著差异。
4.2 预处理效应：受控消融：固定划分、模型设置和未改动测试集，逐步加入方差与共线性过滤及±3裁剪，输入由17降至12–15，测试R²变化≤0.010；3σ剔除使R²降低0.022–0.033，IQR和MAD剔除降低0.055–0.285；2×2比较显示过滤加3σ剔除的调参模型在A1、B、C低于原始输入调参模型，说明增益不能归于预处理。
4.3 对新时期和新厂的泛化：168观测块留出使个体数据集R²降至0.005–0.556（ALL为0.723）；末20%时序留出中A2、B、C的R²为负（?1.199至?1.111）并系统高估（偏差+0.075至+0.113）；LODO均为负R²，表明随机行验证偏乐观、迁移性有限。
4.4 联合模型与厂别模型：ALL模型总体R²最高，但训练均值及厂×Tank Zone均值基线已有R² 0.631和0.708；同测试观测上ALL在A1和C低于厂别模型，在B略高，在A2无显著差异，说明联合R²受数据集间差异影响且不证明对未见厂可迁移。
4.5 误差分布与适用域：选定模型80.8–90.2%预测在±5%内、95.2–99.2%在±10%内、≥99.3%在±20%内；89.6–95.1%随机测试行位于训练3σ输入范围内；适用域标记用于提示超出训练范围而非删除；时序后期MAPE升至12.3–21.8%。
4.6 特征关联（SHAP）：SHAP显示各数据集前三预测因子不同（A1：AFR、DO、Tw；A2：DOZone、Tw、Tank Zone；B：pH、DOZone、Tw；C：pH、Tank Zone、DOZone；ALL：pH、Tank Zone、AFR），DO或DOZone常居前三，pH在B、C和ALL居首；这些为模型关联而非因果，相关预测因子可能分摊归因，DOZone还进入α₀质量平衡校正。
4.7 局限性：仅一个公开数据集（三座德国WWTP四阶段），无时间戳而以行序代理时间；邻近观测依赖可能抬高随机行精度并低估不确定性；无维护记录难以区分测量误差与真实极端；部分调参受时限，ANN未做时序和LODO；SHAP为关联，未做独立外部验证和运行测试。
4.8 预测工具：基于CV选择的ALL CatBoost建立研究原型，接受常规运行数据和厂阶段身份，应用训练集拟合的预处理并输出α₀及超出训练范围警告；未在厂内运行验证，因后期精度下降和LODO迁移差，使用需进一步验证和基于近期现场测量的重新校准，且不显式考虑全规模扩散器污垢。

讨论部分总结。讨论指出，随机行划分因相邻观测强依赖（同区α₀ lag-1自相关0.88–0.94，95–97%测试观测有相邻训练行）而形成有利插值，块留出和时序留出更严格。联合模型的高R²部分来自数据集间α₀差异，不等于厂内精度提升。SHAP关联不能解释为因果，pH可能代理时空变化的过程条件。适用域标记和保留全部训练行是避免降低覆盖度的选择。局限性包括单数据集、无时间戳、迁移性差和未运行验证。

研究结论部分译为：本研究检验仅用训练集预处理是否改善ML对动态α₀因子的预测，以及随机行划分所得精度能否推广到新运行期和厂阶段数据集。基于三座WWTP四个活性污泥阶段的18,467条观测，结论为：特征过滤将输入由17降至12–15，测试R²变化至多0.010，跨11个随机划分效应小且依数据集而异（A2一致改善、B小幅损失），故简化模型但无系统增益；剔除离群行在未改动测试数据上一致降低精度，3σ使个体数据集R²降低0.022–0.033，IQR和MAD降低0.055–0.285，故最终流程保留全部训练观测并标记超出训练范围输入；随机行划分保持高精度（个体R² 0.872–0.924，ALL为0.965，95.2–99.2%在±10%内），但领先模型差异常不显著，联合模型在同观测上不总优于厂别模型；时序和LODO泛化显著较弱，块留出个体R²降至0.005–0.556，末20%记录中A2、B、C系统高估（偏差+0.075至+0.113）致负R²，所有LODO为负R²，故随机行验证偏乐观；可靠应用α₀预测需时间感知验证、代表性现场数据和定期重新校准，部署前仍需独立外部验证和运行测试。