人工物联网水质分析系统：一种机器学习驱动的小规模实时评估方法

《ICT Express》：Artificial IoT water quality analysis system: A machine learning-driven approach for small-scale real-time evaluation

　　

传统水监测管道存在结构效率低下问题，导致显著的分析时间延迟，阻碍了在水质突然波动期间进行即时干预，并造成严重的经济损失，例如大规模鱼类死亡。为解决此问题，研究人员引入了WaterMirror和WQSurrogateModels，这是一个集成的物联网（IoT）和机器学习（Machine Learning, ML）框架，旨在自动化专业密集型监测。利用真实世界的历史数据，该系统对WQI5指数（基于经典水质指数（Water Quality Index, WQI）的五参数简化版本）进行替代回归，涉及五个关键参数：溶解氧（Dissolved Oxygen, DO）、生化需氧量（Biological Oxygen Demand, BOD）、氨氮（Ammonia Nitrogen, NH₃-N）、电导率（Electrical Conductivity, EC）和悬浮固体（Suspended Solids, SS）。对六种机器学习模型的比较分析表明，基于树的集成方法显著优于传统架构。具体而言，实验表明，即使缺少NH₃-N指标，监测系统仍能保持预警生成功能。此外，压力测试证实了模型对有机污染突增的敏感性。WaterMirror和WQSurrogateModels在Apache License 2.0下发布，为实时、高精度环境评估提供了一个可扩展的开源解决方案。

**论文解读文章**

**研究背景**
水产养殖业对水质参数波动极为敏感，例如缺氧可导致水生生物“浮头”，进而引发大规模死亡事件，威胁经济稳定与食品安全。现有自动监测系统虽能执行反应性措施（如阈值超标时启动增氧机），但普遍缺乏分析复杂非线性化学相互作用的能力，因此无法检测渐进性水质恶化或提供可行的缓解策略。人工智能（Artificial Intelligence, AI）已被证明是可行的分析方案，但关于特定AI模型在低成本物联网（Internet of Things, IoT）边缘设备上的适用性仍存在显著研究空白，尤其是在小规模应用场景中。本研究聚焦于台湾中部麒麟潭（Qilintan）——一个13公顷的湖泊，该区域以往的智能水净化与生态保育（IWPEC）系统已显著改善水质与生物多样性，但现有分析工作流程依赖专有统计软件（如SAS、SPSS），严重依赖操作人员专业知识，导致解释不一致。因此，需要开发一种自动化、低延迟、高精度的实时水质评估框架。

**研究内容与结论**
研究人员提出并实现了WaterMirror与WQSurrogateModels系统，这是一个集成的ICT架构，将IoT传感器、AI服务器和移动界面结合，用于低延迟区域监测。系统基于WQI5标准，将机器学习推理结果转化为人类可读的改进建议。通过对六种机器学习模型进行对比分析（包括线性回归（Linear Regression, LR）、多元多项式回归（Multiple Polynomial Regression, MPR）、支持向量机（Support Vector Machine, SVM）、随机森林（Random Forest, RF）、极限梯度提升（eXtreme Gradient Boosting, XGBoost）和轻量梯度提升机（Light Gradient Boosting Machine, LightGBM）），实验表明基于树的集成方法（RF、XGBoost、LightGBM）在回归精度与计算效率上显著优于传统非树模型。具体而言，XGBoost在保留测试集上达到最优性能（R²=0.9993，MAE=0.2504），LightGBM以最快推理时间（0.0283秒）提供可比的精度。评估还包括缺失指标鲁棒性实验和压力测试，证实系统在传感器故障（如NH₃-N缺失）时仍能维持高功能预警能力，且对有机污染突增高度敏感。该研究填补了低成本IoT边缘设备上AI模型选型的空白，为小规模实时水质监测提供了可扩展的开源解决方案。论文发表在《ICT Express》。

**主要关键技术方法**
研究人员采用以下关键技术方法：（1）**数据采集与参数选择**：整合来自麒麟潭项目与环境部开放数据平台的87,005个真实历史样本，基于WQI5标准选取溶解氧（DO）、生化需氧量（BOD）、氨氮（NH₃-N）、电导率（EC）和悬浮固体（SS）为输入特征。（2）**信号预处理**：包括均值填补缺失值（缺失比例<5%）、去除极端异常值（剔除物理上不可能的离群点及顶部和底部1%数据）以及特征标准化（Z-score标准化），最终得到60,714个有效样本，按80:20比例分为训练集（40,000）、验证集（10,000）和测试集（10,714）。（3）**模型训练与优化**：对LR、MPR、SVM采用梯度下降迭代参数更新；对树集成模型（RF、XGBoost、LightGBM）分别采用bagging和梯度提升的加法训练过程，优化正则化目标函数。（4）**WQI5评分**：作为监督学习标签，基于Liou等人为台湾地区建立的非线性转换函数计算。（5）**实验设置**：所有模型在Intel Xeon W-2255 CPU和128GB RAM（无GPU）上执行，使用Python 3.10、scikit-learn 1.5.2、XGBoost 2.0和LightGBM 4.0实现。

**研究结果**
**4.1 模型残差分布分析**
通过残差分布图与分位数-分位数（Q-Q）图分析，研究人员发现树集成模型（LightGBM、XGBoost、RF）呈现均匀的残差分布，峰值集中在零附近，与非树模型（SVM、MPR、LR）形成鲜明对比。Q-Q图显示LightGBM和XGBoost在中部与对角线紧密对齐，表明对典型水质数据具有高精度，但尾部S形偏差揭示了即使在1%修剪后，生态上重要的极端波动仍然存在。

**4.2 模型训练验证结果**
基于50,000个样本的数据集，RF在训练集上达到最高精度（R²=0.9998，MAE=0.1449，RMSE=0.2659），但XGBoost在验证集上表现更优（R²=0.9995，MAE=0.2721，RMSE=0.4335）。LightGBM因高效的梯度提升架构获得出色的验证结果。树模型整体一致优于非树模型，其中SVM优于MPR和LR。

**4.3 模型泛化与计算效率统计评估**
在10,714个保留测试样本上，XGBoost达到最佳R²（0.9993）和最低MAE（0.2504），平均推理时间（Mean Inference Time, MIT）为0.0504秒；LightGBM以0.0283秒的MIT提供可比的精度。配对Wilcoxon符号秩检验（经Holm-Bonferroni校正）和95%自助置信区间进一步证实了XGBoost与LightGBM的统计可比较性，且推理速度极快，证明其适合部署在低端边缘设备上。

**4.4 缺失指标鲁棒性实验**
研究人员评估了三种策略：推理丢弃（Inference Dropout）、缩减重训练（Reduced Retraining）和指标重建（Indicator Reconstruction）。结果表明，NH₃-N缺失比BOD缺失更易处理，因其具有更高的可重建性。对于NH₃-N的长期缺失，LightGBM通过缩减重训练达到R²=0.9494、MAE=2.3694；对于NH₃-N和BOD同时缺失，XGBoost通过推理丢弃维持R²=0.8501、MAE=5.3489的预警功能，证实系统可在传感器故障时利用内部特征依赖维持可靠评估。

**4.5 污染场景敏感性分析**
研究人员将测试集划分为107个连续事件窗口（每窗口1%数据），模拟低、中、高三种污染强度，添加有机污染（降低DO、升高BOD、NH₃-N、SS、EC）和电导率异常。结果显示，有机污染和组合污染场景下WQI5分数随强度成比例下降，低强度时平均下降7.77至9.24分，检测率100%（检测定义为分数下降至少1分）。电导率异常响应最弱，高强度下平均仅下降0.0985分，表明EC在当前模型架构中对最终WQI5贡献较小。

**总结与讨论**
结论部分总结了三个主要发现：（1）为优化模型选择，建议避免对小于1,000个样本的数据集使用MPR（“小数据悖论”）；对于低于50,000个样本的数据，基于树的集成机器学习模型提供最佳精度-效率平衡；对于大规模数据集（>100,000样本），深度学习架构更适合捕获长期时间依赖性。（2）XGBoost在保留测试中达到最高R²（0.9993）和最低MAE（0.2504），LightGBM则以0.0283秒的最快推理时间提供可比的性能。（3）实验证明，即使在NH₃-N指标缺失的情况下，监测系统仍能保持功能；压力测试证实了模型对突发有机污染的敏感性。该研究为小规模实时水质监测提供了有效的开源工具，推动了低成本边缘设备上AI驱动环境评估的实用化。