通过机器学习驱动的电磁能（EEM）与紫外-可见光（UV-Vis）技术的融合，实现对城市排水系统的智能化监控和管理

《Journal of Environmental Management》：Intelligent monitoring and management of urban drainage systems through machine-learning-driven fusion of EEM and UV-Vis

　　

摘要

无试剂的溶解有机碳（DOC）监测技术能够支持城市排水系统（UDS）的綜合管理。本研究开发了一种融合光谱（FS）框架，该框架结合了激发-发射矩阵荧光光谱、紫外-可见（UV-Vis）光谱技术和机器学习（ML），用于预测污水管道、污水处理厂（WWTPs）、河流和海洋中的DOC含量。在八种机器学习算法中，XGBoost表现出最佳的整体性能，并被用来构建统一的XG-FS-UDS模型。该模型整体的R²值为0.96。对于各个样本矩阵，R²值分别为：污水处理厂0.89、河流0.96、海洋0.66。在留一矩阵法（leave-one-matrix-out）验证下，R²值为0.88、0.93、0.60；而在时间序列分割（chronological splitting）方法下，R²值为0.84、0.90、0.53，这表明模型泛化能力存在矩阵依赖性，且河流样本的性能有所下降。基于矩阵平均值的基线方法表现明显较差，说明预测结果更多地依赖于矩阵内的光谱变化，而非矩阵层面的DOC平均值。DOC的组成从污水管道和污水处理厂中的蛋白质类物质逐渐转变为河流和海洋中的富里酸和腐殖酸类物质。Shapley加性解释分析（Shapley additive explanations analysis）确定了PARAFAC提取的成分1和2以及第四主成分（UV-Vis principal component 4）是主要的贡献因素。总体而言，该框架证明了使用单一可解释模型进行多矩阵DOC监测的可行性，尽管其性能与专用的预测模型相比略有牺牲。

引言

智能水系统的开发对于实现可持续和高效的水资源管理至关重要。这些系统依赖于关键水质指标的实时监测，以优化决策和运营控制。其中，溶解有机碳（DOC）作为溶解有机物质（DOM）的碳含量指标，能够提供有关废水动态的定量信息（Arrieta等人，2015；Hawkes等人，2015；S. Li等人，2024）。通过分析DOM成分，可以追踪污染源，区分自然和人为因素（Shah Walter等人，2018；Underwood等人，2019）。在整个城市排水系统（UDS）范围内，包括污水管道、污水处理厂（WWTPs）、河流和海洋，实现实时且无试剂的DOC监测对于综合环境管理至关重要，有助于提升城市排水系统的低碳智能运行，并构建具有韧性的基础设施（Hu等人，2024；Lynch等人，2019；Tiwari等人，2022）。

尽管DOC监测非常重要，但传统方法主要依赖于接触式传感器，这些传感器在UDS恶劣且动态变化的水质条件下容易发生污染和失效（Roth等人，2019）。这些局限性推动了无试剂光学传感技术的探索，这类技术具有更高的耐用性和适应性（Bourgeois等人，2001；L. Li等人，2022）。激发-发射矩阵（EEM）荧光光谱技术由于其高灵敏度和选择性，在检测DOM成分方面显示出巨大潜力（Henderson等人，2009）。

近年来，与EEM相关的研究从定性识别转向了定量分析，这得益于跨学科方法的进步。例如，将EEM与同位素追踪（Lin等人，2023）、微生物方法（Fox等人，2017）和光学参数（Ulliman等人，2020）分析相结合，显著提高了特定场景下的检测精度。然而，这些方法往往难以适应复杂且动态变化的水环境。机器学习（ML）已成为该领域的一个变革性工具，提高了监测系统在多种水质条件下的适应性（Chen等人，2025；Lin等人，2025；Y. Wang等人，2025）。虽然EEM应用主要集中在河流（Baker等人，2019；Hur和Cho，2012；Patel-Sorrentino等人，2002）和污水处理厂（Roccaro等人，2020；Sorensen等人，2016）等孤立水体上，但其在整个UDS范围内的应用潜力仍有待探索（Ao等人，2024）。

目前，城市水资源管理常常面临监测碎片化的问题，即污水管道、污水处理厂和接收水体的监测与管理是分开进行的。这种分离限制了相关部门追踪整个排水系统中的污染源、提前预警突发负荷以及评估废水下游生态影响的能力。此外，从实验室荧光分析向现场监测的转变仍然是智能水系统面临的关键挑战。诸如DOM可追溯性（Rodríguez-Vidal等人，2021）、废水DOM吸附（Guillossou等人，2021）和DOM成分分析（Gi等人，2022；Liu等人，2022；Wang等人，2022）等应用通常需要受控的实验条件，这些条件难以直接应用于野外环境。特别是高浓度样本（如污水）会导致EEM数据的光谱信号饱和和失真，从而降低预测精度并限制了现场应用的可行性。为了解决这一问题，将EEM与紫外线-可见光（UV-Vis）光谱等互补光谱技术相结合，提供了一种可行的策略，以补偿浓度引起的信号失真并提高监测的稳健性，从而能够在城市排水系统的大浓度梯度范围内实现更可靠的水质监测。

本研究提出了一个创新的决策支持框架，该框架结合了EEM荧光光谱和UV-Vis光谱技术与ML技术，实现了整个UDS范围内的实时、无试剂的DOC监测。我们首先证明了基于EEM的ML模型在污水样本中的预测可行性，然后通过加入UV-Vis光谱信息来增强模型框架，构建了融合光谱（FS）模型。优化后的XG-FS-UDS模型在污水管道、污水处理厂、河流和海洋中进行了进一步验证，使用留一矩阵法（LOMO）和时间序列分割（CS）方法评估了其跨矩阵泛化和时间外推性能。此外，DOC成分分析揭示了从污水管道和污水处理厂中的蛋白质类物质到河流和海洋中的富里酸和腐殖酸类物质的系统转变趋势，有助于污染源追踪和生态评估。Shapley加性解释（SHAP）分析进一步确定了影响模型决策的关键光谱因素，为高频、非接触式的DOC监测和智能UDS管理提供了一个可解释且可扩展的框架。

节选内容

材料与方法

本研究提出了一种基于ML的光谱监测工作流程，作为水管理机构的决策支持工具。首先，利用EEM结合ML技术监测UDS中的DOC（图1a）；其次，通过融合光谱和ML技术扩展了监测范围（图1b）。随后选择了性能最佳的模型，并将其从单个污水管道推广到整个UDS，包括污水处理厂、河流和海洋（图1c）。

利用EEM和ML进行DOC监测

污水管道中的DOC在整个UDS中变化最大，因此首先使用它进行ML建模，以验证EEM的可行性。在连续7天内，每隔2小时采集一次样本，监测同一位置的DOC浓度（图S1）。虽然有几次200 mg/L的波动峰值，但大多数DOC浓度相对较低且稳定在25 mg/L左右（图S2）。捕捉这些突然的峰值对于早期预警系统至关重要，可以防止突发负荷。

结论

本研究通过结合EEM和UV-Vis光谱技术，开发了一种基于ML的DOC监测框架，用于污水管道、污水处理厂、河流和海洋的监测。直接使用原始EEM数据进行建模时，性能中等；而通过PARAFAC特征提取后，预测精度得到提升，XG-PARAFAC方法的测试MAPE为12.49%，R²为0.9086。进一步融合UV-Vis衍生的PCA特征后，预测精度进一步提高，XG-FS方法的测试MAPE为9.47%，均方根误差（RMSE）为14.24 mg/L，R²为0.9309。

CRediT作者贡献声明

Hao-Lin Yang：撰写——初稿、方法论、数据分析、概念化。Xin Zhang：撰写——初稿、验证、方法论、数据分析。Shang-Wen Deng：调查、数据分析。Jia-Min Xu：验证、调查。Ruo-Zhou Lin：可视化、软件开发。Zhi-Yu Zhang：资源协调。Yu-Qi Wang：调查、数据分析。Ding-Ding Tang：撰写、审稿与编辑、资金争取。Hong-Cheng Wang：撰写、审稿与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

我们感谢以下机构的财政支持：国家重点研发计划（项目编号：2023YFC3207101），中央高校基本科研业务费（项目编号：HITCDZJJ.202603 IH），深圳市科技创新计划（项目编号：JCYJ20241202123900001），以及城乡水资源与环境国家重点实验室（哈尔滨工业大学）（项目编号：2026TS19）。