《Water Cycle》:Real-Time DBP Prediction in Smart Water Systems: Methodological Frontiers in AI Application
编辑推荐:
消毒是保障饮用水安全的关键措施,但消毒剂会与天然有机物质(NOM)、溴化物、碘化物、氨及其他前体物反应,生成多种消毒副产物(DBPs),包括受监管的DBPs,如三卤甲烷(THMs)和卤乙酸(HAAs),以及新兴DBPs,如N-亚硝基二甲胺(NDMA)。部分DB
消毒是保障饮用水安全的关键措施,但消毒剂会与天然有机物质(NOM)、溴化物、碘化物、氨及其他前体物反应,生成多种消毒副产物(DBPs),包括受监管的DBPs,如三卤甲烷(THMs)和卤乙酸(HAAs),以及新兴DBPs,如N-亚硝基二甲胺(NDMA)。部分DBPs与遗传毒性、致癌性及生殖或发育影响相关,引发潜在的人类健康担忧。当前的DBP监测通常将周期性实验室DBP浓度测量与更高频率的运行或替代水质变量监测相结合。DBP样品通常从成品水、储水设施及选定的配水系统点位(尤其是停留时间长或历史上DBP水平较高的点位)采集。采样计划根据监管要求、季节性变化及历史监测结果确定。相比之下,消毒剂余量、pH、温度、总有机碳/溶解性有机碳(TOC/DOC)和UV254等运行参数可能以更高频率或连续监测。水处理厂的测量支持前体物去除、消毒剂剂量和pH的调整,而储水设施和停留时间较长点位的测量可为接触时间管理、水箱运行和补氯提供信息。实验室DBP分析对合规评估和周期性工艺评价仍然重要,但通常过于延迟,无法满足即时运行控制需求。
智能水系统的出现为解决这一问题提供了机遇。现代水处理厂越来越多地配备在线传感器、监测和数据采集系统,可实时收集水处理参数和水质信息(如TOC或DOC、UV254、pH、消毒剂剂量、温度和接触时间)。这些实时数据流使得在实验室结果可用之前估算DBP形成风险成为可能。然而,DBP的形成受前体物特征与运行条件之间非线性相互作用的控制。传统的经验或线性模型可能适用于简单系统,但往往难以表征复杂关系。人工智能(AI)的发展提供了一条有前景的方法路径,因为它能从多变量数据集中学习预测模式,并捕捉传感器信号、运行条件和DBP形成结果之间的非线性关系。近年来,基于AI的DBP预测显示出相当大的潜力。人工神经网络(ANNs)、支持向量机(SVMs)、随机森林(RF)及其他集成算法等模型已被用于预测THMs、HAAs及其他DBP类别。近期文献表明,与传统经验和线性模型相比,这些基于AI的模型可提高预测精度。然而,仅具有较高的内部精度往往导致模型在实际部署中失效。许多模型使用单一系统的有限数据集开发,当应用于不同水源、季节、水处理厂或配水管网时,其性能可能下降。此外,一些模型依赖难以实时获取的离线或实验室特征。黑箱预测也可能限制操作人员信任和监管接受度。
仅基于R2或RMSE等内部统计指标的评估可能高估DBP预测模型的运行就绪程度。在静态数据集上实现高内部精度不再是主要挑战。该领域需要从面向精度的建模转向可部署智能。实际部署要求预测系统能够使用实时数据运行、在不同水系统间迁移、提供可解释输出、量化不确定性,并支持智能水基础设施中的实际决策。为此,研究人员系统分析了方法论框架和模型评估、智能水系统中的分阶段实施路径,以及新兴DBPs和综合预测的未来方向。
### 论文解读:面向智能水系统的实时消毒副产物预测——AI应用的方法论前沿
#### 1. 研究背景与问题
消毒是保障饮用水安全的核心措施,但消毒剂与水中的天然有机物质(NOM)、溴化物、碘化物、氨等前体物反应,会生成多种消毒副产物(DBPs)。其中,三卤甲烷(THMs)和卤乙酸(HAAs)等受监管DBPs,以及N-亚硝基二甲胺(NDMA)等新兴DBPs,已被证实具有遗传毒性、致癌性或生殖发育毒性,对人类健康构成潜在威胁。当前DBP监测体系主要依赖周期性实验室测量,辅以运行参数或替代水质指标的更频繁监测。然而,实验室分析存在固有延迟,难以及时支撑运行调控。智能水系统的兴起,特别是在线传感器、监控与数据采集系统(SCADA)在给水处理厂中的普及,使得实时获取水质参数成为可能,为基于实时数据的DBP风险预测创造了条件。但DBP形成过程受前体物特征与运行条件间复杂非线性相互作用控制,传统经验或线性模型难以刻画。人工智能(AI)方法因其能从多变量数据集中学习非线性模式,为DBP预测提供了新路径。然而,现有研究表明,许多模型在内部验证中表现出高精度,但实际部署时却常因数据代表性不足、特征获取困难或模型可解释性差而失效。因此,该领域亟需从“精度导向”的建模转向“可部署智能”,即发展能适应实时数据流、可跨系统迁移、输出可解释并量化不确定性的预测系统,以真正支持智能水基础设施的运行决策。
#### 2. 研究内容与意义
针对上述挑战,该论文系统分析了AI在DBP预测中的应用现状,构建了面向部署的方法论框架,并提出了分阶段的实施路线图。研究重点包括:方法论框架与性能基准的重新审视、混合特征工程策略、模型评估的升级策略、面向智能水系统的部署路径,以及新兴DBPs的预测挑战与应对方向。论文强调,模型的实际价值不仅取决于预测精度,更取决于训练数据代表性、输入变量可获取性及验证策略的严格性。通过提出从低风险软传感可视化到决策支持,再到数字孪生辅助或闭环控制的三阶段路径,研究为AI模型在真实水处理系统中的落地提供了切实可行的路线。同时,论文指出未来模型需具备可迁移性、不确定性评估能力,并纳入毒性信息以应对新兴DBPs的监管需求。该研究发表于《Water Cycle》,为智能水系统中DBP管理的智能化升级提供了理论指导与方法框架,具有重要的学术价值与实践参考意义。
#### 3. 关键技术方法
研究人员系统梳理了AI-DBP预测的多类方法,并归纳其关键作用与局限:
- **经验/统计模型**:基于常规水质变量的透明基线方法,易于解释,但非线性表征能力有限。
- **集成树模型**(如随机森林,RF):在混合型表格数据上表现强健,但易受站点特异性过拟合影响,需进行跨季节或留一系统验证。
- **核方法/人工神经网络(ANN)**:具备高维非线性拟合能力,但数据敏感、迁移性受限,需独立外部验证与校准。
- **光谱辅助模型**:结合紫外-可见(UV-Vis)光谱或荧光激发-发射矩阵(EEMs)与常规水质参数,能丰富NOM特征信息,但需注意仪器及光谱域偏移,需进行仪器和站点传递验证。
- **可解释人工智能(XAI)与不确定性评估**:作为部署的支撑层,对相关特征可能导致误导性解释,需结合外部验证与校准。
此外,研究提出了混合特征工程框架,即将实时运行数据、光谱表征及周期性更新的分子表征(如高分辨率质谱)集成为统一建模工作流。对于无法在线测量的特征,可先通过代表性变量建立校准模型进行估算,并评估误差在集成流程中的传播。
#### 4. 主要研究结果
- **方法论框架与性能基准**:不同模型在各自数据集上取得了良好内部性能(如RF的R
2为0.671–0.965,光谱模型的平均R
2约0.86),但这些结果不可直接比较。高内部精度不保证部署性能。源水异质性会影响模型表现,随机划分训练/测试集或常规K折交叉验证可能产生过于乐观的估计。因此,需采用更严格的验证策略,如跨季节测试、留一系统验证或独立外部验证。特征工程应整合不同化学意义和可获取性的信息,而非简单增加变量数量。
- **从预测模型到智能水系统:实施路线图**:
- **第一阶段:软传感与可视化**——将模型与在线传感器、SCADA系统或历史数据库连接,提供实时DBP趋势与预警,不干预控制,运行风险极低。
- **第二阶段:决策支持**——在本地验证后,模型可为操作人员提供建议方案,但需伴随置信区间与不确定性提示,操作人员必须保留最终决策权,形成“人在回路”的安全结构。
- **第三阶段:数字孪生辅助或闭环控制**——将模型集成至数字孪生、SCADA或分布式控制系统(DCS),实现自动控制。该阶段需极高的模型可靠性、传感器基础设施和安全边界,属于长期目标。在不同阶段,需对模型进行定期再校准或再训练,使用独立的近期数据进行测试,XAI虽可辅助解释,但不应替代外部验证与不确定性评估。
- **应对新兴DBPs与整体风险**:新兴DBPs(如卤代环戊二烯类)数据稀缺,直接定量预测困难,分类模型可作为实用第一步(如HCPD分类准确率约93–95%)。定量结构-性质关系(QSPR)和定量结构-活性关系(QSAR)模型可在数据有限时估算形成潜能或毒性。构建“形成预测—毒性评价—处理优化”三层框架,但需首先解决标准数据集缺失、模型迁移性差、实时在线指标缺乏等问题。
#### 5. 讨论与结论
讨论部分强调,AI在DBP预测中的应用已从学术演示转向运行决策支持,但主要挑战已不再是单纯提高预测精度,而是确保模型在源水和处理条件变化时保持可靠,能使用实际可获取的输入数据运行,量化不确定性并提供可解释输出。当前提出的框架仍属概念性,尚未在多个水厂、水源、季节及长期运行条件下系统验证。未来前沿并非“更精确的预测”,而是“在发展条件之外依然可信、可解释且运行有用的预测”。研究人员建议优先建立多源标准化数据集、开展部署导向的外部长期验证、开发新兴DBP可靠指标、评估替代输入引入的不确定性,并进行受控模型更新。最终,需通过全尺寸研究确定操作人员在真实安全与监管约束下如何使用模型预测与解释,从而推动DBP管理从回顾性监测迈向前瞻性智能决策。