《Environmental Research》：Optimizing wastewater treatment through combined deep learning and deep reinforcement learning: Recent advances and future prospects
编辑推荐：
人工智能力学在污水处理中的应用与挑战：深度学习与强化学习的互补机制及实践瓶颈（摘要）
白云舒|李子冰|姜金琪|刘家伟|王瀚|刘启新|郭刚|孔亮|王雅怡
上海市污染控制与生态安全研究院水污染控制与绿色资源回收国家重点实验室，同济大学环境科学与工程学院，上海四平路200092，中华人民共和国
摘要
污水处理厂（WWTPs）是城市基础设施的重要组成部分，提高其运行效率同时减少碳排放对于推进可持续城市发展至关重要。然而，WWTPs经常面临水质和水量波动、实时监测能力受限以及运营调整延迟等挑战，导致无法达到排放标准。人工智能（AI）的应用，特别是深度学习（DL）和深度强化学习（DRL），通过创新的工艺优化方法为解决这些复杂问题提供了巨大潜力。DL具有强大的特征提取能力和数据驱动的学习模式，在处理涉及非线性及高度波动的工艺变量时，其拟合精度优于DRL；它在故障检测、水质预测和污水处理系统的实时监测方面尤为有效。DRL基于试错的学习模式，在决策导向的应用中展现出更大潜力，例如污水处理过程的自适应控制和污水处理厂运营的多目标优化。本文通过阐明DL和DRL的底层计算原理，讨论了它们在污水处理中的应用适用性和优势。同时强调了需要标准化和开放的数据平台来支持动态复杂污水处理场景下的智能耦合系统，并呼吁建立开源模型库和提升模型透明度的措施。特别是，智能系统在WWTP运营中的实际应用仍面临挑战，这突显了可靠且标准化的数据采集对于实际应用的重要性。
引言
高效的废水处理及其资源化再利用为保护水资源提供了可持续的解决方案（Chen和Chen，2016；Endo等人，2017；Li等人，2024b）。然而，随着对更高城市水质需求的增加以及社会对清洁水的期望提升，优化废水处理、节约能源和减少碳排放变得愈发困难。以往关于污水处理厂（WWTP）优化的研究主要集中在新型技术上，如膜基工艺（Yang等人，2020）、电凝聚技术（Ngobeni等人，2022）以及共聚物的回收和再利用（Nair和Ahammed，2014）。还有一些研究侧重于运营管理，采用了活性污泥模型（Botond等人，2009）、模型预测控制（Zeng和Liu，2015）、响应面方法（Nair等人，2014）等多种数学建模方法（Yasui和Goel，2010）。尽管早期的基于经验的运营策略和机理过程模型（例如ASM系列）为自动化和系统化的废水处理运营奠定了基础，但其有效性往往受到进水水质复杂相互作用、非线性关系及随机波动的限制（Li等人，2022a；Wu等人，2016）。此外，严格的模型假设、对动态进水条件的适应性不足以及实际应用中较高的校准和计算成本也进一步限制了它们的性能（Behera等人，2024）。因此，仅依赖生物机理模型仍难以实现可靠的出水质量预测、有效的过程控制以及对冲击负荷的早期预警。
近年来，人工智能（AI）已广泛应用于各个领域。机器学习（ML）作为AI的一个子集，专注于数据分析师工的自改进算法（Pérez-Beltrán等人，2024）。AI已深入整合到许多学科中，包括声学（Yu等人，2024）、生物医学科学（Veneziani等人，2024）、能源技术和环境化学。特别是在废水处理行业，AI和ML通过先进的算法和数据驱动模型实现了工艺优化、实时监测、故障检测、成本降低和预测控制（Zaghloul和Achari，2022）。ML在废水处理行业的应用日益增多，例如优化膜设计（Yin等人，2024）、预测高级氧化过程（Vicente等人，2024），并与物联网结合以辅助污水处理过程的管理和监测（Alprol等人，2024）。这些创新提高了WWTP的效率和响应能力，同时推动了化学分析技术的突破（Baum等人，2021），显著提升了工艺优化和实时监测能力。
然而，ML算法在废水处理中的应用往往受到可解释性和泛化能力的限制，尤其是在处理复杂高维数据时。为了解决这些问题，采用具有更强计算能力和自主适应性的算法变得越来越重要。深度学习（DL）作为ML的一个子集，利用神经网络（NNs）作为基础框架，通过深度架构和分层学习来执行复杂任务（Alom等人，2019）。与传统ML相比，DL模型在非线性学习应用中表现出更优的性能（Dong等人，2021）。此外，深度强化学习（DRL）（Morovati等人，2024）在游戏、娱乐和智能制造等领域获得了广泛应用。DRL使智能体能够在定义的环境中通过迭代试错交互进行学习，并通过实时奖励反馈进行指导。由于其适应性和处理高维、非线性及动态数据的能力，DL和DRL在废水处理应用中得到了越来越多的探索，研究显示它们具有显著的性能优势。以往的综述主要研究了DL和DRL算法在城市水系统（UWS）中的应用机制，主要集中在DL或DRL在UWS中的集成应用（Fu等人，2022；Negm等人，2024）。但很少有研究探讨这两种方法在WWTP过程中的具体功能机制。此外，目前还缺乏对废水行业中DL和DRL优先应用的具体工艺单元和操作阶段的比较。
本综述总结了DL和DRL的基本原理，重点讨论了它们在废水处理数据中的适用性，并系统比较了基于DL和DRL的方法在实际应用中的效果，同时提出了未来研究的方向。近期研究表明，混合数据驱动模型可以在复杂操作条件下显著提升适应性（Zhang等人，2022）。因此，本文提出了一种智能控制框架，其中DL用于状态感知，而DRL用于实时控制。进一步呼吁建立严格且开放访问的集成数据平台，以及标准化的数据采集和评估标准，以促进废水处理领域标准化数据集的发展。本研究旨在实现更高效、智能和可持续的过程控制，并为将先进智能算法整合到下一代废水处理技术中提供见解。
小节片段
优化算法的进化发展
AI指的是能够高效且智能地执行传统上由人类完成的任务的计算机程序和算法工具（Harshni等人，2025）。智能代理被定义为能够感知环境并采取行动以最大化实现特定目标可能性的系统（Shinde等人，2018）。ML作为AI的一个关键子集，已成为一个重要的研究领域，吸引了来自病毒学、基因组学和遗传学的专家（Libbrecht和Noble，
DL和DRL在废水处理过程中的应用
近年来，得益于数据集成、框架优化和算法创新的发展，ML算法的应用取得了显著进展。这些发展为建立更全面和高效的智能系统用于出水质量监测和整个处理过程的监督做出了贡献，从而增强了ML在废水处理过程优化中的作用（Lakshmi等人，2021；Mahmoud等人，2021）。随着
当前挑战与未来机遇
尽管人们对将DL和DRL应用于废水处理的兴趣日益增加，但其实际应用仍受到废水系统固有的一些基本挑战的限制（图4）。这些挑战主要源于数据特性、学习效率、模型可解释性和工程部署方面的问题，这些问题共同限制了从实验研究向全规模WWTP常规操作的过渡。
结论
本综述指出，DL主要适用于废水处理中的预测任务，而DRL通过交互式学习更适合动态过程控制，两者都依赖于基于DNN的特征提取，在WWTP智能控制系统中发挥互补作用。实际应用中仍存在挑战，包括数据质量和可用性的限制、高训练复杂性和成本，以及模型透明度的不足，尤其是DNN
CRediT作者贡献声明
王瀚：监督。刘家伟：验证、调查。郭刚：验证、调查。刘启新：调查。白云舒：撰写——审稿与编辑、初稿撰写、可视化、概念化。姜金琪：验证、调查。李子冰：验证、调查。王雅怡：监督、资金获取。孔亮：验证
利益冲突声明
? 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家科学基金杰出青年学者（项目编号：52225001）的支持。
