《Journal of Water Process Engineering》：Offline reinforcement learning-driven feedforward control in sequencing batch reactor for TMAH-rich semiconductor wastewater
编辑推荐：
本研究针对半导体制造废水高浓度TMAH抑制硝化的问题，提出基于 offline RL的在线自适应控制系统。通过模糊C均值聚类识别四种进水场景，改进e-ASM模型模拟TMAH抑制效应，利用IDQL算法训练最优控制策略，实现脱氮除磷效率提升3.2%，TMAH去除率提高9.1%。该框架通过机理模型与强化学习的结合，为工业废水智能控制提供了新范式。
金 SangYoun | 吴 TaeYong | 郑 ChanHyeok | 郑 NaYoung | 俊 Byung-Moon | 南 KiJeon | 黄 SungKu | 尤 ChangKyoo
韩国京畿道龙仁市基亨区德庆大道1732号，京畿大学工程学院环境科学与工程系，邮编17104
摘要
半导体制造过程中会排放出含有有机和无机污染物的废水，尤其是四甲基氨氢氧化物（TMAH）。TMAH具有高毒性，并会抑制硝化作用，因此传统的生物废水处理方法会受到影响，需要采用先进的策略来维持处理系统的运行性能。本研究提出了一种基于离线强化学习（RL）的前馈操作系统，该系统能够利用历史运行数据实现数据驱动的决策，且几乎不需要人工干预。首先，通过模糊C均值聚类方法确定了四种废水类型（高TMAH、低TMAH、高氮和高碳）。随后，对半导体活性污泥模型（e-ASM）进行了修改，以考虑TMAH对硝化过程的抑制效应。使用QMIX算法收集离线数据集，并采用隐式扩散Q学习（IDQL）算法在多种进水条件下训练控制策略。结果表明，与固定时间表的操作相比，基于IDQL的前馈操作系统使运行成本指数、出水质量指数和TMAH的加权平均值分别提高了1.3%、3.2%和9.1%。与依赖固定曝气和化学药剂投加的固定时间表操作不同，基于IDQL的前馈操作系统能够根据不同的进水情况自适应调整运行参数。具体而言，在高TMAH情况下，RL代理增加了厌氧时间（18小时）以减轻硝化抑制；在高氮情况下，提高了溶解氧设定值（5.5毫克/升）以确保氨的完全氧化。这些发现表明，离线RL可以作为高变异性废水处理的强大决策支持工具，并为全规模工业废水处理厂的部署奠定基础。
引言
全球制造业的快速发展在很大程度上得益于第四次工业革命（IR 4.0）[1]。智能工厂的概念是IR 4.0的核心，它利用信息和通信技术整合了工业生产、管理和物流[2]。在IR 4.0的各个领域中，电子行业作为智能工厂和IR 4.0技术实施的基础，经历了显著增长。半导体行业是电子行业中的创新和价值核心[3]。2024年，韩国的半导体出口总额达到1419亿美元，比2023年的986亿美元增长了43.9%[4]。此外，韩国政府还推出了“数字新政”平台和“K-Semiconductor Belt”等政策，以促进第五代技术和人工智能（AI）在半导体行业的应用。因此，半导体制造设施的扩张预计将持续，进一步推动该行业的发展[5]。
半导体制造过程包括多个阶段，如晶体生长、集成电路制造、化学蚀刻和封装。每个阶段都需要大量的化学物质[6]。这一过程会产生大量含有有毒且不可生物降解化合物的废水，例如四甲基氨氢氧化物（TMAH）[1]。TMAH在光刻过程中被广泛用作显影剂，是一种对人体呼吸系统和中枢神经系统有毒的化学物质[7]。尽管在标准测试条件下（OECD 301B，28天[8]），TMAH易于生物降解，但由于活性污泥工艺的停留时间（HRT）不足，传统污水处理厂难以完全处理它。因此，TMAH可能在水环境中长期存在[9][10]。当TMAH浓度超过550毫克/升时，会抑制硝化过程，包括氨和亚硝酸盐的氧化[11]。此外，TMAH对生物体具有显著的毒性，对人类的致死浓度为25%，而对Oryzias latipes的致死浓度为154毫克/升[10][12]。目前，全球尚未制定统一的TMAH排放标准；大多数标准仅通过特定设施的排放许可来规范TMAH含量。例如，某半导体公司建议其处理后的废水中TMAH含量不超过8毫克/升，而当地法规规定的标准为60毫克/升[13]。因此，处理富含TMAH的废水是半导体行业废水管理中的一个重要挑战。
早期的研究主要依赖于静态过程优化方法，如手动调查[14]、网格搜索[15][16][17]和响应面方法（RSM）[18][19][20]来确定最佳运行条件。虽然这些方法减少了实验工作量，但它们在处理生物过程的高度非线性和时变特性时存在局限性，往往过于简化了实际进水情况的复杂性。为了克服这些限制，研究人员开发并应用了先进的优化算法来考虑不同进水条件下的能耗[21]。Heo等人（2023年）基于迭代近似动态规划开发了一种AI驱动的最优曝气策略（AI-OpAS），用于优化运行时间和溶解氧设定值[22]。这项研究标志着向自适应过程优化的转变，即根据变化的进水负荷动态调整运行条件。基于这一思路，在线强化学习（RL）作为一种更灵活的方法应运而生，使代理能够通过与污水处理厂模型的交互自主学习复杂的控制策略。Heo等人（2024年）提出了一种可解释的多智能体强化学习（RL）驱动的灵活SBR控制（XRL-FlexSBR）方法，用于在不同进水条件下优化溶解氧和硝酸盐（NO3）的设定值[23]。这些最新研究使用了基于AI的方法，包括RL，来优化SBR系统的运行，考虑了SBR过程中生物处理的非线性和动态特性。
SBR工艺因其灵活性而被广泛应用。基于AI的方法，特别是RL，在运行优化方面取得了显著的性能提升。这些先进策略有助于制定同时满足能源消耗和出水质量等多种可持续性目标的运行策略。然而，大多数以往的研究关注的是COD、TN和TP等传统污染物。由于缺乏对半导体废水中新兴污染物（如TMAH）处理策略的理解，导致能源效率低下和成本增加。之前的研究没有描述TMAH的生物降解动力学，因此未能充分优化处理过程。此外，包括RSM、遗传算法（GA）和其他元启发式方法在内的优化研究通常仅优化了有限的运行条件或进水情景，难以应对半导体废水特征的高波动性进水负荷。重要的是，这些方法侧重于设定值优化，而非实时控制输入，因此可以作为本研究的合适对比对象。
在这种情况下，离线强化学习（offline RL）提供了一种数据驱动的方法，通过直接从历史数据中学习来确定不同进水条件下的最佳设定值（如厌氧时间、溶解氧和二氧化氮设定值），而无需进行在线探索。与模型预测控制（MPC）或比例-积分（PI）控制器等控制算法不同，后者通过计算控制输入来跟踪给定设定值，离线RL通过提供最佳的前馈设定值来提升SBR系统的性能，即使在TMAH负荷变化的情况下也是如此。因此，MPC和离线RL可以作为分层控制结构中的互补层，而不是竞争性方法。基于这些见解，本研究开发了一种离线RL驱动的前馈运行框架，结合传统的PI控制，实现了在半导体废水条件下的可持续和自主SBR运行。
尽管SBR工艺通过厌氧和好氧阶段提供了运行灵活性，但固定时间表通常会导致在变化进水条件下的性能不佳。特别是在不同TMAH浓度下的固定时间表操作会降低去除效率，并面临运行挑战，这凸显了需要自适应策略的必要性。RL作为一种适用于这种动态环境中的自适应运行算法框架显示出巨大潜力。然而，传统的在线RL在训练过程中需要与工艺直接交互，涉及试错探索以改进运行策略。在处理像TMAH这样的有毒和抑制性化合物的污水处理厂中，这种探索性操作存在显著的风险，包括：
•工艺故障：探索过程中的随机或次优操作（即设定值）可能导致TMAH去除不完全、硝化抑制或出水质量违规。
•微生物毒性：由于曝气不当或阶段调度不当，过量的TMAH可能会抑制或损害微生物群落，从而需要更长的恢复时间。
•安全和监管问题：实际污水处理厂不允许进行可能违反排放规定或造成环境影响的危险实验。
尽管在线RL在理论上有优势，但由于这些风险，它在全规模半导体污水处理厂中的实际应用并不现实。为了克服这一根本限制，离线RL通过完全从预先收集的历史数据集中学习运行策略，提供了安全的替代方案，无需与实际工艺直接交互。这消除了与探索相关的风险，同时仍使代理能够捕捉不同进水条件下的复杂运行策略。在富含TMAH的废水中，离线RL特别适用，因为它可以利用机械模拟模型（例如本研究中开发的改进型e-ASM）生成反映TMAH抑制动态的丰富训练数据集，从而在部署前实现安全的策略学习。
本研究提出了一种基于离线RL的SBR工艺前馈运行框架（图1）。通过从半导体制造厂收集的大量进水数据，训练离线RL代理来确定最佳参数，如厌氧反应时间、溶解氧设定值和硝酸盐（NO3）设定值。这种方法证明了在不同进水条件下自主运行SBR的可行性。
材料与方法
图2展示了所提出的基于离线RL的半导体废水处理中TMAH去除前馈运行框架。该框架的开发包括四个阶段：（1）使用模糊C均值（FCM）算法对半导体废水数据进行进水情景聚类；（2）使用半导体活性污泥模型（e-ASM）对SBR工艺进行机理建模；（3）开发基于在线RL的前馈运行系统
使用FCM算法进行进水情景聚类
作为一种软聚类方法，FCM可以通过考虑数据中的固有模糊性来对高方差进水数据集进行聚类。为了识别半导体行业中的实际进水情景，研究了不同的FCM聚类数量：图4(a)显示了每个聚类的有效性指数。有效性指数为验证聚类是否准确反映了数据集的结构提供了指导[47]。因此，选择了有效性指数最低的四个聚类
结论与未来展望
为了实现灵活、可靠和自主的SBR运行，本文提出了一种基于离线RL的前馈运行系统，使用了IDQL算法。首先，使用FCM方法对含有不同TMAH浓度的半导体废水进水情景进行了聚类。然后，对e-ASM进行了修改，以考虑高TMAH条件（即>550毫克/升）下的硝化抑制。随后，在基于离线RL的前馈运行中，使用了三个IDQL代理
CRediT作者贡献声明
金 SangYoun：撰写 – 审稿与编辑，撰写 – 原稿撰写，可视化，软件开发，方法论研究，数据分析，概念化。吴 TaeYong：撰写 – 审稿与编辑，可视化。郑 ChanHyeok：可视化，软件开发，数据管理。郑 NaYoung：可视化，数据分析。俊 Byung-Moon：撰写 – 审稿与编辑，验证。南 KiJeon：验证，软件开发。黄 SungKu：撰写 – 审稿与编辑，验证，监督，方法论研究
写作过程中使用生成式AI和AI辅助技术的声明
在准备本论文的过程中，作者使用了ChatGPT来润色文本和纠正语法。使用该工具后，作者根据需要对内容进行了审查和编辑，并对发表文章的内容承担全部责任。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的报告内容。
致谢
本研究得到了韩国政府（MSIT）资助的韩国国家研究基金会（NRF）（项目编号：RS-2026-25471555）和韩国国家研究基金会（NRF）（项目编号：RS-2026-25494019）的资助。
