BSM1废水处理过程中小波神经网络控制动作预测器的参数高效结构化迁移学习

《Journal of Water Process Engineering》：Parameter-efficient structural transfer learning of wavelet neural network control-action predictors for BSM1 wastewater treatment processes

　　

# 基于稀疏小波神经网络的控制动作预测器设计与参数高效结构化迁移学习

## 论文亮点

- 所提出的基于稀疏小波神经网络的**控制动作预测器**为DO（溶解氧）和NO（硝酸盐/亚硝酸盐氮）回路提供了**可解释的控制器**。
- **逐原子解析归一化**使控制动作预测器保持精确，并确保流式计算安全。
- 所提出的**OGTI引导FBLAR**在大多数测试对比中优于从零开始训练和零样本方法。
- OGTI评分可在**无需目标域标签**的情况下评估跨回路原子可迁移性。
- FBLAR仅迁移OGTI排序后的原子，实现**参数高效的适应性调整**。

---

## 引言

污水处理厂（WWTPs）运行着复杂的、紧密耦合的生物化学过程，其中数十个独立的控制回路必须**正确且同步**地运行，才能使工厂满足出水水质要求[1]。比例-积分（PI）控制器仍然是基准WWTP研究中两个最常调节回路的默认策略——曝气反应池中的**溶解氧（DO）**和缺氧反应池中的**硝酸盐/亚硝酸盐氮（NO，即SNO）**——然而，仅依靠PI控制无法在随时间变化的进水条件和天气条件下**保证污染物的完全去除**[2]。这一现实问题推动了从基于模型控制向基于学习控制的持续演进：模糊-MPC层次结构用于自适应调整DO设定值[3]、非理想传感器和执行器下的鲁棒DO控制[4]、长短期记忆网络（LSTM）预测器用于决定控制器何时以及如何行动[5]、强化学习辅助的设定值选择[6]、结合MPC的神经网络最优设定值设计[7]、结合模糊逻辑与资源回收目标的智能混合控制策略[8]或能耗降低[9]，以及完全基于LSTM单元构建的纯数据驱动内部模型控制器[10]。

这一趋势面临的一个核心实际障碍在于：每一个新增的数据驱动控制回路都需要**单独设计、训练和验证**自己的网络，这不仅耗时，而且需要特定工厂的数据[11]。**迁移学习（TL）**——即将一个域中训练的网络所捕获的知识复用于相关域中，以加速或改进学习——被Pisa等人[12]作为解决此瓶颈的方法提出。他们设计了一个基于LSTM的PI控制器，在BSM1的DO回路上进行训练，并通过微调将其迁移到BSM1的NO回路中（反之亦然），相比默认的NO PI控制器实现了显著的性能提升[12], [13]。后续工作提出了一种**定量衡量迁移适用性**的方法，以便在适应性调整之前决定源预测器是否值得迁移到特定目标回路[14]；迁移学习随后也被应用于缺失数据插补[15]以及WWTP环境中的出水水质和溶解氧预测[16], [17]。

尽管取得了这些进展，由于不同回路表现出**显著不同的动态特性和运行规模**，在污水处理控制回路之间迁移数据驱动控制器仍然具有挑战性。因此，直接迁移整个预训练的控制动作预测器可能会保留对目标回路不太适用的组成部分，而独立设计则会丢弃源预测器中包含的潜在有用知识。这引发了两个相关问题：**源预测器的哪些组成部分在目标控制回路中仍然有用，以及如何利用有限的目标域数据对这些组成部分进行选择性适应性调整。**

为解决这些问题，受文献[18], [19]的启发，本文考虑了一种**稀疏小波神经网络（WNN）控制动作预测器**，其中增量控制动作使用一组被称为"原子"的紧致小波基函数来表示。稀疏表示为**选择性知识迁移**提供了天然基础：即不需要迁移整个源预测器，而是只潜在地重用那些与目标回路相关的原子，所有不相关的原子都可以被丢弃，并引入新的目标特定原子。稀疏WNN此前已证明其作为各种工业过程应用中**紧凑且可解释的非线性模型**的有效性，从建模和软测量设计[18], [19]到故障检测[20], [21]。文献[12]中考虑的BSM1溶解氧/硝酸盐控制回路配对，为本研究所探索的跨回路场景提供了框架。

选择性迁移的视角与**参数高效迁移学习**相关，后者仅对预训练模型的目标子集进行适应性调整或扩展，而不是对整个模型进行微调[22]。对于稀疏WNN控制动作预测器，这种迁移可以更具结构性：可迁移单元不再是单个参数，而是**完整的小波原子**，并且迁移后的架构本身可以通过根据目标域的需求和适用性选择、丢弃和引入原子来进行修改。据作者所知，**原子级的结构化迁移**在跨回路WWTP控制动作预测器设计中尚未被研究过。

基于文献[19]中的稀疏WNN方法论、经典稀疏回归文献[23], [24], [25], [26]以及参数高效迁移学习原则[22]，本文的主要目标有两个方面。首先，本文开发了一种稀疏WNN控制动作预测器设计方法，该方法在工程化反馈特征上生成冗余的**二进小波帧字典**，随后使用稀疏回归算法进行修剪，以获得构成源预测器的信息性原子的紧致集合。其次，开发了一种**参数高效的结构化迁移学习机制**，用于将该控制动作预测器跨WWTP过程中的各种回路进行适应性调整。具体而言，提出了一种新颖的**目标引导迁移初始化器（OGTI）**，它仅使用目标域适应性调整之前可获得的信息，为每个源原子分配一个目标可迁移性评分。该评分用于排序和选择值得迁移的原子子集。选定的原子随后通过前向-后向最小角回归（FBLAR）稀疏回归算法进行结构化适应性调整。该算法结合了不合适的已迁移原子的后向消除和目标特定新原子前向选择，并对最终架构进行联合微调。因此，与传统的微调方法不同，所提出的方法允许迁移后的控制动作预测器根据目标回路**收缩、扩展和重组**其小波架构。

所提出迁移机制的有效性通过系统的适应性比例扫描进行评估，并与三种参考策略进行了比较：(i) 使用相同的有限目标域数据独立设计的稀疏WNN，通过新生成的字典和基于稀疏回归的原子选择从头训练；(ii) 未修改的源预测器直接在目标回路上进行评估，不进行适应性调整（"零样本迁移"）；(iii) 标准的全网络微调基线，在缺乏FBLAR原子级结构化适应性调整的情况下，联合适应未修改源预测器的每个参数。这些比较有助于区分选择性迁移相对于完整预测器迁移和独立目标域控制动作预测器设计所带来的优势。进一步的**选择策略消融实验**孤立地评估了OGTI的两个组成部分评分——输出层重要性和跨域激活一致性——的单独和组合贡献，通过比较完整源迁移、随机原子选择、每个评分单独使用以及它们的组合乘积，所有方法随后进行相同的结构化适应性调整和微调；这量化了FBLAR效益中有多少源于原子级预筛选本身，而非用于执行的特定OGTI评分规则。在整个过程中，报告的结论均涉及基于记录数据的增量控制动作**离线预测**；没有迁移后的预测器在闭环中运行。

### 本文主要贡献

- 基于冗余二进小波帧字典和稀疏回归方法（LASSO）的**稀疏小波神经网络（WNN）控制动作预测器设计方法**，并通过交叉验证，为BSM1的DO和NO控制回路产生紧凑且可解释的源预测器。所得源预测器在稀疏原子选择后保持冻结，采用**逐原子解析归一化**以保持潜在的LASSO解。
- 新颖的**目标引导迁移初始化器（OGTI）**，通过结合输出层重要性和跨域激活一致性，提供无标签的逐原子迁移兼容性评分。OGTI不仅作为事后诊断，还主动对源原子进行排序，并确定哪些组成部分有资格迁移到目标域。
- 用于稀疏WNN控制动作预测器参数高效结构化迁移学习的**前向-后向最小角回归（FBLAR）框架**。FBLAR选择性地迁移OGTI排序的源原子，移除未能通过稳定递归特征消除的已迁移原子，通过LASSO-LARS交叉验证在残差上引入新的目标特定原子，并对最终架构进行微调。因此，所提出的机制使预测器结构能够**收缩、展开和重组**，而不仅仅是依赖参数级的微调。
- 用于评估WWTP控制动作预测器之间选择性结构化迁移的**系统化跨回路评估框架**，包括与使用有限目标域数据从头训练的独立稀疏WNN预测器、未经调整的零样本迁移以及标准全网络微调基线的比较。评估考察了选择性原子迁移在不同适应性水平和迁移方向下的有效性。

本文其余部分组织如下：第2节回顾了BSM1工厂、DO/NO控制回路，并形式化了增量控制动作回归和跨回路迁移学习问题。第3节详细介绍了所提出的稀疏WNN控制动作预测器设计方法和参数高效结构化迁移学习框架，包括OGTI和FBLAR。第4节报告了实验设置、结果及相关讨论，涵盖两种迁移方向。最后，第5节详细说明了数据高效控制动作预测器开发的实际意义，第6节总结了全文。

---

## 第2节 BSM1工厂与DO/NO控制回路

### 2.1 BSM1工厂

**基准模拟模型1号（BSM1）**是一个广泛采用的数字孪生框架，基于**活性污泥模型1号（ASM1）**构建，由五个反应池（前两个为缺氧池，后三个为曝气池）和一个沉淀池组成，总反应体积为6000 m3，标称进水流量为18,446 m3/天[27], [28], [29]。图1显示了由此得到的工厂布局：废水进入五单元生物反应器（单元1-2为缺氧池，单元3-5为曝气池），随后与处理后的水分离……

### 2.2 DO/NO控制回路

（原文中此部分内容在提供片段中未完整展示）

---

## 第3节 稀疏小波神经网络控制动作预测器设计与参数高效结构化迁移学习

图2总结了框架：(1) 构建冗余二进小波帧字典；(2) LASSO-CV稀疏基选择，产生在迁移过程中保持冻结的**源预测器**，而迁移后的架构随后进行适应性调整；(3) **目标引导迁移初始化器（OGTI）**评分，现在主动决定哪些原子有资格迁移，而不仅仅是作为事后诊断；(4) **前向-后向最小角回归（FBLAR）**结构化……

---

## 第4节 数据集、特征工程与数据划分

本研究的目标是对所提出的结构化迁移机制进行**方法学验证**。因此，BSM1被用作一个受控的基准，在此基准中源和目标控制回路均可在共同的工艺模型下进行评估。使用了一份BSM1模拟日志，该日志提供了DO回路（反应器5）和NO回路（反应器2）的时间对齐传感器、控制器和完整反应器状态轨迹，用于构建第2.2节中的逐回路特征表，历史深度为**H=4**……

---

## 第5节 数据高效控制动作预测器开发的实际意义

基于上述结果和讨论，向考虑在异构WWTP控制回路间进行稀疏WNN控制动作预测器设计和参数高效结构化迁移学习的实践者提供以下建议：

**(a) 避免未经过目标域适应性调整的零样本跨回路复用。** 一个适度的目标域数据启动就足以将R2从严重负值或接近零提升到正值。

**(b) 让OGTI主动控制哪些原子被迁移，而不是……**（原文在此处截断）

---

## 第6节 结论

本文开发了一种适用于污水处理过程跨回路控制的稀疏小波神经网络控制动作预测器的**参数高效结构化迁移学习框架**。所提出的框架结合了通过联合重要性-一致性标准对源原子进行排序的**目标引导迁移初始化器**，以及通过前向-后向最小角回归程序稳定确定哪些已迁移原子能在目标数据上存活，并用新原子进行增强的方法……

---

## CRediT作者贡献声明

**Nisargendu H. Bhatt**：写作–审阅与编辑、写作–原始稿撰写、可视化、验证、软件、方法论、调查、正式分析、数据整理、概念构思。

**Niranjan Jangir**：写作–审阅与编辑、验证、软件、方法论、调查、正式分析、数据整理、概念构思。

**Santhosh Kumar Varanasi**：写作–审阅与编辑、写作–原始稿撰写、验证、监督、软件、项目管理、方法论。

---

## 利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

---

Nisargendu H. Bhatt | Niranjan Jangir | Santhosh Kumar Varanasi