基于AIPC的化学过程操作控制器：在严格动态模型上的开发与验证

《Computers & Chemical Engineering》：An AIPC-based controller for chemical process operations: Development and validation on a rigorous dynamic model

　　

## 摘要

准确且稳定的产品质量控制对于化工过程经济性至关重要，但强耦合和非线性特征给PID和MPC控制器带来了巨大挑战。原油蒸馏装置中的预蒸馏塔——其需要严格控制的石脑油最终沸点（FBO）和侧线产品最终沸点——是一个典型案例。本研究提出了一种基于人工智能的过程控制（AIPC）控制器，该控制器整合了孪生延迟深度确定性策略梯度（TD3）智能体、物理信息神经网络（PINN）环境、稳态检测、控制动作死区以及操作员经验融合（AIPC-OE）策略。PINN环境在不降低精度的前提下，将单调性违规率从24.24%降低至0.15%。在严格的动态模型上验证后，该控制器与PID相比，将侧线FBO超调降低了93%；在原油性质变化条件下，AIPC-OE策略进一步将其降低了44%；在原油性质和吞吐量同时变化的条件下，两种基于深度强化学习（DRL）的控制器相对于MPC均能抑制超调。这证明了DRL在工业过程控制中的工程适用性。

## 1. 引言

过程控制在决定化工装置的经济利润率和竞争优势方面发挥着重要作用（Powell et al., 2020）。通过确保最优操作、降低能耗、减少浪费并保持产品质量，先进的控制策略直接为工业过程的财务成功做出贡献（Kubosawa et al., 2021）。随着市场对更高效率和更低生产成本的需求日益增强，对精密控制系统的需求变得越来越关键，大量研究工作致力于开发满足现代化工制造严格要求的智能、自适应且计算高效的控制方法（Beahr et al., 2024）。

传统上，比例-积分-微分（PID）控制器因其简单性、易于实现以及在单回路应用中的鲁棒性而在过程工业中占据主导地位（Shuprajhaa et al., 2022）。PID及其变体占工业环境中部署的所有控制器的80%以上（Kruthika et al., 2024）。然而，标准PID控制本质上是为单输入单输出（SISO）系统设计，控制器参数一旦整定通常为固定值，使其不适用于高度非线性或时变过程（Lawrence et al., 2022）。在现代化学工程中，大多数单元操作包括蒸馏塔、反应器和换热器网络都具有固有的多变量特性（Sass et al., 2022）。当过程变量之间存在强耦合和交互作用时，分散式PID控制器往往无法提供令人满意的效果（Lin et al., 2023）。为耦合回路整定此类控制器耗时较长，所得控制系统经常出现振荡、抗干扰能力差甚至不稳定（Shuprajhaa et al., 2022）。

为解决耦合多变量过程的挑战，模型预测控制（MPC）在20世纪后期作为一种广泛采用的方法出现（Dogru et al., 2021）。MPC基于三阶段滚动时域框架。第一阶段为模型预测，即采用动态过程模型在有限预测时域内预测未来系统输出（Blum et al., 2021）。第二阶段对应滚动时域优化，在每个采样时刻求解一个带约束的在线优化问题以得出最优控制序列。该优化旨在在完全满足系统固有约束的同时最小化预定义的目标函数。第三阶段由反馈校正组成，即仅将优化序列中的初始控制动作施加到实际过程中。随后，在下一个采样时刻基于更新的状态测量将预测时域向前推移，从而有效补偿模型-对象失配和不可测量的外部扰动。这种滚动时域策略使MPC能够显式处理变量之间的交互作用、尊重输入和状态上的约束，并持续适应实时过程条件。因此，MPC已成为石化和炼油行业标准的先进控制方法。MPC在工业场景中的成功部署，包括乙烯裂解、原油蒸馏和聚合物生产，证明了其相对于经典分散式控制结构的明显优势。在工业实践中，主流MPC软件平台，包括Honeywell Profit Suite、Yokogawa Exaquantum/MPC、AspenTech DMC3和ABB 800xA，主要部署阶跃响应和有限脉冲响应（FIR）模型等线性经验模型来构建内部预测模块。这些基于线性模型的实施方法非常适合在稳态设定点附近狭窄区域内运行的过程，此时线性近似仍具有足够的精度（Ceusters et al., 2021）。然而，工业应用中大多数MPC策略依赖此类线性动态模型，这固有地限制了其适用性（Chen et al., 2022）。对于在固定设定点附近运行的过程，线性MPC效果良好。然而，化工过程由于反应动力学、热力学、流态或大范围操作而经常表现出显著的非线性特征。在此类条件下，线性MPC无法充分捕捉本质非线性动态，导致次优控制甚至闭环不稳定（Rajpoot et al., 2024）。

线性MPC在面对强过程非线性时的局限性促使人们考虑使用非线性模型预测控制（NMPC）。NMPC扩展了标准MPC框架，采用源自第一性原理的非线性过程模型来预测未来装置响应（Selvamurugan et al., 2025）。它已被证明对高度非线性系统（包括夹套反应器、连续搅拌釜反应器（CSTR）和间歇过程）具有优越性能（Petsagkourakis et al., 2020）。然而，NMPC不可避免地引入两个根本性挑战。首先，由于需要在每个采样时刻求解非线性优化问题，它带来了沉重的计算负担。其次，它无法保证收敛到全局最优解。具体而言，NMPC中的滚动时域优化在大多数实际情况下是非凸的，导致存在多个局部最小值（Mowbray et al., 2022）。获得确保稳定性和递推可行性的可靠解仍是一个重大开放挑战。这些问题显著限制了NMPC在快速动态化工过程（特别是需要实时执行的场合）中的实际应用（Alhazmi et al., 2022）。

近年来，强化学习（RL）作为一种数据驱动的优化和控制范式获得了显著关注。与需要显式模型和梯度信息的传统优化方法不同，RL通过与环境交互并最大化累积奖励来学习最优策略（Spielberg et al., 2019）。这一特性使RL特别适合求解具有非线性动态的复杂序贯决策问题（Petsagkourakis et al., 2020）。对于NMPC，RL提供了一种有前景的替代或补充方法，以缓解滚动时域优化难题（Oh et al., 2022）。RL无需在每个采样时刻在线求解非凸优化问题，而是可以学习一个近似NMPC解的控制策略或直接优化闭环性能（Zhang and Li, 2023）。在适用于连续动作过程控制的深度强化学习算法家族中，Fujimoto等人提出的孪生延迟深度确定性策略梯度（TD3）算法已被广泛采用（Fujimoto et al., 2018）。TD3是一种基于深度确定性策略梯度（DDPG）的离策略演员-评论家算法，专门设计用于克服早期深度确定性方法固有的三个核心缺点。它通过孪生评论家网络减轻Q值近似的过估计偏差，采用截断双Q学习范式取最小估计值（Chowdhury et al., 2023）。该算法通过延迟更新策略进一步稳定训练性能，即演员网络更新频率低于评论家网络，以避免频繁且相关联的策略更新带来的不利影响。此外，TD3通过在评论家更新过程中的目标动作中引入平滑噪声来降低对突发策略利用的敏感性，即目标策略平滑。这些创新共同产生了比DDPG和其他同策略替代方案更稳定、样本效率更高且收敛性更好的学习过程。对于化工过程控制应用而言，关键在于TD3原生运行于连续动作空间，输出适合实值执行器命令（如阀门位置、流量、温度设定点）的确定性控制策略，并在高度非线性环境中表现出卓越的收敛稳定性（Gupta et al., 2024）。这些特性使TD3与非线性多变量过程控制的需求高度契合：在非凸奖励景观中实现稳定训练，可靠提取策略而不陷入局部最优，以及适合实时部署的低在线推理成本。TD3及其变体等代表性深度强化学习算法已被广泛应用于各种过程控制场景，包括间歇反应器优化（Yoo et al., 2021）、夹套反应器RL增强NMPC（Selvamurugan et al., 2025）、间歇过程控制的双演员框架（Joshi et al., 2023）以及工业规模原油蒸馏装置的压力控制（Seo et al., 2025）。尽管取得了这些进展，但在将深度强化学习（DRL）应用于工业过程控制方面仍存在若干关键差距。大多数现有研究在简化模型而非实际工业装置的严格第一性原理动态模型上进行验证。物理信息代理与DRL在蒸馏产品质量控制中的整合仍缺乏探索，稳态检测和控制动作死区等实用部署机制也很少被涉及。

本研究针对化工过程的智能控制，以原油蒸馏装置中的预蒸馏塔为典型案例。需要调节的产品质量指标包括石脑油和侧线产品的最终沸点，要求在显著耦合和非线性条件下实现准确且稳定的控制。通过整合DRL和物理信息神经网络（PINN），开发了一种基于人工智能的过程控制（AIPC）控制器。所提出的控制框架模拟人类操作员的决策逻辑，包含三个核心层：稳态数据处理、基于DRL的决策制定和安全导向的后处理。本研究的主要创新与贡献总结如下：

第一，开发了一种AIPC控制器架构，将深度强化学习、物理信息环境模型和安全导向机制整合到化工过程操作中，重点处理非线性动态和运行约束。利用严格第一性原理模型生成的数据建立了基于PINN的环境模型。将反映蒸馏过程基本物理规律的单调性约束以惩罚项的形式嵌入损失函数中，确保模型保真度和泛化能力。所得环境模型保持了与人工神经网络（ANN）相当的预测精度，同时将最坏情况下的单调性违规率从24.24%降至0.15%。在此环境中训练的策略比基于ANN环境的训练策略更容易收敛，并产生更平滑的执行器轮廓。

第二，使用TD3算法开发了基于AIPC的控制器，并在基于实际工业装置构建的高保真Aspen HYSYS预蒸馏塔动态模型上进行了严格验证，该模型捕捉了过程的完整非线性动态、热力学行为和操作约束。进一步提出了一种操作员经验融合（AIPC-OE）策略以增强约束边界附近的控制鲁棒性。在非扰动基线、原油性质变化和原油性质与吞吐量同时变化三种场景下，与MPC和PID控制器进行了系统对比。结果表明，所提出的方法在设定点跟踪和抗干扰性能方面均优于PID。在非扰动基线下，基于AIPC的控制器与基于PID的控制器相比将侧线最终沸点（FBO）超调降低了93%；在原油性质变化条件下，AIPC-OE策略进一步将其降低了44%；在同时变化条件下，两种基于DRL的控制器相对于MPC均能抑制超调。

第三，全面讨论了工业应用的实施考虑，包括训练数据要求、安全约束和部署指南。控制器中纳入了稳态检测模块以识别稳定操作时段，避免在过渡过程中不必要的执行器动作，并应用了控制动作死区以防止被控变量接近目标值时的持续调整。对高斯、绝对误差和平方误差奖励函数进行了综合比较，以评估其对智能体行为和训练稳定性的影响。比较结果表明，三种奖励函数均可训练出有效策略，其中高斯形式提供最为稳定的训练。这些发现为蒸馏控制任务中奖励函数的设计提供了实用指导。

本文其余部分组织如下：第2节建立问题描述并提出解决方案，包括预蒸馏塔的过程描述和识别的控制问题。第3节详细说明基于AIPC的控制器开发，涵盖总体框架、基于PINN的环境建模以及状态、动作和奖励函数的设计。第4节呈现结果与讨论，包括过程仿真与环境开发、奖励函数选择、智能体部署和性能评估。第5节总结全文并展望未来研究方向。

## 2. 问题描述与解决方案

### 2.1.

流程描述及相关问题

本研究聚焦于原油蒸馏装置的预蒸馏塔，其工艺流程图如图1所示。原油经泵提取后，依次通过脱盐前换热网络进行预热，随后经过静电脱盐单元和脱盐后换热网络，最终进入预蒸馏塔底部进行多组分分离。塔顶蒸汽经冷凝、冷却后送入回流罐进行气-液-液三相分离。塔顶气体被送往轻烃压缩机，而液相（塔顶石脑油）则经泵加压。其中一部分液体作为回流返回塔内，其余部分送往下游装置。含油水相作为含油废水排出，并在酸性水汽提单元中处理。蒸汽在塔底引入进行汽提，这不仅提高了轻组分的回收率和分离效率，还减少了下游常压加热炉的能耗。此外，当原油进料入口温度较高时，可通过调整侧线抽出速率降低过闪油比例，从而进一步优化能耗。由于侧线产品被送往下游常压塔，侧线油终馏点过高可能导致常压塔侧线产品不合格。因此，将侧线油终馏点控制在规定的工艺范围内至关重要。在实际操作中，操作人员主要通过调整塔顶温度和侧线质量流量来维持产品质量和工艺稳定性。

下载：下载高分辨率图片（403KB）
下载：下载全尺寸图片
图1. 预蒸馏塔工艺流程图。

目前，预蒸馏塔对塔顶温度和回流流量采用串级控制回路，并结合侧线流量控制回路。同时，汽提蒸汽质量流量仍处于手动操作状态。根据调度指令，操作人员调节塔顶温度和侧线质量流量，使石脑油终馏点（FBP）和侧线油终馏点保持在规定的工艺范围内，并逐步将其推向这些范围的上限，以提高原油蒸馏装置的能效。因此，该装置的控制问题可表述为一个具有两个输入和两个输出的多变量控制系统。其中，塔顶温度设定值和侧线质量流量设定值作为操纵变量（MVs），石脑油终馏点和侧线油终馏点作为被控变量（CVs）。其数学表述如下：

$$\min_{\mathbf{P}} \sum_{i=1}^{P} \left[ w_1 [CV_{SP}(k+i) - CV_{PV}(k+i)]^2 + w_2 [\Delta MV(k+i)]^2 \right] \tag{1}$$

受以下约束条件限制：

$$MV_{min} \leq MV \leq MV_{max} \tag{2}$$
$$\Delta MV_{min} \leq \Delta MV \leq \Delta MV_{max} \tag{3}$$
$$CV_{PV,min} \leq CV_{PV} \leq CV_{PV,max} \tag{4}$$

预蒸馏塔的操纵变量和被控变量如表1所示。

**表1. 操纵变量和被控变量。**

| 变量 | 单位 | 范围 | 描述 |
|------|------|------|------|
| MV1 | °C | [110, 135] | 塔顶温度设定值 |
| MV2 | t/h | [0, 25] | 侧线质量流量设定值 |
| CV1 | °C | [140, 180] | 石脑油终馏点 |
| CV2 | °C | [170, 350] | 侧线油终馏点 |

### 2.2. 提出的解决方案

图2（左）描绘了操作人员在控制预蒸馏塔时所使用的操作逻辑。一旦操作人员收到调度指令，控制动作可分为三个阶段：感知、决策和执行。首先，通过监测过程数据、产品质量指标和系统整体稳定性来评估装置运行状态。这包括检查产品规格是否落在目标范围内以及过程是否保持稳定。当过程达到稳定状态时，操作人员凭借领域知识和历史操作经验初步确定PID回路设定值的调整方向和步长。尽管操作人员拥有丰富的实践经验，但实际过程中的不确定性经常导致系统无法在一次调整中达到目标状态。相反，操作人员会在每次设定值变化后系统状态更新后进行迭代调整。通过感知、决策和执行的反复反馈循环，操作人员逐步将过程引导至目标状态。

下载：下载高分辨率图片（422KB）
下载：下载全尺寸图片
图2. 基于AI的智能控制系统。

受以人为本的操作框架启发，本文提出了一种具有三层架构的基于AI的智能控制系统：数据处理层、决策层和后处理层。其工作流程如图2（右）所示。数据处理层执行稳态检测（SSD）以识别稳定运行时期。仅将这些稳态时期的测量值进行平均并作为输入提供给决策层，确保在稳态数据上训练的代理能够接收到可靠信息，并避免对过程振荡做出响应。这些输入通常包括温度、压力、流量等过程变量以及产品质量指标（如石脑油终馏点、侧线油终馏点）。决策层采用通过深度强化学习（DRL）训练的策略网络来替代操作人员进行控制决策，并以基于规则的手动操作控制器作为备份。由于DRL模型在较宽的操作范围内经过训练，它可以处理各种条件。然而，当操作范围超过可接受的约束限值时，设计了一个选择器模块将控制权限切换到基于规则的手动操作控制器，以确保装置安全可靠的运行。为了进一步确保操作安全，后处理层中嵌入了一个设定值限制器。该组件限制控制动作的幅度，防止设定值出现突然的大幅变化。在本研究中，通过比较最近一段时间窗口内历史数据的标准差与预设阈值来进行稳态检测。具体而言，如果标准差超过阈值，则识别为过渡状态；如果低于阈值，则识别为稳态。标准差的计算如下：

$$\sigma = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^2} \tag{5}$$

在输入基于AIPC的控制器之前，外部提供的CV目标值通过设定值计算模块进行平滑处理。在本研究中，采用了一阶指数平滑形式，表达如下：

$$CV_{SP}(m+1) = (1-\alpha) \cdot CV_{SP,target} + \alpha \cdot CV_{SP}(m) \tag{6}$$
$$\alpha = e^{-T_s/T} \tag{7}$$

### 3. 基于AIPC的控制器开发

本节详细介绍了基于AIPC的控制器开发过程，该过程包括三个阶段：环境模型开发、代理开发与测试，以及代理部署。其框架如图3所示。

下载：下载高分辨率图片（580KB）
下载：下载全尺寸图片
图3. 基于AIPC的控制器开发和部署的整体框架。

#### 3.1. 整体框架

图3描绘了基于AIPC的控制器开发和部署的整体框架，该框架被划分为三个主要阶段：环境模型开发、代理开发与测试，以及代理部署。环境模型由反映装置运行状态的数字孪生和奖励函数组成。为了满足代理训练对准确性和计算效率的要求，采用了一种结合第一性原理和机器学习的混合建模方法。首先，基于运行数据、实验室分析和工艺流程图构建了装置的严格稳态机理模型，并将其与实际生产数据进行验证。随后，根据实际生产条件和潜在的未来操作场景确定了可行的操作空间。采用拉丁超立方抽样法在该空间内生成操作点，并使用基于Python的自动化接口通过运行机理模型提取了10,000条数据记录。采用PINN作为代理模型以确保变量满足已知的单调关系。例如，塔顶温度升高会导致石脑油终馏点升高。随后，根据代理的操作目标制定了奖励函数。环境模型确定后，精确定义了代理的状态空间和动作空间，并设计了执行者和评论者的网络架构。使用TD3算法训练代理，直到其满足性能要求。在模拟环境中成功测试后，将训练好的代理纳入基于AIPC的控制器并部署在模拟工业场景中。部署后，根据生产需求调整了基于AIPC的控制器的参数。为了验证目的，使用在Aspen HYSYS Dynamics中构建的预蒸馏塔高保真动态模型来模拟实际装置并评估基于AIPC的控制器的控制性能。

#### 3.2. 基于PINN的环境建模

在本研究中，采用PINN作为代理模型来替代严格的第一性原理模型。PINN的输入变量为表7中列出的11个过程参数。通过改变原油中石脑油和水含量来模拟原油性质的波动。输出变量为产品质量指标，包括塔顶石脑油和侧线产品的终馏点（FBP）。基础过程行为表明，塔顶温度与石脑油和侧线产品的终馏点正相关。同样，侧线质量流量与这两种产品的终馏点也正相关。这些单调关系通过等式(8)和(9)中的物理约束项被纳入损失函数。网络架构由一个包含120个神经元的隐藏层和ReLU激活函数组成。训练采用批量大小为128的设置，并使用Adam优化器来最小化复合损失函数。物理信息神经网络架构如图4所示。损失函数定义如下：

$$L_{phy,T} = \frac{1}{2N} \sum_{k=1}^{N} \sum_{j=1}^{2} ReLU\left(-\frac{\partial \hat{y}_j^{(k)}}{\partial x_T^{(k)}}\right) \tag{8}$$
$$L_{phy,F} = \frac{1}{2N} \sum_{k=1}^{N} \sum_{j=1}^{2} ReLU\left(-\frac{\partial \hat{y}_j^{(k)}}{\partial x_F^{(k)}}\right) \tag{9}$$
$$L_{data} = MSE(y_{true}, y_{pred}) \tag{10}$$
$$L_{total} = L_{data} + \lambda_1 \cdot L_{phy,T} + \lambda_2 \cdot L_{phy,F} \tag{11}$$

其中 $x_T$ 和 $x_F$ 分别表示网络输入中的塔顶温度和侧线质量流量；$\hat{y}_j$ (j = 1, 2) 表示PINN的两个质量输出，即石脑油终馏点和侧线油终馏点；N 表示批量大小；MSE 表示严格模型输出 $y$ 与PINN预测值 $\hat{y}$ 之间的均方误差。等式(8)和(9)中的单调性约束对质量输出关于塔顶温度和侧线质量流量的负偏导数进行惩罚。两个物理约束均以权重因子 $\lambda_1 = \lambda_2 = 0.2$ 纳入损失函数。

下载：下载高分辨率图片（375KB）
下载：下载全尺寸图片
图4. 物理信息神经网络架构。

#### 3.3. 状态、动作和奖励函数的设计

代理由状态、动作和奖励函数组成。所有状态变量均派生自实际装置的可观测过程参数。对于代理，状态定义为石脑油终馏点、侧线油终馏点及其各自的跟踪误差。动作为同时调整塔顶温度设定值和侧线质量流量设定值。

本研究的控制目标是精确跟踪预蒸馏塔石脑油终馏点和侧线油终馏点的设定值。为此，设计了一种基于高斯函数的奖励。该奖励平滑地标准化了设定值跟踪误差和控制动作的幅度。该奖励关于跟踪误差的有界梯度防止了训练过程中出现过大策略更新，从而提高了训练稳定性。其他研究者在单目标优化中采用了类似的奖励函数，主要是因为其数值范围有利于DNN中的梯度下降（Gao等人，2022年）。本研究所采用的比较奖励函数为基于绝对误差和基于平方误差的公式。奖励函数的类型和参数如表2所示。

**表2. 奖励函数。**

| 类型 | 数学公式 | a? | a? | b? | b? | c? | c? |
|------|----------|----|----|----|----|----|----|
| 基于高斯 | $r_t = \sum_{i=1}^{2} \left[ a_i e^{-\frac{1}{2}\left(\frac{CV_{sp,i} - CV_{PV,i}}{c_i}\right)^2} + b_i e^{-\frac{1}{2}\left(\frac{\Delta MV_i}{c_i}\right)^2} \right]$ | 1 | 1 | 0.5 | 0.5 | 1 | 1 |
| 基于绝对误差 | $r_t = \sum_{i=1}^{2} \left[ -a_i \|CV_{sp,i} - CV_{PV,i}\| - b_i \|\Delta MV_i\| \right]$ | 1 | 1 | 0.5 | 0.5 | - | - |
| 基于平方误差 | $r_t = \sum_{i=1}^{2} \left[ -a_i (CV_{sp,i} - CV_{PV,i})^2 - b_i (\Delta MV_i)^2 \right]$ | 1 | 1 | 0.5 | 0.5 | - | - |

本研究采用TD3算法进行代理训练。该算法框架包含一个执行者网络和一个评论者网络。执行者网络根据当前状态生成最优动作，而评论者网络评估状态-动作对的价值。如图5所示，在每个时间步，代理观察环境状态 $s_t$，发出动作 $a_t$，获得奖励 $r_t$，并转移到新状态 $s_{t+1}$。每个经验 $e_t = (s_t, a_t, r_t, s_{t+1})$ 被存储在经验回放缓冲区中。代理定期从该缓冲区采样数据来更新网络参数。TD3算法实施的更多细节请参阅原始研究（Fujimoto等人，2018年）。为了提高训练过程中的数值稳定性，所有环境状态变量在输入策略网络之前均通过min-max归一化缩放到[0,1]范围。训练超参数如表3所示。状态和动作变量如表4所示。

下载：下载高分辨率图片（215KB）
下载：下载全尺寸图片
图5. 代理与环境之间的交互表示。

表3.

# TD3算法的超参数配置

| 参数 | 网络 | 策略网络1 | 价值网络1 | 策略网络2 | 价值网络2 |
| :--- | :--- | :--- | :--- | :--- | :--- |
| 架构 | | (4, 64, 2) | (4 + 2, 64, 1) | (4, 64, 2) | (4 + 2, 64, 1) |
| 学习率 | | $3 \times 10^{-4}$ | $3 \times 10^{-4}$ | $3 \times 10^{-4}$ | $3 \times 10^{-4}$ |
| 回合数 | | 10,000 | | | |
| 每回合步数 | | 50 | | | |
| 批次大小 | | 256 | | | |
| 回放缓冲区大小 | | 100,000 | | | |
| 最大策略梯度 | | 1 | | | |
| 最大价值梯度 | | 1 | | | |
| 初始探索噪声 | | 0.25 | | | |
| 最小噪声比 | | 0.01 | | | |
| 噪声衰减步数 | | 200,000 | | | |
| 目标价值网络更新间隔 | | 2 | | | |
| 目标策略网络更新间隔 | | 2 | | | |
| 最大动作噪声 | | 0.5 | | | |
| 最小动作噪声 | | 0.001 | | | |
| 软更新系数($\tau$) | | 0.005 | | | |

**表4. 状态变量与动作变量**

| 变量 | 描述 | 单位 | 范围 |
| :--- | :--- | :--- | :--- |
| 状态1 | 石脑油终馏点 | $^\circ$C | [140, 180] |
| 状态2 | 侧线终馏点 | $^\circ$C | [170, 350] |
| 状态3 | 石脑油终馏点误差 | $^\circ$C | [-20, 20] |
| 状态4 | 侧线终馏点误差 | $^\circ$C | [-20, 20] |
| 动作1 | 顶温设定值变化 | $^\circ$C | [-0.2, 0.2] |
| 动作2 | 侧线质量流量变化 | t/h | [-0.2, 0.2] |

## 4. 结果与讨论

本节评估了所提出的智能控制框架。首先，将稳态仿真模型与工厂数据进行验证，为数据集生成奠定基础。随后，将物理信息神经网络（PINN）的预测性能与物理一致性同普通人工神经网络（ANN）进行了比较。接着，考察了不同奖励函数对深度强化学习（DRL）训练稳定性的影响。最后，在动态环境中将所提出的控制策略与基于PID的控制器和基于模型预测控制（MPC）的控制器进行了对比，评估其控制性能。

### 4.1 环境开发

在 Aspen HYSYS V12.1（Aspen Technology, Inc., Bedford, MA, USA）中构建了预蒸馏塔的稳态模型，如图6所示。采用 Peng-Robinson 状态方程计算塔内相平衡及关键物理性质，并使用回流吸收塔模块进行塔模拟。表5列出了工艺数据。表6汇总了仿真结果与实际运行数据的对比，结果显示除顶温外，所有参数的绝对相对误差均低于1%。顶温的偏差可能源于工厂数据中的测量不准确。因此，该严格机理模型能够准确表征预蒸馏塔的稳态特性。

下载：下载高分辨率图像 (160KB) 下载：下载全尺寸图像
**图6. 预蒸馏塔稳态流程图**

**表5. 工艺数据**

| 参数 | 单位 | 数值 |
| :--- | :--- | :--- |
| **原油性质** | | |
| 质量密度 (20 °C) | kg/m3 | 849.6 |
| 真沸点蒸馏数据 | | |
| 1(vol%) | $^\circ$C | 275 |
| 5(vol%) | $^\circ$C | 80.86 |
| 10(vol%) | $^\circ$C | 124.23 |
| 30(vol%) | $^\circ$C | 264.35 |
| 50(vol%) | $^\circ$C | 367.37 |
| 70(vol%) | $^\circ$C | 5079 |
| 90(vol%) | $^\circ$C | 650.39 |
| 95(vol%) | $^\circ$C | 704.49 |
| 99(vol%) | $^\circ$C | 782.4 |
| 含水量 | wt% | 0.025 |
| **塔板配置与运行条件** | | |
| 塔板数 | - | 20 |
| 进料板 | - | 4 |
| 汽提蒸汽进料板 | - | 1 |
| 侧线抽出板 | - | 10 |
| 回流罐压力 | MPag | 0.019 |
| 塔顶压力 | MPag | 0.085 |
| 塔底压力 | MPag | 0.099 |
| 塔板效率（4–20块） | - | 0.8 |
| 塔板效率（1–3块） | - | 0.3 |
| 进料温度 | $^\circ$C | 225 |
| 回流罐温度 | $^\circ$C | 50 |
| 顶温 | $^\circ$C | 136.5 |
| 侧线质量流量 | t/h | 16.6 |

**表6. 稳态仿真与工厂数据对比**

| 参数 | 单位 | 工厂值 | 仿真值 | 相对误差 |
| :--- | :--- | :--- | :--- | :--- |
| 顶温 | $^\circ$C | 118.5 | 136.5 | 15.19% |
| 塔顶回流流量 | t/h | 35.9 | 36.25 | 0.97% |
| 塔底温度 | $^\circ$C | 219 | 218 | -0.46% |
| 石脑油终馏点 | $^\circ$C | 165 | 164.7 | -0.18% |

本研究使用 Python 开发了一个自动化 HYSYS 接口平台，并采用拉丁超立方采样生成了 10,000 组样本。经过筛选后，获得了 8,112 组收敛数据集。表7列出了用于采样的 11 个输入变量，涵盖原油中石脑油含量、原油中水含量、原油处理量、进料温度、汽提蒸汽质量流量、冷凝器压力、冷凝器压降、全塔压降、冷凝器出口温度、顶温和侧线质量流量。网络架构为三层前馈神经网络，包含 120 个隐藏神经元，隐藏层使用 ReLU 激活函数，输出层使用线性激活函数。网络采用学习率 0.001 和批次大小 128 进行训练，实现于 PyTorch 2.11.0 中。相比之下，采用相同架构、超参数和训练配置的 ANN 进行对比，唯一区别在于 PINN 额外包含了基于物理的正则化项，如公式(8)和公式(9)所示。

**表7. 输入变量范围**

| 输入变量 | 单位 | 范围 |
| :--- | :--- | :--- |
| 原油中石脑油含量 | % | [3, 10] |
| 原油中水含量 | % | [0.01, 0.05] |
| 原油处理量 | t/h | [420, 530] |
| 进料温度 | $^\circ$C | [210, 230] |
| 汽提蒸汽质量流量 | t/h | [0.2, 1.5] |
| 冷凝器压力 | MPag | [0.01, 0.05] |
| 冷凝器压降 | kPa | [20, 70] |
| 全塔压降 | kPa | [5, 15] |
| 冷凝器出口温度 | $^\circ$C | [40, 60] |
| 顶温 | $^\circ$C | [115, 145] |
| 侧线质量流量 | t/h | [5, 20] |

图7展示了 ANN 和 PINN 在 30%、50% 和 70% 训练比例下的训练损失曲线。在图7(a)中，PINN 和 ANN 在前 20 个迭代周期内均表现出快速的损失下降，随后趋于稳定收敛。训练数据比例越高，收敛速度越快：在 30% 时，总损失在第 9–10 个迭代周期降至 0.01 以下；在 50% 时，于第 5 个迭代周期达成；在 70% 时，于第 3–4 个迭代周期达成。最终总损失也从约 $5.0 \times 10^{-4}$（30%）降至 $2.5 \times 10^{-4}$（70%），证实了较大的训练集能够带来更快的收敛速度和更低的稳态误差。图7(b)展示了 PINN 的数据损失分量，与总损失趋势高度一致。图7(c)和图7(d)分别展示了两个物理损失项，二者在前 10 个迭代周期内迅速降至接近零，表明内嵌的物理约束能够快速得到满足且不妨碍数据拟合。这些观察结果证实，物理信息正则化不会影响预测精度。

下载：下载高分辨率图像 (348KB) 下载：下载全尺寸图像
**图7. ANN和PINN在30%、50%和70%训练数据比例下的训练损失曲线：(a)总损失，(b)数据损失，(c)物理损失1，(d)物理损失2**

表8和表9分别汇总了石脑油终馏点和侧线终馏点的定量预测结果。对于石脑油终馏点，在所有训练数据比例下，ANN 和 PINN 均实现了较高的预测精度，训练集和测试集的 $R^2$ 值均超过 0.97。在 30% 训练比例下，ANN 模型的测试 MSE 为 0.392（RMSE = 0.619, $R^2$ = 0.976），PINN 的测试 MSE 为 0.353（RMSE = 0.593, $R^2$ = 0.979）。在 50% 比例下，两个模型均有显著提升：ANN 的测试 MSE 为 0.187（RMSE = 0.428, $R^2$ = 0.989），PINN 的测试 MSE 为 0.196（RMSE = 0.438, $R^2$ = 0.988）。在 70% 比例下，ANN 的测试 MSE 为 0.117（RMSE = 0.341, $R^2$ = 0.993），PINN 的测试 MSE 为 0.127（RMSE = 0.355, $R^2$ = 0.992）。可以观察到，随着训练比例的增加，两个模型的预测精度趋于收敛，在 70% 比例下 $R^2$ 值均超过 0.99。两个模型均能有效捕捉石脑油终馏点的输入输出关系，在点预测精度方面均未显示出系统性的优势。对于侧线终馏点，由于侧线组成固有的变化性更大，预测误差明显较大。ANN 模型在 30%、50% 和 70% 训练比例下的测试 RMSE 分别为 3.361、2.818 和 2.825，$R^2$ 始终高于 0.98。PINN 表现出相当的性能，测试 RMSE 分别为 3.199、2.905 和 2.888。在所有数据比例下，两个模型表现相似，未观察到任何一种方法具有持续优势。

**表8. 石脑油终馏点预测结果对比**

| 模型 | 训练数据比例 | MSE（训练） | MSE（测试） | RMSE（训练） | RMSE（测试） | $R^2$（训练） | $R^2$（测试） |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| ANN | 30% | 0.358 | 0.392 | 0.591 | 0.619 | 0.979 | 0.976 |
| PINN | 30% | 0.332 | 0.353 | 0.575 | 0.593 | 0.981 | 0.979 |
| ANN | 50% | 0.169 | 0.187 | 0.407 | 0.428 | 0.990 | 0.989 |
| PINN | 50% | 0.189 | 0.196 | 0.431 | 0.438 | 0.989 | 0.988 |
| ANN | 70% | 0.111 | 0.117 | 0.332 | 0.341 | 0.993 | 0.993 |
| PINN | 70% | 0.124 | 0.127 | 0.351 | 0.355 | 0.993 | 0.992 |

**表9. 侧线终馏点预测结果对比**

| 模型 | 训练数据比例 | MSE（训练） | MSE（测试） | RMSE（训练） | RMSE（测试） | $R^2$（训练） | $R^2$（测试） |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| ANN | 30% | 10.742 | 11.429 | 3.260 | 3.361 | 0.987 | 0.986 |
| PINN | 30% | 9.870 | 10.255 | 3.137 | 3.199 | 0.988 | 0.987 |
| ANN | 50% | 7.080 | 7.947 | 2.659 | 2.818 | 0.991 | 0.990 |
| PINN | 50% | 7.126 | 8.448 | 2.668 | 2.905 | 0.991 | 0.990 |
| ANN | 70% | 6.220 | 7.999 | 2.492 | 2.825 | 0.992 | 0.990 |
| PINN | 70% | 6.711 | 8.359 | 2.585 | 2.888 | 0.992 | 0.990 |

总体而言，ANN 和 PINN 均展现了强大的预测性能，在所有情况下 $R^2$ 值均超过 0.97，验证了数据驱动模型在原油蒸馏装置质量预测中的适用性。然而，高 $R^2$ 和低 MSE 值主要反映的是测试集上的点预测精度，这些指标本身并不能保证物理一致的工艺行为。为评估这一方面，在 70% 训练比例下，对 10 次独立训练运行得到的 10 个模型，通过自动微分在全部 8,112 个样本上计算偏导数。

评估了四个单调性约束，每个约束均要求偏导数非负：(C1) $\partial y_1 / \partial T \geq 0$，(C2) $\partial y_2 / \partial T \geq 0$，(C3) $\partial y_1 / \partial F \geq 0$，(C4) $\partial y_2 / \partial F \geq 0$，其中 $y_1$ 和 $y_2$ 分别表示石脑油和侧线终馏点，$T$ 和 $F$ 分别表示顶温和侧线质量流量。表10报告了各约束的平均违反次数和违反率，通过对 10 个独立训练的模型取平均，并在相同的 8,112 个样本上评估。温度约束（C1, C2）在两个模型中几乎在所有样本上均得到满足，ANN 的平均违反率为 0.00%（C1）和 0.07%（C2），PINN 在两个约束上的平均违反率均为 0.00%。约束 C4 也得到较好满足，ANN 和 PINN 的平均违反率分别为 0.01% 和 0.00%。最大差异出现在 C3 上：平均而言，ANN 在每个模型的 8,112 个样本中有 1966.1 个违反该约束（24.24%），而 PINN 仅有 11.9 例（0.15%）。虽然训练数据来源于第一性原理仿真，但机理求解器固有的数值容差和初始条件敏感性导致训练数据中存在物理不一致的样本。PINN 通过其内嵌的单调性约束积极抑制这些不一致性，使得预测的梯度方向符合工程经验。这种物理一致性对于控制和优化任务尤为重要，因为可靠的梯度信息对于决策至关重要。这些发现表明，仅凭点精度指标不足以评估模型在过程工程中的可靠性，物理一致性必须单独评估。

**表10. ANN和PINN模型的单调性约束违反对比（70%训练比例，10次训练运行平均）**

| 约束 | 条件 | ANN违反次数 | ANN违反率(%) | PINN违反次数 | PINN违反率(%) |
| :--- | :--- | :--- | :--- | :--- | :--- |
| C1 | $\partial y_1/\partial T \geq 0$ | 0 | 0.00 | 0 | 0.00 |
| C2 | $\partial y_2/\partial T \geq 0$ | 5.9 | 0.07 | 0.1 | 0.00 |
| C3 | $\partial y_1/\partial F \geq 0$ | 1966.1 | 24.24 | 11.9 | 0.15 |
| C4 | $\partial y_2/\partial F \geq 0$ | 1.0 | 0.01 | 0.1 | 0.00 |

为进一步评估基于 ANN 和基于 PINN 的环境模型效果，分别使用每个模型训练了 DRL 策略。评估重点包括收敛性和目标区间达成情况、动作平滑度以及反映在奖励曲线上的训练稳定性。两个训练过程在所有设置上完全相同，区别仅在于环境模型；二者均使用相同的基于高斯分布的奖励函数，其参数列于表2。尽管两个模型在点预测精度方面相当（$R^2$ > 0.97），但所得策略差异显著。如图8所示，两个策略均实现了收敛并将两个控制变量（CV）驱动至 ±1.5 °C 的目标区间内，并保持在目标区间内直至结束。然而，动作轨迹差异显著：基于 ANN 的策略在整个轨迹中持续调整动作1且频繁变号，而基于 PINN 的策略仅在初始瞬态阶段调整动作，并产生了更平滑的执行器轨迹。训练奖励在基于 PINN 的环境中收敛更快，表明方向一致的环境模型有助于稳定的策略学习。环境模型通过交互过程中产生的状态转移和奖励间接影响策略训练。上述报告的 ANN 单调性违反（C3 上为 24.24%）可能会通过产生物理不一致的响应来误导智能体，而 PINN 内嵌的单调性约束确保了方向一致的响应，从而提供更可靠的训练信号。由于所有其他训练条件完全相同，这些差异可归因于环境模型的方向一致性。通过强制单调性，PINN 在交互过程中提供一致反馈，有助于训练出收敛的、能达成目标的且具有平滑动作的策略。

下载：下载高分辨率图像 (756KB) 下载：下载全尺寸图像
**图8. 在ANN和PINN环境下训练的RL策略的训练轨迹：(a) CV1，(b) CV2，(c) 动作1，(d) 动作2，(e) 训练奖励**

为验证训练环境中观察到的差异是否在目标过程中持续存在，将两个策略未经重新训练直接部署于在 Aspen HYSYS 中实现的预蒸馏塔严格动态仿真中。在此测试中，石脑油终馏点和侧线终馏点的设定值分别为 165 °C 和 240 °C，目标区间为 ±1.5 °C，动作幅值为 ±0.2，与训练时相同，仿真时长为 500 分钟。由于策略基于稳态替代模型训练，此部署测试了所学知识行为是否能够泛化至严格过程的动态行为，超越训练分布。如图9所示，两个策略均将两个 CV 驱动至目标区间内，证实了训练期间学到的行为可以迁移至严格动态模型。然而，进入目标区间后的稳定性差异显著。侧线终馏点首次进入目标区间后，基于 ANN 的策略反复离开该区间，在剩余仿真时间中仅有约 60% 的时间保持在区间内（共 6 次越界），而基于 PINN 的策略在剩余时间中约 91% 保持在区间内，仅有 1 次短暂越界。

当受控变量（CV）达到目标带后，操纵变量的对比更加显著：在基于ANN的策略下，塔顶温度和侧线质量流量在最后83分钟内仍分别波动约0.9 °C和0.7 t/h，而在基于PINN的策略下，同样的两个变量仅分别波动约0.06 °C和0.06 t/h。这些结果与图8中训练阶段的比较以及表10中的单调性分析一致——其中ANN在24.24%的样本中违反了约束C3，而PINN仅为0.15%。由于PINN环境强制执行方向一致性的响应，在其上训练的策略能够向目标过程传递更平滑、更稳定的操作，而基于ANN环境训练的策略保留了频繁的操作，不太能维持侧线终馏点（FBP）在目标带内。

下载：下载高分辨率图像（396KB）
下载：下载全尺寸图像

图9. 在严格动态仿真中用ANN和PINN环境训练的RL策略的控制性能比较：(a) 石脑油FBP，(b) 侧线FBP，(c) 塔顶温度，(d) 侧线质量流量。

4.2. 奖励函数选择

本研究通过比较基于高斯的、基于绝对误差的和基于平方误差的奖励函数，探讨了奖励函数设计对深度强化学习（DRL）训练的影响。图10展示了TD3智能体使用三种奖励函数形式的训练奖励曲线。在训练过程中，蒸馏塔的初始状态被随机化，以使智能体暴露于多种操作条件下。在这种方案下，初始跟踪误差在各回合之间有所不同，其对奖励信号的影响在三种奖励函数之间也各不相同。高斯奖励函数产生有界的正奖励，在大误差时趋于饱和。当误差超过高斯带宽c时，奖励趋近于零且其梯度消失，使得训练信号对大初始误差的幅值不敏感。相比之下，平方误差奖励产生的梯度随误差线性增长，而绝对误差奖励产生的梯度大小恒定，不受误差大小影响。这些梯度特性直接影响各回合间奖励信号的方差。在随机初始状态下，基于高斯的奖励的训练奖励方差为37.5，而平方误差奖励为1.36×10?，绝对误差奖励为129,714。因此，高斯奖励的有界特性使得在不同初始条件下，各回合之间能提供更一致的梯度更新。

下载：下载高分辨率图像（473KB）
下载：下载全尺寸图像

图10. 使用不同奖励函数形式的TD3智能体的训练奖励曲线：(a) 高斯；(b) 基于绝对误差；(c) 基于平方误差。

图11展示了训练后智能体的测试性能。三种奖励函数形式均成功将受控变量驱动至各自的设定值（石脑油FBP：168 °C；侧线FBP：250 °C），表明每种形式都提供了有效的设定值跟踪训练信号。虽然三种形式的最终控制性能相当，但训练过程在稳定性方面存在显著差异。高斯奖励函数的有界梯度防止了当回合远离设定值时可能出现的过大策略更新，从而在各种初始条件下实现更一致的学习。这一特性使得高斯形式成为RL过程控制应用的特别合适选择，在这些应用中，训练必须跨越广泛的运行条件。

下载：下载高分辨率图像（512KB）
下载：下载全尺寸图像

图11. 使用不同奖励函数形式的TD3智能体的性能评估：(a) 高斯；(b) 基于绝对误差；(c) 基于平方误差。

4.3. 智能体部署

为评估在真实工业条件下的控制性能，将训练好的策略网络应用于Aspen HYSYS中构建的预蒸馏塔的严格动态仿真模型。图12展示了预蒸馏塔严格动态仿真的流程图。预蒸馏塔的几何参数和各PID控制器的整定参数分别列于表11和表12。由于策略网络是在Aspen HYSYS的严格动态模型上进行测试的，结果有效地反映了其在工业实践中的预期性能。

下载：下载高分辨率图像（406KB）
下载：下载全尺寸图像

图12. 预蒸馏塔严格动态仿真的流程图。

表11. 预蒸馏塔的几何参数。

| 项目 | 单位 | 数值 |
|------|------|------|
| 塔顶回流罐长度 | mm | 4000 |
| 塔顶回流罐直径 | mm | 2000 |
| 塔底段直径 | mm | 3600 |
| 塔底段高度 | mm | 6200 |
| 板间距 | mm | 600 |
| 塔板直径 | mm | 3200 |
| 堰高度 | mm | 50 |
| 降液管净空 | mm | 50 |
| 侧降液管宽度 | mm | 312 |
| 中央降液管宽度 | mm | 252 |
| 浮阀数量 | - | 1212 |
| 原油罐体积 | m3 | 1000 |

表12. 各PID控制器的整定参数。

| 项目 | Kc | Ti (min) | 控制器作用 |
|------|-----|----------|-----------|
| FIC100 | 10 | 0.2 | 反作用 |
| FIC101 | 0.5 | 0.2 | 反作用 |
| FIC102 | 0.5 | 0.2 | 反作用 |
| FIC103 | 0.5 | 0.1 | 反作用 |
| FIC104 | 0.1 | 0.1 | 反作用 |
| TIC101 | 0.5 | 2 | 正作用 |
| TIC102 | 0.5 | 0.2 | 正作用 |
| TIC103 | 0.5 | 1 | 反作用 |
| PIC100 | 0.4 | 0.5 | 正作用 |
| PIC101 | 2 | 0.5 | 正作用 |
| LIC100 | 2 | 30 | 正作用 |
| LIC101 | 0.5 | 20 | 正作用 |
| LIC102 | 2 | 30 | 正作用 |
| LIC103 | 0.5 | 30 | 正作用 |

在测试场景中，石脑油和侧线产品的终馏点分别从155 °C调整至165 °C，以及从231 °C调整至240 °C。图13展示了直接部署策略网络后的控制性能。结果表明石脑油和侧线产品的终馏点均出现了周期性波动。这一现象可归因于两个主要机制。首先，策略网络在稳态环境模型中训练，可能未能完全捕获实际工业装置的动态特性。其次，由于分馏过程固有的强耦合、大量时间延迟和非线性，频繁调整底层PID回路的设定值很容易导致系统振荡，从而恶化整体控制性能。

下载：下载高分辨率图像（253KB）
下载：下载全尺寸图像

图13. 无SSD的AIPC控制器控制性能：(a) 石脑油FBP，(b) 侧线FBP。

配备稳态检测模块和控制动作死区的AIPC控制器对控制性能的影响如图14所示。在后续所有测试中，该死区均已启用：当石脑油FBP和侧线FBP与目标值的绝对偏差均低于1 °C时，策略网络输出的动作被设为零，从而避免因实际装置无法完全达到绝对稳态而导致的连续调整。与直接部署控制策略相比，集成稳态检测显著提升了系统性能。石脑油终馏点和侧线产品终馏点的波动幅度均显著减小，且两者在短时间内平稳收敛至目标范围。此外，还研究了稳态检测时间对控制过程的影响。比较发现，5 min的较短稳态检测周期相比10 min的较长周期导致超调增加和系统稳定性降低。这一性能退化可归因于蒸馏过程固有的动态滞后。在过程变量尚未完全响应先前操作之前就频繁触发控制器干预，会导致控制动作重叠并加剧振荡行为。相比之下，10 min的较长检测周期提供了足够的稳定时间，使反馈信号能够更准确地反映先前操作的稳态效果。

下载：下载高分辨率图像（356KB）
下载：下载全尺寸图像

图14. 带SSD的AIPC控制器控制性能：(a, b) 5 min和(c, d) 10 min检测周期，每对分别显示石脑油FBP和侧线FBP。

4.4. 性能评估

为验证所提出的AIPC控制器的有效性，对三种控制策略进行了比较分析：基于PID的控制器、基于MPC的控制器和所提出的AIPC控制器。PID控制器采用塔顶温度-石脑油FBP回路的主回路参数Kc = 0.25和Ti = 20 min，以及侧线FBP-流量回路的参数Kc = 0.05和Ti = 10 min。MPC控制器在do-mpc中使用CasADi实现，采用从传递函数矩阵 $G(s) = \frac{[1.29 \quad 25s + 10 \quad 1.734 \quad 18s + 1250s + 1]}{}$ 推导的状态空间模型，并使用IPOPT求解优化问题。

4.4.1. 无扰动场景评估

图15展示了三种策略的控制性能。使用PID控制器时，石脑油FBP在约12 min内达到设定值并稳定，而侧线FBP出现了约27.72 °C的显著超调，调节时间为88.3 min。这一大超调源于分散PID的基本局限性：石脑油FBP回路调整塔顶温度，直接调节石脑油FBP，但通过内部汽液平衡耦合同时干扰侧线FBP。侧线PID回路作用于侧线质量流量，无法完全补偿这种交叉耦合，代表了分散PID固有的多输入多输出（MIMO）控制局限性。

下载：下载高分辨率图像（510KB）
下载：下载全尺寸图像

图15. 基于PID、MPC和AIPC控制器的控制性能：(a, c, e) 石脑油FBP和(b, d, f) 侧线FBP。

使用MPC控制器时，石脑油FBP在约271 min内达到设定值并稳定，而侧线FBP超调减小至约1.99 °C，调节时间为105 min。与PID相比，MPC将侧线超调减少了93%（从27.72 °C降至1.99 °C）。然而，MPC的石脑油FBP调节时间（271 min）长于PID（12 min），这反映了线性MPC应用于非线性过程时的固有保守性——随着系统偏离初始稳态，塔动态的线性近似逐渐变得不准确，迫使优化器优先考虑可行性而非速度。MPC通过其多变量优化实现了这一点，该优化显式考虑了塔顶温度与侧线质量流量之间的耦合。

使用AIPC控制器时，石脑油FBP在约203 min内达到设定值并稳定，侧线FBP超调仅为1.84 °C，调节时间为93 min。与MPC相比，AIPC将石脑油FBP调节时间减少了25%（203 vs. 271 min），将侧线FBP调节时间减少了11%（93 vs. 105 min），同时保持了相当的侧线超调（1.84 °C vs. 1.99 °C）。这一性能优势源于三个因素：(i) TD3策略在PINN环境中训练，该环境捕获了过程在运行范围内的非线性稳态输入-输出关系，而MPC使用的线性状态空间模型仅在标称工作点附近准确；(ii) 离线训练的策略通过单次神经网络前向传播执行确定性控制动作，消除了实时迭代优化；(iii) 奖励函数在每一步控制中对两个质量指标的跟踪误差进行惩罚并正则化控制力度，因此策略被训练为最小化轨迹上的累积跟踪误差，这有利于快速收敛且超调有限。与PID控制器相比，AIPC将侧线FBP超调减少了93%（从27.72 °C降至1.84 °C），同时实现了相当的调节时间（93 vs. 88.3 min）。虽然石脑油FBP的收敛速度慢于PID控制（203 vs. 12 min），但这种权衡反映了AIPC的协调多变量动作，它抑制了分散PID回路引起的大幅侧线FBP超调。

图16展示了操纵变量对应的轨迹。PID控制器表现出相对显著的MV变化，因为其两个分散控制回路独立动作。在相同的MV上限下，MPC和AIPC协调控制输入。与MPC相比，AIPC产生更频繁但有界的调整，这与其更快的侧线FBP响应相关。相比之下，MPC产生更平滑和渐进的MV轨迹。尽管控制动作存在差异，但两种控制器在整个设定值跟踪测试中均满足规定的上限约束。无扰动条件下的比较结果汇总于表13。

下载：下载高分辨率图像（349KB）
下载：下载全尺寸图像

图16. 基于PID、MPC和AIPC控制器的操纵变量轨迹：(a, c, e) 塔顶温度和(b, d, f) 侧线质量流量。

表13. 无扰动条件下的比较结果。

| 控制器 | 石脑油FBP超调（°C） | 石脑油FBP调节时间（min） | 侧线超调（°C） | 侧线调节时间（min） |
|--------|-------------------|------------------------|--------------|-------------------|
| AIPC | 0 | 203 | 1.84 | 93 |
| MPC | 0 | 271 | 1.99 | 105 |
| PID | 0.09 | 12 | 27.72 | 88.3 |

4.4.2. 扰动场景评估

为进一步评估AIPC控制器在大规模扰动条件下的表现，设计了两大类扰动场景：原油性质变化（场景A）以及原油性质和吞吐量同时变化（场景B）。在原油进料段，轻质原油和重质原油在原油罐中混合，然后由原油泵抽出。

粗油处理量和轻原油流入罐的流量由流量控制器调节，而重原油的流入则与粗油罐液位进行串级控制。在两种场景下，均对 AIPC、AIPC-OE 和 MPC 控制器进行了比较。操作员经验控制策略旨在处理偏离约束边界的工况。当关键质量指标违反约束边界时，基于规则的纠正措施将被激活，以增强系统在大扰动下的鲁棒性。具体而言，当石脑油终馏点超过上限时，塔顶温度设定值降低 0.5°C；当石脑油终馏点低于下限时，塔顶温度设定值提高 0.5°C。该过程持续进行，直到石脑油终馏点返回约束范围内，随后控制切换回 AIPC 控制器。类似地，对于侧线终馏点，当其超过上限时，侧线质量流量减少 0.5 t/h；当其低于下限时，侧线质量流量增加 0.5 t/h。该混合策略通过受操作员启发式规则，确保在可行域外安全恢复约束，同时在指标返回可行范围后利用 AIPC 实现最优控制，从而在大扰动下的约束满足与稳态优化性能之间取得平衡。

在粗油性质变化场景下，总粗油处理量保持恒定，同时通过调整重油（Oil1）和轻油（Oil2）的混合比例来改变粗油进料组成，以模拟粗油性质的波动。每隔 8 分钟，Oil2 的流量减少 10 t/h，同时相应增加 Oil1 的流量以保持总处理量恒定。在整个扰动过程中，DRL 控制器被要求将石脑油终馏点设定值从 155°C 提高到 165°C，将侧线终馏点设定值从 210°C 提高到 230°C。采用这一相对保守的目标是为了在本场景中粗油性质发生显著变化的情况下保持产品质量控制的安全裕度。Oil1 流量、Oil2 流量和总处理量的变化如图 17 所示。在前 100 分钟内，轻油流量持续下降，同时重油流量相应增加。此后在 100 至 500 分钟的期间内，两个变量均持续变化。因此，粗油罐中混合原油的性质在整个模拟时间范围内持续演变，对控制系统构成持续的扰动。

图 18 比较了三种策略在粗油性质变化下的控制性能（定量指标见表 14）。对于石脑油终馏点，三种控制器均实现了小于 2°C 的峰值超调（AIPC：0.79°C；AIPC-OE：1.59°C；MPC：0°C）。调节时间定义为从 t = 0 min 开始，受控变量进入设定值 ±1.5°C 范围内并随后保持在该范围内的时间，AIPC 为 392 min，AIPC-OE 为 437 min，MPC 为 201 min。对于侧线终馏点，标准 AIPC 控制器表现出 9.36°C 的超调和 249 min 的调节时间。AIPC-OE 控制器将超调降低至 5.21°C（降低 44%），并实现 218 min 的调节时间（改善 12%）。MPC 控制器表现出 7.3°C 的中间超调值和最快的 143 min 调节时间，这得益于其保守的响应避免了大的瞬态峰值。

图 19 展示了操作变量的轨迹。AIPC 控制器在塔顶温度设定值上产生激进的调整，而 AIPC-OE 控制器由于约束引导规则表现出更温和的变化。MPC 产生了最平滑且最渐进的操作变量轨迹，证实了线性 MPC 对非线性动态的响应-保守权衡。

在同时变化场景下，总粗油处理量和粗油组成同时变化，以模拟更复杂的大规模扰动条件。Oil1 流量、Oil2 流量和总处理量的变化如图 20 所示。每隔 8 分钟，总粗油处理量减少 10 t/h，而轻油（Oil2）流量保持在 200 t/h 恒定。由于总处理量逐步减少而 Oil2 流量保持不变，重油（Oil1）流量相应减少，导致粗油性质和总处理量同时变化。在此过程中，AIPC 控制器被要求将石脑油终馏点设定值从 155°C 提高到 165°C，将侧线终馏点设定值从 210°C 提高到 230°C。与场景 A 一样，这些保守的设定值目标被保留以在大扰动下维持产品质量安全裕度。

图 21 比较了在粗油性质和处理量同时变化下的控制性能（定量指标见表 14）。对于石脑油终馏点，三种控制器均实现了较低的超调（AIPC：0.95°C；AIPC-OE：0.92°C；MPC：0.31°C）和相当的调节时间（AIPC：207 min；AIPC-OE：200 min；MPC：212 min）。对于侧线终馏点，AIPC 控制器表现出 1.98°C 的超调和 209 min 的调节时间，AIPC-OE 达到 2.25°C 和 206 min，而 MPC 达到 2.71°C 和 176 min。AIPC 和 AIPC-OE 均比 MPC 更有效地抑制了侧线终馏点的超调。

图 22 展示了相应的操作变量变化。AIPC 控制器产生更频繁的调整以补偿双重扰动，而 AIPC-OE 控制器由于该场景中约束偏离较为温和而表现出相似的操作模式。MPC 提供了最平滑的操作变量轨迹。

两种扰动场景的定量指标总结于表 14 中。这些结果表明，AIPC 框架提供了一种灵活有效的方法来管理大规模扰动。AIPC-OE 策略在两种场景中都证明是有益的，相比单独的 AIPC 进一步改善了侧线终馏点的控制。值得注意的是，AIPC 和 AIPC-OE 在同时变化下也比 MPC 更有效地抑制了侧线终馏点的超调。这些侧线终馏点的改善是以场景 A 中石脑油终馏点调节为代价的，其中 AIPC-OE 表现出比 AIPC 更长的石脑油终馏点调节时间和更高的超调。这种权衡源于操作员经验模块优先考虑侧线终馏点的约束满足并暂时降低石脑油终馏点调节的优先级（该设计选择已通过在同一扰动下实现显著的侧线终馏点改善得到验证）。在场景 B 中，这种权衡减弱了，因为三种控制器均产生相当的石脑油终馏点性能，进一步证实了基于 DRL 的方法的主要区别在于侧线终馏点控制，其中非线性动态和强变量间耦合对传统方法构成了更大的挑战。

## 5. 结论与未来工作

本研究开发了一种基于 AIPC 的控制器用于化工过程控制，并在原油蒸馏装置的前塔中进行了验证，在该装置中石脑油和侧线产品的终馏点必须在显著的耦合和非线性条件下精确调节。该框架集成了嵌入单调性约束的 PINN 环境模型、具有系统性奖励设计的 TD3 智能体、稳态检测模块、控制动作死区以及 AIPC-OE 策略。

PINN 代理模型在匹配 ANN 预测精度的同时执行了过程的物理单调关系，将最坏情况违反率从 24.24% 降低至 0.15%。无需重新训练，PINN 训练的策略在约 91% 的剩余模拟时间内将侧线终馏点保持在 ±1.5°C 目标带内，而 ANN 训练的策略约为 60%，操作变量的变化仅为约 0.06°C 和 0.06 t/h。此外，所有三种奖励公式均训练了有效的策略，具有相当的控制性能，而高斯奖励提供了最一致的学习效果。

稳态检测模块减轻了超调并减少了部署期间的调节时间，控制动作死区避免了在受控变量接近其目标值时不必要的持续调整。在无扰动基线中，基于 AIPC 的控制器将侧线终馏点的超调减少了 93%，相比基于 PID 的控制器（1.84°C 对 27.72°C），并且石脑油和侧线终馏点的调节时间分别比基于 MPC 的控制器快 25% 和 11%（203 min 对 271 min，93 min 对 105 min）。

在粗油性质变化下，AIPC-OE 策略在单独的基于 AIPC 的控制器基础上进一步将侧线终馏点的超调减少了 44%（从 9.36°C 到 5.21°C），并将收敛到 ±1.5°C 带的时间加快了 12%。在粗油性质和处理量同时变化下，两种基于 DRL 的控制器都比基于 MPC 的控制器更有效地抑制了侧线终馏点的超调（1.98°C 和 2.25°C 对 2.71°C）。总体而言，这些结果表明，在物理信息代理环境上训练并在严格动态模型上验证的深度强化学习，为工业过程的智能控制提供了一条实用且可靠的路径。

所提出的框架在单一前塔上使用严格的第一性原理动态模型进行了验证；其向其他工艺单元的适用性仍有待研究。为此，未来的工作将探索将严格动态模型作为训练环境，在工业规模装置上验证该方法，并研究在实时测量和安全约束下的在线部署。

### 变量定义

- $k$：当前采样时刻
- $P$：预测时域
- $i$：预测时域内未来时间步的索引（$i = 1, ..., P$）
- $MV$：操作变量
- $CV_{SP}$：受控变量设定值
- $CV_{PV}$：受控变量的过程值
- $\Delta MV$：操作变量的变化量
- $w_1$：设定值跟踪误差的加权系数
- $w_2$：控制量的加权系数
- $N$：稳态检测使用的样本数
- $x_i$：第 $i$ 个样本的值
- $\bar{x}$：样本的均值
- $\sigma$：样本的标准差
- $CV_{SP,target}$：受控变量目标设定值
- $m$：当前时间步
- $T$：参考轨迹的时间常数
- $T_s$：采样周期
- $r$：奖励
- $a_1, a_2, b_1, b_2, c_1, c_2$：奖励函数的参数
- $MSE$：均方误差
- $RMSE$：均方根误差
- $R^2$：决定系数
- $L_{data}$：数据损失项
- $L_{phy_T}, L_{phy_F}$：物理引导损失项
- $L_{total}$：总损失
- $\lambda_1, \lambda_2$：加权因子

### 缩写

- $DRL$：深度强化学习
- $TD3$：双延迟深度确定性策略梯度
- $DDPG$：深度确定性策略梯度
- $AIPC$：基于人工智能的过程控制
- $PID$：比例-积分-微分
- $MPC$：模型预测控制
- $NMPC$：非线性模型预测控制
- $MIMO$：多输入-多输出
- $SSD$：稳态检测
- $FBP$：终馏点
- $ANN$：人工神经网络

### CRediT 作者贡献声明

- 王海：撰写 – 审阅与编辑，撰写 – 原稿，概念构思
- 李少军：撰写 – 审阅与编辑
- 张楠：撰写 – 审阅与编辑

王海 | 李少军 | 张楠