参数波动条件下基于主动学习的补料分批发酵过程自主控制

《Computers & Chemical Engineering》:Active learning-based autonomous control for fed-batch fermentation process under parameter fluctuations

【字体: 大 中 小 】 时间:2026年10月23日 来源:Computers & Chemical Engineering 4.9

编辑推荐:

   • 提出了一种新颖的目标导向自主控制(GOAC)框架。• GOAC主动平衡过程利用与主动探索。• 一种动态区间分配算法优化探索空间。• 该策略在补料分批发酵中最大化产品产量。 1. 引言 生物制造通过利用生物系统作为细胞工厂,以可持续的方式生产药物、生物燃料和高价值化学品,

  

• 提出了一种新颖的目标导向自主控制(GOAC)框架。• GOAC主动平衡过程利用与主动探索。• 一种动态区间分配算法优化探索空间。• 该策略在补料分批发酵中最大化产品产量。

1. 引言
生物制造通过利用生物系统作为细胞工厂,以可持续的方式生产药物、生物燃料和高价值化学品,已成为全球经济的重要驱动力(Straathof等,2019)。发酵工程是该领域的技术基础,过程控制性能直接影响生产效率、运行成本和产品质量。在可用的培养策略中,补料分批发酵(FBF)因其卓越的生产力、操作灵活性和较低的微生物污染风险而成为主要的工业生产模式(Li等,2025)。

在补料分批发酵中,底物进料是协调生物量生长、产品形成和产品质量的主要被控输入。有效操作需要充足的底物以避免营养饥饿和过早进入稳定期,同时防止溢出代谢、抑制性副产物积累和产品纯度下降(Bolmanis等,2023;Wu等,2024)。预定义的开环曲线仍然具有吸引力,因为它们易于实现和验证,但当随机过程演变、原料变化或批间差异发生时,它们可能与瞬时代谢需求不匹配。这促使根据当前发酵状态而非仅根据进料方案进行闭环进料调整。

因此,先进的补料分批发酵控制沿着几个互补的方向发展。基于模型的自适应优化和近似动态规划在线更新不确定的过程描述或在运行中补偿模型失配(Mears等,2017;Yuan等,2024;Van Impe和Bastin,1995;Hung等,2025)。数据驱动方法,包括深度强化学习和神经网络控制,在第一性原理描述不完整时支持决策(Chandrasekaran等,2025;Li等,2024b;Li等,2024a)。模型预测控制(NMPC)也是一种核心的约束控制工具,因为它能容纳执行器限制、状态约束和收缩时域优化(Nagy,2007)。近期的NMPC formulations纳入了胞内通量模型、动态酶成本模型和赖氨酸软测量,在更丰富的生理描述下改进进料决策(Chang等,2016;Espinel-Ríos等,2022;Wang等,2020a)。

在线监测、混合模型、贝叶斯推断和粒子方法通过更新的过程信息支持自适应补料分批发酵操作(Zhang和Lennox,2004;Bangi等,2022;Cabaneros Lopez等,2021;Fernández等,2020;Sinner等,2022)。工业应用包括与MPC耦合的多速率状态估计(Shah等,2023)以及针对发酵数据验证的计算高效的LSTM-Euler混合模型(Khambhawala等,2026)。

鲁棒和自适应MPC,包括与主动学习相关的补料分批发酵公式,可以解决扰动、有界不确定性和模型失配问题(Acikmese和Carson,2006;Bolmanis等,2023;Byun等,2020)。本研究关注一个更窄的问题:根据生产证据在线推断不确定的时变生产底物目标。因此,该目标既不是固定参考值,也不是纯粹的名义模型量。这种区分很重要,因为生产底物区域可能随生理需求、动力学变化和操作条件而移动(Shah等,2022;Müller等,2023)。因此,进料控制可能受益于同时更新不确定的动力学参数和该不确定性所隐含的目标(Zhang等,2017)。

基于这一差距,本研究采用目标导向自主控制(GOAC)结构用于赖氨酸补料分批发酵(Chen,2024;Chen等,2021;Li等,2025a)。在所提出的方案中,测量的状态转移和已施加的进料更新不确定抑制参数的有界后验;测量的产品质量增量识别并细化生产底物区域;所得后验矩被传递给进料决策。这样,控制器利用当前目标估计,同时通过决策目标中使用的不确定性项保留双重控制效果。

本研究的主要贡献总结如下:

• 我们提出了一种目标导向自主控制框架,将控制范式从静态轨迹跟踪转变为自主目标发现与跟踪。通过将主动学习与最优决策相结合,该框架使补料分批发酵系统能够动态识别并同步时变的最优底物浓度,即使存在代谢不确定性。

• 构造了一种新颖的双重自适应目标函数,消除对预定义参考轨迹和确定性动力学参数的传统依赖。通过将控制动作与固定先验解耦,该设计允许控制器实时更新最优目标浓度,有效地将不可预测的环境变异性转化为主动目标寻求过程。

• 引入了一种动态参数估计策略,将区间分配与主动学习融合。通过顺序反馈显式压缩可行参数空间,该机制显著增强了目的性探索。这确保控制器能够快速锁定移动的最优目标浓度,同时在底层生理机制部分未知时保持高计算效率。

第2节建立控制问题,第3节提出GOAC,第4节报告评估结果,第5节总结全文。

2. 问题描述

2.1. 过程建模
本研究考虑使用Fb42菌株的赖氨酸补料分批发酵。其生长受到最大生物量浓度的限制,并在高底物水平下受到抑制。遵循Li等(2022,2023)中已建立的分批模型,我们首先在添加进料稀释之前定义固有的生物速率:

(1) rc(c,s) = μmax c/(1?c/cmax) · 1/(1+s/KI)
rp(c,s) = K1·rc(c,s) + K2·s/(s+Ksp1)/(1+s/Kip)·c
rs(c,s) = ?1/Yc·rc(c,s) ? 1/Yp·rp(c,s) ? mf·c

在上述公式中,过程参数列于表1中。

考虑补料操作,注入的液体增加发酵液体积,同时稀释生物量和产品浓度。因此,补料分批平衡方程通过将公式(1)中的固有转化速率与物理稀释和进料添加项相结合来表述:

(2) dc/dt = rc(c,s) ? uc/V
(3) dp/dt = rp(c,s) ? up/V

由于进料溶液与发酵液之间的浓度差,底物的动态质量平衡关系将采取以下形式:

(4) ds/dt = rs(c,s) + u(sf?s)/V

同时,补料操作对发酵液体积V影响的公式如下:

(5) dV/dt = u

表1. 补料分批发酵过程参数。

| 参数 | 符号 | 值 | 单位 |
|------|------|------|------|
| 生物量浓度 | c | – | g·L?1 |
| 底物浓度 | s | – | g·L?1 |
| 产品浓度 | p | – | g·L?1 |
| 微生物最大比生长速率 | μmax | 0.28 | h?1 |
| 微生物最大浓度 | cmax | 15 | g·L?1 |
| 底物抑制常数 | KI | 102.1 | g·L?1 |
| 生长耦联产品生成系数 | K1 | 0.46 | gpg·gc?1 |
| 非生长偶联产品形成系数 | K2 | 0.18 | gpg·gc?1·h?1 |
| 底物对产品形成的抑制程度 | Ksp1 | 2.2 | g·L?1 |
| 底物转化为微生物的真实转化率 | Yc | 0.51 | gcg·gs?1 |
| 底物转化为产品的真实转化率 | Yp | 0.61 | gpg·gs?1 |
| 细胞维持系数 | mf | 0.04 | gsg·gc?1·h?1 |
| 底物对产品抑制常数 | Kip | 41.5 | g·L?1 |
| 底物进料速率 | u | – | L·h?1 |
| 进料溶液中底物浓度 | sf | 600 | g·L?1 |
| 发酵液体积 | V | – | L |

结合固有速率与稀释及入口项,得到补料分批赖氨酸发酵模型,见公式(6)。将生物转化与稀释和入口传输分离,可防止稀释效应在产品和底物平衡中被重复计算。

(6) dc/dt = rc(c,s) ? uc/V
dp/dt = rp(c,s) ? up/V
ds/dt = rs(c,s) + u(sf?s)/V
dV/dt = u

其中Kip表示不确定的底物抑制参数,其在线变化由学习层估计。

为支持控制器推导,连续时间模型被离散化为:

(7) xk+1 = f(xk) + g(xk)·u
yk = H(k)·xk

其中xk = [ck, pk, sk, Vk]?,yk = [sk]。被控输入u为底物进料速率。函数f(xk)表示无进料情况下的生物状态演变,g(xk)将进料映射为体积膨胀和底物质量添加,H(k)将状态映射为测量的底物输出。

2.2. 最优操作条件
补料分批发酵使用受控条件下的微生物代谢来生产目标化合物。总产品质量根据产品浓度和发酵液体积计算如下:

(8) P(t) = p(t)·V(t)

其中p(t)是时间t时的产品浓度,V(t)是发酵液体积。

目标是在有限生产窗口内最大化产品质量。因此,我们将产品形成与受控底物浓度联系起来。

从公式(6)中的产品浓度平衡出发,总产品质量满足:

(9) dP(t)/dt = V(t)·dp(t)/dt + p(t)·dV(t)/dt
(10) dP(t)/dt = V(t)·rp(c(t),s(t)) ? u(t)·p(t)/V(t) + p(t)·u(t)
(11) dP(t)/dt = V(t)·rp(c(t),s(t))

对[0,t]积分得到:

(12) Ptotal(t) = P(0) + ∫?? V(τ)·rp(c(τ),s(τ))dτ

其中Ptotal(t)表示时间t时的总产品质量,P(0) = p(0)·V(0)。时间τ时的状态向量为x(τ) = [c(τ), p(τ), s(τ), V(τ)]?。此表达式在量纲上与P(t) = p(t)·V(t)一致,因为产品稀释和体积膨胀相互抵消。

在周期T内的产品增量为:

(13) R(tk) = Ptotal(tk) ? Ptotal(tk?T)

代入(12)得到:

(14) R(tk) = ∫?????? V(τ)·rp(c(τ),s(τ))dτ
R(tk) = M(x,u)

在每次更新时,最大化有限窗口内的产品增量以促进最终产品积累。

补料分批发酵中的产品形成强烈依赖于底物浓度,这影响细胞生长、耗氧率以及产品和副产物的形成速率。因此,识别适当的底物浓度对于平衡生长和产品合成至关重要(Wang等,2020b)。

在更新时刻tk,最优底物浓度定义为在当前信息集下,使预测的有限窗口产品质量增量最大化的允许水平:

(15) s*(tk) ∈ argmax_{σ∈S} R?(tk;σ|Zk)

其中S为允许的底物范围,Zk为更新时可用的信息,R?为公式(14)中增量的后验预测。对应的最大值为R*(tk) = R?(tk;s*(tk)|Zk)。因此,该目标既不是固定参考值,也不是瞬时产品形成或底物产率单独的最大化值。因此,控制问题是在当前发酵动力学下估计该有限时域浓度,并通过进料速率将发酵液底物调节到该估计值(见图1)。

图1. 所提出的补料分批发酵过程目标导向自主控制框架示意图。该框架由三个相互关联的模块组成。A. 补料分批发酵过程:受各种未知和时变条件影响的物理过程,如最优底物浓度、抑制常数和原料波动。B. 基于动态区间分配策略的学习层:利用动态区间收缩机制漏斗,根据实时测量结果从时间k到k+1依次筛选低概率估计器,将先验分布重新分配为高度集中的后验分布。C. 基于双重效应的控制层:通过动态平衡利用(最小化跟踪误差)和探索(最小化估计误差)来优化控制输入。

3. 补料分批发酵的GOAC框架

3.1. 自主控制器设计
受第2.2节讨论的启发,控制输入uk的设计目的是使底物浓度接近学习到的最优底物浓度。学习量s(k+1|k)*表示在当前后验模型下有限时域底物目标的一次更新近似值。因此,基本控制目标表述为:

(16) min_{uk∈Uk} J? = min_{uk∈Uk} E[‖yk+1|k ? s(k+1|k)*‖2_Q | Zk]

其中yk+1|k是一次更新的底物预测,Zk是计算当前进料前可用的信息。

目标函数中包括输入幅值惩罚项,与原公式一致:

(17) min_{uk∈Uk} J = min_{uk∈Uk} E[‖yk+1|k ? s(k+1|k)*‖2_Q | Zk] + ‖uk‖2_R

学习层中的支撑点是学习候选项而非进料候选项。其后验权重和模型预测决定了传递给控制器的矩。物理层随后计算单一的实时进料动作。一旦施加,该进料产生状态转移和产品质量增量,用于下一次后验更新,从而闭合学习-控制回路(见表2)。

对于公式(17)中的跟踪项,定义后验均值:

(18) ?k+1|k = E[yk+1|k | Zk]
(19) s?k+1|k = E[s(k+1|k)* | Zk]

相应的零均值偏差为:

(20) ?k+1|k = yk+1|k ? ?k+1|k
(21) s?k+1|k = s(k+1|k)* ? s?k+1|k

表2. 自主控制器中使用的符号。

| 符号 | 含义 |
|------|------|
| yk+1|k | 时间k+1时的预测底物浓度 |
| s(k+1|k)* | 学习到的有限时域目标的一次更新近似值 |
| s?k+1|k | s(k+1|k)*的后验均值估计 |
| s?k+1|k | 相对于s?k+1|k的目标估计误差 |
| ?k+1|k | 过程输出的后验均值预测 |
| ?k+1|k | 相对于?k+1|k的输出预测误差 |
| Σy, Σs | 边际输出和目标协方差矩阵 |
| Σys | 输出-目标交叉协方差矩阵 |
| Q | 跟踪和不确定性加权矩阵 |
| R | 控制努力加权矩阵 |
| λ | 非负正则化标量 |
| Uk | 时间k时的允许输入集 |

因此:

(22) E[?k+1|k | Zk] = 0
(23) E[s?k+1|k | Zk] = 0

跟踪误差因此分解为均值分量和估计误差分量:

(24) yk+1|k ? s(k+1|k)* = ?k+1|k ? s?k+1|k + ?k+1|k ? s?k+1|k

将(24)代入条件跟踪目标得到:

(25) J_track_full = ‖?k+1|k ? s?k+1|k‖2_Q + E[‖?k+1|k‖2_Q | Zk] + E[‖s?k+1|k‖2_Q | Zk] ? 2E[?k+1|k?·Q·s?k+1|k | Zk]

边际输出协方差、目标协方差和输出-目标交叉协方差为:

(26) Σk+1|k_y = E[?k+1|k·?k+1|k? | Zk]
(27) Σk+1|k_s = E[s?k+1|k·s?k+1|k? | Zk]
(28) Σk+1|k_ys = E[?k+1|k·s?k+1|k? | Zk]

因此跟踪目标的完整协方差形式为:

(29) J_track_full = ‖?k+1|k ? s?k+1|k‖2_Q + tr(Q·Σk+1|k_y + Σk+1|k_s ? 2Σk+1|k_ys)

注1 目标分解
公式(29)中的第一项量化了利用:

(30) J_expt = ‖?k+1|k ? s?k+1|k‖2_Q

它驱动预测底物浓度向学习目标的后验均值靠拢。两个边际协方差项定义了探索贡献:

(31) J_expl = tr(Q·Σk+1|k_y) + tr(Q·Σk+1|k_s)

公式(31)中的第一项惩罚预测底物响应中的不确定性。第二项代表学习目标中的不确定性。剩余的贡献是输出-目标交叉协方差项:

(32) J_cross = ?2·tr(Q·Σk+1|k_ys)

该项描述了预测误差和目标估计误差之间的统计耦合。

将交叉协方差项设为零仅在以下条件满足时是精确的:

(33) Σk+1|k_ys = 0

例如,当?k+1|k和s?k+1|k给定Zk时条件独立时成立。在加权矩阵Q下的条件不相关性是一个更一般的充分条件。

满足该条件的一个具体部分参数化情形包含一个不确定的过程参数ηk,例如sf,k或mf,k。生产底物目标s(k+1|k)*也是不确定的,因为存在独立的批次特异性或外生因素ζk,例如不由ηk表示的批间变异性。对于固定的Zk和给定的允许控制输入uk,中心化输出误差仅是ηk的函数,而中心化目标误差仅是ζk的函数。活动参数上的波浪号表示其相对于条件均值的偏差。

单次更新底物平衡给出

(34) η_k ∈ {sf,k, mf,k},

(35) ?_{k+1|k}(η) = { Δt·u_k·V_k·s?_{f,k}, η_k = sf,k; ?Δt·c_k·m?_{f,k}, η_k = mf,k },

(36) s*_{k+1|k} = G_k(ζ_k),

(37) s?_{k+1|k}(ζ) = G_k(ζ_k) ? E[G_k(ζ_k) | Z_k],

(38) η_k ⊥ ζ_k | Z_k,

(39) Σ_{k+1|k}^{ys} = E[?_{k+1|k}(η)·s?_{k+1|k}(ζ)? | Z_k] = E[?_{k+1|k}(η) | Z_k] × E[s?_{k+1|k}(ζ)? | Z_k] = 0。

式 (39) 中的第二个等式来自条件独立性,最后一个等式来自中心化误差的零条件均值。因此,在由独立批次因子驱动目标不确定性的单未知参数部分模型中,原始公式中的零交叉协方差假设是精确成立的;不过,两个边际协方差仍然可以保持非零。

当配对的后续分支共享同一个不确定参数时,既不能假设条件独立性条件,也不能假设分离通道构造。尽管如此,如果被省略的标量与当前决策独立,则简化后的控制器仍然与完整目标在优化上等价:

(40) ?/?u_k tr(QΣ_{k+1|k}^{ys}) = 0。

该条件在后验分支之间具有公共输入灵敏度,或输入增益偏差与目标偏差之间满足加权正交性时成立。在匹配的 S1、S2 和 S8 对比中,在同一状态和后验下投影进料速率的差异最大为 2.00×10?? L h?1,场景平均最终产物质量的相对变化范围从 +0.000311% 到 +0.00290%。这些结果支持在该测试场景中采用此近似,但不意味着 Σ_{k+1|k}^{ys} 一般为零。

因此,所实现的控制器保留了原始的均值跟踪和边际不确定性结构,并求解

(41) min_{u_k∈U_k} J_red = min_{u_k∈U_k} [‖?_{k+1|k} ? s?_{k+1|k}‖_Q2 + tr(QΣ_{k+1|k}^y) + tr(QΣ_{k+1|k}^s) + ‖u_k‖_R2]。

该后验矩形式遵循了 DCEE 对开发(利用)与探索的分解(Chen et al., 2021, Li et al., 2025b)。对于后 验分支 i,局部单步更新仿射预测为

(42) y_i = H(f_i + g_i·u_k),

其中 π_i 是后验分支权重,∑_i π_i = 1。将分支预测代入 (41) 得到

(43) J_red = u_k?·S_k·u_k + 2·b_k?·u_k + const。

Hessian 矩阵为

(44) S_k = R + λI + ∑_i π_i·g_i?·H?·Q·H·g_i。

线性系数为

(45) b_k = ∑_i π_i·g_i?·H?·Q·H·f_i ? s?_{k+1|k}。

无约束最优解为

(46) u*_{k,unc} = ?S_k?·b_k。

通过投影获得可行的进料量:

(47) u*_k = Π_{U_k}(u*_{k,unc})。

权重矩阵满足 Q ? 0 和 R ? 0,后验权重满足 π_i ≥ 0,且 λ ≥ 0。因此,S_k 中的每一项都是半正定的。若 R + λI ? 0,则 S_k ? 0,无约束最优解唯一。否则,S_k? 给出 Moore–Penrose 伪逆解。投影随后强制执行泵、移动速率和剩余体积的约束。

**3.2 动态区间分配学习层**

为执行控制策略,学习层在线更新不确定的动力学参数及相应的生产力底物目标。因此,采用贝叶斯框架来辨识不确定的发酵参数(Fernández et al., 2020)。与最大似然和最小二乘法(给出点估计,de Medeiros et al., 2019, Cabaneros Lopez et al., 2021)不同,贝叶斯方法提供了后验分布,从而直接描述参数不确定性。

在时间步 k,令 x_{u,k} = [c_{km}, p_{km}, s_{km}]? 表示释放的浓度测量值,令 R_k = ΔP_{km} 表示测量的产物质量增量。当前信息状态及其历史为

(48) I_k = [R_k, x_{u,k}?]?,

(49) I_{k-1} = {I_1, I_2, …, I_k}。

转换模型使用释放的浓度测量值、已知的进料库存量以及施加进料的历史。

贝叶斯估计用于未知量 θ。在收集到新信息 I_k 之后,其后验通过

(50) p(θ_k | I_k) = p(I_k | θ_k)·p(θ_k | I_{k-1}) / p(I_k | I_{k-1})

进行更新。

测量的转换首先更新 K_{ip},然后 R_k 更新生产力底物目标。候选底物点生成产物增量的单步更新预测。控制层在收到更新后的参数和目标统计量后才计算物理进料量。

由于连续后验的直接计算通常不切实际,参数空间通过区间划分进行近似。对于 θ = K_{ip}(n_θ = N)或 θ = s*(n_θ = M),将已知的全域 [θ_min, θ_max] 划分为等距区间,其中点为

(51) ξ_θ = (θ_max ? θ_min) / n_θ,

(52) θ^(i) = θ_min + (i ? 1/2)·ξ_θ,i = 1, …, n_θ。

一旦建立了这个离散集,后验就用加权样本表示,其标称值为加权均值。令 F_k(m) = ∑_{i=1}^m w_k^(i),q_k(γ) = min{m : F_k(m) ≥ γ},区间边界 e_i = θ_min + i·ξ_θ,则

(53) p(θ_k | I_k) ≈ ∑_{i=1}^{n_θ} w_k^(i)·δ(θ_k ? θ^(i)),

(54) θ?_k = ∑_{i=1}^{n_θ} w_k^(i)·θ^(i),

(55) Ω_{θ,k}^{1?α} = [e_{q_k(α/2)?1}, e_{q_k(1?α/2)}]。

全局支撑集保持固定,而后验权重移动和重新调整活跃可信区间的大小。实现中使用 1 ? α = 0.90。

对于动力学参数,有界的最近邻提议 q_k(i) = ∑_r A_{ir}·w_{k?1}^(r) 在测量更新之前进行。令 k? 表示前一个测量时间,令 u_{k?:k?1} 收集在该转换期间施加的进料量。参数和产物证据权重为

(56) ?_k^(i) = F_{k?:k}(x_{u,k?}, V_{k?}, u_{k?:k?1}, K_{ip}^(i)),

(57) w_k^(i) = q_k(i)·exp[?1/2‖x_{u,k} ? ?_k^(i)‖_{S_{k?1}^{-1}}] / ∑_r q_k(r)·exp[?1/2‖x_{u,k} ? ?_k^(r)‖_{S_{k?1}^{-1}}],

(58) b_k^(i) = w_k^(i)·exp[?(R_k ? ΔP?_k^(i))2/(2σ_{ΔP,k}2)] / ∑_r w_k^(r)·exp[?(R_k ? ΔP?_k^(r))2/(2σ_{ΔP,k}2)]。

边界处的质量被反射到最近的端区间。创新触发的均匀混合和有界均匀重置防止集中或退化的后验排除新出现的可能区域。

在参数更新之后,每一对 (K_{ip}^(i), s^(j)),s^(j) ∈ S_M,预测单步更新增量 ΔP?_{k+1|k}^(i,j)。令 κ_k(i,j) 为其目标兼容核,令 C_k 为真实目标后验 r_k 的等尾 90% 可信区域。虚拟阶段为

(59) r_k^(j) = ∑_i b_k^(i)·κ_k(i,j),

(60) q_{v,k}^(j) = I{s^(j) ∈ C_k} / ∑_m I{s^(m) ∈ C_k},

(61) a_k^(j) = E_{b_k}[ΔP?_{k+1|k}^(i,j)] + β·Var_{b_k}[ΔP?_{k+1|k}^(i,j)],

(62) ν_k(i,j) = q_{v,k}^(j)·κ_k(i,j)·exp{τ[a?_k^(j) + ΔP?_{k+1|k}^(i,j)]} / ∑_m q_{v,k}^(m)·κ_k(i,m)·exp{τ[a?_k^(m) + ΔP?_{k+1|k}^(i,m)]}。

因此,q_{v,k} 是一个等权重的虚拟先验,仅在动态选择的真实可信区域内定义。其精炼结果产生虚拟后验 ν_k。控制层接收条件目标矩、输出支撑预测和分支权重 π_k(i) = b_k^(i)。在线控制器形成 (26)、(27) 中的边际协方差。公共分支索引单独保留,用于备注 1 中的完整与简化审计。

**3.3 集成 GOAC 实现**

令 T_1、T_2 和 T_u 分别表示测量处理、后验更新和物理进料更新周期。这些时钟不必重合。在每个控制时刻,最新可用的后验与零阶保持进料相结合。新释放的测量值与施加进料的历史进行匹配。学习层返回配对的信念 B_k,而不是进料命令。控制器随后根据 (47) 计算投影动作,并保留施加的进料量用于下一次转换更新。算法 1 和图 1 总结了这一序列。

下载:下载高分辨率图片 (318KB)
下载:下载全尺寸图片

**4. 模拟与评估**

**4.1 实验设计与基准公平性**

使用固定步长 RK4 模拟了 300 小时的赖氨酸模型,Δt = 0.02 h。初始状态为 c_0 = 5,p_0 = 0,s_0 = 50,V_0 = 10。测量处理、GOAC 后验更新和保持进料更新分别每隔 T_1 = 0.1、T_2 = 0.2 和 T_u = 0.2 小时发生一次。使用 50 个匹配种子对比 GOAC、A-MPC、Std-NMPC、ESC 和 bang-bang 控制(Torres et al., 2023)。

所有控制器都接收相同的含噪 c、p、s 测量值和进料库存体积。对于 S1–S5、S7 和 S8,独立的零均值高斯测量误差的标准差分别为 (0.05, 0.02, 0.20) g L?1,分别对应 (c, p, s),产物速率观测误差的标准差为 0.05 g L?1 h?1。每个匹配种子向每个控制器提供相同的测量和产物速率噪声实现。所有方法还共享 0 ≤ u_k ≤ 3 L h?1,|u_k ? u_{k?1}| ≤ 0.50 L h?1,V_k ≤ 30 L,以及最终可行性投影。GOAC 使用测量的转换、施加的进料量和产物增量。A-MPC 从单独的 120 粒子 K_{ip} 后验重新计算其机理底物目标。Std-NMPC 根据当前生物量信息和固定的标称值 K_{ip} = 41.5 g L?1,μ_max = 0.28 h?1,K_{sp} = 12.2 g L?1 重新计算相同的目标映射。两个 NMPC 基准都使用了 15 步预测时域、3 步控制时域、SLSQP,以及权重 Q_MPC = 1,R_MPC = 0.01,R_{Δ,MPC} = 20。

**GOAC 实现设置。** 参数后验在 [10, 70] g L?1 上使用 60 个区间,最近邻扩散 ρ_d = 0.10;目标后验在 [5, 45] g L?1 上使用 81 个点,90% 可信区域,β = 0.20,τ = 4。控制器使用 Q = 500,R = 0.20,λ = 10??;所有先验均为均匀分布。

**场景实现。** 仅列出与共同设置不同的偏离项,K_{ip} 单位为 g L?1。S1 在 100 和 200 小时处施加了 12–60–10 阶跃;S2 通过 84–102 和 186–204 小时的提高余弦斜坡将 10–70–10 平台连接起来。S3 使用了截断到 [10, 70] 的均值回归过程,均值在 90 和 195 小时处从 10 变到 70 再回到 10,回归系数为 0.35 h?1,扩散系数为 1.5 g L?1 h?1/2。在 S4 中,被控对象的 μ_max 和 K_{sp} 分别设为控制器值的 10% 以下和 15% 以上,然后分别乘以 1 + 0.15ζ(t) 和 1 + 0.20ζ(t),其中 ζ(t) = sin(2πt/300) + 0.35sin(6πt/300)。此外,K_{ip} = clip(K?_{ip} + 3ζ(t), 10, 70),其中 K?_{ip} 在 90 和 195 小时处遵循 12–66–10 阶跃。S5 在 100 和 200 小时处施加了严重的有效工况变化,使用 10–70–10 阶跃。S6 重复 S2,但将 (c, p, s) 噪声标准差从 (0.05, 0.02, 0.20) 提高到 (0.15, 0.06, 0.60) g L?1,产物速率噪声从 0.05 提高到 0.15 g L?1 h?1。S7 从 (c_0, p_0, s_0, V_0) = (3, 0, 20, 8) 开始重复 S2。S8 在 90 和 201 小时处施加 12–65–10 阶跃,测量每隔 0.6 小时释放,延迟 1 小时。

报告的底物产率 (%) 是每净消耗底物对应的净产物质量增加:

(63) Y_{P/S} = 100·(P(t_f) ? P(0)) / (s(0)·V(0) + s_f·∫?^{t_f} u(t)dt ? s(t_f)·V(t_f))。

如果没有记录到状态、输入或容器容量违规,则该运行是可行的。计时涵盖在线控制决策,不包括测量处理。计算作为单进程在 Windows 11 下的 Intel Core Ultra 5 125H 上运行,使用 Python 3.12.7、NumPy 1.26.4 和 SciPy 1.13.1;SLSQP 使用 10?? 函数容差,最多 100 次迭代。

**4.2 分段压力测试结果**

在 S1 中,GOAC 比 A-MPC 更快速地跟随了两个施加的 K_{ip} 变化,并随着后验变化更新底物目标(图 2)。控制层计算的进料量保持在投影范围内,同时使底物向这个时变目标移动(图 3)。在 50 次运行中,GOAC 产生了 4506.35 ± 0.31 g,比 A-MPC 高 17.92%,比 Std-NMPC 高 7.89%。GOAC 和 A-MPC 相应的 K_{ip} RMSE 值分别为 8.21 和 19.17 g L?1。

生产轨迹显示,性能差异在第一次参数变化之后开始显现,并持续到批次结束(图 2c, d)。GOAC 在五种策略中实现了最高的最终产物质量、产物浓度和底物产率(表 3)。Bang-bang 控制产生了较小的最终质量,同时反复切换进料;ESC 给出了最低的生产指标。所实现的 GOAC 更新每次决策需要 8.924 ± 0.269 ms,而 A-MPC 需要 17.156 ± 0.570 ms,Std-NMPC 需要 18.002 ± 0.586 ms(表 4)。这些时间反映了 GOAC 使用的分层更新和投影,以及两个 NMPC 基准使用的 SLSQP 求解。

下载:下载高分辨率图片 (582KB)
下载:下载全尺寸图片

**图 2.** S1 中种子 20260817 的参数学习和生产轨迹:(a) GOAC 和 A-MPC 的施加 K_{ip}、后验均值和 90% 可信区间(阴影带);(b) 控制器特定的底物目标和 GOAC 底物轨迹;(c) 总产物质量;(d) 产物浓度。面板 (c) 和 (d) 比较了所有五个控制器。

**表 3.** 50 次重复运行中的分段压力测试性能(均值 ± 标准差)。

| 策略 | 最终产物质量 (g) | 产物浓度 (g L?1) | 底物产率 (%) |
|------|-----------------|-----------------|-------------|
| GOAC | 4506.35 ± 0.31 | 158.471 ± 0.030 | 40.114 ± 0.001 |
| A-MPC | 3821.50 ± 18.35 | 133.347 ± 1.415 | 37.800 ± 0.101 |
| Std-NMPC | 4176.78 ± 0.38 | 148.746 ± 0.014 | 39.176 ± 0.001 |
| Bang-bang | 4264.52 ± 2.34 | 152.840 ± 0.439 | 39.579 ± 0.005 |
| ESC | 2235.71 ± 30.48 | 74.524 ± 1.016 | 24.730 ± 0.167 |

**表 4.** S1 中的在线决策时间(50 次运行,均值 ± 标准差);不包括测量处理。

| 策略 | 时域 | 决策结构 | 时间 (ms/次更新) |
|------|------|---------|-----------------|
| GOAC | 1/1 | 分层更新和投影 | 8.924 ± 0.269 |
| A-MPC | 15/3 | 参数更新和 SLSQP | 17.156 ± 0.570 |
| Std-NMPC | 15/3 | SLSQP | 18.002 ± 0.586 |
| Bang-bang | – | 死区切换 | 0.011 ± 0.000 |
| ESC | – | 扰动与观测 | 0.014 ± 0.000 |

下载:下载高分辨率图片 (968KB)
下载:下载全尺寸图片

**图 3.** S1 中所有五个控制器的底物调节和施加进料(种子 20260817)。(a) 底物浓度;插图放大了整个批次中 0–60 g L?1 的范围。(b) 投影进料速率;插图放大了 0–0.2 L h?1 范围内的 0–110 小时和 180–250 小时。虚线矩形和箭头标识了放大区域。Bang-bang 在 (b) 的主面板中以半透明蓝灰色显示,并从其插图中省略。主面板保留了完整的轨迹,包括超出插图限制的值。

**4.3 各场景性能**

在 S1–S8 中,GOAC 在每个匹配种子上都产生了最大的最终产物质量(图 4 和表 5)。其场景平均增益相对于 A-MPC 为 17.25%–30.75%,相对于 Std-NMPC 为 4.85%–9.22%。相对于 Std-NMPC 的增益在 S4 的多参数不匹配条件下最小,在 S5 的严重有效工况变化条件下最大。相对于 A-MPC 的最大增益出现在 S8 中,测量存在延迟且稀疏。GOAC 在 S6 中增加测量噪声后仍保持了 5.74% 的增益,在 S7 中从替代初始状态获得了 9.20% 的增益。

生产结果伴随着改进的参数学习指标。GOAC 的 K_{ip} RMSE 比 A-MPC 低 6.75%–61.20%,其经验 90% 覆盖率为 45.90%–87.45%,而 A-MPC 为 10.30%–40.44%。这些结果表明,生产优势在 S1–S8 所代表的突发、渐变、随机、耦合、嘈杂和延迟运行条件下持续存在。

**表 5.** 八个场景中的最终产物质量(均值 ± 标准差,g)。

| 场景 | GOAC | A-MPC | Std-NMPC | 相对于 A-MPC 的增益 | 相对于 Std-NMPC 的增益 |
|------|------|-------|---------|-------------------|---------------------|
| S1 分段压力 | 4506.35 ± 0.31 | 3821.50 ± 18.35 | 4176.78 ± 0.38 | 17.92% | 7.89% |
| S2 渐变漂移 | 4640.28 ± 0.22 | 3881.97 ± 21.52 | 4256.52 ± 0.37 | 19.53% | 9.02% |
| S3 随机漂移 | 4755.83 ± 25.68 | 3973.69 ± 41.60 | 4387.41 ± 28.94 | 19.68% | 8.40% |
| S4 多参数不匹配 | 4344.11 ± 0.49 | 3654.74 ± 19.64 | 4142.99 ± 0.40 | 18.86% | 4.85% |
| S5 严重有效工况变化 | 4517.89 ± 0.43 | 3711.03 ± 16.99 | 4136.54 ± 0.38 | 21.74% | 9.22% |
| S6 高测量噪声 | 4416.23 ± 1.53 | 3766.39 ± 47.72 | 4176.45 ± 0.99 | 17.25% | 5.74% |
| S7 替代初始状态 | 3957.88 ± 0.17 | 3312.37 ± 22.84 | 3624.41 ± 0.33 | 19.49% | 9.20% |
| S8 延迟和稀疏测量 | 4748.15 ± 4.58 | 3631.42 ± 33.88 | 4388.17 ± 0.64 | 30.75% | 8.20% |

下载:下载高分辨率图片 (300KB)
下载:下载全尺寸图片

**图 4.** 八个场景和每个场景 50 次匹配运行中所有五个控制器的最终产物质量。

误差线表示一个标准差。4.4. 敏感性与机理诊断个体因素敏感性分析。所报告的敏感性子集包含九种配置,每种配置均使用相同的50个随机种子(20261817–20261866)进行评估。对于S2,基线设定为N=60、ξ=1 g L?1、ρd=0.10,以及状态转移似然倍数为1.0。六种单因素变体使用(N,ξ)=(30,2)或(90,2/3),其中ξ的单位为g L?1;ρd∈{0.05,0.20};或似然倍数∈{0.75,1.50},其余所有设置均保持基线值。这七种S2配置共进行350次运行。另有100次S1运行用于比较自适应混合开启与关闭两种情况。开启设置采用四个标准差的创新量阈值、两次更新持续性及0.05的混合概率;关闭设置将该概率设为零。因此,所报告的敏感性子集共包含9×50=450次运行。在350次S2运行中,这些变体使平均最终质量变化范围为?0.45%至+0.36%(表6)。参数RMSE和覆盖率的变化幅度更大,表明所测试的学习设置对后验校准的影响强于闭环生产指标。后验路径审计。全量与简化目标函数的配对比较在S1、S2和S8中每种场景使用20个种子,未使用控制增量惩罚项。在相同状态和后验下,预测的进料速率差异最大为2.00×10?? L h?1。省略交叉协方差后,场景平均最终产品质量变化范围为+0.000311%至+0.00290%;配对比较中最大的绝对相对差异为0.0435%。这些结果表明,在所测试的场景中,省略该项对计算进料速率和最终产品质量的影响甚微。表6. S2渐缓漂移下GOAC单因素敏感性结果(七种配置,每种配置50次匹配运行)。范围包括基线和正文中列出的所有测试扰动。指标 基线 所有设置中的最小值 所有设置中的最大值 最终产品质量(g) 4640.27 4619.32 4657.15 Kip RMSE(g L?1) 8.77 5.79 11.67 经验90%参数覆盖率 79.39% 68.88% 88.95% 下载:下载高分辨率图像(186KB) 下载:下载全尺寸图像 图5. 复合盲失配下的IndPenSim验证。每个隐藏生产目标值由十对230 h匹配模拟中的两对表示:(a)回收青霉素总质量和(b)APC与GOAC的基质目标RMSE。表7. 基于文献的IndPenSim复合盲失配验证结果(十对230 h匹配模拟,均值±标准差)。策略 最终质量(kg) 回收总质量(kg) 基质目标RMSE(g L?1) PAA目标RMSE(mg L?1) APC 2536.04 ± 1220.18 3575.77 ± 1556.43 0.018365 ± 0.011741 57.14 ± 11.99 GOAC 2901.35 ± 986.00 4010.87 ± 1271.08 0.006277 ± 0.001699 57.19 ± 12.01 下载:下载高分辨率图像(461KB) 下载:下载全尺寸图像 图6. IndPenSim中动态学习与控制,对应随机种子20261201,改编自补充图S8的轨迹。(a) 隐藏有效进料浓度、后验均值及90%可信区间;虚线标记100 h时未宣布的变更。(b) 固定的隐藏基质目标、学习后验均值及用于局部精化的实际90%可信区域。(c) 不确定度依赖项贡献的进料动作偏移。(d) 基质浓度及隐藏和学习目标(对数浓度轴)。隐藏量仅用于运行后评估,不提供给控制器。4.5. 基于已发表模型的IndPenSim验证GOAC还使用IndPenSim进行了评估,这是一款已发表的工业青霉素补料分批培养模拟器,经历史数据验证,并扩展了PAT/APC操作功能(Goldrick等,2015;Goldrick等,2019)。匹配协议。公开的33状态MATLAB被控系统使用ode15s在0.02 h的模拟网格上运行230 h,进料决策每0.20 h更新一次。十对匹配的APC–GOAC共享初始条件、隐藏参数和有色扰动。隐藏生产峰值位置循环使用0.0015、0.0020、0.0025、0.0030和0.0035 g L?1,每个值使用两次,峰值宽度从0.0013–0.0017 g L?1中抽样。施加于标称产品动力学、生物量动力学、基质-产品转化率、维持系数和水解系数的倍数分别从0.80–1.20、0.85–1.15、0.80–1.20、0.80–1.20和0.85–1.15中抽样。在100 h时发生一次未宣布的+300 g L?1糖浓度阶跃变化。两个控制器均未接收这些被控侧量。控制器。APC使用已发表的糖进料配方和PAA PAT/PID回路。GOAC保留该PAA回路,但根据实测过程历史计算糖进料。所得进料被投影到0–180 L h?1的作动器范围、15 L h?1的移动限值和50%–150%的配方带内。动态学习与进料分配。图6展示了补充说明5中具有代表性的运行中,学习层与控制层如何交互。有效进料浓度的后验跟随100 h时未宣布的变化,而目标后验从其初始的宽泛范围向隐藏生产区域集中。全局支撑集保持不变;后验权重和实际90%可信区域随新证据更新,定义了虚拟精化的执行位置。隐藏目标在本次运行中保持恒定,因此变化的区间体现了学习器的适应性而非被控系统最优值的移动。学习得到的摘要量进入约束化的糖进料计算,产生偏离已发表配方的进料。在十次运行中,目标估计RMSE为0.000235 ±0.000183 g L?1,60–230 h的经验90%区间覆盖率为0.910 ± 0.166。变更后110–230 h的有效进料浓度RMSE为3.286 ± 0.147 g L?1。与后验不确定度相关的平均绝对施加动作偏移为0.238 ± 0.197 L h?1(补充表S9)。结果。GOAC使回收总产品质量增加配对均值为20.06%(95%自助法区间7.97%–34.11%;Wilcoxon检验p=0.00391)。十对中有九对出现正向变化(表7和图5)。相应的策略均值之比为12.17%;两个统计量的差异在于配对统计量取种子间百分比变化的平均值。对于最终罐内产品质量,配对均值增加为26.29%(95%自助法区间9.79%–45.90%;Wilcoxon检验p=0.00391),而策略均值之比为14.40%。基质目标RMSE降低了52.63%,所有运行均满足已记录的约束条件。PAA目标RMSE几乎未变,反映了共用的PAA回路。在该匹配设计中,产品回收率和基质追踪的差异因此源于APC和GOAC使用的糖进料策略。5. 结论本文提出了GOAC框架,用于改善具有非平稳基质最优点和不确定动力学的补料分批培养(FBF)过程的生产。GOAC将有界联合参数与目标学习和后验感知的进料计算相结合,允许在线更新生产性基质区域和物理控制动作。在八个赖氨酸发酵场景中,GOAC取得了最高的平均最终产品质量。相比A-MPC提高了17.25%–30.75%,相比Std-NMPC提高了4.85%–9.22%。在使用已发表模型的IndPenSim验证中,GOAC也使回收青霉素总质量增加配对均值20.06%(相对APC)。这些模拟结果支持所提框架在测试操作条件下的有效性。未来工作将把GOAC应用于2′-岩藻糖基乳糖发酵,同时解决模型失配和未知目标基质轨迹问题。CRediT作者贡献声明Lifu Li:撰写——初稿、方法论、形式分析、概念化。Haiying Wan:撰写——审阅与编辑、资金获取。Chenyang Wang:撰写——审阅与编辑、资金获取。Rodrigo Ledesma-Amaro:撰写——审阅与编辑。Xiaoli Luan:撰写——审阅与编辑、监督、资金获取。Fei Liu:撰写——审阅与编辑、监督。资金致谢本研究部分得到国家自然科学基金(NSFC 62403215, T2541028)、江苏省自然科学基金(BK20241607)、江苏省研究生科研创新计划(KYCX25_2663)以及教育部自主无人系统技术工程研究中心开放项目(zzwr202505)的支持。Lifu Li | Haiying Wan | Chenyang Wang | Rodrigo Ledesma-Amaro | Xiaoli Luan | Fei Liu
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号