在未知异方差传感器噪声条件下，通过多任务变分贝叶斯方法识别发酵过程

《Journal of Process Control》：Multitask variational Bayesian identification of fermentation processes under unknown heteroscedastic sensor noise

　　•多任务贝叶斯建模将共享动态与反应器不确定性分开。•变分推断联合估计模型参数和反应器特定的噪声。•后验噪声方差实现了自适应任务加权和学生t分布的鲁棒性。•MTVB在合成数据和发酵数据上进行了验证，并通过ELBO收敛性分析进行了评估。

**引言**
发酵过程通常由生物质、底物和产品的质量平衡动态以及微生物生长动力学来描述[1]。基于模型的描述已被用于生物过程建模、估计和控制[2]。从过程数据中学习的模型也被用于生化工程中的知识发现[3]、自动化生物过程开发[4]以及生物过程的监控、优化和控制[5]。混合模型进一步将机械结构与基于数据的灵活性结合起来，并被研究用于动态建模、数字孪生构建、关键过程参数识别和优化[6]。工业多反应器发酵监测必须适应名义上相同的反应器之间的过程变异性。原料组成可以改变生物质生长和估计的培养状态[7]。操作条件和原材料质量可能导致批次间和批次内的变化[8]。细胞异质性可能会影响微生物活性、产品产量和过程一致性[9]。尽管具有共享的名义设置，这些效应仍可能导致反应器依赖的轨迹。同时，在线探针可能会发生污染、探针错位和仪器引起的漂移，从而降低已建立的校准模型的准确性[8]。影响传感器信号的硬件故障会进一步降低生物质估计的可靠性[10]。操作员必须区分过程变化和测量退化，因为前者需要采取控制措施，而后者则需要重新校准或维护[8]。如果忽视测量不可靠性，有错误的通道可能会降低预测准确性[10]并使共享的输入-输出系数产生偏差。

基于数据的生化过程建模也广泛使用神经网络、模糊逻辑和神经模糊逻辑方法进行研究。代表性应用包括用于微生物发酵过程预测和优化的神经网络模型[11]、用于连续发酵过程质量预测的图神经网络软传感器[12]以及用于工业过程数据建模的神经模糊软传感器[13]。这些研究主要针对非线性过程预测和软感知。而当前的问题则需要另一种描述方式：一个紧凑的动态模型，其参数可以在明确考虑反应器特定测量不确定性的情况下进行估计。这一要求自然而然地激发了系统识别的使用。

**系统识别**
系统识别直接从输入-输出观测数据中推断动态模型，提供了一种灵活的数据驱动替代方案，并在复杂动态系统中引起了越来越多的关注[14][15]。然而，许多识别技术假设噪声是已知、平稳且同方差的高斯噪声，以便于分析处理，而工业传感器数据经常受到未知的、时变的、异方差的和潜在非高斯干扰的影响[16][17][18]，这导致实际参数估计有偏差和预测性能下降。对于这些限制下的识别问题，最大似然（ML）和贝叶斯方法提供了直接统计途径来同时估计与噪声相关的量以及模型参数。期望最大化（EM）算法将噪声参数视为潜变量，并迭代地最大化预期对数似然，从而联合精细化模型参数和噪声估计[19]。代表性应用包括非线性状态空间模型中的偏态重尾噪声[20]和传输线参数估计中的高斯混合噪声[21]。尽管EM可以提高鲁棒性，但它通常产生点估计，因此缺乏全面的不确定性量化。变分贝叶斯（VB）推断通过用可行的变分分布近似难以处理的后验，并将推断问题重构为优化问题[22]。基于VB的识别已应用于带有缺失数据的基因调控网络重建[23]、在异方差噪声下的变量误差建模[24]以及具有时变噪声的混合能源系统中的在线识别[25]。通过结合先验知识并产生后验分布，VB为不确定性量化和正则化提供了一种原理性的机制。然而，这些研究并未解决从多个反应器特定测量通道中学到的共享动态模型问题。

**多任务学习**
多任务学习（MTL）为此目的提供了一个自然的框架，将每个反应器特定的测量通道视为相关任务。先前的MTL方法通过结构化正则化[26]、盲模态分析[27]和自适应任务加权（包括多任务最大似然MTML[28]和多任务期望最大化MTEM[29]）改进了系统识别。MTML使用噪声相关的任务权重识别具有外生输入的共享自回归（ARX）模型，但将模型参数和传感器噪声水平视为确定性量。MTEM通过交替优化程序估计未知的噪声相关量，但它同样产生点估计，并且不会将传感器特定噪声方差中的不确定性传播到共享模型参数中。多任务VB方法还通过层次化先验[30]、共享潜在表示[31]以及任务特定参数之间的结构化依赖性[32]来建模任务相关性。然而，这些公式通常处理具有不同预测因子或参数向量的任务，并没有明确考虑多个共享相同动态模型但具有未知通道特定可靠性的测量通道。因此，现有的多任务方法仍然缺乏对共享发酵动态和反应器特定测量不确定性的统一概率处理。

**方法论**
因此，核心问题是从多个名义上相同的发酵反应器中识别出一个共同的局部动态模型，同时将反应器特定的测量不确定性传播到共享模型参数的推断中。为了解决这个问题，本文开发了一个多任务变分贝叶斯（MTVB）框架，该框架整合了来自多个反应器的测量数据，并在未知的异方差传感器噪声下推断反应器特定的噪声统计信息。每个反应器特定的测量通道被视为一个具有共同动态模型但具有任务特定潜在噪声方差的不同任务。使用共轭先验和平均场变分近似，MTVB获得了共享模型参数和反应器特定噪声统计信息的可行后验更新，同时根据推断出的后验噪声水平更新任务贡献。因此，不可靠的通道被自动降权，后验不确定性被明确量化。本文的主要贡献总结如下：
1. 为在共同名义条件下运行的多个发酵反应器制定了一个多任务贝叶斯识别模型，明确区分了共享的局部过程动态和反应器特定的测量不确定性。
2. 开发了一种分层变分推断方案，用于联合推断共享模型参数、参数精度和反应器特定的噪声方差。该推断过程在计算上是可行的且主要是分析性的，同时提供了MTML和MTEM中不可用的参数不确定性、噪声后验和贝叶斯正则化。
3. MTML中采用的逆方差加权原则与反应器特定噪声方差的后验推断相结合。因此，任务贡献来自后验，而噪声方差的边缘化提供了学生t分布类型的鲁棒性解释。
4. 讨论了单调证据下界（ELBO）上升和计算复杂性，并通过合成基准测试和发酵案例研究验证了MTVB的有效性。

**文章结构**
本文的其余部分组织如下。第2节制定了发酵系统的识别问题。第3节介绍了所提出的MTVB方法及其推导。第4节通过数值基准测试和发酵案例研究验证了该方法。最后，第5节总结了这项工作。

**系统描述和建模**
发酵系统中的每个容器可以被视为在相同名义条件下运行的独立连续发酵生物反应器。过程动态通常由涉及生物质生长、底物消耗和产品形成的质量平衡关系来描述。在这样的系统中，稀释率决定了物料的流入和洗涤效应，而微生物生长率将生物质、底物和产品之间的生物转化联系起来。

**多任务变分方法**
本节详细介绍了在未知异方差噪声下的MTVB识别方法。在为参数和潜在方差定义共轭先验后，我们使用平均场假设推导出变分后验，并制定了一个可行的ELBO。然后使用交替更新方案获得可行的后验近似和噪声自适应参数估计。

**示例**
所提出的方法通过数值示例和发酵案例研究进行了验证，使用最大似然（ML）、MTML[28]、MTEM[29]、带有传感器级方差的层次贝叶斯回归（HBR-SV）和学生t分布多任务迭代加权最小二乘（t-MTIRLS）作为基准。HBR-SV作为具有固定任务权重的贝叶斯基线，而t-MTIRLS提供了强健的多任务回归基线。实验检验了对异质噪声的鲁棒性。

**结论**
本文提出了一个MTVB框架，用于在未知异方差传感器噪声下识别共享的局部发酵动态。通过联合推断共享模型参数和传感器特定的噪声方差，MTVB自适应地减少了不可靠测量通道的贡献，同时保留了所有可用的反应器数据。与现有方法不同，MTVB还为模型参数和传感器级噪声统计提供了后验不确定性。在数值基准测试中，MTBVBC

**作者贡献声明**
Yixuan Chu：撰写 – 原始草案、软件、方法论。Shunyi Zhao：撰写 – 审阅与编辑、资金获取。Xiaojing Ping：撰写 – 审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

**致谢**
这项工作部分得到了中国国家重点研发计划（项目编号2022YFC3401303）的支持，部分得到了江南大学研究生研究与实践创新计划（项目编号22671038）的支持。

Yixuan Chu | Shunyi Zhao | Xiaojing Ping