用于预测哺乳动物细胞培养的混合机器学习模型：模型结构与训练方法的比较

《Computers & Chemical Engineering》：Hybrid machine learning models for predictions of mammalian cell culture: a comparison of model structures and training approaches

　　蒂莫西·赫尔曼托（Timothy Hermanto）|肯尼·W·L·拉姆（Kenny W.L. Lam）|巴吉亚·S·亚蒂潘塔拉瓦（Bhagya S. Yatipanthalawa）|格雷戈里·J·O·马丁（Gregory J.O. Martin）|李一贤（Yih Yean Lee）|莎莉·L·格拉斯（Sally L. Gras）

澳大利亚维多利亚州帕克维尔市墨尔本大学Bio21分子科学与生物技术研究所，邮编3010

摘要：单克隆抗体在治疗多种疾病方面具有重要意义，因此高效的工业生产对公共卫生至关重要。能够预测细胞培养过程中抗体产生的数学和机器学习模型有望降低工艺成本和开发时间。虽然结合了机制性和数据驱动方法的混合模型可以成功预测多种细胞培养指标，但不同训练方法和算法类型对混合模型预测性能的影响尚不明确。本研究旨在比较使用四种机器学习算法的串联混合模型，并采用两种主要的训练策略（基于浓度训练和基于速率训练）进行训练，以进行次日预测和递归预测。六个混合机器学习模型和四个控制数据驱动模型在有限的过程数据集上进行了训练，然后使用四个不同的过程数据集进行测试，以模拟新抗体工艺开发中的常见情景。这些混合模型能够预测次日或十二个工作日的性能。研究发现，两种混合模型训练策略和四种机器学习算法的预测性能相似，尽管在次日预测方面，混合模型的预测能力优于数据驱动的控制模型。通过欧几里得距离评估，发现训练数据集和测试数据集的相似性与混合模型和数据驱动模型的递归预测误差之间存在强相关性。总体而言，基于速率的训练策略（ToR）比基于浓度的训练策略（ToC）更具灵活性，而在所分析的数据噪声水平较低的情况下，这种较高的误差敏感性是可以接受的。算法选择也具有灵活性，随机森林（Random Forest）和XGBoost算法在某些情况下具有更好的性能和较低的不确定性估计。本研究有助于更好地理解这两种训练方法，并为未来混合建模在工艺优化中的应用提供了见解。

1. 引言
单克隆抗体（mAbs）是一类越来越受欢迎的治疗药物，因为它们被用于治疗多种疾病，包括自身免疫性疾病和癌症（Berger等人，2002；Castelli等人，2019；Zahavi和Weiner，2020）。mAb的工业生产主要依赖于大规模的中国仓鼠卵巢（CHO）细胞培养，通常在补料批次或灌注生物反应器中进行。与通过明确化学过程生产的小分子药物不同，mAb是通过复杂的生物过程产生的，这些过程的定义不够清晰。人们非常希望更好地理解这些系统，以便优化生产过程，同时减少开发时间和成本。能够捕捉过程指标与哺乳动物细胞生长及随后mAb产生之间关系的数学模型被认为是提高工艺优化理解的一个潜在途径。已经探索了多种模型，从纯数据驱动的模型（Park等人，2023；Smiatek等人，2021）到纯机制性的模型（Kontoravdi等人，2007），这些模型都与CHO细胞培养系统相关。开发纯机制性模型需要理解系统，以便能够用数学方式表示描述细胞行为的复杂关系。机制性模型中捕获的细节程度各不相同，包括结构和细胞群体数据的范围（Yatipanthalawa和Gras，2024）。数据驱动模型的优势在于不需要机制性知识，但有时在尝试从训练数据的设计空间外进行外推时，其预测能力不足。然而，也有例外情况，例如用于下一个时间点预测和多天预测的循环神经网络和其他机器学习算法，它们表现出良好的预测能力（Park等人，2023；Richter等人，2025；Smiatek等人，2021）。结合数据驱动和机制性组件的混合模型在生物加工领域越来越受到关注，因为它们结合了两种方法的优势（Bayer等人，2023；Mondal等人，2023）。已经提出了两种主要的混合模型架构：串联配置和平行配置，每种配置都有其独特的优势和应用（Schweidtmann等人，2024；Yatipanthalawa和Gras，2024）。在串联配置中，数据驱动组件可用于估计未知参数，这些参数随后用于机制性方程。在并行配置中，数据驱动模型通常用于减少机制性模型的误差，从而更好地预测系统行为（Carvalho等人，2022）。串联架构在生物过程建模中更为常用，因为它避免了复杂的机制性方程和相关参数估计的需求，同时使用数据驱动组件充分捕获了非线性复杂关系，并在描述哺乳动物细胞培养系统方面显示出潜力（Pinto等人，2023；Ramos等人，2024）。混合模型的另一个特点是它们的“混合程度”，这是一个最近引入的概念，模型沿着从完全数据驱动到完全机制性的谱系变化（Narayanan等人，2022）。研究发现，当使用包含描述细胞消耗、产生或代谢速率的特定速率项的混合模型时，可以实现最佳的混合程度（即混合速率模型）。将机器学习与机制性质量平衡方程相结合的串联混合速率模型允许机器学习组件确定未知的特定速率项。与数据驱动模型相比，这种混合模型通常具有更好的泛化能力，后者在训练数据的设计空间外可能准确性有限（Narayanan等人，2022，2019）。混合模型的预测准确性也可能高于纯数据驱动和纯机制性模型（Bayer等人，2023；Narayanan等人，2022），这强调了它们在生物过程中用于驱动基于模型的优化和控制的潜力。

迄今为止，文献中用于开发串联混合速率模型的两种主要方法是：
1. 基于浓度的训练（ToC）方法，也称为敏感性方法。该方法由Psichogios和Ungar（1992）首次提出，将机制性方程纳入神经网络（NN）中，使NN能够间接预测特定速率，并通过反向传播优化最终浓度的预测，具体是通过定义在浓度上的损失函数，其中模型预测与训练目标之间的差异被传播回模型参数以最小化预测误差（Narayanan等人，2019；Pinto等人，2023；Von Stosch等人，2016）。这导致数据驱动和机制性组件之间的紧密耦合。简单来说，用于训练预测特定速率的NN的损失函数旨在最小化实际浓度与混合模型预测浓度之间的差异，考虑了包括机制性组件在内的整个模型的损失。
2. 基于速率的训练（ToR）方法，也称为离散参数方法。首先使用机制性方程计算不同代谢物目标的特定速率，然后训练一个机器学习模型（例如基于树的模型或神经网络）来预测计算出的特定速率，而不是实际浓度。用于训练机器学习（ML）算法的损失函数旨在最小化计算出的特定速率与预测的特定速率之间的差异，因此考虑了数据驱动组件的损失。然后使用预测的特定速率在机制性函数中预测感兴趣的浓度（Laursen等人，2007；Yatipanthalawa等人，2024），不对浓度应用进一步的损失函数。

每种训练方法都有其优缺点。ToR方法在概念上可能最直接，计算强度也较低。然而，由于速率是使用多个实验测量的浓度值之间的差异来估计的，因此任何测量误差都可能被放大到估计的速率中（Bayer等人，2020）。因此，拥有准确和精确的浓度测量方法对于最小化噪声至关重要。相比之下，ToC方法直接使用实验测量的浓度值来校准模型，避免了估计特定速率的需要。然而，将机制性方程集成到这种类型混合模型的数据驱动组件中会增加复杂性和计算要求。ToC方法中复杂的误差反向传播步骤也限制了该方法只能用于少数几种机器学习算法，包括前馈神经网络和长短期记忆（LSTM）模型（Ramos等人，2024）。这阻碍了新兴鲁棒算法的采用，而这些算法可能适用于处理小数据，这在建模生物过程系统（如CHO细胞培养）时具有优势。

之前，我们研究了ToR方法在训练CHO培养中mAb生产预测混合模型方面的潜力，并比较了三种不同的算法：前馈神经网络（FFNN）、随机森林和XGBoost（Yatipanthalawa等人，2024）。这些算法分别被纳入串联混合模型中，用于预测CHO培养系统中的三个性能指标：活细胞密度（VCD）、滴度和累积葡萄糖消耗。ToR模型在涉及相同抗体和细胞系的实验内插以及不同细胞系产生不同抗体的实验行为的外推任务中表现出良好的预测性能（VCD和滴度的平均RMSE分别为0.06和0.015）。预测仅限于次日性能，因为模型仅生成了递归预测所需输入的一部分（八个时间依赖浓度中的六个）。

模型可以用于预测生物反应器未来一天的性能或预测整个补料批次培养的持续时间（即多天或递归预测）。诸如过程控制和实时决策等应用可以利用次日或下一个时间段的预测（Pappenreiter等人，2022；Schmitt等人，2019）。这些模型使用每日过程条件作为输入，从而可以得出高度准确的预测。诸如基于模型的优化和表征（Kotidis等人，2019）等应用需要能够预测较长时间周期内过程行为的模型。给定初始条件（即第0天），这些模型可以预测生物反应器运行的整个时间序列，尽管这需要将次日所需的所有输入作为模型的输出，即模型是递归的。

完全数据驱动的模型在预测细胞培养系统的动态性能方面也显示出潜力。例如，循环神经网络能够预测CHO培养的性能，包括总细胞密度、活细胞密度、活力、葡萄糖、乳酸和滴度，并具有在过程开发或制造中进行控制应用的潜力（Smiatek等人，2021）。还探索了不同的机器学习算法、输入特征、训练和预测策略，用于预测培养性能的动态行为（Park等人，2023），包括mAb滴度、活细胞密度、葡萄糖、乳酸和氨浓度。还有很大的潜力可以使用各种算法，从基于树的机器学习算法（如极端梯度提升（XGB）（Chen和Guestrin，2016；Gangwar等人，2024）或随机森林（RF）算法（Gangwar等人，2024）到神经网络，例如多层感知器（MLP，一种前馈神经网络）（Oliveira，2004）以及循环神经网络，如长短期记忆（LSTM），这些网络利用所有之前的数据来预测t+1日的表现，而不仅仅是t日的数据（Smiatek等人，2021；Park等人，2023；Ramos等人，2024）。虽然文献中分别描述了具有这两种能力（次日预测和递归预测）和两种训练方法（基于浓度的训练（ToR）（Hutter等人，2021；Yatipanthalawa等人，2024）和基于速率的训练（ToC）（Bayer等人，2023，2021；Narayanan等人，2019；Pinto等人，2023）的混合模型，但对于CHO培养物的研究尚未在相同的实验条件下评估它们的相对性能，并且跨越了两个预测时间范围。因此，研究人员目前缺乏基于证据的指导，以确定在ToC训练方法中增加的复杂性（包括在神经网络中整合机制方程和受限的算法选择）是否比更简单、更灵活的ToR训练方法提供了更好的性能。因此，系统的比较将有助于确定训练策略的选择是普遍最优的还是依赖于具体情境的，以及机制耦合是否比完全数据驱动的替代方案提供了可测量的好处，为类似生物系统的模型构建提供有价值的见解。在这项研究中，我们深入比较了使用ToR和ToC方法训练的混合模型，并预测了CHO细胞培养系统在次日及未来12天的表现。还将混合模型的性能与纯数据驱动的模型进行了比较。为了反映早期生物工艺开发中的常见限制，所有混合模型和数据驱动模型都在一个数据集上进行了训练，并在三个不同的工艺开发数据集上进行了测试，这些数据集来自不同的细胞系和工艺，以评估模型超出初始训练数据的外推能力。模型还设计为能够利用商业环境中产品开发中常规收集的数据。

2. 材料与方法
2.1. 数据集
从CSL Innovation的工艺开发实验中获得了4个包含5个L生物反应器运行的实验数据集（表1）。这些数据集包括用于生产一种称为X的抗体（数据集A和C）或另一种称为Y的抗体（数据集B和D）的数据，这些抗体来自两种不同的CHO细胞系。数据集A中的培养条件变化较小，只有基础培养基和接种密度有轻微变化（表S1）。数据集B中的工艺和反应器条件与数据集A大致相同，但在搅拌速度和温度变化以及接种和培养基范围上有一些小差异。数据集C和D与数据集A相比变化较大，且数据集内部的条件范围也有所不同。这包括接种密度、起始葡萄糖浓度、基础培养基和进料培养基、温度变化以及影响气体交换和气体输送的生物反应器配置的变化，包括喷雾器类型、填充体积和搅拌速度（表S1）。在三个数据集（A、B和D）中的实验中，采用了一次性进料策略进行进料，而数据集C则采用分散进料模式。这里，一次性进料是指在单个离散时间点将预定义的整个进料培养基体积加入生物反应器。不同数据集中一次性进料相对于填充体积的百分比有所不同（表S1）。相比之下，分散进料是在几天内分多次小剂量添加。每次进料的总量在不同运行中有所不同（表S1）。除了小的修正外，这两个数据集与之前的工作相同（详见补充数据文件中的校正数据）。所有数据集都按照Yatipanthalawa（2024）描述的方法进行了预处理和数据插补；其中缺失值被插补，测量误差被纠正。生物反应器数据的持续时间限制为12天（包括起始日在内的13个时间点），无论是训练集还是测试集都是如此。这反映了训练集A、B和D中大多数运行的持续时间，尽管测试集A中的单个运行和数据集C中大约79%的运行被截断为12天（包括起始日在内的13个时间点）。

表1. 本研究中使用的实验数据集，展示了相似性、差异和应用。
| 数据集编号 | 运行次数 | 抗体 | 进料方式 | 与数据集A的差异 | 本研究中的用途 |
|---------|---------|--------|------------|-----------------|
| A | 29 | X | 一次性进料 | N/A | 训练（23次运行）和测试（6次运行） |
| B | 38 | Y | 一次性进料 | 不同抗体，相同接种密度 | 测试 |
| C | 88 | X | 分散进料 | 不同进料方式和接种密度 | 测试 |
| D | 27 | Y | 一次性进料 | 不同抗体、生物反应器条件和接种密度 | 测试 |

数据集A的生物反应器运行次数有限（29次），被分为训练数据（23次运行）和测试数据（6次运行），而其他三个数据集被指定为测试数据。这种情况在生物工艺开发中很常见，即对于给定的细胞系和工艺条件，只有有限数量的实验数据可用。需要预测这些克隆在相同条件下的进一步生物反应器运行表现，以及在不同工艺条件下的表现。对于在新克隆和抗体产品上，在相似或不同条件下运行的预测也是可取的（表1）。

为每个数据集选择了五个工艺指标进行预测：（1）活细胞密度（VCD），（2）抗体滴度（以下简称“滴度”），（3）累积葡萄糖消耗（CGC），（4）乳酸浓度和（5）死细胞密度（DCD）。这五个指标在本研究中开发的所有模型中既作为输入也作为预测目标，以促进递归预测。选择这些预测目标是基于它们在工艺监控和控制中的重要性。传统上，VCD和滴度被用作性能指标，因为这些指标直接反映了细胞生长动态和产品形成。葡萄糖（通过CGC捕获）是CHO细胞的主要碳源和能量来源，对于理解代谢需求和营养利用至关重要。乳酸作为关键的代谢副产物，表明了代谢变化，因此提供了关于培养健康和代谢状态的信息，这在12天的生物反应器运行过程中会发生变化。最后，DCD是细胞衰退和活力丧失的重要指标，这会影响营养消耗模式和产品质量结果。总体而言，这五个输出代表了定义生物反应器性能的核心状态变量，需要捕捉整个培养过程中发生的重大生物学和代谢转变。

输入特征最初被选为允许递归预测；每个作为预测目标的变量也必须在后续时间点作为输入可用，以允许递归预测。这要求模型内部预测所有影响未来系统行为的状态变量，而不是依赖于在预测期间无法获得的外部测量值。所选特征经过评估，以确定其适合包含在模型中的程度。使用距离相关性来识别相关性，其中接近1的值表示变量之间的依赖性更强，无论关系是线性的还是非线性的。除了乳酸外，所有指标在t日和t+1日之间的相关性都很好（包括乳酸的平均相关性为0.78），实验浓度与相应特定速率之间的相关性也合理（平均相关性为0.67），这对于基于浓度的训练（ToR）非常重要（图S1和S2），使得这些特征成为合适的输入。对于每个生物反应器运行，数据可以表示为一个13 × 5矩阵，对应于从第0天（初始条件）到第12天（即13个时间点）的5个工艺指标。

2.2. 数据特征
通过绘制每个数据集中13个时间点（从第0天到第12天）的平均值及其95%置信区间，可视化了五个关键工艺指标（VCD、滴度、CGC、乳酸、DCD）的范围。

2.3. 混合模型——机制性和数据驱动组件
本研究中开发和测试的混合模型使用了串行混合速率（HR）方法，其中输入数据被输入到数据驱动模型组件中，该组件预测或推断速率。然后，数据驱动组件的预测速率被输入到机制模型组件中，该组件预测不同工艺指标的量或浓度（图1，详见图S3）。机制组件包括一个质量平衡，考虑了进料到生物反应器中的情况；而感兴趣的动力学速率包括细胞生长、细胞死亡、底物摄取和产品形成。

下载：下载高分辨率图像（117KB）
下载：下载全尺寸图像
图1. 开发的串行混合速率模型的整体架构。输入数据C（第t天的工艺指标的量或浓度）作为数据驱动模型组件的输入，其中预测每个工艺指标的特定速率。接下来，预测的速率被用作模型的机制组件的输入，该组件产生原始t天的指标量或浓度，并生成预测值Ct+1^。帽子（^）表示该值是预测值。

本研究调查了几种构建混合速率模型的方法。这些方法在整体架构的两个部分有所不同：部分（1）数据驱动组件，可以使用不同的机器学习算法，如集成树基模型或神经网络（NNs）；以及部分（2）数据驱动组件和机制组件的集成。通过使用不同的策略，可以修改这两个组件之间的相互作用，要么将两部分集成在神经网络中（基于浓度的训练（ToC）策略），要么将两部分分开（基于速率的训练（ToR）策略）。

对于部分（1），测试了两种基于神经网络的和两种基于树的机器学习算法：多层感知器（MLP）、长短期记忆（LSTM）、XGBoost（XGB）和随机森林（RF）。下面解释了这些算法，以研究算法的复杂性如何影响次日预测和递归预测的准确性。虽然这些算法有很大的不同，但LSTM可以描述为比MLP更复杂，而XGB也比RF更复杂。

对于部分（2），分别测试了基于浓度的训练（ToC）策略和更灵活的基于速率的训练（ToR）策略，以评估这两种策略是否影响次日预测和递归预测的性能。下面进一步解释了这些策略。

在本研究中，实施了所有这些算法与ToC和ToR策略的组合，并比较了它们的性能（表S2）。唯一的例外是ToC和基于树的模型（RF和XGB）的组合。这种组合无法实现，因为ToC混合模型需要在训练架构中整合机制方程。这一要求将数据驱动组件限制为仅神经网络（MLP和LSTM）。除了混合模型外，还开发了纯数据驱动模型作为对照进行比较。这些模型使用t天的工艺指标作为输入，并直接预测t+1天的工艺指标（图S4）。

2.4. 预测模型的训练和测试
2.4.1. 次日和递归训练及预测
所有模型都经过训练，以基于t天的数据预测t+1天的工艺指标。一旦训练完成，模型就可以进行次日预测和递归预测。在本节中，t时间的工艺指标定义为一个向量Ct；
Ct=[C1,t,C2,t,C3,t,C4,t,C5,t]
其中五个元素分别对应活细胞密度（VCD）、滴度、累积葡萄糖消耗（CGC）、乳酸和死细胞密度（DCD）。**次日预测**
对于次日预测，预测任务可以用以下符号表示，从第0天（t = 0）到第12天（t = 12）对所有模型进行t + 1的预测，LSTM除外，其中C代表预测输入/目标的浓度，F代表机器学习模型：
(1) \(C_{t+1}^ = F(C_t)\) 如果 \(0 \leq t < 12\)

对于LSTM，预测输入/目标的浓度C可以表示如下，其中F代表机器学习模型：
(2) \(C_1^ = F(C_0)\) 如果 \(t = 0\)
\(C_{t+1}^ = F(C_t, \cdots, C_0)\) 如果 \(1 \leq t < 12\)

**2.4.1 递归预测**
对于递归预测，使用第0天的浓度作为机器学习模型的初始输入，然后根据Park等人（2023年）描述的递归策略进行计算，将时间t的模型输出作为时间t + 1的进一步预测的输入，从而可以预测到第12天。这可以用以下符号表示，从第0天（t = 0）到第12天（t = 12）对所有模型进行预测，LSTM除外，其中C代表预测输入/目标的浓度，F代表机器学习模型：
(3) \(C_1^ = F(C_0)\) 如果 \(t = 0\)
\(C_{t+1}^ = F(C_t^)\) 如果 \(1 \leq t < 12\)

对于LSTM，预测输入/目标的浓度C可以使用以下表达式表示，其中F代表机器学习模型：
(4) \(C_1^ = F(C_0)\) 如果 \(t = 0\)
\(C_{t+1}^ = F(C_t^, \cdots, C_0)\) 如果 \(1 \leq t < 12\)

**2.4.2 机理方程**
培养体积和累积葡萄糖消耗量通过质量平衡来追踪，如下所示：
(5) \(V_{t+1} = V_t + F_t\)
其中 \(V_t\) 是第t天的培养体积（L），\(F_t\) 是第t天的总进料体积（L），包括当天添加的葡萄糖和培养基；\(V_{t+1}\) 是第t + 1天的培养体积（L）。培养体积是通过测量培养物的重量并假设密度恒定来推断的。由于采样等原因导致的培养体积的微小变化与生物反应器的有效体积相比可以忽略不计。

对于累积葡萄糖消耗量，应用了第二个质量平衡方程。首先，通过计算两天之间的葡萄糖量差（\(\Delta G\)（g.d-1），同时考虑了添加的葡萄糖量（\(G_{fed}\)（g.d-1），得到每日葡萄糖消耗量（\(G^\prime\)）（g.d-1）：
(6) \(G^\prime = \Delta G + G_{fed}\)
然后，累积葡萄糖消耗量是每日葡萄糖消耗量的累计值：
(7) \(\sum_{i=0}^t G^\prime_i = \sum_{i=0}^t G^\prime_i\)

任何考虑的代谢物的变化率可以表示为：
(8) \(\frac{dC}{dt} = rV_CD\)
其中C和r是表示五个指标浓度和特定速率的向量，\(V_CD\)是活细胞密度。每个指标的特定速率是使用训练有素的神经网络在混合模型中获得的。该方程进一步修改以包括体积：
(9) \(\frac{dC}{dt} = rV_CD.V\)

活细胞计数（\(V_CC\)定义为：
(10) \(V_CC = V_CD.V\)

培养指标的测量值以\(VCD\)和\(DCD\)的计数形式表示，葡萄糖消耗量、滴度和乳酸则以质量形式表示。这样做是为了在培养体积变化时保持测量值的恒定性。

**2.4.3 特定速率的计算**
机理方程中使用的特定速率是使用以下方程计算的，然后使用基于速率的训练（ToR）策略在训练模型中应用。根据方程（9）和（10），活细胞计数的变化率（\(V_CC\)（细胞）可以表示为特定生长率（\(\mu\)（d-1）和当前活细胞种群的功能：
(11) \(\frac{dV_CC}{dt} = \mu V_CC\)
这个常微分方程（ODE）可以考虑从第t天到第t + 1天的变化，从而得到特定生长率的以下封闭形式表达式，其中\(\mu_t\)是相对于当前活细胞种群（\(t\)到\(t + 1\)天的活细胞变化的特定速率：
(12) \(\mu_t = \ln\left(\frac{V_{C_{t+1}}{V_CC_t}\right)\)

对于任何其他过程指标（\(P\)），包括死细胞计数（\(DCC\)）、蛋白质量、乳酸量和累积葡萄糖消耗量，特定速率（\(r_P\)可以表示为：
(13) \(r_P = \frac{1}{V_C} \frac{dP}{dt}\)
这进一步根据从第t天到第t + 1天的变化进行近似，得到\(r_P,t\)，即所考虑指标的变化率（滴度为\(g\)细胞-1 d-1，CGC和乳酸为\(d\)细胞-1，DCD为\(d\)细胞-1）：
(14) \(r_P,t = \mu_t\left(P_{t+1} - P_t\right) \frac{V_{C_{t+1}}{V_C_t}\)
这些导出的特定速率随后用于训练ToR模型。

**2.4.4 混合模型的训练策略**

**2.4.4.1 基于速率的训练（ToR）策略**
在基于速率的训练（ToR）策略中，首先使用实验数据计算特定速率，然后用于训练机器学习算法，其中速率是数据驱动组件的目标输出。通过更新数据驱动组件的参数（例如，神经网络的参数（图2，绿色框和绿色箭头）来最小化计算速率和预测速率之间的误差。由于机理方程独立于机器学习模型实现，这种方法允许使用不同的机器学习算法，而不限于人工神经网络。在本研究中，实现了两种基于树的算法，RF和XGB，以与NN的性能进行比较。

**2.4.4.2 基于浓度的训练（ToC）策略**
ToC方法以浓度为目标输出，允许模型直接最小化预测浓度中的误差，而不是ToR策略中使用的速率误差（图2，蓝色框和箭头）。与ToR模型不同，ToC模型的每个输入变量（即NN和机理组件）都进行了缩放，使得：
(15) \(C_{scaled} = \frac{C}{C_{\max}}\)
其中\(C_{\max}\)是训练集中考虑变量的最大值。使用反向传播根据损失函数更新NN的参数，该损失函数计算目标浓度和预测浓度之间的“误差”。尽管损失函数是基于浓度定义的，但数据驱动组件并不直接学习浓度。相反，网络隐式地学习了底层特定速率，当这些速率通过机理方程时，可以最小化浓度级别的误差。这是通过具有可微分机理方程的NN实现的，允许梯度（参数变化的方向）通过称为反向传播的过程传播到NN的先前组件。因为这种ToC策略将机理方程包含在机器学习模型中，并涉及使用反向传播进行模型参数训练，所以只能使用NN，不能使用其他算法。

需要注意的是，虽然可以使用NN实现ToR模型，正如我们在本研究中使用的MLP ToR模型一样，但这与使用ToC策略不同，因为重要的区别在于最小化目标，即速率误差（图2绿色框）或浓度误差（图2蓝色框）。

**2.4.5 测试**
对两种训练策略分别进行了进一步测试，其中在训练数据中添加了噪声，并比较了每种方法的性能。高斯噪声由从正态分布中独立采样的随机值组成（Ye等人，2023年），均值为1，标准差范围从0（无噪声）到0.25（中等噪声），并应用于训练数据集中的每个测量值。随机噪声与原始值相乘以获得噪声测量值。然后使用结果噪声训练模型，并通过次日和递归测试评估性能。训练和测试进行了十次，每次使用不同的随机噪声集。

**2.4.5 算法**
本研究中测试的四种算法在表2中简要描述。所有模型和算法都在Python 3.11.0中实现。基于神经网络的算法需要输入进行缩放，而基于树的算法则不需要（Singh和Singh，2022年）。

**表2. 算法简介**
| 算法 | 机制 | 备注 | 在生物处理中的先前实现 |
|---------------|--------------|-------------------|-----------------|
| XGB | 基于树的 | 顺序形成决策树（Chen和Guestrin，2016年） | 适用于分类和回归任务（Grinsztajn等人，2022年） |
| RF | 基于树的 | 多个决策树的平均预测（Breiman，2001年） | 较少过拟合（Breiman，2001年；Hastie等人，2009年；Nadi和Moradi，2019年） | 在某些建模问题中性能优于XGB（Jhaveri等人，2019年；Shmuel等人，2024年；Sun等人，2023年） |
| MLP | 神经网络 | 前馈神经网络，具有一个或多个隐藏层；使用反向传播进行训练，通过更新神经网络的参数来最小化目标与预测之间的误差 | 可以轻松结合生物处理中的机理方程（Oliveira，2004年） |
| LSTM | 循环神经网络 | 通过考虑输入中的先前时间步来保留记忆（Hochreiter和Schmidhuber，1997年） | 在自然语言处理、时间序列处理和信号处理方面有效（Yu等人，2019年） |
| Adam算法 | Kingma和Ba，2014年 | 按照传统实现，LSTM的输出在输出层之前被馈送到密集层（Goodfellow等人，2016年） | （Smiatek等人，2021年；Park等人，2023年；Ramos等人，2024年） |然后，这些模型在数据集A的测试分割部分（6次运行）、数据集B（38次运行）、数据集C（88次运行）和数据集D（275次运行）上依次进行了测试，包括次日预测和递归预测。2.4.7. 性能指标 使用最小-最大缩放器对实际值和预测值进行标准化，以计算性能指标并便于可视化。这种标准化确保所有变量都在相同的尺度上，从而能够跨不同的输出变量和模型进行比较。2.4.7.1. RMSE 为了全面测试和比较所有机器学习模型的性能，按照以下公式计算了每次运行的每个过程指标（例如VCD、滴度）的标准化RMSE（均方根误差）：(16)RMSEmetric,run=112∑t=112(yr,t,metric?y^r,t,metric)2其中t表示从第1天到第12天的天数，y^t表示第t天的预测过程指标（例如VCD），yt表示该指标的实验值。考虑所有五个过程指标的每次运行的总体RMSE为：(17)RMSErun=∑m∈MRMSEm,run|M|其中M表示五个过程指标。整个数据集的RMSE也如下报告：(18)RMSEdataset=∑run∈datasetRMSErun|dataset|其中dataset是其中一个测试数据集（例如A、B、C、D）。还计算了给定数据集的所有运行中每个工作日和过程指标的平均RMSE：(19)RMSEt,metric=1|dataset|∑r∈dataset(yr,t,metric?y^r,t,metric)2其中r表示给定数据集中的一个运行，t表示工作日。2.4.7.2. SMAPE SMAPE（对称平均绝对百分比误差）是一种基于百分比的误差指标，允许直接比较不同尺度下的过程指标。使用该指标而不是传统的平均绝对百分比误差，以避免实验值为零时出现未定义的计算（Chen等人，2017年）。每个过程指标和运行的SMAPE计算方法如下：(20)SMAPEmetric,run=2×100%12∑t=112|yr,t,metric?y^r,t,metric||yr,t,metric|+|y^r,t,metric|其中t表示从第1天到第12天的天数，y^t表示第t天的预测过程指标，yt表示该指标的实验值。SMAPE的范围是从0%到200%，分别代表低误差和高误差。SMAPErun和SMAPEdataset的计算方法与公式(17)和(18)类似，但用SMAPE替换了RMSE项。还计算了给定数据集的所有运行中每个工作日和过程指标的平均SMAPE：(21)SMAPEt,metric=2×100%|dataset|∑r∈dataset|yr,t,metric?y^r,t,metric||yr,t,metric|其中r表示给定数据集中的一个运行，t表示工作日。2.4.7.3. 不确定性估计 为了评估模型不确定性，检查了每个模型和测试集的配对。使用留一法策略训练了相同类型的模型集合，每个模型都在训练集中的所有运行中除了一个运行外进行训练。然后使用集合中的每个模型对给定的测试集进行次日预测或递归预测，并报告这些预测的标准化SMAPE值的标准差作为模型不确定性的度量。2.5. 测量训练数据集和测试数据集之间的差异以及数据差异对预测性能的影响 计算了训练集和测试集中生物过程运行之间的平均成对欧几里得距离（公式(22)和(23)），以量化这些数据集之间的差异。这种测量距离的方法既具有可解释性又简单。Rashedi等人（2024年）和Peng等人（2025年）也使用过这种方法来预测生物处理中的拉曼光谱数据，其中欧几里得距离用于计算K最近邻（KNN）模型，以选择适合即时学习（Just-In-Time-Learning）的运行，该技术只选择最相关的数据进行训练，而不是所有数据。首先将每个运行表示为一个向量，在5（过程指标）× 13（第0天到第12天）的空间中。对于所有测试集中的每个运行（r），我们计算了该测试数据集运行与训练集中所有运行之间的平均欧几里得距离（公式(22)）。然而，这仅作为几何相似性的代理，因为扁平化多变量时间序列本质上混合了时间和幅度效应，限制了结果的物理可解释性。任何两个生物过程运行之间的欧几里得距离可以使用以下公式计算：(22)d(p,q)=∑i=165(pi?qi)2其中p和q分别代表一个65维的生物过程运行的扁平化向量（每个向量的总维度来自5个过程指标× 13个时间点）。p和q都使用适用于训练集的最小-最大缩放器进行标准化，如2.4.5.3节所述。使用上述公式，可以通过以下公式计算训练集与运行r之间的平均欧几里得距离：(23)davg(r)=∑t∈train_setd(t,r)|train_set|其中train_set表示训练集中的所有运行，t表示训练集中的一个运行，|train_set|是训练集的大小。然后使用皮尔逊相关系数（r）分析了平均欧几里得距离与平均测试RMSE和SMAPE之间的关系，并评估了相关性的强度。使用公式(17)计算每次运行的平均测试RMSE，平均SMAPE也使用相同的公式计算，但用SMAPE替换了RMSE项。这个过程对次日性能和递归预测以及数据驱动模型和混合模型（其中使用了ToR和ToC的RMSE平均值）也进行了重复。3. 结果和讨论3.1. 数据特征化 为了可视化实验数据集之间的差异，绘制了每个数据集的五个不同过程指标的平均值，以及每个指标在生物反应器运行期间的95%置信区间（图3）。每个过程指标在时间过程中都有其特征趋势，这在训练集和测试集数据之间大致相似。然而，在VCD、DCD和乳酸的幅度上存在明显差异。数据集B在生物反应器运行的早期阶段具有更高的生长率，并且VCD峰值最高。数据集D也有较高的VCD峰值（图3a）。数据集C的乳酸浓度较高且变化较大（图3d），而数据集D在生物反应器运行结束时乳酸浓度较高。有趣的是，滴度非常相似，这反映了具有不同数量活细胞或不同乳酸代谢的培养物可以产生相似的产品输出。累积葡萄糖消耗相对相似，而在DCD之间观察到一些小差异。这些相似性和差异预计会影响不同数据集的模型性能。下载：下载高分辨率图像（500KB）下载：下载全尺寸图像图3. 四个实验数据集A-D的五个关键过程指标的差异。每个图表显示了五个过程指标之一的平均标准化值（实线），以及（a）VCD、（b）滴度浓度、（c）累积葡萄糖消耗（CGC）、（d）乳酸和（e）死细胞密度（DCD）的95%置信区间（阴影区域）。所有数据都根据训练集的最小和最大值进行了标准化。3.2. 次日预测和递归预测性能 我们最初选择了RF ToR模型（本研究中开发的十个模型之一，表S2），来评估生物反应器运行的次日的预测性能，因为该模型允许与我们之前发布的模型进行直接比较，该模型使用ToR策略预测VCD、滴度和累积葡萄糖消耗（Yatipanthalawa等人，2024年）。这里我们将这个先前的模型称为基础模型。还选择了RF算法，因为在我们的过去研究中，当使用不同的CHO细胞系和产品的数据集进行测试时，发现它是最好的算法（Yatipanthalawa等人，2024年）。然后，我们将模型扩展为从第0天条件开始递归预测整个细胞培养过程（12天），这需要同时预测所有输入特征。接下来，我们评估了混合模型训练策略ToR与ToC的影响，并将这种性能与纯数据驱动模型的次日预测和递归预测进行了比较。在这里，还比较了不同机器学习算法（MLP、RF、XGB和LSTM）在两种预测方法上的影响，涉及四个测试数据集。还评估了两种混合模型训练策略ToR和ToC对噪声的鲁棒性。最后，我们评估了测试数据集和训练数据集之间的差异，以帮助阐明不同方法之间观察到的模型性能变化。3.2.1. 次日预测性能 RF ToR模型能够成功预测第二天的五个选定过程指标的值，并为每个指标生成时间序列，如下图4所示。最初使用了数据集A，因为这些数据与最初用于训练的数据最为相似，我们的假设是该数据的预测将是准确的。图4包括代表运行A的预测数据和实验数据（图4a），以及测试集A中所有数据点的预测值与实际实验数据之间的变化（图4b）。下载：下载高分辨率图像（358KB）下载：下载全尺寸图像图4. 使用RF ToR模型对测试集A的五个过程指标进行次日预测，表示为（a）12个工作日内代表性生物反应器运行的预测数据（橙线）与实验数据（蓝点）的时间序列比较，（b）由6次运行组成的整个测试集A的实际值与预测值的比较，其中身份线用蓝色绘制，灰色虚线标记了与身份线一个标准差的距离。所有值都进行了标准化，颜色图例表示工作日。从测试集A中选择的代表性运行的RMSE值与整个数据集的RMSE值非常吻合。如图4a所示，预测趋势与数据之间的良好拟合，以及图4b中所有数据在一个标准差范围内的紧密聚集，证实了这一假设。如图4a所示，五个过程指标中的所有指标都能以较高的准确性预测第二天的值，预测趋势与数据之间的良好拟合，以及图4b中所有数据在一个标准差范围内的紧密聚集，证实了这一假设。滴度和累积葡萄糖消耗的拟合度最好（标准化RMSE分别为0.012和0.013（图5）或使用另一种误差度量SMAPE，分别减少了3.92%和5.63%（见图S5），数据接近身份线。在VCD和DCD的后期时间点，预测值与实际数据之间观察到一些轻微的变化，而乳酸在整个时间序列中的变化较大。在乳酸的情况下，这是由于测试集A中的乳酸浓度比训练集中的变化较大所致（图3）。下载：下载高分辨率图像（198KB）下载：下载全尺寸图像图5. 之前发布的基模型与当前RF ToR模型在测试集A上的次日性能比较。RMSE值已标准化。这些小提琴图显示了RMSE数据的分布，宽度近似于频率。还显示了一个箱线图，其中白色标记是中位数， whisker绘制到距离Q1或Q3的四分位数范围1.5倍的最远数据点。与我们之前发布的基模型（Yatipanthalawa等人，2024年）相比，该模型有一些改进，能够预测五个过程指标中的三个的次日值，如图5所示。RF ToR模型对第二天的VCD预测准确性略有提高，因为平均标准化RMSE从0.047降低到0.038（或SMAPE从9.75%降低到6.57%（见图S5），而滴度预测保持相似。累积葡萄糖消耗预测的准确性显著提高，平均标准化RMSE从0.045降低到0.013（或SMAPE从26.93%降低到5.63%）。这些改进被认为是由于模型之间用于速率计算的方法、输入特征的选择以及机制方程的差异所致。这强调了用于计算使用ToR策略开发的模型特定速率的方法如何影响最终预测结果，正如Bayer等人（2020年）之前观察到的那样，他们发现进料中的小错误可能导致底物吸收率估计出现较大误差。尽管如此，这两种方法都相当准确地预测了速率（图S6.3.2）。接下来测试了RF ToR模型预测多日性能的能力。与之前的基础模型不同，该模型可以预测递归预测所需的所有五个过程指标。RF ToR模型能够使用第0天的初始条件作为输入，成功预测12个工作日的整个时间过程中的五个过程指标，如图6所示。该图显示了来自测试集A的代表性运行的预测数据和实验数据（图6a），以及测试集A中所有数据点的预测指标与实际实验数据之间的差异（图6b）。下载：下载高分辨率图像（359KB）下载：下载全尺寸图像图6. 使用RF ToR模型对测试集A中的五个过程指标进行递归预测，表示为（a）12个工作日内代表性生物反应器运行的预测数据（橙线）与实验数据（蓝点）的时间序列比较，（b）由6次运行组成的整个测试集A的实际值与预测值的比较，其中身份线用蓝色绘制，灰色虚线标记了距离身份线一个标准差的范围。所有值均已标准化，颜色图例表示工作日。从测试集A中选择的代表性运行的RMSE值与整个数据集的RMSE值非常接近。对于所有五个过程指标，递归预测的准确性都很好。在代表性运行中，图6a显示中间时间点的乳酸预测略有偏低。当考虑整个测试集时，大多数预测值都在一个标准差范围内，尽管有一些乳酸预测值略超出图6b中的虚线范围。与次日预测相比，乳酸在标准差内的散布也更大（图6b vs 4），这可能是由于递归预测任务更复杂所致。然后使用相同的RF ToR模型对测试集D进行递归预测，该数据集与训练集A有显著不同，以测试模型预测超出初始训练集的细胞行为的能力。与训练集相比，测试集D的VCD、DCD和乳酸浓度较高，而滴度和累积葡萄糖消耗量处于相似范围内（图3）。图7显示了测试集D的代表性运行的递归预测结果，以及测试集D中所有数据点的预测指标与实际实验数据之间的差异。测试集D的次日预测结果也在补充信息中显示（图S7）。下载：下载高分辨率图像（436KB）下载：下载全尺寸图像图7. 使用RF ToR模型对测试集D中的五个过程指标进行递归预测，表示为（a）12个工作日内代表性生物反应器运行的预测数据（橙线）与实验数据（蓝点）的时间序列比较，（b）由275次运行组成的整个测试集D的实际值与预测值的比较，其中身份线用蓝色绘制，灰色虚线标记了距离身份线一个标准差的范围。所有值均已标准化，颜色图例表示工作日。从测试集D中选择的代表性运行的RMSE值与整个数据集的RMSE值非常接近。虽然可以预测测试集D的所有五个过程指标，但准确性低于在测试集A上进行的递归预测（图6），表现为数据集特定的RMSE从0.053增加到0.167（或SMAPE从13.57%增加到31.59%）。由于累积葡萄糖消耗量的趋势较为简单且单调递增（如图3所示），并且测试集D中的CGC与训练集相对相似，因此大多数预测值仍在一个标准差范围内。然而，VCD、滴度、乳酸和DCD的一些预测值超出了一个标准差的范围。在滴度的情况下，这种偏差很有趣，因为训练集A和数据集D之间观察到了类似的趋势（图3），这可能反映了用于滴度预测的数据集之间的其他特征差异。图7中VCD和乳酸预测的最大变化发生在第6个工作日的测量峰值附近，而对于滴度和DCD，这种变化发生在较晚的工作日（11-12）。虽然已知递归模型会随着时间的推移传播误差（Ben Taieb等人，2012年），但有趣的是，这里观察到的误差并不总是出现在较晚的工作日。特别是对于乳酸，在某些日子里出现了明显的低估（图7b），这可能是由于测试集D中的一些运行中乳酸水平超过了正常操作范围（数据未显示）。由于这些异常可能是由于第0天后发生的工艺变化引起的，因此在训练或输入数据中没有被模型捕捉到，因此未能预测到升高的乳酸水平。这些乳酸和VCD预测的错误也可能导致测试集D的滴度预测准确性降低。在这种情况下，乳酸是整体误差的主要来源，正如第S9节中最佳和最差预测运行之间的对比以及第S10节中各个过程指标的预测准确性所显示的。在递归预测中，测试集D与测试集A之间的准确性普遍降低是预期之中的，因为测试集D的数据由于抗体、生物反应器条件和接种密度的差异而与数据集A不同（图3和表1）；这些数据集中的VCD、乳酸和DCD之间存在明显差异，而在测试集A中这种差异不太明显（图3）。虽然数据驱动模型不期望超出实验设计空间进行外推，但混合模型具有额外的机制组件，这可能提供超出初始训练集的一些外推潜力（Thompson和Kramer，1994年）。然而，图7表明，当前RF ToR模型的这种外推能力是有限的，因为它没有包括两个数据集之间所有可能的差异（表1）。当前的训练集也包含有限的变化。对于测试集B和C的递归预测也进行了相同的预测和准确性评估，分别显示在图S12和S13中。这些数据集在其他方面与训练集A不同，包括数据集B的生长率和VCD较高，以及数据集C的乳酸浓度较高且变化较大（图3），这些预计会改变模型预测的准确性。总体而言，VCD和乳酸的峰值略有低估，反映了这两个数据集中的这些指标值高于训练集A。对于数据集B，滴度、CGC和乳酸的预测通常较好；对于数据集C，滴度和CGC的预测也较好，再次反映了这三个数据集之间的相似性（图3）。这些比较共同证实了训练集和测试集数据之间的相似性对RF ToR模型中几个过程指标（VCD、滴度、乳酸和DCD）的准确性很重要。3.3. 模型策略和算法对性能的影响为了检查数据集、ToR或ToC策略和算法对性能的影响，我们比较了十个模型在所有这些因素的所有可能组合下每次运行的RMSE值，包括次日预测和递归预测。请注意，ToC策略仅与基于神经网络的算法（MLP和LSTM）兼容，因此它不适用于基于树的模型（RF和XGB）。进一步比较了四种数据驱动模型（DD），每种算法类型一个，这些模型在没有混合模型中存在的机制组件的情况下用于预测（表S2）。在这次比较中考虑了测试集A、B、C和D。3.3.1. 比较次日预测中的策略和算法次日预测的RMSE值如下图8所示，并按数据集、策略和算法进行组织。下载：下载高分辨率图像（428KB）下载：下载全尺寸图像图8. 四个不同测试数据集A-D、两种混合训练策略ToR和ToC或数据驱动（DD）方法以及四种可能的算法（MLP、LSTM、RF和XGB）的次日预测的标准化RMSE值。这些小提琴图显示了RMSE数据的分布，宽度大致表示频率。还显示了一个箱线图，其中白色标记是中位数， whisker绘制到距离Q1或Q3的四分位数1.5倍范围内的最远数据点。在不同因素中，RMSE的最大变化来源似乎是数据集。即，数据集A和B与C和D之间的RMSE有显著差异。数据集A和B的较小误差很可能是因为它们与训练集相似（图3），而不那么相似的数据集C和D的预测误差较大。当使用SMAPE评估误差时，这种数据集分组不太明显，尽管总体而言，数据集之间的差异似乎是影响性能的最大因素（见图S14）。当控制数据集和策略时，不同算法的表现相似，使用SMAPE作为误差度量时可以看到一些细微差异（见图S14）。对于数据集C和D，ToR和ToC策略给出的混合模型范围优于数据驱动策略的RMSE。在测试集A和B中未见这种对比，表明数据驱动模型适应与训练集略有不同的测试集的能力较弱。当使用SMAPE作为误差度量时也可以做出类似观察，数据驱动策略的SMAPE较大，且测试集C和D的误差最大。这种结果是预期的，因为ToR和ToC策略的混合性质预计可以提供超出训练集的一些外推能力，而数据驱动模型则没有这种能力。有趣的是，在所有情况下使用RMSE或SMAPE时，ToR和ToC的性能差异不大，这也可能是由于不同算法的性能相似所致。3.3.2. 比较递归预测中的策略和算法对数据集、策略和算法的相同分析也应用于递归预测，如下图9所示。下载：下载高分辨率图像（482KB）下载：下载全尺寸图像图9. 不同测试数据集A-D、两种混合训练策略ToR和ToC或数据驱动方法以及四种可能的算法（MLP、LSTM、RF和XGB）的递归预测的标准化RMSE。这些小提琴图显示了RMSE数据的分布，宽度大致表示频率。还显示了一个箱线图，其中白色标记是中位数， whisker绘制到距离Q1或Q3的四分位数1.5倍范围内的最远数据点。与次日结果类似，在考虑RMSE或SMAPE时，四个不同数据集A-D之间的差异最为明显（见图S15）。数据集A和B的RMSE较低，而数据集C和D的RMSE较高（这两种误差指标都在表S8中以数字形式呈现）。数据驱动的ToR策略和ToC策略对RMSE或SMAPE的影响较小且不一致。以测试集B的结果为例，当与MLP算法结合使用时，数据驱动策略的表现不如ToR和ToC策略；但当与XGB算法结合使用时，其表现与ToR策略相似。不同策略之间的RMSE差异很小，没有一种策略始终优于其他策略，尽管在某些情况下数据驱动策略导致的SMAPE较高（见图S15）。算法的选择对RMSE的影响也较小且不一致，不过RF和XGB算法似乎能降低测试集A、B和C的SMAPE误差（见图S15）。鉴于本案例中数据的规模有限且同质性较高，采用更简单的模型架构（如MLP）是有道理的，因为这可以降低模型复杂性和过拟合的风险。集成方法（如随机森林和XGBoost）即使在数据有限的情况下也通常表现稳健（Nikita等人，2022年），这些方法确实在某些数据集上提供了更高的预测准确性，但这种优势并非普遍存在，表明像MLP这样的简单模型仍具有一定的优势。测试集C和D中不同模型版本的RMSE分布看似相似，且使用SMAPE比较数据驱动模型和混合模型时仅观察到微小差异，这是出乎意料的，因为之前的研究已经发现混合模型通常优于纯数据驱动模型（Narayanan等人，2022年、2019年），在次日预测中也同样观察到这一现象（见图8）。使用能够捕捉非线性关系的先进机器算法（如随机森林）可能解释了这种差异。特别是，先前的研究在系统评估不同数据驱动算法和多日预测策略的有效性时发现，基于树的集成方法表现最佳（Park等人，2023年），并且RF和XGB算法在RMSE和SMAPE方面的性能最为接近。当对包括算法、训练策略和测试集在内的模型的不确定性进行估计时，无论是次日预测还是递归预测，都可以观察到类似的趋势（见表S9和S10）。递归预测通常比次日预测具有更高的不确定性，这是预期之中的。在大多数情况下，数据驱动模型的不确定性通常高于混合模型；例外情况包括测试集B和D上的LSTM ToR次日预测、测试集D上的RF ToR递归预测以及测试集A上的XGB ToR递归预测。虽然ToR和ToC训练策略之间没有系统性的差异，但基于树的算法（RF和XGB）通常比MLP和LSTM模型的不确定性更低，这表明不同算法之间的不确定性存在差异。研究表明，在涉及表格数据的某些场景中，基于树的算法表现优于神经网络（Grinsztajn等人，2022年）。当前研究中混合模型添加的机制细节仅限于质量平衡和简单的基于速率的关系。虽然这种简化方法足以递归预测相似（测试集A）或略微相似（测试集B）的过程，但当测试数据集与训练条件相差较大时（测试集C和D），可能会导致性能不一致。增加机制约束的层次可能会提高混合模型的性能，特别是预测更复杂的指标（如乳酸）的能力，并有助于提高模型的外推能力。这是未来研究的一个重要方向。然而，Narayanan等人（2022年）的一项最新研究表明，尽管增加更多过程知识可以提高模型准确性和外推能力，但超过某个阈值后，进一步增加复杂性会导致收益递减。因此，在设计混合建模框架时需要仔细权衡机制的精确性和模型的简洁性。为了进一步探索模型在单个生物反应器运行层面的性能，我们检查了测试集D中每个输出指标的RF ToR模型递归预测准确性的变化情况，特别关注通过SMAPE确定的最佳和最差预测运行的误差（见第S9节）。我们发现，无论是从单个生物反应器运行还是数据集的角度来看，模型性能都是相似的。在最佳预测运行中，五个过程指标中有四个预测得很好，这与测试集D的平均值和95%置信区间以及训练集A的结果相似。相比之下，在最差预测运行中，五个过程指标的预测都较差，这种行为被描述为乳酸失控，即乳酸水平持续升高且代谢发生改变。正如预期的那样，这种非典型运行与测试集D和训练集A中的其他运行不同。3.3.3. 选择策略的考虑因素，包括噪声数据的影响我们已经证明，两种混合模型ToR和ToC策略在次日预测中的表现优于这里使用的数据驱动策略，而在递归预测中，没有一种策略始终表现最佳，其中数据集是影响模型性能的主要因素。我们还发现，在次日预测和递归预测中，混合模型ToR和ToC策略之间没有显著差异。这一发现表明，对于类似的案例研究，可以使用任一混合策略并获得类似的准确性。鉴于性能相当，考虑到灵活性和可访问性，应优先选择ToR策略。ToR策略理论上可以与任何可以将过程指标映射到所需特定速率的机器学习算法兼容。相反，ToC仅与基于神经网络的算法兼容，这可能会大大限制其应用范围。例如，我们在图8和图9中展示了ToR与基于树的算法（如RF和XGB）的兼容性，尽管在这些用例中这些算法并没有带来额外的优势。ToR和ToC策略之间的另一个重要区别在于应用ToR策略时是否可以使用任何机制方程。ToC策略仅与神经网络兼容，因此依赖于反向传播进行训练，而这需要一个连续可导出的机制方程。在对ToR和ToC策略的进一步测试中，我们在训练数据中添加了逐渐增加的高斯噪声，以研究其对两种混合建模策略的影响，因为我们假设这两种方法对噪声的敏感性会有所不同。当存在噪声时，发现ToC策略的表现优于ToR策略。随着噪声水平的增加，RMSE通常也会增加，这是预期之中的，尽管对噪声的敏感性取决于数据集、混合模型训练方法（ToR vs ToC）、算法（MLP vs LSTM）以及所研究的输出指标。在某些情况下，当检查五个过程指标的平均RMSE时，观察到ToR和ToC方法对噪声的敏感性存在明显差异（见图S16和S17）。仔细观察发现，对于次日预测和递归预测，CGC的预测随着噪声的增加而RMSE增加，尤其是ToR训练策略的误差增加更为显著（见图S18和S19）。这可能是由于使用噪声实验数据计算特定速率时误差的累积效应（Oliveira，2004年），而直接基于浓度数据进行训练可以避免额外的误差。然而，在大多数选定的案例中，要观察到ToR和ToC训练方法之间的差异，所需的噪声量超过了10%，除了使用LSTM算法和ToR方法对测试集B的次日预测（见图S18）。综上所述，这些观察结果表明，ToR训练方法可能对训练数据中的误差更敏感，但数据中的误差/噪声需要达到相当高的水平（即>10%）才能观察到明显的差异。工业中使用的大多数分析技术的误差水平都在10%或以下。由于这个水平太低，无法观察到性能差异，因此当应用于类似的数据集时，两种训练方法没有明显的区别，这与我们之前在没有人工噪声的原始数据中的发现一致。因此，对于大多数开发混合模型的从业者来说，更简单、算法灵活性更高的ToR方法可能提供相当的准确性，并减少实施负担。这一发现与普遍预期一致，即构建更准确的次日模型有助于减少递归模型中的误差传播。总体而言，误差传播被认为是递归预测的一个挑战（Park等人，2023年）。当检查较长时间范围内的单个指标误差时，无论是使用SMAPE还是RMSE，都发现乳酸预测的误差有所增加，且这种误差在所有五个指标中最大（见第S10节）。仅考虑RMSE时，除了VCD之外的所有指标都呈单调增加趋势，这对于递归预测来说是预期的，尽管其他指标的误差幅度小于其他研究中的观察结果（见第S10节）。3.4. 总体误差与训练-测试数据差异之间的关系鉴于数据集对预测性能的影响（见图9），我们评估了模型性能的总体误差与四个数据集之间差异的关系。这是通过使用欧几里得距离（公式（22）和（23）量化测试集和训练集中每个生物过程运行之间的平均成对距离来完成的。这种测量距离的方法提供了一种简单的方法来探索在状态空间中数值上更接近的轨迹是否也倾向于表现出较低的预测误差，尽管它在物理上的解释性有限。我们使用皮尔逊相关系数（r）可视化和计算了混合类别（图10a, b）和数据驱动类别（图10c, d）中所有模型的对数距离与平均预测误差（RMSE）之间的关系。对于次日预测，无论是混合模型还是数据驱动模型，都观察到了中等程度的相关性（混合模型r = 0.795，数据驱动模型r = 0.788；图10a和c）；而对于递归预测，无论是混合模型还是数据驱动模型，相关性都非常强（混合模型r = 0.92，数据驱动模型r = 0.932；图10b和d）。当使用SMAPE作为误差度量时，相关性较弱，特别是对于混合模型的次日预测（见图S20）。下载：下载高分辨率图像（545KB）下载：下载全尺寸图像图10. 散点图显示了（a, b）混合模型和（c, d）数据驱动模型的平均成对对数欧几里得距离与平均RMSE之间的关系；对于（a, c）次日预测和（b, d）递归预测，测试集可以是数据集A、B、C或D。所有图表中都显示了皮尔逊相关系数（r），相关值的计算使用了SciPy v1.15.1。Seaborn用于绘制回归线（黑线）和回归线的自助法95%置信区间（由阴影灰色区域表示）。所有值均已标准化。这一观察结果表明，训练数据和测试数据之间的相似性是影响递归预测最终性能的重要因素。这种情况可能由多种原因导致。一个可能的解释是，用于递归预测的模型可用的信息有限，特别是第一天的输入数据，这可能导致模型难以学习五个过程指标的通用时间序列模式。在次日预测中，这个问题不那么严重，因为模型可以从前一天的真实指标水平中获得更多信息来预测第二天。因此，观察到次日预测的相关性较低，整体误差也较低。图10和图S20中观察到的递归预测模式很可能与数据集分布（如图3所示）有关。这与数据集偏移问题相关，这是机器学习中的一个关键挑战（Storkey, 2008），即当训练数据和测试数据的属性发生变化时，模型性能会下降。从经验上看，一个关键的解决方案是应用迁移学习，即在目标或新任务上进行训练之前，先在相关数据集/任务上对模型进行预训练，尤其是在目标或新任务的数据有限的情况下（Neyshabur等人，2020）。迁移学习在图像识别、自然语言处理等领域已被证明是有效的策略（Weiss等人，2016）。迁移学习在许多生物过程领域也有应用，包括帮助菌株选择、指标预测、放大（Karimi Alavijeh等人，2022）、将一个菌株或生物过程的模型适应到另一个菌株或生物过程（Pennington等人，2025；Riezzo等人，2025；Rogers等人，2025）以及过程控制（Wang等人，2024），包括在酵母和微藻过程中（Kay等人，2023；Rogers等人，2022），但在哺乳动物细胞过程性能建模方面的研究相对较少。未来的工作可以系统地研究哪些迁移学习或即时学习方法能够改善预测效果，从而可能缓解在不同生物处理领域应用时的泛化问题。

此外，当前输入到模型中的数据没有捕捉到数据集A-D中反映的过程差异，例如抗体类型、细胞系以及其他过程差异，如喂养制度。进一步的工作可以探索输入参数空间，并研究其他方法，使模型能够了解这些过程之间的内在差异。例如，Hutter等人（2021）探讨了使用嵌入向量来告知模型过程之间的差异。此外，还可以探索更广泛的输入特征空间，这些特征可以告知模型关于过程扰动和代谢状态的信息，如pH值、温度和氧浓度，从而更好地预测更复杂的指标，如乳酸。此外，还可以进一步研究其他递归或多日预测方法。例如，Park等人（2023）提出的直接预测方法可以在不递归运行算法的情况下预测多个时间点的值，这种方法可以与机理方程结合使用，以更好地预测CHO细胞培养情况。其他新兴方法，如利用机理知识在训练过程中同时考虑数据驱动（数据损失）和机理或物理成分（物理损失）两个损失函数的物理信息神经网络，也可以被考虑并与这里探讨的方法进行比较（Yang等人，2024）。包括深度神经网络、遗传算法和LSTM-Euler混合模型在内的更广泛的混合建模技术也为CHO生物过程模型的进一步发展提供了机会。

4. 结论

本研究开发了六个串联混合模型，通过将机器学习算法与基于特定速率的机理方程以及四个控制数据驱动模型相结合，用于CHO细胞生物反应器系统。使用了两种混合模型的训练策略：基于速率训练和基于浓度训练，并结合了四种不同的机器学习算法（MLP、LSTM、RF和XGBoost）来探索模型在次日预测和递归预测方面的性能。一个由严格控制下的生物反应器运行组成的数据集被用作训练集。几个描述不同过程的数据集被用作测试集。对于五个过程指标VCD、滴度、乳酸、CGC和DCD，无论是次日预测还是递归预测，都观察到了良好的预测性能。训练集和测试集之间的差异被认为是影响模型性能的主要因素，尤其是在递归预测中。如果测试集足够不同，添加一些机理细节也可以使混合模型比纯数据驱动模型做出更好的次日预测，这与混合模型能够进行一定程度的外推能力一致。时间序列过程指标的复杂性也会影响预测的误差。在大多数测试场景中，无论是基于速率（ToR）还是基于浓度（ToC）的策略，以及不同算法之间，都没有观察到模型性能的显著差异，除非在训练数据中添加了显著的噪声，在这种情况下，基于浓度（ToC）的策略表现更好。还发现训练集和测试集之间的差异与递归预测的误差之间存在正相关关系，这表明有可能开发出新的方法来优化CHO细胞培养性能的预测模型。

研究表明，在选择计算方法（包括训练方法和算法）方面具有一定的灵活性，适用于此处研究的CHO过程等案例。基于速率（ToR）的策略似乎比基于浓度（ToC）的策略提供了更大的灵活性，而且对于所考虑的数据集，对误差的敏感性差异是可以接受的。RF和XGBoost在某些数据集上提高了预测性能并降低了不确定性估计，但简单的MLP算法也有一些优势。这里描述的混合模型的预测能力也有潜力在未来过程控制和优化中得到应用。

作者贡献声明：
Timothy Hermanto：撰写——原始草稿、可视化、软件、方法论、正式分析、数据整理、概念化。
Kenny W.L. Lam：撰写——原始草稿、可视化、软件、方法论、正式分析、数据整理、概念化。
Bhagya S. Yatipanthalawa：撰写——原始草稿、方法论、概念化。
Gregory J.O. Martin：撰写——审阅与编辑、监督、项目管理。
Yih Yean Lee：撰写——审阅与编辑、监督、项目管理、数据整理。
Sally L. Gras：撰写——审阅与编辑、撰写——原始草稿、可视化、监督、项目管理、方法论、资金获取、概念化。