将物理知识融入神经网络以预测有机溶剂纳滤（OSN）中的陶瓷膜性能，在提高准确性的同时提供了可解释性

《Journal of Membrane Science》：Informing neural networks of physics to predict ceramic membrane performance in Organic Solvent Nanofiltration (OSN) provides interpretability while improving accuracy

　　

- 物理启发的神经网络预测OSN陶瓷膜性能
- 向神经网络注入任何已测试类型的领域知识都是有益的
- 嵌入物理规则可防止OSN中出现非物理的机器学习预测
- 将机器学习模型约束于Spiegler-Kedem物理学是可行的且有益的
- 模型可以提取隐藏的Spiegler-Kedem参数以获得机理洞察

**引言**

有机溶剂纳滤（OSN）是一种压力驱动的膜技术，能够实现溶质与有机溶剂的分离，并越来越多地被视为更传统的热分离方法的环保、节能替代方案[1], [2]。该技术的适用性体现在其在制药[3], [4]、食品[5]和化工[6], [7]等行业中的成熟应用。

然而，OSN膜中的传质过程复杂且通常难以预测。分离机理取决于溶质、溶剂和膜的性质及其相互作用。这种复杂性限制了针对特定分离任务理性设计膜过程的可行性，通常将其简化为繁琐的试错过程。如果要将OSN确立为化学和制药行业中可靠且广泛适用的分离技术，解决这一挑战至关重要。

膜的性能通过截留率（从溶液中分离出的溶质百分比）和通量（分离速度）来衡量。预测这些性能指标对于OSN的工业化应用至关重要。

各种理论框架为膜传质提供了有价值的机理描述[8]。基于不可逆热力学的Spiegler-Kedem模型利用仅具有明确物理意义的三个参数提供了分离机理的简单描述：反射系数（σ）、溶质渗透性（P）和水力学渗透性（L）。其简洁的描述已被用于解释纳滤中水溶液的传质[9], [10], [11], [12], [13]，以及OSN中的传质[14], [15]。Maxwell-Stefan模型描述了多组分扩散[16], [17]，该模型通常能够详细解释许多行为，如溶质-溶剂-膜相互作用，但涉及大量参数，妨碍了可解释性。这些物理模型提供了包含大量经验参数的闭式方程。虽然它们提供了对传质机理的事后描述，但在预测方面并不成功。事实上，它们的参数与溶质、溶剂和膜的可测量性质之间没有明确的映射关系，使它们几乎没有预测能力。

最近，数据科学和机器学习（ML）在OSN领域[8]及其他领域[18]获得了越来越多的关注，作为一种从数据中分析和预测复杂系统行为的手段。数据驱动的方法论被用于分析（通常大量且多样的）OSN测量数据，以描述和解释传质机理并识别控制传质的最重要系统性质[15], [19], [20], [21], [22]。机器学习模型被用于根据系统性质（即膜、溶质、溶剂和工艺条件）预测膜性能，目标从工艺优化到膜材料的开发和选择以及探索大型设计空间不等[19], [21], [23], [24], [25], [26], [27], [28], [29]。还提出了机器学习与物理理论结合的混合模型，例如将神经网络与Maxwell-Stefan理论耦合用于多组分扩散[28]或溶液扩散理论[27]，或使用在Donnan-位阻孔模型模拟数据上预训练并注入电荷守恒定律的神经网络来预测多离子传质[30]。伴随并部分推动机器学习模型兴趣增长的是数据采集的大幅增加。最近的数据收集和共享计划包括开放获取的OSN数据库[31]和OMD4SRNF数据库[32]，这些计划有助于该领域机器学习的发展。

在本研究中，我们利用OSN传质中易于理解的方面，通过向神经网络注入这些物理原理来实现。我们将几种不同程度地将物理融入神经网络的架构与基线（不受约束的黑箱模型）及彼此进行比较。探索了四种神经网络架构：(1) 黑箱模型，(2) 领域启发网络，其信息流与膜分离测量的流程相仿，(3) 硬约束模型，其中截留率和通量严格遵循Spiegler-Kedem理论，以及(4) 软约束模型，该模型只能经验性地略微偏离Spiegler-Kedem理论。此外，我们还研究了是否可以实施范特霍夫公式来计算渗透压。

选择Spiegler-Kedem理论是因为其简单性和可解释性。它仅通过三个参数来表征系统物理学，每个参数都有明确且独特的物理意义。物理启发的神经网络（3&4）透明地遵循Spiegler-Kedem物理学，系统的复杂性由神经网络捕捉，神经网络学习从溶质、溶剂和膜到这些参数的合适映射。

选择神经网络是因为其灵活性，可以将物理约束直接融入其架构中。为排除任何混淆性的算法差异，神经网络也是唯一考虑的机器学习模型家族。

一方面，我们证明了在任何程度上将物理嵌入机器学习模型在准确性上都是有益的，从用领域知识指导信息流到严格将输出约束于物理方程（见第4.1节）。另一方面，受Spiegler-Kedem物理学启发的神经网络获得了改进的可解释性和透明度：它们通过保证通量-压力线性缩放来防止非物理预测（见第4.4节），并且提供了对其他隐藏的Spiegler-Kedem参数的访问（见第4.2节）。我们关键地表明，这些预测的参数在物理上是合理的：它们取现实值并表现出预期的函数关系。因此，这些预测参数可用于提取关于参数所捕获的潜在物理学的额外信息。除了基准测试预测精度和强调模型可解释性之外，我们还提供了方法论透明度，为将物理学系统性地融入OSN机器学习模型提供了清晰的框架（见第3节）。

我们的机器学习模型基于陶瓷膜的测量数据开发，陶瓷膜是比更常用的聚合物膜在化学和机械上更稳定的替代品[33]。由于抵抗压实和溶胀及其导致结构变化，这些膜预计表现出比聚合物膜更简单的行为。由于溶胀具有溶剂依赖性，陶瓷膜消除了许多使OSN建模更加复杂的因素。此外，陶瓷膜可以通过功能化其表面来定制以适应多种特定的膜任务[14], [33], [34], [35]。通过在膜表面接枝各种官能团，可以改变其化学性质（如极性、溶剂亲和力），同时保持其孔径不变[34]。该功能化过程是使用在VITO开发的专有格氏化学方法实现的[36]。功能化带来的灵活性允许探索广泛的膜性质，使其成为系统建模的理想选择。最终，利用机器学习模型的输出可以指导针对特定分离任务的膜理性设计。因此，机器学习模型可以作为陶瓷膜进一步开发的指南。

**章节摘要**

**膜级OSN**

我们旨在利用基于内部实验数据训练的机器学习模型预测陶瓷OSN膜的性能。所有实验均在室温下运行的实验室级单膜错流装置上进行。膜的性能由以下指标定义：(i) 体积通量F，即溶液透过膜的速率，以及(ii) 溶质截留率R，即分离过程中被截留的溶质比例。

在实验室级实验中，

**损失函数**

截留率和通量所使用的损失函数均为平均绝对误差（MAE），定义为：

?_MAE(?, R, F?, F) = MAE(?, R) + λ_F · MAE(F?, F) = (1/N) Σ? (|?? ? R?| + λ_F |F?? ? F?|)

这里，截留率和通量的权重始终取相等，即λ_F = 1，对于一组实验目标值{y?}和相应的预测值{??}，MAE定义为：

MAE(?, y) = (1/N) Σ? |?? ? y?|

已尝试过λ_F取1以外的值，甚至将其作为可调超参数使用，但λ_F ≠ 1的结果为

**比较模型性能**

为比较四个模型（"黑箱"（第3.2节）、"领域启发"（第3.3节）、"硬物理约束"（第3.4.1节）和"软物理约束"（第3.4.2节）），在单独的测试集上评估了其性能。为确保无偏评估，该测试集与模型设计和训练阶段严格隔离。为客观评估底层架构而非特定的超参数选择，我们使用20次随机模型初始化来评估每个模型

**结论**

在预测未改性和接枝陶瓷膜（二氧化钛和二氧化锆）实验室级实验中通量和（非负）截留率的神经网络中实施简单的Spiegler-Kedem物理学是可行的甚至是有益的，该实验在室温下进行，仅使用溶剂粘度和膜接触角等宏观描述符。它们通过以下方式强制物理一致性，防止非物理幻觉（如预测通量在更高压力下降低）：

**CRediT作者贡献声明**

Pieter-Jan Piccard：撰写——初稿，撰写——审阅与编辑，概念化，数据整理，形式化分析，调查研究，方法论，软件，验证，可视化。Wout Linsen：撰写——审阅与编辑，数据整理，调查研究，验证。Yara Roelen：撰写——审阅与编辑，调查研究，软件，验证。Len Feremans：撰写——审阅与编辑，验证，指导。Bart Cleuren：撰写——审阅与编辑，验证，指导。Anita

**利益冲突声明**

作者声明不存在可能影响本文报道工作的已知竞争性经济利益或个人关系。

Pieter-Jan Piccard | Wout Linsen | Yara Roelen | Len Feremans | Bart Cleuren | Anita Buekenhoudt | Jef Hooyberghs