从分子到过程的联邦学习：化学工程领域的展望

《Chemical Engineering Research and Design》：Federated learning from molecules to processes: A perspective

　　

研究人员提出了关于化学工程(Chemical Engineering, ChemE)中联邦学习(Federated Learning, FL)的展望，展望了化学工业内机器学习(Machine Learning, ML)开发的协作努力。大量的化学和过程数据专属于化学公司，因此被锁定在数据孤岛(data silos)中，阻碍了在化学工程中基于大数据集训练ML模型。近来，FL的概念在ML研究中获得越来越多的关注，使组织能够在不披露其个体数据的情况下联合训练ML模型。研究人员讨论了FL在化学工程多个领域的潜在应用，从分子尺度到过程尺度。此外，研究人员在两个模拟多家化学公司持有专有数据集的实际场景的示例性案例研究中应用了FL：(i) 利用图神经网络(Graph Neural Networks, GNNs)预测二元混合物活度系数，以及 (ii) 利用自编码器(autoencoders)进行精馏塔的系统辨识(system identification)。研究结果表明，通过FL联合训练的ML模型比每家化学公司单独训练的模型具有显著更高的准确性，并且其性能可与基于所有公司合并数据集训练的模型相媲美。因此，FL在推进化学工程中的ML模型同时解决企业数据隐私问题方面具有巨大潜力。未来的试点项目研究对于迈向化学工业内的实际应用至关重要。

研究背景方面，机器学习(Machine Learning, ML)方法在化学工程(Chemical Engineering, ChemE)研究中取得了显著进展，但数据稀缺仍是关键限制因素。互联网可收集数十亿数据点的文本和图像大数据集，而化学工程应用通常面临数百至数千个实验数据点且方差较低的小数据集，例如相似操作点下的化学过程数据。绝大多数高价值化学和过程数据由化学企业在过去几十年中收集，锁定在其数据孤岛(data silos)中。企业有强烈意愿保持数据私有，因其投入大量资金精力获取且包含其工作的化学空间和过程的机密信息。因此，化学工程应用公开可用的大型数据集极少，缺乏基准，限制了ML研究及大规模模型开发。现有缓解化学数据稀缺的方法包括将领域知识纳入模型（如混合架构(hybrid architectures)、物理知情ML(physics-informed ML)、结合领域特定工具的智能体架构）、通过多任务、多保真度(multi-fidelity)、自监督(self-supervised)和迁移学习(transfer learning)人工增加数据量，但这些方法仍不足以满足许多ML应用需求或依赖模拟数据。研究人员认为利用私有化学和过程数据集增加训练数据的数量和质量对催化化学工程ML应用至关重要，因此需要一种在不损害数据隐私前提下利用企业现有数据、实现多工业及可能学术伙伴新研究合作的方法，联邦学习(Federated Learning, FL)尤为有前景。FL使多个实体能够在不披露其个体数据的情况下联合训练ML模型，已在自然语言处理、金融、医疗等领域获学术界和工业界应用，化学工程中虽有少量近期应用（如铝电解过程变量预测、图神经网络分子性质预测FedChem基准、串联化学反应器分布式模型预测控制(distributed model predictive control)、药物相关教程及能源系统功率预测等），但总体上新兴且探索不足。研究人员提出化学工程中FL的展望，描述FL概念，讨论化学工程背景下FL方面及潜在应用（如流程图数字化(flowsheet digitization)、过程设计(process design)）及实际实现的挑战和方向，并通过两个示例性案例研究（图神经网络预测二元混合物无限稀释活度系数、自编码器动态化学过程系统辨识）展示化学公司通过FL协作可提高ML模型预测精度，虽转向工业环境需进一步数据和模型隐私考量，但案例证明了解决化学工程数据稀缺及推进工业规模ML的潜力。

关键技术方法方面，研究人员采用模拟多家化学公司持有专有数据集的场景开展两项案例研究。第一项案例研究使用Brouwer和Schuur发布、Winter等和Sanchez Medina等清洗的18016个二元混合物无限稀释活度系数样本数据集，设置均匀随机（全模型共享、FedAvg算法、四公司均等iid划分）和不均匀骨架（部分模型共享、FedPer、四公司非iid划分基于溶剂Bemis-Murcko scaffolds、占比40%、30%、20%、10%）两种FL场景，以各公司仅用私有数据训练和全数据集集中训练为基线，使用基于PyTorch Geometric和RDKit的MoLprop框架GNN模型（输入两种分子图、聚合步结合为混合物指纹映射活度系数），通过Flower 1.7实现FL算法，30轮通信、150本地轮次、指数学习率衰减和早停，十次实验取算术平均和标准误，评估指标为测试集MSE和RIPtoP。第二项案例研究模拟五家操作相同精馏塔（甲醇-丙醇高纯度、八块塔板加再沸器冷凝器、Jacobsen和Skogestad等研究模型）的公司，四家各有192条恒定蒸汽流速V∈{1.6,1.7,1.8,2.0} kmol/s轨迹的丰富数据集，目标公司仅有V=1.9 kmol/s的2条稀缺轨迹，使用Schulze等开发的MIMO Wiener-type模型（基于Koopman理论、编码器-线性状态空间-解码器结构、autoencoder映射物理状态x(t)与潜空间z(t)、训练全长p状态轨迹响应输入u(t)阶跃），采用FedAvg全模型共享，对比目标公司仅用私有稀缺数据、全数据集192条训练基线，数据线性缩放到0-1，自编码器超参数同Schulze等（10物理状态映射到2维潜空间），十次不同种子计算，测试集为5小时长度多步预测MSE。

研究结果部分保留小标题说明如下：

1. 1.
   Introduction部分通过梳理ML在化学工程的进展与数据瓶颈，指出企业数据私有导致数据孤岛及公开数据集匮乏，综述现有缓解数据稀缺方法（混合架构、多任务等多学习范式）的局限性，提出利用私有数据需兼顾隐私与合作，引出FL在化学工程的适用性，综述FL在多领域的应用及化学工程少量现有研究，明确本文旨在呈现化学工程FL展望、描述概念、讨论应用与挑战并通过案例验证潜力。
2. 2.
   Concept of federated learning部分阐述FL范畴为跨孤岛(cross-silo)FL、集中式协作，聚焦化学工程多企业联合训练。Fundamentals & workflow定义K个客户端(client)持局部数据集D_k~P_k(x,y)、全局模型参数w∈R^d，优化问题为min_w?(w)=∑_k=1^K(n_k/n)L_k(w)=∑_k=1^K(n_k/n)∑_i=1^n_k?_i(w;(x_i,y_i)∈D_k)，采用Federated Averaging (FedAvg)算法：初始化全局参数w₀，通信轮次r∈{1,2,…,R}，每轮服务器发上一轮参数w_r-1给客户端，客户端用D_k更新得w_r^k∈argmin_w∑_i=1^n_kL_k(w)，上传{w_r^k}_k=1^K，服务器加权聚合w_r=∑_k=1^K(n_k/n)w_r^k得新全局参数，迭代至停止准则。Model performance indicators说明客户端用本地测试集算MAE、MSE、R²，可微调后对比单独训练模型，引用Heyndrickx等的相对完美接近度改进(RIPtoP)=(metric_MoI-metric_baseline)/(metric_perfect-metric_baseline)，模拟研究常对比集中训练（聚合所有本地数据的模型，实际不可行且不必然为上界）。Data distribution & heterogeneity指出实际客户端数据分布非独立同分布(non-iid)即P_k≠P_l，分水平(horizontal)（同特征不同样本）、垂直(vertical)（同样本同特征不同属性）、迁移学习(transfer learning)（样本特征均不同）分布，异构导致局部损失偏离全局损失E_Dk[L_k(w)]≠?(w)，可通过预训练、多任务、个性化FL(personalized FL)缓解，FedAvg在异构下常表现稳健。
3. 3.
   Towards federated learning in chemical engineering部分Perspective applications按图4和表1列举十大领域：数据数字化(Data Digitization)用FL联合训练计算机视觉模型识别流程图/记录而不披露专有文件；过程建模(Process Modeling)联合类似应用的异构数据增强代理模型(surrogate modeling)/混合模型(hybrid modeling)/反应动力学分类器泛化性与鲁棒性；过程设计(Process Design)联合训练生成模型（transformer、强化学习）提升流程图设计泛化性避免每新任务重训；过程控制(Process Control)联合训练系统辨识(system identification)与强化学习控制策略、分布式模型预测控制(distributed model predictive control)及能源网络管理；异常检测(Anomaly Detection)联合多过程真实异常数据提升检测比与跨类型泛化；风险评估(Risk Assessments)联合多模态（文本图像表格）HAZOP数据训练多模态ML模型；电力电价预测(Power & Price Forecasting)联合分布式能源数据预测以支持化工柔性化调度需求；分子性质预测(Molecular Property Prediction)借鉴MELLODDY项目联合拓展化学空间与性质范围训练GNNs/transformers；混合物性质预测(Mixture Property Prediction)联合私有混合物数据库增强预测能力；自驱动实验室(Self-Driving Labs)联合多区域实验室数据训练合成预测/谱图分析/实验规划模型。Challenges & research directions指出四大挑战：激励(Incentives)需用博弈论分析竞合权衡与数据贡献估值公平；对抗攻击(Adversarial Attacks)含梯度/模型反转(gradient or model inversion)、数据/模型投毒(data and model poisoning)，需安全聚合(secure aggregation)、差分隐私(differential privacy)及化工过程尺度FL安全研究；数据异构与不确定性(Data Heterogeneity & Uncertainty)含非iid、标签噪声、实验不确定性与测量噪声（偶然噪声aleatoric noise）、格式差异，需标准化协议与不确定性量化；基准(Benchmarks)需学术界工业界共建开源非iid数据集与排行榜，工业实现还需算力基础设施、网络安全与法律考量。
4. 4.
   Exemplary case studies部分Case study I: Federated learning of activity coefficients in binary mixtures的Model用先前Rittig等的GNN（图卷积学分子图指纹、MLP映射性质，二元混合物聚两分子指纹为混合物指纹），Data set & federated learning scenarios用18016样本集设均匀随机（四公司25% iid、FedAvg全共享）和不均匀骨架（四公司40%/30%/20%/10%非iid基于溶剂scaffolds、仅共享至混合物嵌入的GNN层+FedPer私MLP头）场景，基线为私有训练与集中训练，70%/15%/15%划分训练验证测试，指标为测试MSE与RIPtoP。Implementation & hyperparameter用MoLprop（PyTorch Geometric+RDKit）去手性特征，Flower 1.7实现，4客户端全连接，30轮通信150本地轮次指数衰减早停，十次实验平均。Results & discussion显示均匀随机场景首轮客户端MSE 0.123-0.146，30轮后降至0.059-0.068（误差减半），全局模型首轮MSE 2.770后降至0.050（RIPtoP 62%），低于平均客户端0.064且接近集中训练0.046，聚合起正则作用减客户端漂移(client drift)过拟合；不均匀骨架场景客户端MSE均下降（Client1 0.095→0.072，Client4 0.258→0.099），全局模型（共享GNN层+私MLP头）30轮后MSE 0.082、平均客户端0.076，优于无FL平均0.156（RIPtoP 47%），虽低于集中0.046但所有客户端均获益，表明异构下FL仍有效。

Case study II: Federated learning for system identification of chemical processes的Model用Schulze等的MIMO Wiener-type模型（Koopman理论、编码器NN映射物理状态x(t)→潜空间z(t)、线性状态空间捕动态、解码器NN回物理状态，训练全状态轨迹长p响应输入u(t)阶跃，过程为甲醇-丙醇精馏塔、输入进料组成x_F(t)与液流率L(t)）。Data set & federated learning scenario模拟五公司操同一塔不同V（1.6,1.7,1.8,2.0 kmol/s各192轨迹丰富数据，目标公司V=1.9 kmol/s仅2轨迹稀缺数据），FedAvg全模型共享，对比目标公司私2轨迹、全192轨迹基线，测试集5小时多步预测MSE。Implementation & hyperparameters用Schulze等Python TensorFlow实现、Pyomo+CasADi模拟机理模型，数据缩0-1，自编码器10物理态→2潜态同原超参，十次种子运行。Results & discussion显示全数据基线MSE 1.47×10^-4（去离群1.16×10^-4），私有2轨迹基线MSE 1.44×10^-3（高一个量级），FL场景MSE 1.33×10^-4（RIPtoP 91%），目标公司误差降一个量级至富数据公司水平，无需额外采集过程数据即利用相似源过程知识，优于需聚合数据的迁移学习预训练。

总结讨论部分翻译结论：联邦学习(FL)允许在不共享数据的情况下联合推进ML模型，因此对存储大量专有化学和过程数据的化学工业极具吸引力。研究人员确定了FL在化学工程(ChemE)中的众多有前景应用，包括从分子到过程尺度的数字化、建模和设计方法。研究人员在两个此类应用（即混合物性质预测和系统辨识）中展示，化学公司可在协作中使用FL极大改进其ML模型而无需共享专有数据，使其在实际应用中极具前景。研究人员预见并倡导FL在化学工程中进一步应用（如过程流程图数字化和异常检测）。定义基准数据集、提高激励、阐明数据异构性及讨论对抗攻击潜在风险，在学术界、数据库组织和化学公司的强力协作中将至关重要。具有FL实际应用的试点项目将进一步阐明化学工业内数据与协作的挑战——目标是解决数据稀缺并推进化学工程中的ML。