基于仿真的优化方法:在离散空间中通过投影将其映射到连续的潜在空间
《Industrial & Engineering Chemistry Research》:Simulation-Based Optimization over Discrete Spaces Using Projection to Continuous Latent Spaces
【字体:
大
中
小
】
时间:2026年02月14日
来源:Industrial & Engineering Chemistry Research 3.9
编辑推荐:
高分辨率图像下载 MS PowerPoint 幻灯片
基于仿真的复杂系统在离散决策空间上的优化是一个具有挑战性的计算问题。具体来说,离散决策空间会导致可能替代方案的组合爆炸式增长,使得对所有可能组合进行仿真在计算上变得不可行。在这项工作中,我们提出了一种新的方法来处理这些问题,
高分辨率图像下载 MS PowerPoint 幻灯片
基于仿真的复杂系统在离散决策空间上的优化是一个具有挑战性的计算问题。具体来说,离散决策空间会导致可能替代方案的组合爆炸式增长,使得对所有可能组合进行仿真在计算上变得不可行。在这项工作中,我们提出了一种新的方法来处理这些问题,该方法使用一种称为变分自编码器(Variational AutoEncoders)的概率模型将离散决策空间转换为连续的潜在空间。决策空间的转换有助于实现贝叶斯优化(BO),这是一种高效的方法,可以策略性地导航空间以减少昂贵的仿真次数。这里的关键观察是,潜在空间中的点对应于原始混合离散空间中的决策,但使用 BO 导航潜在空间要容易得多。我们通过几个案例研究来说明我们方法的优势,这些案例研究旨在设计复杂的蒸馏系统:通过液-液萃取从水中回收辛酸,以及使用一种称为萃取分离壁柱的热耦合柱分离共沸混合物。
1. 引言
复杂系统的设计,如化学过程,通常涉及对离散变量的搜索空间(例如,化学过程的拓扑结构、溶剂选择或设备选择)。离散决策的存在使得优化技术的使用变得复杂,特别是当系统模型是黑盒模拟器时(无法直接访问代数方程)。这一挑战促使了黑盒优化策略的发展,这些策略依赖于从模拟器获得的输入-输出数据。(1,2) 在这些方法中,遗传算法(GAs)和其他进化算法已被广泛用于不同复杂程度的各种过程。(3?6) 进化算法是元启发式方法,可以处理离散设计空间,但它们可能需要大量的仿真,并且没有明确的停止搜索的指导原则。其他元启发式方法也经常遇到类似的限制。(7)
贝叶斯优化(BO)作为一种强大的黑盒优化方法而出现,因为它能够使用基于概率的替代模型(通常是高斯过程-GP)高效地探索设计空间,而这些模型可以在有限的数据上进行训练,这使得在仿真或实验成本高昂的情况下非常有用。BO 的一个关键方面是它利用替代模型上的不确定性信息来帮助探索设计空间。(8,9) 将 BO 应用于化学过程的设计,例如分离系统的设计,已经表明这种方法在减少仿真次数方面是有效的。然而,现有的研究主要集中在只涉及连续决策的决策空间上,例如馏出物与进料比和回流比。(10,11) 为了在 BO 中处理离散变量,一些研究使用了舍入策略;(12) 然而,这种方法可能导致算法陷入局部最优解或产生不可行的解决方案。例如,Luong 等人的工作(13) 提出了一种针对离散搜索空间的方法,通过优化探索-利用因子和协方差函数的缩放长度来避免冗余采样和局部最优解。虽然这种方法在纯离散空间中提高了性能,但所提出的修改是特设的。Wan 等人的工作(14) 提出了一种适用于分类和混合离散域的 BO 方法,结合了定制的核函数和局部信任区域策略进行高维优化。然而,通常很难在离散空间上拟合一个平滑的替代模型。
分子设计领域的研究人员提出使用变分自编码器(VAE)将分子设计空间(本质上是离散的)转换为连续空间。(15) VAE 的目标是识别输入数据的潜在表示;这是通过训练一个神经网络(称为编码器)将输入压缩到低维空间,并同时训练另一个神经网络(称为解码器)从潜在表示中重建原始输入数据来实现的。这种方法已被广泛用于导航分子和蛋白质的设计空间。基于这一概念,Stanton 等人的工作(16) 引入了 LaMBO,这是一种 BO 策略,它使用低维潜在空间和自回归模型来优化小分子和蛋白质序列。Gruver 等人的工作(17) 扩展了 LaMBO-2,用集成方法替换了高斯过程(GP)模型,同时保持对离散空间的关注。其他工作还探索了在离散输入上使用 BO,使用基于字符串的核函数或利用潜在空间的结构在分子应用中。(18?20) 最近,Michael 等人(21) 提出了 CoRel,这是一种蛋白质序列优化方法,它通过 VAE 潜在空间将离散的 BO 问题重新表述为连续问题。这种方法使得可以直接在概率分布上定义 GP 模型,利用基于加权 Hellinger 距离的新核函数。这种表述不仅结合了先前的领域知识,而且在数据稀缺和实验评估成本高昂的低预算优化场景中也证明是有效的。使用自编码器将复杂空间转换为易于处理的空间(例如,从非线性到线性)在动态模型的开发中也找到了许多应用;具体来说,多项研究报道了使用自编码器帮助发现线性潜在空间的能力,在这种空间下开发动态模型和控制策略要容易得多。(22)
在这项工作中,我们旨在研究在基于仿真的过程设计中遇到的离散空间是否可以使用 VAE 表示为连续空间。与这些专注于生物学的方法不同,这些方法将生成模型定制用于序列优化,我们的工作使用传统的 VAE 作为从离散蒸馏柱设计变量到连续潜在空间的直接编码器-解码器映射。我们使用 BO 算法在连续潜在空间中导航,以指导在设计空间中策略性地收集仿真数据,并识别最优设计。我们将我们的框架应用于复杂分离系统设计中出现的几个案例研究。因此,这项工作的贡献在于将离散的过程设计决策嵌入到适合 BO 的连续潜在空间中。我们的结果提供了有趣的见解,表明使用 VAE 可以转换复杂的决策空间并促进其导航。具体来说,我们展示了所提出的方法可以通过少量仿真帮助识别高质量的设计。虽然我们的结果具有计算和实证性质,但我们相信使用 VAE 为导航优化中出现的复杂决策空间提供了一个有趣且实用的替代方案。所有用于重现我们结果的数据和代码都可以在 https://github.com/zavalab/ML/tree/master/bayesianvae 找到。
2. 将离散空间投影到连续空间
变分自编码器(VAE)是一种机器学习模型,旨在学习一个潜在空间,可以从该空间以最小的信息损失重建原始数据。(15) VAE 是一个压缩-解压缩系统,其工作原理如下:编码器取输入离散空间 ??∈??x∈X 中的点,并使用一系列非线性变换(通过神经网络执行)将它们压缩到连续潜在空间 ??∈??z∈Z 中的点。解码器使用另一系列非线性变换(通过另一个神经网络执行)从潜在空间中的点重建原始点,以最小化重建误差的度量。VAE 模型的参数使用可用数据(以无监督的方式)进行训练。为了讨论的简便性,我们假设输入空间 ??X 完全是离散的(不包括连续变量);任何连续变量都可以通过离散化处理。在实践中(例如,在实验中),人们通常将连续变量实现为离散值。讨论的概念可以推广到混合离散的输入空间。
与构建无结构潜在空间的标准自编码器不同,(19) VAE 的独特之处在于它在潜在空间中引入了概率结构。具体来说,原始空间中的每个数据点不是作为单个点编码的,而是作为概率分布(通常是高斯分布)编码的。在训练过程中,从这个分布中抽取样本,迫使解码器从噪声/扰动的潜在向量中重建原始输入。这一步确保了潜在空间的平滑性和连续性,意味着潜在空间中的相邻点对应于原始空间中的相似配置。潜在空间的平滑性使得探索、插值和优化变得更加容易。例如,在过程设计中,VAE 不是直接处理处理离散变量的决策空间(例如,阶段数量和进料阶段的位置),而是将这些转换为连续的潜在表示。潜在空间的平滑性有助于开发替代模型,如 GP 模型。
图 1 展示了一个典型的 VAE 架构示意图。每个输入变量的数据通过嵌入层转换为连续向量 e。嵌入使得学习密集的、低维的表示成为可能,这些表示在编码器网络的训练过程中进行调整,以捕获嵌入项之间的语义关系,这对于许多机器学习模型来说是必要的。在这种情况下,这一层的变量是从 ??(0,1)N(0,1) 分布初始化的可学习权重,并通过反向传播进行优化。嵌入表示 e 通过连接组合成一个单一向量 h。随后,h 通过多层感知器层(MLP)进行处理,直到达到所需的潜在空间维度。嵌入层和 MLP 被称为编码器,由映射 ? 表示。编码器的最后几层用于执行重新参数化,以在潜在空间 z 中添加随机性:(23)??=??+??·exp(12log??2),??~??(0,??)z=μ+?·exp(12log?σ2),??~N(0,I)(1)其中 ? 是均值为零、方差为一的标准高斯噪声,μ 是潜在变量的均值向量,σ 是标准差向量(隐式捕获潜在变量可能值的范围)。符号 I 是单位矩阵,表示 ? 的所有组成部分都是独立的标准正态变量。概率重新参数化使得可以使用基于梯度的优化。解码器(表示为逆映射 ?–1)取潜在空间 z 中的一个点,并预测 logits 值 y,这些值使用 softmax 函数 S(·) 来预测概率。这个框架允许通过分类概率或离散类别预测来重建原始输入。
图 1. 为 3 个离散输入 ??=[??1,??2,??3]∈??x=[x1,x2,x3]∈X 设计的 VAE 架构;每个离散输入通过嵌入层映射到一个连续表示 e。嵌入被连接成一个向量 h 并由编码器处理。编码器产生均值向量 μ 和标准差向量 σ,这些用于生成潜在空间 ??Z。解码器将潜在空间 ??∈??z∈Z 中的点映射回原始空间,为每个输入变量生成 logits y;使用 softmax 函数获得 x1、x2 和 x3 的可能值的概率分布,以重建原始离散空间(类似于分类模型)。
VAE 被训练(编码器和解码器网络的参数被学习)以最小化一个复合损失函数,该函数捕获交叉熵损失 ?recLrec 和 Kullback–Leibler 散度 ?KL?DLKL?D 损失。交叉熵 ?recLrec 捕获每个离散变量的个体熵,并衡量从潜在空间重建原始空间的能力(这是重建误差的度量):?rec=?∑??=1??∑??=1??log(??????,????∑????=1??????,??)Lrec=?∑n=1N∑c=1Clog(eyn,xn∑i=1Ceyn,i)(2)这里,C 是每个离散变量的可能类别/值的数量,N 是输入离散变量的总数。符号 xn 表示用于测量真实类别(离散值)和预测类别(重建值)之间距离的索引值。为了估计?recLrec损失,使用解码器预测的对数几率值y来计算它。Kullback–Leibler散度?KL?DL衡量学习到的潜在分布??(??|??)~??(??,??2)与目标标准正态分布??(??)~??(0,??)之间的差异:?KL?D=12∑??=1??(exp(log??2??)+??2???log??2???1)LKL?D=12∑j=1D(exp(log?σj2)+μj2?log?σj2?1)(3)我们注意到Kullback–Leibler散度作为一个正则化项,旨在引导潜在空间的结构。复合损失函数表示为?=?rec+??·?KL?DL=Lrec+β·LKL?D(4),其中??∈?+β∈R+是一个权重参数,用于权衡损失函数。因此,编码器和解码器中每个隐藏层的神经元数量、激活函数(LeakyReLU)的斜率β、学习率、z的维度以及嵌入大小都被视为需要优化的超参数。评估最终模型需要微调VAE的架构以减少全局损失函数?L。为此,在250个周期后进行5折交叉验证。一旦确定了最优超参数,模型将再训练1000个周期,以进一步提高模型的整体性能。总之,使用VAE有几个重要的好处:(i)它可以将离散变量表示在平滑连续的空间中;(ii)它可以在原始问题表述和高级优化工具(如BO)之间提供桥梁,后者受益于平滑的搜索空间。为了说明VAE的适用性,我们考虑了一个简单的设计反应器的问题,目标是最大化组分C的产量,该组分通过两条竞争路径同时产生:一条连续路径(??→??1??→??2??)(称为路径1)和一条并行直接路径(??→??3??→??4??)(称为路径2)。反应器系统的动力学由一组基本反应决定,每个反应的速率常数ki(T)遵循Arrhenius方程ki(T)=????exp(?????RT)。从路径2可以看出,加速C的形成会同时增加其不希望的降解为D。每条路径都有其最大产量,这取决于温度和时间。因此,目标是确定平衡这些竞争效应并最大化组分C产量的操作条件,同时考虑两条路径。反应路径的选择是一个离散的设计决策;例如,可以通过改变催化剂来操纵它。连续决策变量包括反应时间和温度,这些变量从它们的连续空间离散化。在离散决策空间内,我们评估了每条路径上组分C的产量,并且可以在图2中可视化整个设计空间中的C产量,其中网格上的每个点对应于温度、反应时间和路径的组合。这种可视化突出了几个局部生产率最大值的存在。离散空间被投影到连续的潜在空间??Z。通过学习编码器?和解码器?–1的映射,获得了捕捉其基本特征的低维潜在表示;此外,我们还获得了从这种表示重建原始变量的映射。这种方法将允许在潜在空间中探索可行的解决方案,同时确保温度、时间和路径的有效操作选择。图2图2. 原始离散空间??X通过解码器?映射到潜在连续空间??Z的示意图,我们可以使用解码器?–1重建原始空间。点的颜色基于在这些操作条件下的C的最终浓度(Cc)。高分辨率图像下载MS PowerPoint幻灯片对于合适的VAE架构,人们期望能够以较小的重建误差重建原始空间。实现这一目标的关键挑战是找到一个合适的潜在空间维度,以最小化重建损失。在图3中,我们展示了潜在空间维度对500个周期后训练的损失函数的影响。我们注意到,当潜在空间维度为八时,总(复合)损失稳定下来。这里,我们还展示了500个周期VAE训练后每个损失组分的轮廓,以供说明。一旦VAE能够成功地从潜在空间重建原始空间,我们就可以使用潜在空间来通过BO搜索最佳操作条件。因此,z的最佳维度在六到八之间进行探索。较低的维度值将导致显著的重建误差,从而降低BO的性能。相反,将潜在维度增加到八以上并不会在VAE损失函数中带来有意义的改进,并且会引入不必要的高维搜索空间,从而降低BO的效率。在下一节中,我们将更详细地讨论如何使用BO系统地完成这一点。图3图3. 潜在空间维度对复合损失函数?L及其组成部分?recLrec和KL散度项?KL?DL的影响,以示例反应器设计为例(左)。对于相同反应器问题,使用潜在维度为八的VAE进行训练时损失函数的演变(右)。高分辨率图像下载MS PowerPoint幻灯片3. VAE潜在空间中的贝叶斯优化(BO)我们的目标是解决优化问题:min??∈????(??)minx∈X?f(x)(5)关键挑战在于,在点??∈??x∈X评估目标(成本)函数f(x)可能需要昂贵的模拟。通过使用VAE将原始离散设计空间??X转换为连续空间??Z,我们可以将优化问题表述为min??∈????(???1(??))minz∈Z?f(??1(z))(6)通过改变搜索空间,我们现在旨在在潜在空间中导航,以便最小化目标函数;潜在空间中的每个点都被转换为离散空间中的一个点。为了在潜在空间中导航,我们将使用BO方法;这将构建一个替代模型m(z),旨在近似潜在空间??∈??z∈Z中给定点的复合映射f(?–1(z))。使用替代模型,BO方法通过潜在空间隐式地导航原始设计空间。结合BO+VAE的框架在图4中示意。在迭代??l时,我们有一组数据点????∈??xl∈X及其对应的成本??(????)f(xl)。输入数据点使用?编码以获得潜在点????∈??zl∈Z和相关的成本值??(???1(????))f(??1(zl))。我们构建一个概率替代模型????(??)ml(z)来近似复合映射f(?–1(z))。替代模型????(??)ml(z)使用可用的累积数据库????={????,??(???1(????))}????=1Dl={zk,f(??1(zk))}k=1l进行训练。高斯过程模型(GP)被用作替代模型,它提供了一个成本函数的平均预测??????(??)μfl(z)和预测的不确定性??????(??)σfl(z)。图4图4. 集成BO+VAE框架的示意图。数据x使用?映射到z。在潜在空间m(z)上构建一个替代模型,并通过优化获取函数(AF)迭代选择潜在空间????+1zl+1中的有希望的点。潜在样本????+1zl+1被解码以在新点??(???1(????+1))f(??1(zl+1))处获得模拟。通过更新数据集????Dl来细化替代模型。高分辨率图像下载MS PowerPoint幻灯片我们注意到BO+VAE框架包括几个近似误差:VAE重建误差(从潜在空间映射到原始空间时获得)和替代模型的误差。一个重要的观察是,即使存在重建误差,GP模型的细化也应该能够纠正任何差异。然而,我们期望重建误差足够小,以确保潜在空间中的点是原始空间中点的真实反映,从而进行一致的搜索。BO通过优化一个获取函数(AF)来选择新的决策,该函数平衡了探索和利用。探索主要由不确定性??????(??)σfl(z)驱动,其中未探索的新区域被优先考虑;利用则关注预测的平均成本??????(??)μfl(z),以在特定设计空间中细化解决方案。为了平衡探索和利用,我们使用预期改进(EI)作为获取函数。标准贝叶斯优化算法的伪代码,结合了VAE用于单目标问题,在算法1中描述。我们使用????Dκ来表示用于训练VAE的数据集;这个数据集与用于初始化BO的数据集????Dl不同。????Dκ由采样的离散可行配置组成,覆盖整个设计空间所需的数据量对于执行BO至关重要。如果VAE在稀少的数据上训练,它更有可能无法收敛到真正的Pareto前沿。我们通常对优化多个目标函数感兴趣,以评估权衡。在这里,我们关注形式为min??∈??(??1(???1(??)),??2(???1(??)))minz∈Z(f1(??1(z)),f2(??1(z))的双标准问题(7)在这种情况下,BO的目标是发现所谓的Pareto前沿(一组非支配点);为此,我们为每个成本函数构建一个GP模型,并使用预测的平均值??????(??)μfl(z)来识别预测的非支配点,从而预测Pareto前沿的位置。在预测的Pareto前沿上的每个点,我们使用不确定性信息??????(??)σfl(z)来确定前沿上不确定性最高的点。下一个迭代????+1zl+1是通过识别Pareto前沿上不确定性最高的点来选择的;如下所述,这种简单的数据获取方法可以用很少的模拟次数发现Pareto前沿。提出的方法在算法2中为多目标函数提出,并称为MOBO-VAE。多目标框架与Deb等人提出的非支配排序遗传算法(NSGA-II)进行了基准测试(24)。该算法的优点在于它简单且高效,能够在Pareto前沿生成广泛分布的解决方案。每次迭代中识别出的最佳解决方案使用拥挤距离来确定,然后在下一步中使用这些解决方案生成新的评估点。影响算法性能的主要超参数是评估的起始点数(种群)、下一次迭代中测试的点数(后代数量)和总迭代次数(代数)。这些超参数根据每个案例研究中使用的多目标问题的相同参数固定,以确保一致的基准测试基础。突变和交叉概率设置为0.9,以便广泛探索搜索空间,从而提高整体性能。NSGA-II方法在本工作中使用Pymoo包实现。(25)4. 案例研究为了评估所提出框架的有效性,我们构建了几个详细的案例研究,旨在设计复杂的分离系统;第一个系统是从水中提取辛酸的液-液萃取,第二个系统涉及使用分壁柱分离共沸混合物。我们使用AspenPlus为这些系统实现了详细的模拟模型;我们的目标是通过尽可能少的昂贵模拟来识别这些系统的最佳设计。4.1. 从水中提取辛酸辛酸(CA)是一种中链脂肪酸,由于其在食品和制药行业的应用而受到广泛关注。(26,27)这种组分主要是通过厌氧发酵过程中的链延长获得的。这个过程的一个挑战是发酵产生的系统非常稀释,需要从中回收CA;在这里,我们设计了一个液-液萃取系统来解决这一挑战。在Yuan等人的研究中(28),进行了分析以确定可以高选择性捕获CA的潜在溶剂(萃取剂)。在测试的八种溶剂中,他们发现油醇、1-癸醇、1-辛醇和正丁基醋酸具有高选择性。图5显示了该过程的示意图。厌氧发酵发生在生物反应器中,随后是离心操作,分离出生物质,留下含有CA和水的混合物,温度为298.15 K,CA和水的总摩尔流量分别为1210.04 kmol/h和0.04 kmol/h。使用10级柱进行液-液萃取,可以使用上述四种溶剂中的任何一种来完成这项任务。剩余的水被分离出来,最后一步是一个蒸馏柱,在这里蒸馏速率或底部流速被固定为0.042 kmol/h(该值取决于所选的溶剂)。所有涉及的单元都假设在大气压下运行。图5展示了使用液-液萃取法回收辛酸的过程。蓝色文本表示所有被优化的设计变量。高分辨率图像。下载MS PowerPoint幻灯片。
设计的目的是确定最佳的溶剂和柱配置,以最大化CA的摩尔分数(CA),这是分离效率的一个指标。第二个设计目标是最小化柱子的再沸器负荷(Qreb),这是能源效率的一个指标。让??∈??d∈D表示表1中考虑的设计决策变量,这些变量依赖于混合设计空间。满足以下约束条件:
min??∈??s.t.(
????????(??),???????(??))??(??)≤0,??(??)=0,
mind∈D(Qreb(d),?xCA(d))s.t.g(d)≤0,h(d)=0, (8)
其中h(·) = 0代表柱模型方程(例如,MESH/VLE/能量平衡),g(·) ≤ 0代表操作和设计约束(例如,可行性界限)。解决方案是一组帕累托最优设计,它们平衡了产品纯度和能源需求。使用的热力学数据在支持信息(SI)中报告。设计变量及其相应的界限在表1中给出。从这些信息中生成的数据总量用于训练VAE(????Dκ)为20,000个点,在此过程中明确施加了约束。最终的超参数(表S1)和优化后的性能曲线在SI(图S1a)中提供。
表1. 辛酸回收的设计变量
设计变量 单位 范围 域
溶剂选择 (S) [-] {0, 1, 2, 3} 分类
回流比 (R) [-] (0.1 – 3.0) 连续
溶剂流量 (FS) kmol/h (1.5 – 10.0) 连续
进料阶段 (NFstage) [-] {1 – 60} 整数
总阶段数 (NTstages) [-] {20 – 60} 整数
a 油醇、1-辛醇和n-丁基醋酸分别用0、1、2和3的分类值编码。
图6a在二维空间中可视化了潜在空间??Z;这种可视化是使用t分布随机邻域嵌入(t-SNE)获得的。在这里,我们突出了与不同溶剂、进料位置和阶段数相关的潜在空间中的点。有趣的是,VAE引入了一些离散设计变量的混合。在图6b和6c中,可以观察到潜在空间中突出显示的位置、不同的纯度和再沸器负荷(目标)。可以看出,VAE生成的潜在空间是椭圆形的,这表明潜在空间被构建为一个高斯随机变量。此外,潜在空间中有不同的位置(对应于不同的设计)实现了高纯度和低再沸器负荷。这些潜在空间的可视化利用了GP模型来预测搜索空间中不同区域的目标。
图6. 使用t-SNE将原始空间??X中的设计投影到潜在空间??Z中;我们突出了与所用溶剂、进料位置和阶段数相对应的点(a)。溶剂的表示如下:○(蓝色)油醇,○(绿色)1-癸醇,●(棕色)1-辛醇,□(红色)n-丁基醋酸。图b和c分别从纯度(b)和再沸器负荷(c)的目标值方面可视化了潜在空间。高分辨率图像。下载MS PowerPoint幻灯片。
图7a可视化了多次迭代过程中BO搜索的演变。GP模型最初是使用从10次初始模拟中收集的数据进行训练的。在第一次迭代中,我们可以看到预测的不确定性很高,这归因于可用数据的有限性。我们还可以看到大多数点是受支配点(不在帕累托前沿)。随着收集到更多数据,GP模型得到改进,从而发现了更多的非支配(帕累托)点并减少了不确定性。例如,在第30次迭代中,帕累托前沿上的不确定性显著降低,预测前沿向右下方移动。在第60次迭代中,我们可以看到大多数点开始集中在帕累托前沿上(由低不确定性表示),而非支配区域未被BO访问(由高不确定性表示)。这表明BO正在战略性地优先考虑帕累托区域。
图7. BO搜索过程中GP模型和帕累托前沿的演变(a)。黄色点代表BO搜索识别的非支配(帕累托)点。同心圆是潜在空间的等值集,突出了非支配点的位置。我们可以看到BO搜索迅速识别出了空间中的一个区域,该区域对应于非支配点。图b展示了使用Aspen Plus获得的所有模拟的可视化以及帕累托前沿的可视化,突出了不同类型的溶剂及其在潜在空间中的相应位置。图c展示了纯度(b)和再沸器负荷(c)目标值的潜在空间可视化。高分辨率图像。下载MS PowerPoint幻灯片。
图7b显示了使用AspenPlus模拟器进行的所有模拟的结果。我们确认,在搜索过程中,BO访问了非支配点(不在帕累托前沿)的区域。有趣的是,不同的溶剂倾向于形成不同的帕累托前沿,但最佳前沿是针对n-丁基醋酸获得的。通过可视化这种溶剂在潜在空间中的帕累托点,可以观察到所有这些点都聚集在潜在空间的同一区域。这里我们还可以看到,其他溶剂对应的点位于潜在空间的其他区域。这表明VAE正在构建一个具有明确定义区域的潜在空间。
表2总结了使用BO识别的不同设计,这使得能够评估设计的多样性和相关目标,从而清晰地展示了搜索中探索的解决方案空间和涉及的权衡。化合物CA的平均纯度(CA)为93.6%,标准差相对较大,为8.3%,范围从最低的50.6%到最高的95.2%。这表明可以实现高纯度,尽管系统表现出显著的偏差;这些偏差与进行分离所需的溶剂量有关。平均溶剂进料流量FS为3.11 kmol/h,标准差为1.03 kmol/h,范围从1.80 kmol/h到6.15 kmol/h,反映了溶剂添加与分离性能之间的权衡。我们可以看到,折中解决方案选择了n-丁基醋酸,纯度达到95.14%,再沸器负荷为24 kW。
表2. 辛酸回收问题中非支配点的描述性统计以及找到的折中解决方案的配置
点 度量 CA [%] Qreb [kW] R [-] FS [kmol/h] Sa [-] NFstage [-] NTstages [-]
非支配点 平均值 93.6 51.0 0.4 3.1 83 24 45
标准差 8.3 3.7 0.2 7 1.0 31 11
最小值 50.6 10.4 0.1 1.7 92 12
最大值 95.2 14 8.2 1.1 6 86 14
支配点 平均值 88.9 11 2.9 3.2 52 23 44
标准差 17.4 9 0.4 0.7 12 1.5 61 11
最小值 3.6 16.6 1.1 12 1.1 20 12
最大值 95.2 49 3.6 2.9 9 9 9
折中 95.1 24 5 4 0.1 5 12 25 32
对于溶剂类型(S),1-癸醇和n-丁基醋酸在能源需求方面被认为是最佳选择。就回流比(R)而言,平均值为0.40,最小值为0.11,最大值为1.17,表明探索了既经济又更耗能的操作模式。平均再沸器负荷(Qreb)为51.0 kW,范围从148.2 kW到10.5 kW,标准差为33.7 kW,在最节能的情况下。进料阶段数(NFstage)的平均值为24个阶段,标准差为13个阶段,范围从最小值1到最大值57。相比之下,总阶段数(NTstages)的平均值为45个阶段,最小值为20个阶段,最大值为60个阶段。这种多样性强调了操作条件对蒸馏过程纯度和能源需求的显著影响。对于受支配点,平均纯度降低到88.92%,但也提供了最大回收率的设计。关于回流比,受支配点的平均值较高,达到了2.999的上限。在溶剂流量的情况下也可以观察到类似的行为,平均值对应于3.235 kmol/h,探索的最大值为9.908 kmol/h。这些受支配点展示了不同溶剂测试的各种设计,其中1-癸醇作为主要溶剂提供了平均值,表明BO搜索正在探索广泛的设计范围。
我们的发现强调了溶剂选择对能源效率和柱设计之间固有权衡的影响。通过比较每种萃取剂的汽液平衡图(参见SI中的平衡图),也可以证明最佳溶剂的选择。在所有测试的溶剂中,n-丁基醋酸的沸点最低,为463 K;油醇、1-癸醇和1-辛醇的沸点分别为623 K、503 K和468 K。尽管如此,n-丁基醋酸和1-辛醇的沸点接近,使得它们的选择变得非平凡,因此需要一个优化过程。SI中的图S3中的性能曲线显示,与NSGA-II相比,提出的MOBO-VAE框架在相同的评估预算下显著更快地达到了折中解决方案。MOBO-VAE一致地减少了到折中点的距离,更早地超过了0.5的阈值,并在整个优化过程中保持了较低的距离。相比之下,NSGA-II收敛得更慢,表现出更高的方差。总体而言,结果突出了MOBO-VAE在辛酸回收案例研究中的优越样本效率和收敛行为。
4.2. 分壁柱
在化学过程中引入热耦合单元由于它们通过减少资本和辅助公用事业成本而受到了广泛关注。(29?31)特别是分壁柱(DWC)已在世界各地的各种过程中得到应用。(32)这些单元已被用于广泛的应用,包括困难的分离(例如,含有共沸物的混合物)。我们在这里考虑的一个应用是制药行业中生成的有机混合物的分离,特别是甲醇和二氯甲烷(DCM)的混合物。DWC的设计具有挑战性,因为系统组件的紧密集成。一项报告的工作专注于识别能够产生高纯度DCM(≥99.90%)的DWC设计。(33)我们在这里通过将这些柱子的固有安全性作为优化问题的一部分来进行扩展评估。使用的指标是火灾和爆炸损害指数(FEDI),该指数由Khan和Abbasi提出(34),并已用于早期风险评估。(35,36)该指数最初是为一种称为危险识别和排名(HIRA)的全面方法提出的,其中还包括毒性损害指数。这两个指数都提供了定量评估,但根据Khan和Abbasi提供的具体界限(34),也可以获得定性评估。这种程序允许使用任一指数进行风险的量化和分类。在这项工作中,我们使用FEDI作为额外的目标函数,因为它计算简单。因此,所制定的问题是在集合??∈??d∈D上定义的,该集合代表了表3中列出的设计决策变量。目标是在确保设计具有最佳安全特性的同时,最大化两种蒸馏物的纯度。假设较低的DCM组成表示较低的甲醇纯度。因此,DCM的纯度(xDCM)被用作衡量另一种蒸馏物纯度的参考。问题表述如下:
min??∈??s.t.(
FEDI(??),?????????(??))??(??)≤0,??(??)=0,
mind∈D(FEDI(d),?xDCM(d))s.t.g(d)≤0,h(d)=0, (9)
其中h(·) = 0和g(·) ≤ 0分别代表柱模型方程和操作设计约束。用于优化DWC的设计变量及其相应的界限在表3中列出。考虑了100 kmol/h的进料流量,并且有一些可能的变体,对应于等摩尔和接近共沸的浓度。在等摩尔情况下,两种蒸馏物的速率都设置为50.05 kmol/h,而共沸进料值分别设置为83.07 kmol/h和16.97 kmol/h。图8显示了热力学等效的强化柱。对于AspenPlus模拟,使用了NRTL热力学模型。计算FEDI值和分类范围所需的信息在SI第1.6节中提供。利用表3中的信息,生成了5000个数据点来生成数据集????Dκ。优化程序得出的最终超参数的详细信息可以在表S1中找到。训练集和测试集的损失曲线分别在图S1b和图8中提供。图8展示了用于分离二氯甲烷和甲醇共沸混合物的分隔壁塔的热力学表示。蓝色文本表示所有被优化的设计变量。
**表3. 需要优化的DWC设计变量及其搜索范围:**
| 设计变量 | 单位 | 范围 | 域 |
|-----------------|-----------------|------------------|-------------------|
| 回流比 (RDWC) | [-] | (2.0 – 5.0) | 连续 |
| 蒸汽流量 (VDWC) | [kmol/h] | (50 – 100) | 连续 |
| 溶剂与进料比 (S/F) | [-] | (1.5 – 10.0) | 连续 |
| 溶剂进料级数 (NFsolv) | [-] | {1 – 50} | 整数 |
| 共沸物进料级数 (NFazeo) | [-] | {1 – 50} | 整数 |
| DWC托盘数 (DWCtrays) | [-] | {1 – 50} | 整数 |
| 总级数 (NTDWC) | [-] | (30 – 50) | 整数 |
与之前的案例研究一样,我们在潜在空间中采样了一些点,并使用t-SNE进行了可视化。图9显示了这些点与离散变量(溶剂和共沸物进料位置、分隔壁级数以及总塔级数)之间的关系。我们可以再次看到,VAE生成了一个连续的混合空间,并且遵循椭球形区域。
图10展示了BO搜索的演变过程及其对应的GP模型预测。最初,只有50个数据点时,预测结果主要集中在0.9–1.0摩尔分数和325–345 FEDI值范围内。一旦发现并收集到新的可行设计,这个范围主要在FEDI区域扩大,而高不确定性位于帕累托前沿之后。从第30次迭代开始,可以看到搜索在感兴趣的区域内变得更加密集。这种逐步细化是基于假设等摩尔组成的情景。同样可以看出,在优化过程中收集的潜在点在整个空间中分布均匀;这表明设计空间中没有特定的区域使得帕累托解聚集在一起(这意味着这是一个复杂的搜索过程)。
图10还展示了组成与固有安全指标FEDI之间的关系。尽管蒸馏物的组成有所放宽,但强化单元仍然被归类为危险。在图10b中,FEDI指数在294–350的范围内变化。然而,当共沸物进料组成如图10c所示发生变化时,这些限制变为310–370。这些结果表明,固有安全指数对组成扰动或变化非常敏感,多种配置可以提供指定的纯度,但在某些情况下会降低过程安全性。
图10中识别的设计被分为支配解和非支配解,其相应的统计信息显示在表4中。虽然(33)的结果对应于接近共沸物的混合物的解决方案,但这些发现表明,考虑经济性或安全性的最优解之间可能存在冲突。根据他们的解决方案,最小化成本的设计在主塔中的回流比为0.25,并包含了一个跨越22个托盘的分隔壁,使得DWC的总托盘数为31个。此外,满足纯度要求的必要S/F比为0.48,最佳蒸汽分割比为0.81。进一步地,当目标函数变为固有安全性时,最小化FEDI将这一比率显著降低到0.21,并增加了回流比。总体而言,我们的分析表明,非支配解在保持一致纯度的同时,其安全性能表现出较大的变化,主要是由于回流比和溶剂与进料比的调整。支配解在纯度和FEDI值方面表现出更大的变异性,最小值为57.43%,最大FEDI为391。
表4显示了分隔壁塔的非支配解和支配解:
| 解决方案 | DCM [%] | FEDI [-] | RDWC [-] | S/F [-] | VDWC [kmol/h] | NFsolv [-] | NFazeo [-] | DWCtrays [-] | NTDWC [-] |
|-----------------|-----------------|------------------|------------------|------------------|------------------|------------------|------------------|------------------|
| 非支配解 | 99.45 | 31 | 42.96 | 0.56 | 54.95 | 72 | 33 | 3.43 | 1.08 | 17 | 0.81 | 10.13 | 64 | 66 |
| 最小值 | 95.35 | 29 | 12.13 | 0.50 | 50 | 11 | 22 | 26 | 35 | |
| 最大值 | 99.91 | 35 | 74.45 | 0.97 | 95.04 | 22 | 36 | 45 | 50 |
| 支配解 | 97.25 | 32 | 13.47 | 0.60 | 54.30 | 10 | 21 | 13 | 31 | 43 | 5.03 | 23 | 0.71 | 10.12 | 7.32 | 88 | 5 |
| 最小值 | 57.43 | 29 | 22 | 0.50 | 16.05 | 12 | 30 | 15 | 0.50 | 12 | 53 | 30 | |
| 最大值 | 99.91 | 39 | 14.99 | 0.99 | 99.60 | 40 | 43 | 65 | 50 | |
**c.sa** 和 **b** 分别对应于等摩尔进料和共沸物进料的最优解。
与塔维度相关的统计数据显示,两组点探索了相似的区域,这意味着这些变量对安全指标没有显著影响。因此,对于这些蒸馏配置来说,关键因素是用于实现分离的溶剂用量。从安全角度来看,减少单元内处理的易燃材料数量显著提高了单元操作的总体安全性。
补充的性能结果在补充信息(SI)中提供。图S4和S5展示了所提出的MOBO-VAE框架与NSGA-II在两种不同进料组成下的萃取分隔壁塔案例研究中的性能曲线。在两种进料条件下,MOBO-VAE的收敛速度明显快于NSGA-II。对于共沸物进料情况,MOBO-VAE迅速缩短了到折中解的距离,并在NSGA-II之前就超过了阈值。对于等摩尔进料情况,改进更为显著,MOBO-VAE不仅达到了收敛阈值,而且超出了几个数量级,整个优化过程中的距离保持显著较低。
总体而言,结果证实MOBO-VAE在不同进料条件下具有更高的样本效率和鲁棒性,始终优于NSGA-II,在引导搜索高质量折中解方面表现更好。通过所提出的方法,我们有效地导航和评估了一个复杂结构,该方法可以适应更复杂的系统,如反应性分隔壁塔或电蒸馏塔。
**5. 结论与未来工作**
这项工作展示了如何使用变分自编码器(VAEs)将离散设计空间转换为连续空间。我们展示了这种转换有助于实现基于仿真的优化方法,例如贝叶斯优化(BO)。虽然没有严格的理论保证在潜在空间中识别的最优解对应于原始设计空间中的全局最优解,但我们的结果表明VAE提供了具有低重建误差的潜在表示。因此,潜在空间使得有效的和可靠的探索成为可能,而最优性始终使用高保真度过程模拟器在原始设计空间中进行评估。所提出的框架已在CSTR反应器上实现,其中所有决策变量都被离散化。这表明该方法适用于实验活动受成本或时间限制的现实世界场景,从而导致探索受到固定预算的限制。此外,我们还展示了该方法在传统和强化蒸馏过程设计中的适用性,在这些过程中,数值收敛和评估次数代表了计算限制。从这个意义上说,该方法可以应用于更复杂的蒸馏塔,如多产品分隔壁塔和热耦合反应塔,其中探索成本更高。我们展示了所提出方法在导航设计空间方面的有效性,并能快速发现最优解。
作为未来工作的一部分,我们希望进行额外的研究,以确定转换不同类型设计空间的能力,并提供更严格的性能证明。我们还有兴趣探索VAE方法表示具有复杂几何形状(由约束确定)的离散空间的能力,并考虑将设计空间转换方法应用于其他类型的问题,例如纯连续优化问题。另一方面,这种方法的一个关键挑战在于VAE的结构,例如编码器和解码器的架构以及使用的超参数。改进超参数对于减少重建损失、避免不可行的重建点至关重要。具体来说,假设每个变量的嵌入层维度对所有离散变量都是相同的,尽管可以为每个变量进行优化。此外,潜在空间的维度在确定VAE的整体性能方面起着关键作用。虽然它提供了底层数据的紧凑表示,但过高的或过低的潜在维度可能会限制模型的表达能力和泛化能力。为了缓解这一限制,可以通过结合贝叶斯优化技术和信任区域方法来自适应划分搜索空间,从而加速最优解的发现并构建明确的帕累托前沿。