超参数对替代模型性能的影响:地质处置条件下的方解石溶解过程
Gintautas Po?kas, Asta Narkūnien? 和 Ernestas Narkūnas
《Applied Sciences》:Impact of Hyperparameters on Surrogate Model Performance: Calcite Dissolution Under Geological Disposal Conditions
Gintautas Po?kas,
Asta Narkūnien? and
Ernestas Narkūnas
【字体:
大
中
小
】
时间:2026年04月28日
来源:Applied Sciences 2.5
编辑推荐:
摘要 高效模拟地球化学反应对于预测放射性废物地质处置库的长期化学演化至关重要。在大规模反应传输模拟中,地球化学平衡计算常常成为计算瓶颈,因为需要针对许多空间单元和时间步长重复进行求解。本研究开发了基于机器学习的替代模型,旨在近似地球化学平衡计算,从而显著加
摘要 高效模拟地球化学反应对于预测放射性废物地质处置库的长期化学演化至关重要。在大规模反应传输模拟中,地球化学平衡计算常常成为计算瓶颈,因为需要针对许多空间单元和时间步长重复进行求解。本研究开发了基于机器学习的替代模型,旨在近似地球化学平衡计算,从而显著加快反应传输模拟的速度,同时降低计算资源需求。以富含镁的流体流入引起的方解石溶解为例,验证了这类替代模型的可行性和性能。训练和验证数据集使用IPhreeqc C++ API生成,使得能够在化学相关参数空间内自动执行大量PHREEQC平衡模拟。所得数据集捕捉了初始水相组成与化学平衡后感兴趣的输出(包括水相物种浓度和矿物量)之间的非线性关系。完全连接的前馈神经网络在TensorFlow中设计并实现,以复现PHREEQC的结果,并系统研究了关键超参数(如网络深度、宽度、激活函数、学习率和批量大小)的影响。结果表明,即使对于相对简单的化学系统,替代模型的准确性和训练稳定性也依赖于超参数的选择。适当配置的神经网络架构能够高精度地复现平衡地球化学响应,并为重复的PHREEQC计算提供计算效率更高的替代方案,凸显了其在加速大规模反应传输建模工作流程中的潜力。
1. 引言
核能仍然是实现低碳电力生产并增强能源安全全球战略的关键组成部分。然而,核设施的运行不可避免地会产生高水平的放射性废物。国际上公认深部稳定地层中的地质处置是确保这些废物长期与生物圈隔离的最可行方案[1]。对于深地地质处置库(DGRs)的安全评估而言,可靠预测控制放射性核素迁移的地球化学过程至关重要,这些过程的时间尺度可达数千至数十万年[2]。
高放射性废物的地质处置设施的安全性受到一系列耦合的水力、机械、热力、化学过程的影响,这些过程发生在工程屏障和地质屏障中,直接影响放射性核素的释放和迁移(如果发生的话)。如上所述,放射性核素迁移分析需要覆盖数千年的时间框架,因此是一项计算要求极高的任务。放射性核素的迁移和在工程屏障及地质屏障中的滞留度在很大程度上取决于孔隙水中的化学条件,这些条件由多种过程决定,如物种形成、矿物溶解/沉淀、离子交换、表面络合等。
现代反应传输模拟器中最常用的方法是分离反应项和传输项的处理,通常采用顺序方式进行[3]。通常,传输模拟由一个计算代码完成,而化学反应则由独立的地球化学求解器处理[4]。因此,每个空间节点的状态变量信息必须在每个时间步长内在这两个代码之间交换(例如,iCP [5]、HPx [6]、PHT3D [7])。此外,每次反应计算的化学求解器(例如PHREEQC [8])的初始化和执行会引入额外的计算开销,对于深地地质处置库等大规模系统而言会导致大量的计算需求。精确且训练有素的基于DNN的替代模型可以显著减轻这些负担,从而提高大规模反应传输分析的效率[9]。
地球化学建模对于理解控制地质处置系统孔隙水化学成分和矿物形成的矿物-水相互作用至关重要。在这种处置库中,工程屏障和周围围岩长时间暴露在地下水中。如果 infiltrating 的水化学上不饱和,含有钙的矿物(如方解石)可能会溶解。当富含镁的流体与基于水泥的工程屏障相互作用时,这一过程尤为重要。方解石的溶解可能伴随白云石的沉淀,改变钙的可用性、碳酸盐物种的形态以及pH值,从而影响屏障的长期性能和放射性核素的滞留能力。由于这些反应是非线性的且热力学上相互耦合的,使用传统的地球化学求解器进行模拟在大规模反应传输分析中可能会带来较高的计算成本。
为应对这一挑战,本研究探讨了使用数据驱动的替代模型来高精度近似地球化学反应计算,并大幅降低计算成本。在离线工作流程中使用了IPhreeqc [8]的C++应用程序编程接口(API)来生成全面的训练和验证数据集。这些数据集涵盖了广泛的地球化学状态和反应条件,捕捉了由镁流入引起的方解石溶解和瞬态白云石沉淀过程中的水相物种浓度、矿物饱和度及反应进展的变化。
使用TensorFlow训练了多种具有不同架构和算法的完全连接的前馈神经网络。所有模型都采用了统一的训练策略,包括输入变量的归一化、收敛行为的监控以及使用独立验证数据集来防止過拟合。替代模型通过PHREEQC模拟的结果进行评估,证明了它们在测试参数空间内高精度再现关键地球化学输出的能力。
2. 方法论
本研究的目的是利用不同调优的替代模型有效近似纯地球化学计算的响应。开发可靠的替代模型需要一个精心设计的工作流程,其中生成高质量训练和验证数据集是关键步骤。该工作流程的主要示意图如图1所示。
2.1. 模拟的化学系统
在采用基于水泥的工程屏障的地质处置系统中,方解石的溶解具有很高的相关性。水泥材料含有大量的含钙相,如钙质水泥和方解石,它们提供了碱性缓冲环境;方解石也常见于基于粘土的材料中,如膨润土。当外部地下水与这些材料相互作用时,矿物-水反应决定了屏障的长期化学演化。如果渗透的地下水对方解石不饱和,就会发生溶解,释放Ca2+和碳酸盐物种到溶液中。随着时间的推移,这会导致脱钙、孔隙度变化以及矿物组成的改变。在富含镁的环境中,次级反应(如白云石的形成)可能会进一步影响矿物稳定性和缓冲能力。
本研究分析的系统考虑了矿物方解石(CaCO3)与含有溶解MgCl2的水之间的平衡反应。所有模拟均限制在化学平衡反应范围内,并使用PHREEQC通过IPhreeqc接口进行,该接口使用了专为放射性废物处置系统的地球化学建模开发的Nagra/PSI化学热力学数据库[17]的PHREEQC格式版本。方解石的溶解受其饱和状态的控制,饱和状态由Ca2+和CO32?的离子活度乘积相对于矿物溶解度乘积来定义。当溶液不饱和(SI < 0)时,反应会持续进行直至达到平衡[18]。溶解的碳酸盐物种会根据pH依赖的平衡进一步重新分布,形成碳酸氢盐和碳酸物种,直接影响溶液的pH值和缓冲行为[18]。
Mg2+的存在改变了平衡系统。虽然氯离子的行为较为保守,但镁会与碳酸盐物种相互作用,并可能在热力学平衡条件下促进白云石型相的形成。随着方解石的溶解和Ca2+的释放,镁会竞争碳酸根离子,从而将溶解过程与可能的次级矿物沉淀过程耦合起来。这种相互作用改变了水中的钙浓度、碳物种的形态以及整体矿物稳定性。
矿物平衡、水相物种形态、镁的竞争以及离子强度的耦合作用导致化学系统的强非线性。这种输入条件与最终水相和矿物组成之间的非线性映射构成了本研究开发的替代模型框架的基础。
2.2. 输入范围定义和采样程序
数据集必须准确反映系统的非线性化学响应;因此,选择输入变量的最小值和最大值时考虑了方解石溶解和沉淀的反应传输基准[19]。富含MgCl2的流入流体与含方解石介质之间的相互作用会随着溶解和沉淀反应的进行而产生一系列水相组成。选择每个总元素(Mg、Cl、C、Ca)的下限和上限,以涵盖基准模拟期间观察到的所有化学相关状态。
所选范围代表了反应系统的物理和热力学上一致的界限。例如,Mg_f和Cl_f的上限对应于最大流入浓度,因此代表了外部施加的条件。相比之下,Ca_f和C_f不是固定输入,而是由地球化学反应变化产生的。它们的界限反映了在方解石溶解和潜在次级相形成过程中可以产生的浓度范围,而不是预先定义的初始或最终状态(表1)。
2.3. 数据集生成
对于地球化学平衡模拟,选择了广泛使用的PHREEQC [8]代码。然而,当需要非常大的数据集(10^3–10^5个样本)来训练DNN时,直接使用PHREEQC的顺序脚本方式(松散耦合)在计算效率上并不高效。输入文件和解释器的重复初始化会显著增加计算成本并降低可扩展性。
为了克服这一限制,使用IPhreeqc应用程序编程接口(API)[8]在C++中开发了一个独立的应用程序。这种方法实现了内存中的高效平衡计算(紧密耦合),避免了重复的文件输入/输出操作。实现基于包含IPhreeqc头文件(),允许在计算工作流程中直接与地球化学求解器交互。
工作流程包括三个主要步骤:首先使用AccumulateLine方法逐行累积PHREEQC输入命令。定义完整的化学系统后,使用RunAccumulated执行累积的命令以进行平衡计算。最后,使用GetSelectedOutputValue检索选定的输出,例如水相物种浓度。选定的输出块被定义为仅提取替代模型训练所需的变量,从而减少内存使用和后处理需求。
为了生成数据集,每个输入变量在其规定的最小和最大范围内使用均匀分布进行独立采样。考虑到化学系统的相对中等维度和足够大的数据集规模,均匀采样被认为能够在不引入特定浓度区域偏见的情况下提供接近均匀的输入空间覆盖。这确保替代模型在具有化学意义的范围内进行训练,而不是在任意选择的浓度区间上训练。
2.4. DNN训练和验证
在训练神经网络之前进行了探索性数据分析,以(i)量化线性相关性,(ii)筛查潜在的非线性依赖性,以及(iii)识别输入特征与输出变量之间可能的交互结构。这些信息对于指导模型开发非常重要,因为它支持正确选择模型复杂性、架构和数据预处理方法(例如,标准化或转换)。为了构建用于方解石溶解化学平衡计算的替代模型,使用了TensorFlow/Keras框架实现了全连接前馈深度神经网络(DNN)。如前一章所述,训练数据集是使用Phreeqc C++ API生成的,随后导入Python 3.12.2中进行预处理和模型开发。共有四个输入变量(C_f、Ca_f、Mg_f、Cl_f)描述了水中的化学状态,它们被映射到六个选定的输出变量(C、Ca、Mg、Cl、Calcite、Dolomite (ord)),代表了平衡后的水组成和矿物含量。数据集被分为80/20的比例,其中训练子集用于拟合神经网络参数,而验证子集用于在训练过程中独立评估模型性能,并防止过拟合。为了保留与采样策略相关的潜在顺序效应,在分割过程中禁用了随机重排样本的功能。在训练之前,输入和输出变量都使用MinMaxScaler进行了[0, 1]范围内的标准化处理。这种缩放方法确保了优化过程中的数值稳定性并保持了一致性。缩放器仅在训练数据上进行了拟合,然后应用于验证数据集以避免数据泄露。
2.4.1 模型构建
采用的DNN架构包括一个具有四个神经元(对应于化学状态变量(C_f、Ca_f、Mg_f、Cl_f)的输入层,以及一个具有六个神经元(代表平衡后水浓度和矿物含量)的最终密集输出层。在这两个层之间引入了多个全连接隐藏层。神经元的总数和网络深度(隐藏层的数量)被系统地变化,以评估它们对预测准确性和训练稳定性的影响。除了架构变化外,还测试了不同的激活函数(负责对神经元输出进行非线性转换),包括双曲正切(Tanh)、修正线性单元(ReLU)和Sigmoid加权线性单元(SiLU)。批量大小(每次权重更新前处理的样本数量)也被视为一个可调的超参数,通过测试不同的值来评估其对收敛行为和泛化性能的影响。选择架构和超参数的动机是为了平衡模型容量和泛化能力。选择Tanh激活函数是因为其输出范围平滑且对称,这在建模具有连续非线性依赖性的化学平衡系统时是有优势的。批量大小和训练周期数(完整遍历训练数据集的次数)被选为确保稳定收敛且不过拟合。
2.4.2 训练
所有模型都使用Adam优化器进行训练,这是一种基于梯度的优化算法,它通过减少预测误差的方向迭代更新模型参数,以均方误差(MSE)作为损失函数。鉴于训练数据集的相对较大规模,网络在相同的优化设置下训练了20个周期(即完整遍历整个训练数据集20次),以确保测试的超参数配置之间的公平比较。
2.4.3 验证
模型性能在训练和验证数据集上都进行了评估,以评估预测准确性和泛化能力。这种设置为后续的超参数敏感性分析提供了受控的基准配置,专注于化学平衡替代模型,而不涉及传输过程。
3. 结果
3.1 抽样数据集
图2显示了用于替代模型训练的四个输入变量(特征)——C_f、Ca_f、Mg_f和Cl_f的直方图。所有特征在其预定义的范围内显示出几乎均匀的概率密度分布,表明采样策略成功生成了地质化学输入空间的均匀覆盖。箱高度的轻微波动归因于样本量有限而非系统偏差。
3.2 Phreeqc 结果与抽样输入
图3展示了从平衡计算中获得的输出变量(标签)的直方图:水物种浓度(C、Ca、Mg、Cl)和矿物含量(Calcite和Dolomite (ord))。与均匀抽样的输入不同,输出显示出强烈非均匀和非线性的分布,反映了反应系统的固有热力学约束。溶解的碳(C)显示出正偏态分布,在低浓度处有一个明显的峰值和长的右尾,表明大多数平衡状态对应于低溶解碳含量,而较高浓度则较少出现。钙(Ca)和镁(Mg)浓度显示出较宽的、适度偏态的分布,这种分布受到矿物饱和条件的影响,而氯化物(Cl)浓度由于其在系统中的非反应性而保持大致均匀。
3.3 模型性能评估
模型性能在训练和验证数据集上都进行了评估,以评估预测准确性和泛化能力。这种设置为后续的超参数敏感性分析提供了受控的基准配置,重点关注化学平衡替代模型,而不涉及传输过程。
3.1 抽样数据集
图2显示了用于替代模型训练的四个输入变量(特征)——C_f、Ca_f、Mg_f和Cl_f的直方图。所有特征在其预定义的范围内显示出几乎均匀的概率密度分布,证实了采样策略成功生成了地质化学输入空间的均匀覆盖。箱高度的轻微波动归因于样本量有限而非系统偏差。
3.2 Phreeqc 结果与抽样输入
图3展示了从平衡计算中获得的输出变量(标签)的直方图:水物种浓度(C、Ca、Mg、Cl)和矿物含量(Calcite和Dolomite (ord))。与均匀抽样的输入相比,输出显示出强烈的非均匀和非线性分布,反映了反应系统的固有热力学约束。溶解的碳(C)显示出正偏态分布,在低浓度处有一个明显的峰值和长的右尾,表明大多数平衡状态对应于低溶解碳含量,而较高浓度则较少出现。钙(Ca)和镁(Mg)浓度显示出较宽的、适度偏态的分布,这种分布受到矿物饱和条件的影响,而氯化物(Cl)浓度由于其在系统中的非反应性而保持大致均匀。
3.3 模型性能评估
模型性能在训练和验证数据集上都进行了评估,以评估预测准确性和泛化能力。这种设置为后续的超参数敏感性分析提供了受控的基准配置,专注于化学平衡替代模型,而不涉及传输过程。
3.4 神经网络模型构建与架构选择
根据直方图、散点图和PCA投影观察到的数据结构,系统地选择了不同的超参数配置,以评估它们对替代模型准确性和训练效率的影响。直方图显示输出分布强烈偏态且受阈值控制(特别是对于Calcite和Dolomite (ord)),而散点图展示了明显的非线性和相变关系。PCA投影进一步表明数据集形成了连续但非线性的分布,而不是可分离的簇。因此,测试了具有不同深度、宽度、激活函数和学习率的网络,以评估它们捕捉平滑趋势和矿物形成的显著转变的能力。这种结构化的比较允许评估架构复杂性和优化设置如何影响替代模型的预测准确性和计算性能。
3.4 网络规模
在图7a中,具有22个神经元的网络(即决定模型表示非线性关系能力的计算单元)在20个周期内显示出训练和验证均方误差(MSE)的平滑单调下降。训练误差在最初的几个周期内迅速下降,表明有效地学习了反应平衡映射中的主导非线性关系,然后逐渐收敛到较低的值。验证曲线在整个训练过程中紧密跟随训练曲线,没有明显的分歧,表明泛化稳定且没有过拟合。然而,最终的MSE值与更大的网络(图7b)相比仍然略高,表明22个神经元的表示能力足够,但在完全捕捉化学响应表面的复杂性方面有些局限。
图6显示了使用主成分分析(PCA)获得的数据集的二维投影,PCA是一种将数据转换为表示最大变异方向的新轴的统计方法。第一个主成分(PC1)显示在水平(x)轴上,捕捉数据集中的最大变化,而第二个主成分(PC2)显示在垂直(y)轴上,捕捉次大的变化,并且与PC1正交。这些轴代表原始变量的组合,而不是单个物理量。每个子图根据不同变量的大小(C、Ca、Mg、Cl、Calcite、Dolomite (ord))进行着色。投影显示出一个连续的、结构化的分布,而不是明显的簇,表明地质化学状态在采样参数空间中平滑演变。水物种的颜色梯度,特别是Ca和Mg,主要沿着PC1方向对齐,表明系统中的主要变异性主要由钙和镁浓度的变化控制。
图6展示了使用主成分分析(PCA)得到的数据集的二维投影。这些轴(PC1—水平轴或x轴和PC2—垂直轴)代表数据中的最大方差方向,并对应于原始变量的组合。数据集根据水物种浓度和矿物含量进行着色,以展示反应平衡状态的全局结构。通过检查矿物相可以获得额外的见解。Calcite在投影空间的特定区域显示出高值,大面积显示接近零的值。相比之下,Dolomite (ord)在Calcite减少的区域显示出相反的空间模式。这种互补的分布进一步证实了矿物平衡反应的非线性和阈值控制特性,这使得替代模型比输入特征空间更复杂。
图4中的相关性热图展示了输入特征(C_f、Ca_f、Mg_f、Cl_f)与平衡输出(C、Ca、Mg、Cl、Calcite、Dolomite (ord))之间的皮尔逊相关系数。正如均匀抽样策略所预期的,输入特征之间的相关性可以忽略不计,证实了生成数据集的统计独立性。相比之下,某些输入与其对应的平衡浓度之间存在强相关性,特别是Ca_f–Ca和Mg_f–Mg,表明初始的总体浓度显著影响它们的溶解平衡状态。
图5中的散点图突出了所有变量对之间最具信息量的关系,特别是Mg_f–Calcite和Mg_f–Dolomite (ord)。在第一个图表(图5a)中,观察到Mg_f和Calcite之间明显的负相关性和强烈的非线性关系。在低Mg_f值时,Calcite沉淀范围广泛并达到最大值。随着Mg_f的增加,Calcite迅速减少并最终降至零,在Calcite = 0处形成一个水平带。这种模式反映了在富镁条件下的热力学抑制作用。
图6显示了使用主成分分析(PCA)获得的数据集的二维投影。第一个主成分(PC1)显示在水平(x)轴上,捕获数据集中的最大变化,而第二个主成分(PC2)显示在垂直(y)轴上,捕获次大的变化,并且与PC1正交。这些轴代表原始变量的组合。每个子图根据不同变量的大小(C、Ca、Mg、Cl、Calcite、Dolomite (ord))进行着色。投影显示出一个连续的、结构化的分布,而不是明显的簇,表明地质化学状态在采样参数空间中平滑演变。水物种的颜色梯度,特别是Ca和Mg,主要沿着PC1方向对齐,表明系统中的主要变异性主要由钙和镁浓度的变化控制。
图7a中的网络具有22个神经元(即决定模型表示非线性关系的计算单元),在20个周期内展示了训练和验证均方误差(MSE)的平滑单调下降。训练误差在最初的几个周期内迅速下降,表明有效地学习了反应平衡映射中的主导非线性关系,然后逐渐收敛到较低的值。验证曲线在整个训练过程中紧密跟随训练曲线,没有明显的分歧,表明泛化稳定且没有过拟合。然而,最终的MSE值与较大的网络(图7b)相比仍然略高,表明22个神经元的表示能力足够,但在完全捕捉化学响应表面的复杂性方面有些局限。
图7b中的网络具有50个神经元,显示出类似的收敛模式,但在所有周期中都能达到一致的较低训练和验证误差。模型收敛到更小的最终MSE,反映了由于网络容量的增加而提高的近似能力。正如22个神经元的情况一样,训练曲线和验证曲线几乎完全重叠,这证实了优化的稳定性以及良好的泛化能力。使用100个神经元的额外实验显示出与50个神经元模型几乎相同的收敛行为和最终误差水平,表明性能在50个神经元左右达到饱和,而增加神经元数量只会增加计算成本,但不会带来可测量的预测准确性提升。在图8a中,具有50个神经元且组织成单个隐藏层的网络在训练过程中显示出训练MSE和验证MSE的稳步下降。训练误差在第一个训练周期内急剧下降,随后以更平稳的方式逐渐收敛至最终值。验证曲线在整个优化过程中始终紧密跟随训练曲线,表明泛化能力稳定且没有过拟合现象。然而,收敛速度相对较慢,最终MSE略高于具有更多隐藏层的架构,这表明虽然单个隐藏层在宽度足够的情况下可以近似非线性反应映射,但其表示效率有限。图8展示了1个(a)和3个(b)隐藏层网络(总计50个神经元)的训练MSE和验证MSE的比较。图8b中,分布为三个隐藏层(4-10-20-10-6架构)的50个神经元网络表现出更快的收敛速度,并且在所有训练周期内持续保持较低的训练和验证误差。更深层次的架构使得对非线性地球化学平衡关系的表示更加高效,从而提高了近似精度。与单层情况类似,训练曲线和验证曲线仍然紧密对齐,进一步证实了模型的泛化能力。使用四个隐藏层的额外实验显示出与三层配置几乎相同的收敛行为和最终MSE值,表明性能在三个隐藏层时达到饱和,进一步增加隐藏层数量并不会对所考虑的反应系统带来可测量的改进。
3.5 激活函数
ReLU(图9a)和Tanh(图9b)激活函数之间的比较突显了在相同架构和训练设置下收敛行为的显著差异。在ReLU情况下,训练损失和验证损失在第一个训练周期内急剧下降,但随后迅速达到一个平台期,并保持大致恒定。这种行为表明优化过程过早停滞。虽然ReLU在某些运行中提供了更快的收敛速度,但重复实验显示其对初始化和训练动态敏感,偶尔会导致学习不稳定或损失提前饱和。相比之下,Tanh激活函数表现出更平滑、更渐进的训练MSE和验证MSE下降,并且随着训练周期的进行持续改进。训练曲线和验证曲线的紧密对齐以及没有早期平台期表明了更一致和稳定的收敛行为。总体而言,Tanh在多次运行中表现出更高的稳健性,而ReLU尽管具有快速初始学习的潜力,但变异性较大。
图10显示了SiLU(a)和Tanh(b)激活函数的比较,结果表明Tanh在这种情况下实现了更明显的误差减少。尽管这两种激活函数都表现出稳定且单调的收敛行为,并且训练曲线和验证曲线紧密对齐,但Tanh模型的MSE值显著更低。图10展示了SiLU(a)和Tanh(b)激活函数的比较。
图11表明,减少批量大小(32(图11a)与8(图11b))可以加快收敛速度并降低最终MSE值。使用32的批量大小时,训练误差和验证误差都平稳下降,但下降得更渐进,最终达到适中的误差水平。相反,8的批量大小在初期下降得更陡峭,并且在所有训练周期内持续保持较低的训练和验证误差。较小的批量引入了更大的梯度更新的随机性,这有助于探索损失景观并提高泛化能力。对于所考虑的反应替代模型,8的批量大小与32的批量大小提供了相似的预测准确性,但由于更频繁的权重更新,较小的批量会增加每个训练周期的计算时间。图11展示了批量大小32(a)和8(b)的训练MSE和验证MSE的比较。
图12显示,较小的批量大小(1024(图12a)与32(图12b)在收敛速度和最终准确性方面具有明显优势。使用1024的批量大小时,训练MSE和验证MSE平稳下降,但在整个训练过程中仍然较高,表明优化速度较慢,在相同数量的训练周期内难以达到低误差区域。相反,32的批量大小在训练误差和验证误差上都表现出更陡峭的下降,最终MSE值显著更低。较小的批量大小引入了更大的梯度变性,有助于优化器更有效地探索损失景观并避开浅层区域,从而提高泛化能力。尽管大批量在每个训练周期内计算效率高,但这些结果表明,对于所考虑的反应替代问题,如32这样的中等批量大小比1024这样的非常大的批量提供了更好的优化性能和预测准确性。
4. 结论
本研究证明,深度神经网络(DNN)替代模型能够准确再现使用IPhreeqc C++ API生成的方解石溶解和白云石沉淀的平衡地球化学计算结果。通过将分析严格限制在化学反应领域,不涉及传输过程,隔离并系统评估了初始水体组成(C_f, Ca_f, Mg_f, Cl_f)与平衡后水体和矿物状态之间的非线性映射。结果证实,涉及竞争性碳酸盐反应和镁诱导的相变可以通过正确配置的前馈神经网络可靠地近似。输入-输出关系的分析表明,反应平衡数据集的特点是由热力学约束和矿物稳定性阈值控制的平滑但非线性的依赖关系。直方图、相关性分析、散点图和PCA投影显示,矿物相变(方解石溶解和白云石沉淀)引入了尖锐的非线性特征,这些特征必须被替代模型捕捉到。尽管存在这些复杂性,正确参数化的替代模型在采样的化学范围内实现了高精度,训练损失和验证损失值紧密对齐,表明泛化能力稳定且没有过拟合。进行的参数超参数分析显示,替代模型的准确性和训练稳定性取决于网络架构和优化设置。增加神经元数量可以提高精度,直到一个饱和阈值(大约50个神经元),超过这个阈值后没有观察到显著改进。将神经元分布在多个隐藏层可以提高收敛效率,三个隐藏层在表示能力和稳定性之间提供了最佳平衡。在测试的激活函数中,对于所考虑的平衡系统,Tanh表现出比ReLU和SiLU更稳健和一致的收敛行为。批量大小也显著影响了优化动态,中等批量大小(8-32)比非常大的批量实现了更快的收敛速度和更低的最终MSE。这些发现表明,仔细的超参数调整对于化学一致的替代建模至关重要。总体而言,结果表明,调优良好的DNN替代模型提供了比使用PHREEQC等化学求解器进行的重复平衡计算更高效和准确的替代方案。这样的替代模型可以与传输求解器结合,解决与深地质储存条件相关的地球化学系统中的反应传输问题,同时在不影响预定义化学范围内的准确性的前提下减少计算成本。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号