高斯过程回归（GPR）、深度神经网络（DNN）与多项式混沌展开（PCE）代理模型跨输入维度的比较评估：DNN对维度增长的鲁棒性优势

《Applied Sciences》：Comparative Evaluation of GPR, DNN, and PCE Surrogates Across Input Dimensionality

　　

本研究探讨代理模型行为如何随输入维度增加而变化，重点关注高斯过程回归（Gaussian process regression, GPR）、多项式混沌展开（polynomial chaos expansion, PCE）和深度神经网络（deep neural networks, DNN）。核心目标是查明在其他实验条件一致时，当活动输入数量从低维增加到较高维设置时，每种模型的泛化误差响应强度。研究人员采用受控基准，使用嵌套参数集、相同训练/测试协议和归一化平均绝对误差（normalized mean absolute error, NMAE）作为通用指标，以确保跨输出可比性。结果表明，所有三个模型族均表现出一致的维度惩罚，但幅度不同。关键发现是DNN在跨维度时表现出最小的观测相对误差增长，表明其对输入维度增加具有最高鲁棒性。相反，GPR和PCE表现出更强的维度退化，这与其结构上依赖局部样本密度（GPR）以及随维度快速增长的基函数（PCE）有关。额外分析表明，维度效应还取决于输出特性和训练数据的可用性。

论文解读

代理模型（surrogate model）在工程与应用物理中用于替代计算昂贵的仿真，其实际价值取决于预测精度、有限训练数据下的鲁棒性以及表达复杂输入—输出关系的能力。随着输入参数数量增加，固定数量训练样本对输入空间的覆盖逐渐稀疏，因此代理模型性能对输入维度的依赖成为基于仿真的设计、不确定性量化和敏感性分析中的重要问题。GPR是一种非参数概率回归方法，由协方差函数定义响应相关结构，可给出预测分布，但超参数优化在输入多或采样设计不佳时可能困难，且计算与内存成本随训练样本数N增长。PCE将响应表示为基于输入概率分布选定的多变量正交多项式线性组合，可分析获得Sobol指数等方差敏感性度量，但经典PCE的基函数随输入维度和多项式阶数快速增加，导致基项数量过大，需要截断和稀疏回归。DNN基于非线性变换组合，表达能力强，适合高维代理建模，但更依赖训练数据数量与分布，并受架构、正则化和超参数优化影响。既有比较研究已表明代理模型性能取决于模型族、任务、维度和训练集大小，但输入维度效应常与其他问题属性耦合。因此，研究人员在统一实验设置下比较GPR、DNN和PCE，以更直接地表征维度效应。

研究人员采用COMSOL Multiphysics（Version 6.4.0.293）生成芯片由散热器在强制气流中冷却的数据，输入参数采用嵌套参数集，分别对应4、8和12个活动输入；数量兴趣（quantity of interest, QoI）包括QoI₁（mean CPU surface temperature on top）、QoI₂（mean CPU volume temperature）和QoI₃（mean heatsink surface temperature）。训练集1000样本，独立测试集250样本，输入向量用拉丁超立方采样（Latin hypercube sampling, LHS）生成。GPR和PCE用scikit-learn（Version 1.6.1）实现，DNN用TensorFlow（Version 2.18.1）/Keras（Version 3.11.2）实现。GPR通过贝叶斯优化搜索核结构和超参数；PCE采用Legendre正交基和正则化最小二乘；DNN为全连接多输出模型，用KerasTuner随机搜索超参数。误差指标为NMAE，并以标准误（standard error of the mean, SEM）表示不确定度。

研究结果如下。3.1 收敛与全局比较：各模型累积测试集NMAE在测试序列末端趋于收敛，支持采用最终聚合值比较。完整训练模型在1000样本下的全局NMAE用于跨维度比较。3.2 从4到8到12参数的全局误差增长：DNN在4参数时绝对误差最高，但其相对增长小于GPR和PCE；12参数与4参数的NMAE因子为DNN 1.551、GPR 2.259、PCE 2.262。3.3 逐输出维度效应：QoI₂在所有维度对绝对NMAE贡献最大，而QoI₁和QoI₃从4参数到12参数表现出更陡的乘性增长。12参数/4参数比值中，GPR为QoI₁ 8.565、QoI₂ 1.591、QoI₃ 10.658；DNN为1.545、1.462、1.704；PCE为7.310、1.836、6.563。DNN总体比值较小，尤其对QoI₁和QoI₃相对GPR和PCE差异更明显。总体上，增加维度惩罚所有代理模型，但程度不同；GPR和PCE在各维度平均全局NMAE较低，而DNN从4到12参数的相对退化最小。3.4 训练数据集规模缩放：训练集从100到1000样本扫描显示模型特定趋势。GPR随维度升高更受益于额外数据：4参数NMAE从0.000714到0.000664，相对减少7.00%；8参数从0.001352到0.001023，减少24.33%；12参数从0.003491到0.001414，减少59.50%。DNN在各维度均随数据增加而显著下降：4参数从0.011953到0.003251，相对减少72.80%；8参数从0.006958到0.004589，减少34.05%；12参数从0.019774到0.006556，减少66.85%。但DNN在1000样本时各维度NMAE仍最高。8参数DNN曲线较4参数和12参数平坦，且在部分中间训练规模出现小幅上升而非严格单调下降。PCE在8参数和12参数对训练集大小最敏感：4参数从0.000672到0.000654，减少2.68%；8参数从0.027408到0.001049，减少96.17%；12参数从0.080082到0.001480，减少98.15%。比较各维度模型排名：4参数时GPR和PCE在整个训练规模范围内保持低NMAE，DNN尽管大幅下降仍最高；8参数时PCE在100样本最高，但从200样本起DNN最高，1000样本时PCE接近GPR而DNN仍较高；12参数时PCE误差到400样本最高，约500样本后DNN最高，1000样本时PCE再次接近GPR，DNN仍显著较高。这些交叉表明PCE在高维对训练集大小特别敏感，而GPR和PCE在数据充足后平均NMAE相当。

讨论部分总结如下。4.1 总体维度与训练数据集规模效应：基准显示三种代理模型族均存在清晰维度惩罚。从4参数到12参数，总体NMAE增加约2.26倍（GPR）、1.55倍（DNN）和2.26倍（PCE），没有方法在此设置中维度不变。随维度增加，训练数据在输入空间更稀疏，使GPR所需局部插值更难；PCE则需覆盖额外交互，导致所需基函数大幅增加。模型排序取决于维度和数据可用性。4.2 高斯过程回归：GPR在8参数和12参数从100到1000的减少最小。原因在于核已在完整数据集上选择和优化，已编码大量信息；但在较小子集上局部样本密度较低，长度尺度校准匹配较差，局部插值较弱，因此增加数据仍带来改进。4.3 多项式混沌展开：从8输入参数起，PCE随训练集增加时NMAE减少最大，这与基函数规模随维度增长有关。在选定阶数下，总阶基函数规模在4、8和12参数时显著增加。8参数和12参数曲线的陡降表明，一旦超过所需数据量，PCE误差快速下降，并随更多数据达到GPR级全局NMAE。进一步增加输入维度时，基函数继续增长，16参数时已接近每个基项一个样本，17参数时会支持不足，PCE可能需降低阶数以保持数值稳定，同时降低表达力，最终可能被未见误差过度增长的DNN超过。4.4 深度神经网络：DNN随额外数据明显改善，但最终误差在每个维度仍高于GPR和PCE。8参数DNN曲线较平不应解释为8输入通常比4或12输入需要更少数据；每维度使用独立采样数据集和单独优化的DNN配置，较小训练集是相应训练文件的嵌套子集，因此该现象可能反映采样子集、所选架构和响应复杂度。需重复打乱或独立空间填充子集及重复训练种子来确定稳健性。在约400训练样本以下，DNN的NMAE显著更高；超过该点后，其NMAE随维度呈现预期排序。4.5 跨模型比较：GPR和PCE总体误差随维度增长相当（因子约2.26），DNN观测增加较小（因子约1.55）。完整训练集下，DNN在三个维度平均NMAE最高；在高维低数据区间，PCE平均NMAE最高。训练数据敏感性排序为：PCE在高维最受益，GPR最少，DNN介于二者之间。GPR和PCE在三个维度平均NMAE非常接近，全局值差异小于0.0004。GPR较强表现与其使用训练数据和核结构的方式有关：核配置在完整1000样本优化数据集上选定并优化，训练规模扫描时保持固定，仅改变用于后验预测的训练观测数；因此减少训练数据不需重新识别核结构，预测仍利用可用训练观测。这在低维输入空间覆盖已较好时使GPR误差变化较小。PCE的基函数数直接由截断阶数和输入维度决定，而GPR和DNN没有类似的训练样本数与模型复杂度显式关系。4.6 数量兴趣影响与维度比率：误差随维度增长依赖输出。对GPR，12参数/4参数NMAE比值对QoI₁约8.57、QoI₃约10.66，而QoI₂仅约1.58；PCE呈相同定性模式，对QoI₁和QoI₃为7.31和6.56，对QoI₂为1.83。QoI₂在各模型中观测平均NMAE最高，但随参数数缩放不如QoI₁和QoI₃显著，这可能归因于QoI₂为整个CPU体积平均温度。部分对比也来自基线效应：GPR和PCE的QoI₁与QoI₃在4参数时NMAE很小，故较高维度中等绝对增加会转为大乘性因子；QoI₂基线高得多，因此比率不那么显著。DNN对QoI₁和QoI₃平均NMAE更高，可能与其多输出架构有关，因为联合训练难以仅对部分输出抑制某输入通路。一阶Sobol指数显示某参数对QoI₂强相关，而对QoI₁和QoI₃可忽略；共享表示仍须携带该信号，因而对QoI₁和QoI₃影响大于分别建模。对QoI₂，DNN与单输出模型差距较小，更可能与DNN较低数据效率有关。GPR在更大输入空间同一样本数下附近点更少，核预测更不可靠；PCE则面临基增长问题，高维交互结构需要许多多项式项。4.7 方法学局限：嵌套参数集意味着维度效应不能完全与新增参数的物理相关性分离；所有值基于每维度固定训练/测试划分，重复再优化和训练可提供更强排序稳定性但超出资源；DNN每设置仅一次随机搜索实现，贝叶斯优化可能更样本高效但未实施；核搜索按固定初始超参数的测试MRE排序候选，不一定识别最佳核族本身，更严格比较需先优化每个候选核再排序。

结论翻译：本研究使用一致训练/测试划分和单一COMSOL模型，比较了GPR、DNN和PCE代理模型在4、8和12输入维度下的表现。因此所有结果均针对该物理系统，未经其他仿真模型进一步验证不应泛化。主要结论为：所有代理模型族均显示维度惩罚，从4参数到12参数，全局NMAE增加约2.26倍（GPR）、1.55倍（DNN）和2.26倍（PCE）。在完整训练数据集规模下，GPR和PCE在所有测试维度显示比DNN更低的平均全局NMAE，而DNN显示随维度增加最小的观测相对增加；GPR在4、8、12参数下全局NMAE分别为0.0654、0.1046、0.1476，PCE为0.0654、0.1049、0.1480，DNN为0.1720、0.2030、0.2667。维度效应强烈依赖输出：QoI₂在所有维度绝对NMAE最大，而QoI₁和QoI₃对GPR和PCE显示最强乘性增长，例如12参数/4参数比值GPR为8.57和10.66，PCE为7.31和6.56。训练数据集大小敏感性依赖模型和维度：PCE在更高维度最数据敏感，12参数时NMAE从100到1000训练样本减少98.15%，而DNN为66.85%，GPR为59.50%；PCE在低训练集时初始误差最高，并在约500样本时低于DNN。对GPR，固定样本量下增加维度使输入空间更稀疏，削弱局部核插值可靠性；对PCE，高维交互结构需要更大多项式基，增加数据需求和条件困难；DNN在输入对所有输出具有 broadly similar relevance patterns 时相对较好处理增加输入维度，因为共享潜在特征可在QoI间复用，当输入相关性强输出特异时该优势减弱。DNN结果还应结合多输出架构理解；也可为每个QoI训练单独DNN，允许学习输出特异特征并排除无关输入通路。未来研究将比较该策略与联合模型，确定是否降低QoI₁和QoI₃误差并改变维度缩放行为。从应用角度看，模型选择应基于维度和可用训练数据，并明确考虑QoI级行为，而非仅依赖聚合误差指标。