基于合成多项式代理模型的机械过程回归建模：数据采样与建模方法的比较研究

《Machine Learning and Knowledge Extraction》：Synthetic Polynomial Surrogates for Mechanical Processes: A Comparative Study of Data-Sampling and -Modelling Methods

　　

摘要专业翻译 为改进物理过程，领域专家采用实验测试装置收集数据。采样后，使用例如回归模型对数据进行分析。本研究的目标是探究在不同过程特征下（这些特征事先为领域专家所知），不同采样方法与机器学习方法组合的性能表现，从而为机器学习专业知识有限的用户提供实用建议。研究人员构建了一个大规模组合测试框架，以多项式代理模型作为伪过程，涵盖变量数量、复杂度、过程噪声及最优值位置等特征。将采样方法（Sobol、随机、贝叶斯优化（Bayesian Optimisation, BO）以及响应面法（Response Surface Methodology, RSM）附加G-最优测试点）与26种机器学习（Machine Learning, ML）方法进行了对比。结果表明，机器学习方法的选择对全局建模精度的影响大于采样方法的选择。然而，采样方法与机器学习方法之间存在强交互作用，表明二者不应独立选择。总体而言，研究结果揭示，过程噪声会消除统计评估中标准回归模型的预测质量。空间填充采样方法通常提供可靠的性能，而正则化多项式、基于核的模型以及加性模型在多种场景下均展现出较强的预测精度。

论文解读文章

一、研究背景与问题

在机械工程领域，过程建模旨在通过减少实验测试次数来降低成本和缩短开发周期。常用的建模途径包括解析建模、数值建模以及机器学习方法。典型的建模流程包括：定义待探索的过程窗口、选择数据采样方法和回归方法，然后对模型性能进行评估。然而，实际应用中面临一个显著矛盾：最终使用模型结果的人员多来自机械工程背景，而非数据分析领域。这意味着用户对复杂采样方法和回归方法的优劣缺乏足够了解，导致实践中过程优化与先进方法应用之间存在脱节。

现有研究存在若干不足。首先，尽管已有大量文献对机器学习方法进行基准测试，但多数研究使用的样本量较大（中位数达千余个），而在物理实验环境中，样本采集成本高昂，实际可用样本量通常极为有限（中位数仅约144个）。其次，关于采样方法对机器学习回归性能影响的研究相对较少，特别是序贯采样（如贝叶斯优化作为采样器）的研究存在明显空白。第三，已有方法排名在未结合问题复杂度和样本规模进行情境化分析时，可能产生误导性结论，导致实验成本沉没。

基于上述问题，本研究提出核心研究问题：根据数据采样方法和过程特征，何种回归方法对物理过程的建模效果最佳？

二、研究内容与主要结论

研究人员构建了一套大规模组合实验框架。首先，生成100个多项式函数作为物理过程的代理模型（surrogate），覆盖54种变量组合：变量数量（3、5、7）、多项式阶数（2、3、4）、最优值位置（搜索空间中间或边界）以及附加高斯噪声水平（0%、5%、10%）。随后，采用四种采样方法——Sobol采样、随机采样、贝叶斯优化（BO）以及响应面法附加G-最优设计点（RSM+）——对每个代理函数进行采样生成训练数据。最后，26种机器学习回归模型对所有训练数据集进行建模评估，总计构建并评估了561,600个模型（不含超参数迭代优化）。

研究得出以下核心结论：

1. 1.
   机器学习方法的选择对全局建模精度的影响大于采样方法的选择，但二者之间存在强交互作用，不应独立选择。
2. 2.
   过程噪声是影响模型性能的最关键因素。当噪声存在时，经典多项式回归（如统计实验设计中常用的二阶模型）的预测质量显著下降。
3. 3.
   空间填充采样方法（特别是Sobol采样）整体表现最优，随机采样优于RSM+和BO。
4. 4.
   正则化多项式回归（尤其是Poly_reg4）表现最佳，核方法（kernel-based）、广义加性模型（GAM）和CatBoost也展现出较强的预测精度。
5. 5.
   树模型整体表现较差（CatBoost除外），神经网络（MLP）未能在该有限样本场景下发挥优势。

该研究的重要意义在于：为缺乏机器学习专业知识的机械工程用户提供了实用的方法选择指南，即"速查表"（cheat sheet），帮助用户根据对过程特征的先验知识（变量数、复杂度、噪声水平、最优值位置）快速选择最优的采样与建模组合。

三、关键技术方法概述

本研究采用的核心技术方法包括：

1. 1.
   多项式代理模型生成：根据变量数量（3/5/7）、多项式阶数（2/3/4）、最优值位置（中间/边界）和噪声水平（0%/5%/10%）随机生成100个多项式函数，模拟物理过程的平滑响应行为，并通过差分进化（Differential Evolution, DE）算法验证最优值位置。
2. 2.
   四种采样方法：Sobol序列采样（基于(t,s)序列的确定性空间填充采样）、随机采样、贝叶斯优化（以高斯过程回归（Gaussian Process Regression, GP）为代理模型，采用期望提升（Expected Improvement, EI）准则进行自适应采样）、RSM+（中心复合内切设计（CCI）与G-最优设计相结合的混合采样）。
3. 3.
   26种机器学习回归方法：涵盖全局参数平滑模型（线性回归、多项式回归及正则化多项式回归、弹性网络）、全局加性基函数模型（GAM、多元自适应回归样条MARS/EARTH）、核方法（支持向量回归SVR、高斯过程回归GP、核岭回归KRR）、局部实例方法（k近邻kNN）、树模型（决策树DT、Cubist）、树集成（随机森林RF、M5P袋装、极端随机树ExTr、CatBoost、LightGBM）以及神经网络（多层感知机MLP）。
4. 4.
   超参数优化：采用Optuna框架中的树结构帕森估计器（Tree-Structured Parzen Estimator, TPE）进行超参数搜索，通过5折交叉验证评估模型性能。
5. 5.
   性能评估：以均方根误差（Root Mean Square Error, RMSE）作为模型性能指标，采用3xIQR异常值剔除和1%双侧缩尾（winsorisation）两种异常值处理策略，并构建线性混合模型（Linear Mixed Model）量化各因素的效应量。

四、研究结果

采样方法比较结果：通过对所有代理函数设置和机器学习方法取平均，Sobol采样在均值RMSE和z标准化log(1+RMSE)两项指标上均表现最优，随机采样次之，RSM+和BO表现较差。这表明探索性采样策略（Sobol和随机）优于部分结构化及最优值搜索型采样方法。

机器学习方法比较结果：正则化多项式（特别是Poly_reg4）表现最佳，其优势在于与底层代理多项式结构相似、通过正则化项处理噪声数据且不过度拟合。核方法紧随其后。全局加性基函数模型优于神经网络。树模型整体表现不佳，但CatBoost例外。核方法分析显示，最优核并非仅限于多项式核，表明正则化多项式的优越性并非完全源于与代理模型的相似性。

过程特征影响：变量数量和最优值位置对模型性能影响较小，但最优值位于搜索空间中间时性能略差（因需建模拐点）。高斯噪声是最具影响力的变量——随着噪声水平从0%增至10%，各机器学习方法的性能差异趋于均一化，表明存在噪声阈值，超过该阈值后任何方法均无法显著提升。

效应量分析：基于缩尾数据的线性混合模型显示，采样方法与机器学习方法的交互作用是影响RMSE的首要因素，噪声与机器学习方法的交互作用次之。当排除Poly2-6回归后，噪声与机器学习方法的交互作用占主导地位。

五、讨论与结论

讨论部分：本研究基于物理过程具有充分平滑响应行为的假设，该假设不适用于存在突变、迟滞、不连续或相变的过程。变量水平设置有限（多数仅三个水平），对插值或外推结论需谨慎。采样和机器学习方法的选择范围有限，结果仅作为性能指示而非定论。神经网络（MLP）表现不佳可能源于其对超参数设置的敏感性，且TPE优化器无法保证最优超参数组合。RMSE指标仅评估全局建模精度，不适用于评估最优值定位准确性，这也解释了以最优值搜索为目标的BO在全局建模评估中表现较差的原因。

结论部分：本研究通过多项式函数构建代理模型模拟物理和工业过程，从用户视角以复杂度、影响变量数量、过程最优值位置和过程变异性对过程进行分类。采用Sobol采样、RSM+、贝叶斯优化和随机采样四种方法采样，26种机器学习模型建模，以RMSE评估模型质量。基于超过50万个RMSE值，得出以下结论：采样与机器学习方法的交互作用是影响RMSE的关键因素；Sobol采样因其空间填充特性提供了最佳建模起点；人工噪声是代理模型的关键影响因素，经典多项式回归在噪声干扰下无法提供满意结果，而正则化多项式通过系数正则化有效处理了噪声；核方法、GAM和CatBoost表现良好。最终编制了速查表，为非专业机器用户提供根据过程特征选择采样与建模方法组合的参考指南。该理论研究的部分结论已通过与工业过程对比得到初步验证，特别是在自动化过程中Sobol采样的数据采集优势显著。未来研究方向包括：基于模型和过程特征的自适应超参数优化、更广泛的过程分类体系（如异方差噪声）、正则化多项式适用性的深入研究、引入更多评估指标以平衡全局精度与优化目标，以及探索合成数据生成和物理关系约束下的建模方法。