《Proceedings of the Design Society》：Comparison of evolutionary, reinforcement and active learning for simulation-based design space exploration
编辑推荐：
权衡研究通常采用实验设计（Design of Experiments, DoE）方法，而仿真模型则支持通过人工智能（AI）实现数据驱动的产品优化。本文对用于设计空间探索（Design Space Exploration, DSE）的进化算法（Evolution
权衡研究通常采用实验设计（Design of Experiments, DoE）方法，而仿真模型则支持通过人工智能（AI）实现数据驱动的产品优化。本文对用于设计空间探索（Design Space Exploration, DSE）的进化算法（Evolutionary Algorithms, EA）、强化学习（Reinforcement Learning, RL）以及主动学习（Active Learning, AL）进行了比较。基于一个真实案例研究和超体积（Hypervolume, HV）分析，研究人员评估了所选算法的性能。研究结果凸显了这些算法在识别帕累托前沿（Pareto front）方面的能力，并为深化对AI驱动设计空间探索的理解提供了见解。
### **论文解读：基于仿真的设计空间探索中机器学习算法性能比较研究**
#### **一、 研究背景与问题**
在工程领域，基于仿真的设计（Simulation-Based Design, SBD）已成为优化产品性能的关键方法。特别是在系统工程（Systems Engineering, SE）中，权衡研究（trade-off studies）对于在早期工程阶段做出明智的设计决策至关重要。根据国际系统工程协会（INCOSE）的《SE愿景2035》，人工智能（AI）将通过分析权衡来辅助评估替代性系统设计方案。利用仿真模型作为虚拟原型，可以在深入机械、电气或软件设计之前，评估设计参数对性能指标的影响，从而避免迭代式物理原型测试的需要。
然而，随着设计问题复杂度的增加，挑战从运行单个仿真转向高效探索整个设计空间以寻找最优设计方案。这一过程被称为设计空间探索（DSE），构成了权衡研究的核心。虽然权衡研究常采用实验设计（DoE）方法，但仿真模型的应用可以推动数据驱动设计和基于AI的产品优化。由于仿真模型能为机器学习（Machine Learning, ML）算法生成大量数据，使得应用进化算法（EA）、强化学习（RL）和主动学习（AL）方法成为可能。鉴于这三类ML在基于仿真的DSE（SBDSE）中可能具有不同的性能表现，目前缺乏一个系统的比较研究来评估它们在多目标优化（Multi-Objective Optimisation, MOO）场景下的表现，特别是在识别帕累托前沿方面的能力。
为了填补这一研究空白，本文旨在通过一个真实案例研究，基于超体积（HV）分析，比较来自EA、RL和AL三种范式的代表性算法。研究聚焦于两个核心问题：1）在SBDSE的多目标设置中，哪种指标适合评估ML算法的性能？2）EA、RL和AL在超维空间中识别帕累托前沿的表现如何？本研究的主要贡献在于，针对上述问题，对用于SBDSE的EA、RL和AL的典型实现进行了结构化的比较研究，旨在为约束多目标优化（MOO）中AI驱动的方法选择提供经验性指导。
#### **二、 研究方法与技术路径**
研究人员采用并细化了设计研究方法论（Design Research Methodology, DRM）来开展研究。首先，通过结构化文献综述，界定了研究范围，明确了研究缺口。随后，基于文献和产品优化项目，回顾了典型的设计流程，形成了一个从DoE方法改编而来的、适用于SE的基于仿真的优化通用描述，并推导出一个用于评估的真实案例。在DRM的规范研究阶段，研究人员设计了自动化概念，并实现了所需的仿真模型和算法。最后，在描述性研究II阶段，设计并应用了评估ML算法性能的指标，并在指定的案例研究中进行了实际应用。
**关键技术方法**：
研究核心是比较EA、RL、AL三类ML算法在SBDSE中的性能。研究基于一个来自汽车原始设备制造商（OEM）的车辆概念设计真实案例，该案例旨在优化燃油效率和车辆性能（体现为加速度）等相互冲突的目标。研究人员实现了四种代表性算法：来自EA范式的非支配排序遗传算法II（NSGA-II）；来自RL范式的软演员-评论家（SAC）和异步优势演员-评论家（A3C）；以及来自AL范式的贪婪主动学习（GAL）。所有算法均应用于同一车辆纵向动力学仿真模型（基于MATLAB/Simulink构建，并采用新欧洲行驶循环（NEDC）和全油门加速场景数据进行校准），以在相同的100次仿真评估预算下，自动化地探索设计空间并逼近帕累托前沿。性能评估采用超体积作为核心指标，并辅以其他指标衡量解集的多样性和收敛性，同时通过统计检验比较算法间的显著性差异。
#### **三、 研究结果与分析**
**5.1. 实验设置**
评估基于一个汽车系统工程中的多目标优化问题，目标是最小化四个相互冲突的系统属性（总燃油消耗和三个加速度弹性值），同时尊重五个设计参数（轮胎滚动半径、主减速比及三至五档传动比）及其约束（如传动比的严格单调性）。仿真模型作为黑箱与优化算法连接。所有算法（GAL， A3C， SAC， NSGA-II）均适应了输入边界，并采用基于方程2推导的通用评分/奖励函数（或NSGA-II的非支配排序）来评估候选解。通过超参数优化确保公平比较，每个算法在10个随机种子下运行，固定评估预算为100次仿真。性能主要通过超体积评估，并辅以解集分布度量，同时统计评估计算成本和算法间的显著性差异。
**5.2. 结果**
超体积随迭代次数的演变图显示，所有算法的超体积总体呈单调上升趋势。具体而言：
* **A3C** 在不同种子运行间表现出高变异性，平均超体积为0.49。
* **SAC** 取得了最高的平均超体积（0.63），且部分运行达到了约0.80的高值。
* **GAL** 达到了0.57的平均超体积，变异性适中。
* **NSGA-II** 在初期快速提升后进入平台期，最终平均超体积为0.55。
弗里德曼检验表明算法对超体积有显著影响（p=0.048），事后内梅尼分析显示SAC显著优于A3C。在解集多样性方面，未发现算法间存在显著差异（p=0.717）。对帕累托前沿的检查发现，高超体积的解集通常由少数点表示，而较低超体积的前沿则包含更多解，这表明超体积的差异主要源于对极端点的逼近程度，而非前沿的覆盖范围。这些观察到的模式可能源于有限的探索、潜在的全局最优解或仿真模型的简化。实验确保了算法间的可比性，但结果受到仿真预算、奖励函数设计以及超参数调优的影响。
#### **四、 结论与讨论**
**结论**：
本研究基于算法实现和性能指标应用，在SBDSE案例中比较了EA、RL和AL三种ML范式。根据文献综述结果，研究人员得出结论：超体积是用于DSE的唯一现有的一元指标（unary indicator）。因此，它可以被视为在SBDSE中评估和比较不同ML算法的唯一广为人知的一元指标。它可以辅之以用于衡量帕累托前沿覆盖范围或分布情况的二元指标（binary indicators），例如代际距离（Generational Distance）、间距（Spacing）或多样性度量（Diversity Measure）。
关于第二个研究问题（RQ2），主要见解是，最初为MOO设置中的DSE而开发的EA，可能会被更现代的ML方法所超越。尽管这一见解不能推广，但案例研究表明，SAC可能在SBDSE任务中表现良好。
**局限性与未来工作**：
研究结论存在若干局限性。主要局限在于所使用的案例研究可能因设计空间的约束和形状而产生偏差，因为并非所有算法都能原生处理约束。此外，使用RL和AL方法识别帕累托前沿依赖于奖励/评分函数以及仿真预算。尽管本研究选择了能平衡案例中竞争性设计目标权重的奖励/评分函数，但此限制仍需在未来工作中深入探讨。
所有算法的性能都对超参数调优敏感。尽管采用了公平且可比较的超参数调优方法，但未来仍需研究算法性能对神经网络超参数潜在次优选择的具体敏感性。超体积指标本身对参考点的选择敏感，但研究人员认为，对于算法的定性比较而言，具体的参考点选择是一个次要问题。
总之，本研究为在资源受限的SBDSE场景中选择合适的AI驱动优化方法提供了实证依据和结构化比较框架，指出了不同ML范式在解决复杂工程多目标优化问题时的相对优势与适用条件。
