《Chinese Journal of Aeronautics》:A quantitative evaluation method for the applicability domain of aerodynamic/aerothermal machine learning prediction models
编辑推荐:
为解决气动/气热机器学习(ML)预测模型缺乏先验误差评估与适用域定量表征难题,研究人员开展了基于参数优化与样本正交度量的自适应特征空间距离(OO-FSDI)方法研究。该方法通过优化特征权重与K近邻参数,构建了特征空间距离与预测误差的置信映射关系,实现了模型适用域的定量刻画及无真值样本的误差估计(误差<10%),为ML模型工程化应用提供了可靠工具。
当AI预测气动热:如何知道它“蒙”得准不准?
在飞行器设计中,气动力和气动热是关乎生死的核心参数。近年来,机器学习(ML)凭借强大的非线性拟合能力,在气动/气热快速预测领域大放异彩。但工程师们始终有一个心病:这模型出了训练数据的“舒适区”,预测结果还能信吗?
传统的CFD(计算流体力学)虽然耗时,但物理方程是透明的(白箱)。而ML模型(尤其是封装好的黑箱模型)一旦面对新的飞行状态或外形,由于缺乏适用性域(Applicability Domain)的定量界定,其预测误差往往难以先验评估。这种“心里没底”严重阻碍了ML在工程中的落地。
现有的不确定性量化技术,如模型集成(Ensemble)和贝叶斯方法(Bayesian),要么计算成本高昂,要么对模型结构有严苛要求,难以适配气动领域多样化且已封装的黑箱模型。样本距离度量技术虽能后验评估,但在气动/气热预测特有的“小样本、高维度、强非线性”场景下,常出现“距离相同但误差迥异”的失效现象,特别是忽略了样本正交性对模型外推误差的巨大影响。
针对这一痛点,西北工业大学王泽团队在《Chinese Journal of Aeronautics》上提出了OO-FSDI方法(基于参数优化与样本正交度量的自适应特征空间距离测量),旨在为ML气动模型装上一个高精度的“误差预言家”。
核心方法速览
OO-FSDI方法的核心流程可概括为“两步构建、一次优化、一个阈值”:
- 1.
构建加权正交距离:在归一化特征空间中,引入样本正交性度量与K近邻(KNN)距离,计算预测样本与训练集的特征空间距离,解决了强非线性导致的距离-误差映射模糊问题。
- 2.
拟合误差映射关系:利用最小二乘法建立特征空间距离与样本预测误差之间的置信映射关系。
- 3.
自动优化参数:采用优化算法(而非经验选取)自动确定特征权重、K值等关键参数,使距离-误差映射质量最优,实现了方法对不同模型的自动适配。
- 4.
划定适用域:根据用户设定的误差上限,反向确定特征空间距离阈值,量化界定模型的“可信区间”。
研究结果与发现
2.1 特征空间距离度量计算
如何算得准?
研究摒弃了传统的欧氏距离,创新地将样本正交性纳入距离度量。具体而言,通过计算预测样本方向与训练样本集张成空间的正交分量,有效捕捉了模型在外推区域(Extrapolation)性能急剧下降的本质。结合加权K近邻距离,形成了对模型非线性行为更敏感的距离指标 dOO-FSDI。
2.2 距离-误差关联关系拟合
误差怎么估?
利用最小二乘拟合,建立了距离 d与相对预测误差 εrel的单调映射关系 εrel=f(d)。研究发现,引入正交性度量后,该映射关系的散点图聚集度显著提高,避免了“同距不同误”的尴尬,为误差预测提供了坚实基础。
2.3 距离度量参数优化
参数怎么选?
传统方法依赖经验设定特征权重和K值。本研究将参数选择转化为优化问题,以最大化距离-误差映射的拟合优度(R2) 为目标函数,利用优化算法自动搜索最优参数组合。这使得OO-FSDI能“因模制宜”,无需人工干预即可适配不同算法(如DNN、Kriging)构建的模型。
2.4 模型适用域定量表征
红线怎么画?
基于构建好的 d?εrel关系,用户只需设定可接受的误差上限(如工程要求误差<15%),即可反解出对应的特征空间距离阈值 dthreshold。任何待预测样本,只要计算其 dOO-FSDI>dthreshold,即被判定为超出适用域,预警工程师需谨慎使用该预测结果。
3. 气动热预测模型验证
实战表现如何?
以公开文献中的气动热预测DNN模型为对象,OO-FSDI成功量化了其在高马赫数、大攻角外推区域的误差增长趋势。对于无真值的样本,其误差估计误差控制在10%以内,显著优于未考虑正交性的传统距离方法。
4. 气动力预测模型验证
通用性够吗?
进一步在Kriging、RBF等不同ML算法构建的气动力预测模型上测试。结果显示,OO-FSDI均能自动适配并准确刻画模型的失效边界,证明了该方法对“黑箱”模型的普适性,不受底层算法限制。
结论与意义
OO-FSDI方法成功解决了气动/气热ML模型工程应用中的两大痛点:
- 1.
实现了适用域的定量化:不再是模糊的“感觉不可靠”,而是基于距离阈值的精确判定。
- 2.
实现了误差的先验估计:在缺乏真实物理试验数据的情况下,能高精度(<10%)预测模型的预测偏差。
这项研究为“黑箱”ML模型提供了“白箱化”的可靠性评估工具,极大地增强了工程师对AI预测结果的信任度,有望加速机器学习在航空航天等高可靠性要求领域的落地进程。