《Sensors》:Beyond Accuracy: A Reliability-Oriented Multi-Dimensional Benchmark of Data-Driven Fault Diagnosis for Liquid Rocket Engines
编辑推荐:
**摘要专业翻译**
液体火箭发动机(LREs)是任务关键型推进系统,其可靠性直接影响发射安全及可重复使用运载火箭的重复运行能力。数据驱动的LRE故障诊断仍面临诸多挑战,主要表现为:带标签的故障样本稀缺、发动机个体差异引发的分布偏移,以及现有评估体系常过度强调
**摘要专业翻译**
液体火箭发动机(LREs)是任务关键型推进系统,其可靠性直接影响发射安全及可重复使用运载火箭的重复运行能力。数据驱动的LRE故障诊断仍面临诸多挑战,主要表现为:带标签的故障样本稀缺、发动机个体差异引发的分布偏移,以及现有评估体系常过度强调分类精度而未能有效控制输入表示形式的影响。本研究建立了一个面向可靠性评估的基准测试框架,从诊断能力、传感器信息量、跨单元泛化能力及数据效率四个维度,系统评估了七种具有代表性的机器学习和深度学习方法。实验采用了来自XJTU-REF数据集的1106个故障样本,涵盖九种故障类别、19个传感器通道以及三个模拟发动机单元。为确保模型间对比的公平性,所有七种方法首先在相同的19维稳态表示下进行评估。在此受控设定下,随机森林(RF)取得了89.15%的最高准确率和88.74%的Macro-F1分数,而性能最优的深度模型一维卷积神经网络(1D-CNN)达到了86.42%。额外的表示消融实验表明,将相同的稳态特征与学习得到的序列表示拼接后,1D-CNN的准确率提升至1,与随机森林的差距缩小至2个百分点。该结果表明,在原始异构输入设定下观察到的大幅性能差异,部分应归因于输入表示设计的差异,而非单纯的模型类别差异。在跨单元评估中,随机森林的平均准确率为3,而Transformer的准确率为4,表明发动机个体差异仍是部署中的主要挑战。重要性排名前五的传感器贡献了随机森林总特征重要性的5。在每类故障仅提供五个带标签样本的少样本设定下,K近邻(KNN)和随机森林分别达到了6和7的准确率。上述发现为可重复使用运载火箭健康监测系统中的算法选择、传感器优先级排序以及数据采集规划提供了量化指导。
**研究解读**
**一、 研究背景与问题提出**
液体火箭发动机(LREs)作为运载火箭的核心推进系统,其运行状态直接关系到发射任务的成败与可重复使用运载火箭的安全性。然而,由于发动机在极端工况下运行,且故障样本获取成本极高,导致数据驱动的故障诊断技术在实际部署中面临严峻挑战。当前研究存在三大耦合问题:第一,真实故障数据稀缺,难以支撑复杂模型的训练;第二,发动机制造公差和运行差异导致数据分布偏移,模型跨单元泛化能力不足;第三,不同研究在对比模型性能时,常因未控制输入表示形式而得出有偏结论。例如,传统机器学习模型通常输入经过人工处理的稳态特征,而深度模型则需要从原始时序序列中自行学习特征,这种输入信息的不对等使得性能差异无法准确归因。因此,建立一个能够统一控制输入信息、系统评估模型多维性能的可靠基准,对于指导实际工程应用至关重要。
**二、 研究目标与核心方法**
为解决上述问题,研究人员构建了一个面向可靠性评估的多维基准框架。该框架首先利用XJTU-REF数据集,通过控制输入表示形式,在相同信息条件下公平对比七种主流诊断方法(包括支持向量机(SVM)、随机森林(RF)、K近邻(KNN)及长短期记忆网络(LSTM)、门控循环单元(GRU)、一维卷积神经网络(1D-CNN)、Transformer四种深度学习模型)。研究从四个维度展开评估:诊断能力、传感器信息量、跨单元泛化能力和数据效率。主要关键技术方法包括:(1) 受控表示对比实验,将所有方法置于统一的19维稳态特征输入下;(2) 序列与稳态特征融合消融实验,探究表示设计对深度模型性能的影响;(3) 基于随机森林特征重要性的传感器贡献度分析及子集消融验证;(4) 覆盖全部六个方向的源到目标单元迁移评估;(5) 设定不同样本数量规模的少样本学习评测。所有实验均采用严格的五折交叉验证和相同的数据划分,确保结果可比。
**三、 主要研究结果**
**1. 受控诊断性能与误差分析 (RQ1)**
在统一使用19维稳态特征的受控条件下,随机森林取得了最优的诊断性能,准确率达89.15%,Macro-F1分数为88.74%,显著优于包括1D-CNN(86.42%)在内的深度学习模型。然而,当通过特征融合方式将相同的稳态特征显式提供给深度模型时,1D-CNN的准确率提升至
1,与随机森林的差距缩小至
2个百分点。这表明,在原始异构输入对比中观测到的性能差距,很大程度上源于深度模型需同时承担特征提取与分类的双重任务压力,而非模型架构本身存在绝对劣势。完整的混淆矩阵分析显示,氧化剂喷射器堵塞(Ojet)与氧化剂主阀故障(Ov)是主要的混淆类别对,二者均影响氧化剂输送路径,导致稳态特征相似。
**2. 传感器信息量分析 (RQ2)**
基于随机森林的特征重要性评估,燃烧混合比
Mr、燃料泵功率
Nfp和氧化剂泵功率
Nop位列前三,重要性排名前五的传感器贡献了总重要性的
5。传感器子集消融实验表明,仅使用排名前五的传感器即可达到与全部19个传感器接近的诊断准确率(
8对比
9),说明诊断信息高度集中于少数关键测量,但同时验证了较低排名传感器仍提供互补信息,不能简单移除。
**3. 跨单元泛化性能评估 (RQ3)**
在所有六种源到目标单元的迁移方向上,随机森林表现最佳,平均跨单元准确率为
3,性能下降最小(
10个百分点)。相比之下,Transformer的性能下降最为显著(
11个百分点)。结果表明,即使控制输入表示,发动机个体间的分布偏移仍是制约模型实际部署的主要瓶颈。
**4. 少样本诊断能力评估 (RQ4)**
在每类故障仅提供五个带标签样本的极端稀疏条件下,KNN和随机森林分别取得了
6和
7的准确率,显著优于1D-CNN(
12)和LSTM(
13)。这表明基于实例和集成决策规则的方法在样本极度匮乏时更具优势,而随着样本量增加,深度模型与经典模型的性能差距逐渐缩小。
**四、 讨论与结论**
研究讨论指出,输入表示形式是造成模型间表现差异的关键混淆因素,模型排名必须在控制信息输入的前提下进行。故障难度具有架构依赖性,不能脱离具体模型和表示形式一概而论。跨单元泛化能力是当前技术从研究走向工程应用的核心瓶颈。传感器重要性排序可为系统设计提供优先级参考,但传感器精简必须经过严谨的子集验证。研究建议采用分阶段部署策略:初期在故障数据极度有限时,选用轻量级模型(如KNN、RF)提供基础诊断能力;随着多单元数据积累,可逐步引入融合了物理信息特征与深度时序特征的混合模型。
研究结论明确指出:第一,在比较模型族性能前必须控制输入表示;第二,随机森林和KNN在小型安全关键数据集上提供了可靠的初始基线,而深度融合模型在显式提供领域特征后具备竞争力;第三,跨单元迁移能力而非单一单元内准确率,应作为可重复使用运载火箭健康监测系统的首要验收标准。未来工作将扩展至更大规模的多单元数据集、物理引导融合模型、域自适应、开集诊断及仿真到实际的验证。