基于智能学习的柴油点火预测模型开发：LSTM与Transformer在燃烧动力学中的基准研究

《ENERGY CONVERSION AND MANAGEMENT》：Development of intelligent learning-based surrogate models for predicting diesel ignition at different thermodynamic conditions

本文系统开发了LSTM、Attention-based LSTM和Transformer三种机器学习替代模型，用于预测柴油机在不同热力学条件下的点火延迟（ignition delay）。研究表明，LSTM类模型在预测精度（R2 > 0.995）和计算效率（训练时间236–310秒）上均优于Transformer模型（MSE 0.7797，训练537秒），为燃烧过程优化提供了高效可靠的时序预测工具。

　　

Section snippets

Overview

图1展示了本研究的整体流程。研究从文献综述确定的动力学模型选择开始，选用模型通过CHEMKIN-PRO进行零维（0-D）动力学模拟，生成机器学习算法所需的输入数据集。输出数据采用最小-最大归一化（min-max normalization）进行预处理。为开发三种不同的机器学习模型，从文献中选取了三种算法进行结果对比分析，即...

Training and validation of prediction model

经过最小-最大归一化和蒙特卡洛（Monte Carlo, MC）采样的数据预处理后，包含3,065种不同输入输出参数组合（维度为3,065 × 4）的数据集按8:2的比例划分为训练集和验证集。均方误差（Mean Squared Error, MSE）被选为训练和验证过程中的损失函数，神经网络权重使用Adam优化器进行迭代更新。当验证损失在连续10个epoch内没有改善时，应用早停法（early stopping）来终止迭代，以防止过拟合。所有模型均使用PyTorch框架实现，并在配备NVIDIA GeForce RTX 3080 GPU的工作站上进行训练。每个模型的超参数，包括隐藏层大小、学习率和注意力头数（对于Transformer），均通过网格搜索进行优化。

Conclusions

对LSTM、注意力LSTM（Attention-based LSTM）和Transformer算法在预测柴油替代燃料点火延迟方面的比较分析得出几个关键结论：

• •
  LSTM模型的卓越性能： LSTM和注意力LSTM算法在预测点火延迟方面均表现出高精度，均方误差（MSE）、均方根误差（RMSE）和平均绝对误差（MAE）极低，平均绝对百分比误差（MAPE）分别低至0.6806%和0.5474%，决定系数（R²）值极其接近1。这一性能表明它们非常适合捕捉燃烧过程中固有的短期时间依赖性。这些模型在计算效率方面也表现出色，LSTM和注意力LSTM的训练时间分别为236秒和310秒，远低于Transformer的537秒。注意力LSTM略优的MAPE表明注意力机制在细化预测方面具有潜在价值。总体而言，LSTM架构在预测精度和计算资源需求之间实现了最佳平衡。
• •
  Transformer模型的局限性： 相比之下，Transformer模型产生了高得多的MSE（0.7797），并且需要更长的训练时间。其在点火延迟预测方面相对较差的表现可归因于其专为捕获远程依赖关系而设计，而燃烧过程主要由短期动力学主导。这导致模型可能学习了不相关的长期模式，反而降低了其预测短期点火事件的有效性。
• •
  对燃烧模拟的意义： 本研究的新颖之处在于系统地基准测试了序列学习架构在燃烧动力学中的应用，证明在预测精度、计算效率以及设计优化适用性方面，更简单的序列模型可以胜过更复杂的Transformer。这些发现为开发用于发动机优化、数字孪生和先进控制策略的高效计算工具提供了重要依据。