《Applied System Innovation》：Intelligent Time-Series Warning Method Based on LSTM–Transformer Hybrid Network for Digital Twin Applications in Refining Enterprises
编辑推荐：
本文提出一种基于生产型LSTM–Transformer网络(Production LSTM–Transformer Network)的智能时序预警框架，应用于石化炼制过程的流化催化裂化(Fluid Catalytic Cracking, FCC)单元。该框架采
本文提出一种基于生产型LSTM–Transformer网络(Production LSTM–Transformer Network)的智能时序预警框架，应用于石化炼制过程的流化催化裂化(Fluid Catalytic Cracking, FCC)单元。该框架采用级联编码器–解码器(Encoder–Decoder)架构，其中长短期记忆网络(LSTM, Long Short-Term Memory Network)从含噪工业数据中提取局部时序模式及中期记忆，而Transformer经由多头自注意力机制(Multi-head Self-attention)建模全局依赖关系及跨单元交互作用。自适应特征融合层(Adaptive Feature Fusion Layer)用于桥接两网络间的表征差异。针对炼制MES(Manufacturing Execution System)数据设计多阶段预处理流程以处理缺失值、离群值及混合工况。利用来自FCCU五个单元的120个变量，该框架可提前8 h（48步）预测再生器床层温度(Regenerator Bed Temperature)。对比实验表明，生产型LSTM–Transformer平均绝对误差(Mean Absolute Error, MAE)达0.088，均方根误差(Root Mean Square Error, RMSE)为0.113，中位数平均绝对百分比误差(Median Mean Absolute Percentage Error, Median MAPE)最低为19.91%，优于单独LSTM（MAE 0.095，MAPE 20.85%）及Transformer（MAE 0.088，MAPE 20.49%）。鲁棒性分析证实其在强噪声（低至5 dB）及最高50%缺失率下性能稳定，各位号中位MAE为0.1027。该研究为过程工业提供了一种兼顾精度、关键生产位号覆盖率及工业鲁棒性的端到端预测预警解决方案，具通用数据驱动范式意义。
论文解读：基于LSTM–Transformer混合网络的炼化企业数字孪生应用时序智能预警方法
《Applied System Innovation》刊载的本研究针对石油化工炼制过程中流化催化裂化(Fluid Catalytic Cracking, FCC)装置强多变量耦合、强非线性、大时滞及监测数据高噪、不完备等问题，指出现场依赖操作员经验及分布式控制系统(Distributed Control System, DCS)固定阈值报警存在主观性强、滞后性强、无法主动预测的局限；传统机理建模维度高且难捕捉催化剂失活等慢时变因素，传统统计学习与浅层机器学习难以挖掘深层时序依赖。单一深度学习模型亦存在局限：循环神经网络(Recurrent Neural Network, RNN)如长短期记忆网络(Long Short-Term Memory, LSTM)串行计算效率低且全局依赖建模易信息稀释，原生Transformer直接处理工业含噪数据易受高频噪声干扰且缺乏显式序列顺序假设适配。现有LSTM–Transformer混合方案多为简单并联或堆叠，未解决LSTM隐状态与Transformer注意力机制间的表征失配及含噪工业数据适配问题。为此，研究人员提出带自适应特征融合层的级联LSTM–Transformer混合预测架构，结合领域知识指导的多阶段数据预处理与动态智能预警机制，基于某炼厂FCCU真实多维时序数据构建并验证模型，实现了关键工艺参数（再生器床层温度）8 h超前精确预测与异常趋势主动预警，在精度、鲁棒性及工业部署适用性上均优于基准模型，为炼化数字孪生(Digital Twin)深层应用提供有效数据驱动范式。
研究人员采用的主要关键技术方法包括：以某炼厂FCCU五单元（反应–再生、分馏、汽轮机组–压缩机、脱硫脱硝、吸收稳定）120个位号MES历史数据（原始1 min采样，降采样至10 min）为样本队列；设计多阶段预处理（非稳态工况剔除、基于物理极限的离群值修正、前向填充与相似工况均值插补缺失值、10 min滑动平均降采样、基于工艺知识的差分/滞后/滚动统计/时间周期特征构造）并进行Z-score标准化；构建级联LSTM编码器（提取局部时序特征与中期记忆）–自适应线性投影与正弦位置编码融合层–Transformer编码器–解码器（多头自注意力争模全局依赖与跨单元关联）的Production LSTM–Transformer混合网络，以Huber损失函数训练，Adam优化器配合余弦退火学习率调度；设计基于滑动历史窗口动态控制限（均值±k×标准差）与基于预测序列线性回归斜率的趋势劣化(Trend Deterioration)双重预警逻辑，并设置持续判据与冷却期抑制误报；通过时序划分数据集、与Ridge/TCN/Transformer/LSTM/GRU/LSTM–Transformer基线对比、消融实验及缺失率与信噪比(Signal-to-Noise Ratio, SNR)鲁棒性测试评估模型性能。
研究结果：
4.1. Data Source：数据集取自FCCU三个月MES数据（原始30,000条记录，1 min间隔，降采样后4,320样本），涵盖五单元120个工艺变量，按时间顺序7:1.5:1.5划分为训练集、验证集与测试集。
4.2. Data Preprocessing：通过非稳态工况识别删除、基于设备设计参数的物理极限离群修正、短时段前向填充与长段相似工况均值插补、10 min窗口平均降采样及工艺知识指导的特征衍生，获得高质量输入数据。
4.3. Data Analysis：通过基本统计量描述、Pearson相关分析及基于模型的特征重要性排序，明确与目标变量（再生器床层温度TAG_cde8）强相关的驱动因子，为变量筛选与物理解释提供依据。
4.6. Prediction Results：对18个测试变量的多点预测显示14个变量MAE<0.16、MSE<0.04；关键安全变量再生器床温标准化MAE 0.08对应原尺度约0.54 ℃，远低于典型±3 ℃报警死区，满足工业预警容许误差。温度类变量因大时滞与非线性误差略高，个别温度位号MAE达0.30系特定工况或噪声所致，整体误差在工业可接受范围。
4.7. Warning Performance Evaluation：以8 h滑动窗口每10天聚合的预警偏差显示多数周期MAE稳定在较低水平（最低周期MAE 0.798738），夏季高温及雷暴等复杂工况周期误差升高（最高MAE 3.086754），反映模型对工况漂移的敏感性及需定期更新的特点。
4.8. Baseline Comparison with Established Models：在相同数据与训练条件下，Production LSTM–Transformer中位MAPE最低（19.91%），优于LSTM（20.85%）、Transformer（20.49%）及普通LSTM–Transformer（20.22%）；虽Mean MAE（0.088）较普通LSTM–Transformer（0.084）略高，但在核心安全与反应控制位号上保持低MAE，且在线瞬态工况预测跳变更少，相对误差控制更优，更适合连续工业部署。
4.9. Ablation Study on Model Components：消融实验证实引入自适应特征融合层与位置编码的Production LSTM–Transformer相较无融合层版本及单独LSTM/Transformer取得最低中位MAPE（19.91%），验证级联设计与特征适配模块的有效性。
4.10. Robustness Analysis：缺失率递增至50%时Production LSTM–Transformer中位MAE仅缓升至约0.10，相对退化幅度最小；SNR降至5 dB时误差增幅有限且随SNR回升快速恢复，表现出对数据缺失与测量噪声的良好容错性，优于TCN、Ridge及单独Transformer。
4.11. Model Interpretability：Transformer多头注意力权重集中分布于反应–再生单元变量（如提升管出口温度、回炼油槽液位）及目标变量自身（反映热惯性），同时跨单元（分馏、脱硫、汽轮机）分配显著注意力，符合FCCU能量与物料平衡原理，可辅助操作员进行根因诊断。
讨论与结论翻译：
本文提出了一种面向石化炼制过程、通过自适应特征融合层集成LSTM与Transformer的生产导向混合智能时序预警框架。不同于常规堆叠方法，所提级联编码器–解码器架构使LSTM充当噪声滤波局部特征提取器，Transformer对增强表征执行全局依赖推理。领域引导的预处理流程解决了非稳态去除、物理约束离群处理及工艺知识特征构建问题。基于真实FCCU五单元120变量数据的广泛实验证明该方法有效性：生产型LSTM–Transformer平均MAE为0.088，均方根误差RMSE为0.113，中位MAPE（19.91%）为所有对比模型（Ridge、TCN、Transformer、LSTM、GRU、LSTM–Transformer）中最低，优于单独LSTM（MAPE 20.85%）及Transformer（MAPE 20.49%）。鲁棒性分析确认其在缺失率达50%及信噪比低至5 dB条件下预测稳定，各位号中位MAE为0.1027。所提框架成功平衡了预测精度、关键生产位号覆盖率及对数据缺陷的工业鲁棒性。尽管混合模型性能优越，其决策过程仍较不透明，未来研究可引入可解释人工智能(eXplainable Artificial Intelligence, XAI)技术如注意力可视化与归因分析以增强过程专家信任度。
