基于Transformer的时序数据缺失值填充方法及其在飞行测试数据中的应用

《IEEE Transactions on Industrial Electronics》：Transformer-Based Missing Data Imputation in Time Series With Application to Flight Test Data

　　

摘要：

在复杂的工程系统测试和科学实验中，准确填补缺失数据至关重要，但同时也极具挑战性，因为这些数据通常具有高维度、非线性、动态特性，并且难以或成本高昂地重现。最近在Transformer架构方面的进展展示了其在处理时间序列数据中的长期依赖关系方面的强大能力，为准确动态数据填补提供了新的机会。Transformer模型在大型语言模型（LLMs）中的成功应用为复杂动态系统中的缺失数据填补开辟了新的前景。在本文中，我们提出了一种基于Transformer的缺失数据填补技术（TransMIT），以应对动态系统测试数据所带来的挑战。首先，我们引入了一种混合填补策略，结合了基于重建和基于预测的方法，使模型能够在每个时间步骤中同时利用时间依赖性和相关性。其次，我们设计了一种结合注意力机制的方法，通过引入转置后的输入表示来共同建模时间和特征之间的依赖关系，从而捕捉时间和特征维度上的复杂模式。TransMIT的有效性已在实际飞行测试数据集（该数据集的收集成本很高）以及工业锅炉过程数据集上得到了验证。实验结果表明，TransMIT实现了最低的填补误差，其缩放均方根误差（RMSE）为0.2。