《Engineering Applications of Artificial Intelligence》：A complementary continual semi-supervised learning scheme using contrastive variational autoencoder for remaining useful life estimation
编辑推荐：
作为剩余有用寿命(RUL, Remaining Useful Life)领域的一种解决方案，深度学习相较于传统机器学习提升了精度，但在应用中仍存在一些共性问题，如数据标注劳动密集以及持续学习(continual learning)中的灾难性遗忘(catastr
作为剩余有用寿命(RUL, Remaining Useful Life)领域的一种解决方案，深度学习相较于传统机器学习提升了精度，但在应用中仍存在一些共性问题，如数据标注劳动密集以及持续学习(continual learning)中的灾难性遗忘(catastrophic forgetting)。为解决上述问题，本文提出一种互补式持续半监督剩余有用寿命估计方法。首先，研究人员利用无监督预训练与有监督微调(fine-tuning)来充分利用无标注数据，并采用简化的对比变分自动编码器(contrastive Variational Autoencoder, CVAE)以提升方法精度。其次，针对半监督结构提出一种互补式持续学习策略，其中预训练阶段采用基于正则化(regularization-based)的方法，有监督训练阶段采用基于记忆(memory-based)的方法。最后，研究人员还应用具备持续学习能力的Kolmogorov–Arnold Networks(KANs)以进一步提升持续学习性能。此外，研究人员通过Commercial Modular Aero-Propulsion System Simulation(C-MAPSS)数据集与High Intensity Radiated Field(HIRF)电池数据集设计对比实验来验证模型的有效性。
该研究发表于《Engineering Applications of Artificial Intelligence》。研究背景方面，随着工业信息化与自动化发展，预测与健康管理(PHM, Prognostics and Health Management)系统中的剩余有用寿命(RUL, Remaining Useful Life)预测可为管理者提供设备或部件当前状态依据，从而降低灾难性事故风险、减少冗余维护并最大化经济效益。深度学习在RUL预测中因能利用海量数据、达到较高精度且减少人工数据处理而被广泛应用，但实际工程中存在两方面交织的局限：一是标注数据稀缺，获取足量全寿命(run-to-failure)数据困难，大量数据为不完整寿命数据，无标注数据远多于有标注数据，纯半监督研究未兼顾持续学习问题；二是工业场景计算与存储资源受限，难以全批量训练及长期存储大量历史数据，持续学习可减少重训练负担，但现有持续RUL研究多基于回放(replay-based)方法，忽视了无标注数据丰富的现实，生成式回放计算开销大，直接回放存储不可持续，基于正则化(regularization-based)方法虽计算高效但对复杂持续学习任务精度不足。因此研究人员开展互补式持续半监督RUL估计框架研究，得出该框架能在标注数据有限与顺序任务学习并存场景下有效利用无标注数据、缓解灾难性遗忘(catastrophic forgetting)、提升预测精度与持续学习能力，对工业PHM系统在资源受限条件下的落地具有重要意义。
研究人员采用的关键技术方法包括：采用预训练—微调(pretrain-finetune)架构，无监督预训练阶段使用简化的对比变分自动编码器(contrastive VAE, CVAE)进行标注与无标注数据流联合特征提取；用Kolmogorov–Arnold Networks(KANs)替代传统全连接层以增强持续学习能力并提升函数逼近性能；针对预训练与微调的不同需求设计互补式持续学习策略，预训练采用基于正则化方法以减轻旧任务遗忘，微调采用基于记忆(memory-based)方法回放少量历史样本；实验验证基于NASA发布的Commercial Modular Aero-Propulsion System Simulation(C-MAPSS)涡扇发动机数据集（选取14个变化传感器）与High Intensity Radiated Field(HIRF)电池数据集，C-MAPSS中固定RUL标签值为125以提升早期预测表现。
Methodology（方法）：研究人员通过集成CVAE以有效利用标注与无标注数据、互补式持续学习策略缓解灾难性遗忘、KANs增强持续学习能力与函数逼近能力，构建整体框架，动机是在预训练—微调结构下分别匹配适合的无遗忘机制，CVAE简化结构可降低计算量并提升特征判别性，KANs因其参数非刚性特性比标准全连接层更能减少持续学习中的遗忘。
Dataset（数据集）：研究人员选用C-MAPSS与HIRF电池数据集进行评估；C-MAPSS仅使用14个有变化的传感器（传感器2,3,4,7,8,9,11,12,13,14,15,17,20,21），排除恒定参数传感器，并将常数RUL标签值设为125以改善早期RUL预测；HIRF电池数据集同样来自NASA，用于交叉验证方法在异质对象上的泛化性。
Conclusion（结论）：研究人员提出持续半监督RUL预测框架，通过简化CVAE从标注/无标注流中联合提取特征，并以KANs替换传统全连接层显著增强持续学习能力；关键地引入混合持续学习策略，预训练用基于正则化方法、微调用基于记忆方法，在标注数据有限与顺序任务并存条件下兼顾资源效率与顺序知识保留；通过C-MAPSS与HIRF电池数据集的消融与对比实验验证框架有效性。
讨论部分总结：论文指出RUL预测领域同时存在标注数据稀缺与计算/存储受限的相互强化挑战，现有持续学习多忽略无标注数据丰富现实，半监督方法未结合持续学习机制；研究人员所提互补式策略分别匹配预训练（正则化效率高）与微调（记忆回放精度好）的不同需求，CVAE简化结构与KANs进一步增强表示能力与抗遗忘性，在资源受限工业场景下实现精度与效率平衡。研究结论可译为：本工作提出了一种用于RUL预测的持续半监督框架，有效处理需同时应对标注数据有限与顺序任务学习的场景；通过集成简化CVAE对标注与无标注流进行联合特征提取，并以Kolmogorov–Arnold Networks(KANs)替代传统全连接层，架构显著增强了持续学习能力；关键在于引入混合持续学习策略，预训练阶段采用基于正则化方法，微调阶段采用基于记忆方法，在标注数据有限与顺序任务学习条件下兼顾资源效率与顺序知识保留；通过C-MAPSS与HIRF电池数据集的消融与对比实验验证了方法有效性。
