基于选择性知识蒸馏的领域适应框架，用于高速列车转向架故障诊断的边缘计算

《Green Energy and Intelligent Transportation》：Selective knowledge distillation-based domain adaptation framework towards edge computing fault Diagnosis for high-speed train bogie

提出基于选择性知识蒸馏的域适应框架SKDA，融合蒙特卡洛dropout和KL散度优化知识转移，设计三分支多尺度注意力教师模型，实现轻量学生模型在高速列车 bogie 故障诊断中的边缘部署，实验表明准确率提升至少2.1%，模型仅28.5KB。

　　高铁路网的快速发展使得高速列车（High-Speed Train, HST）成为现代交通系统中的关键组成部分。由于其在经济发展和公众出行方面的重要作用，高速列车的运行安全和维护效率备受关注。列车的转向架系统是其关键结构之一，承担着支撑重量、引导方向、减震和制动等重要功能。其中，轴承和齿轮箱是转向架系统中最重要的部件，它们负责传递动力并承受运行过程中产生的复杂应力。因此，转向架组件的故障诊断对于确保列车运行安全具有重要意义。然而，随着列车在不同运行条件下的使用，如速度变化、负载差异以及轨道状况的不同，振动信号的分布也会随之改变，这给故障诊断模型带来了极大的挑战。

传统的故障诊断方法通常依赖于在特定领域内训练的模型，而这些模型在面对新的运行条件时往往表现不佳。为了解决这一问题，研究人员提出了多种解决方案，包括自监督学习、半监督学习以及领域适应（Domain Adaptation, DA）等方法。其中，领域适应方法通过学习跨领域不变的特征表示，来缓解源域和目标域之间的分布差异。然而，现有的领域适应方法往往依赖于复杂的模型架构和大量的计算资源，这限制了它们在资源受限的车载边缘计算环境中的应用。因此，开发一种能够在边缘设备上高效运行的轻量级故障诊断算法，同时保持跨领域诊断性能的稳定性，成为当前研究的重点。

知识蒸馏（Knowledge Distillation, KD）作为一种有效的模型压缩技术，为解决这一问题提供了新思路。知识蒸馏的基本思想是通过一个大型教师模型（teacher model）将知识转移到一个小型学生模型（student model）中，使得学生模型能够在保持高性能的同时减少计算开销。在知识蒸馏的基础上，结合领域适应的方法，可以进一步提升模型在不同运行条件下的泛化能力。这种结合方法被称为基于知识蒸馏的领域适应框架（Knowledge Distillation-based Domain Adaptation, KD-DA），它在保持模型轻量化的同时，能够有效解决跨领域诊断中的性能下降问题。

为了进一步优化知识蒸馏的效果，本文提出了一种基于知识重要性评估的领域适应知识蒸馏框架（Selective Knowledge Distillation-based Domain Adaptation, SKDA）。该框架的核心在于结合蒙特卡洛丢弃（Monte Carlo Dropout, MCD）的不确定性估计与Kullback-Leibler（KL）散度，以实现对高质量样本的适应性加权选择。MCD是一种用于估计模型预测不确定性的方法，通过在推理过程中保持丢弃层的激活，生成多个预测结果，从而评估样本的不确定性。KL散度则用于衡量学生模型和教师模型之间的分布差异，为样本权重提供另一个维度的评估依据。通过将这两种指标进行融合，SKDA能够更全面地评估样本质量，从而选择更可靠的训练样本，提高知识蒸馏的效果。

为了实现跨领域知识迁移，SKDA设计了一个由三个分支组成的多尺度注意力模块（Three-Branch Multi-Scale Attention Module, TMAM）作为教师模型。TMAM通过不同卷积核大小的结构，提取不同时间尺度的故障特征，并结合多头注意力机制，以捕捉长距离的时间依赖关系。该教师模型能够更全面地学习和提取故障特征，为学生模型提供更准确的软标签（soft labels）。同时，学生模型采用了一种轻量级的级联卷积神经网络（Cascaded CNN），在保持模型轻量化的同时，能够实现高效的特征提取和分类任务。

在实验部分，本文对两个转向架轴承数据集进行了测试。第一个数据集来自北京交通大学的缩放转向架测试平台（BJTU-RAO），第二个数据集则来自自行搭建的高速列车转向架测试平台（HST）。实验结果显示，SKDA方法在两个数据集上均表现出优越的性能。特别是在跨领域诊断任务中，SKDA的平均准确率提高了至少3.4%，且模型大小仅为28.5kB，显著优于其他现有方法。此外，通过可视化技术，如t-SNE算法，进一步验证了SKDA在特征提取和分类能力上的优势。SKDA能够生成更清晰的类别边界和更紧密的类别分布，表明其在跨领域诊断任务中具有更强的鲁棒性和泛化能力。

在实际部署方面，本文探讨了SKDA在高速列车车载边缘计算环境中的可行性。目前，高速列车的车载设备通常采用多核ARM与FPGA处理器，其计算能力大约在2-5 TOPS（每秒万亿次操作）。而下一代设备可能采用GPU并行计算架构，其计算能力可达到100 TOPS。为了确保SKDA方法在实际环境中的适用性，本文选择了一台配备NVIDIA GTX 1650 GPU的笔记本电脑作为测试平台，其计算能力与当前车载设备相近。实验结果表明，SKDA的学生模型不仅在准确率上优于其他轻量级模型，同时在内存占用和计算开销方面也表现出显著优势。该模型仅需28.5kB的内存，且每样本计算耗时仅为0.4ms，这使得其非常适合在资源受限的边缘设备上运行。

此外，本文还通过消融实验验证了SKDA框架中各个模块的有效性。结果表明，MCD不确定性估计、KL散度以及TMAM多尺度注意力模块对SKDA的性能提升具有显著贡献。其中，MCD模块能够有效筛选高质量样本，KL散度则有助于优化学生模型与教师模型之间的知识迁移。而TMAM模块通过多尺度特征提取和多头注意力机制，显著提升了模型的特征学习能力。实验进一步表明，如果去除TMAM模块，模型准确率将下降3.4%～3.5%；如果去除MCD模块，准确率下降3.2%～3.7%；而如果去除KL散度，则准确率下降4.9%～5.3%。这充分说明了SKDA框架中各模块的协同作用，以及其在提升跨领域诊断性能方面的重要性。

在实际部署中，SKDA框架还考虑了网络优化、硬件集成以及数据安全等关键因素。网络优化方面，本文探讨了在5G-R和IoT网络环境下，如何实现模型的高效更新和同步。特别是在隧道和偏远地区等网络连接不稳定的情况下，需要开发智能同步机制，以确保模型在这些场景下的稳定运行。硬件集成方面，需要选择合适的边缘计算平台，并确保其与现有列车控制系统兼容。本文提出了一种分布式部署架构，包括云服务器、边缘设备以及5G-R/IoT网络，云服务器负责模型训练和优化，边缘设备则用于实时故障诊断，而网络则用于模型的传输和更新。此外，为了确保数据安全，本文建议采用端到端加密和安全密钥管理系统，以保护车载数据传输过程中的隐私。

综上所述，本文提出的SKDA框架在高速列车转向架故障诊断中表现出卓越的性能。它不仅能够在不同运行条件下实现高效的跨领域诊断，还具备极低的计算开销和模型体积，非常适合在资源受限的边缘设备上部署。实验结果表明，SKDA方法在两个数据集上的准确率均优于现有方法，且其轻量级特性使其具备良好的实际应用前景。未来的研究方向包括优化云-边协同架构、开发适应性更强的传输协议，以及在实际高速列车车载硬件上进行全面部署验证，以进一步提升其在复杂铁路环境中的稳定性和可靠性。