正则化嵌入记忆库（REMB）：扩展故障诊断中度量学习的低维原型优化方法

本研究针对少样本故障诊断中高维嵌入导致的过拟合与计算低效问题，提出正则化嵌入记忆库（REMB）模块。该模块通过构建类别特异性记忆嵌入簿优化原型计算，结合聚类、分布与表示正则化提升模型泛化能力。实验表明，REMB在CWRU、JNU等基准数据集上显著提升分类精度与噪声鲁棒性，为工业设备智能维护提供高效解决方案。

　　

随着工业4.0时代的到来，智能制造的快速发展对设备健康管理提出了更高要求。工业机械的有效维护对保障运行效率、延长寿命至关重要，而准确估计设备故障概率可实现预测性维护，减少意外停机并提高系统可用性。然而，现实工业场景中故障数据稀缺且获取成本高，导致传统深度学习模型面临过拟合、泛化能力差等挑战。少样本学习（Few-Shot Learning, FSL）因其能够从极少量标注样本中学习并推广到新任务而备受关注，其中基于度量学习（Metric Learning, ML）的方法如原型网络（Prototypical Networks, PN）通过计算支持样本的类原型实现分类，但高维嵌入空间易引发维度灾难（Curse of Dimensionality），降低计算效率并增加过拟合风险。

为解决上述问题，西班牙塞维利亚大学的研究团队在《Journal of Intelligent Manufacturing》上发表了一项研究，提出了一种新颖的正则化嵌入记忆库（Regularized Embedding Memory Book, REMB）模块。该模块通过构建低维嵌入记忆簿优化原型估计，结合多种正则化技术提升模型在少样本故障诊断中的准确性与鲁棒性。研究团队在CWRU、JNU、PU和UOC四个常用故障诊断基准数据集上验证了REMB的有效性，特别是在低数据场景和噪声环境下的优异表现。

研究采用的核心技术方法包括：基于参数化WDCNN（Wide First-Layer Kernels Convolutional Neural Network）的编码器架构，支持多尺度特征提取；REMB模块为每个类别构建嵌入记忆簿，通过最近邻选择优化原型计算；使用基于欧氏距离的距离加权软最大损失（DBSL）结合三类正则化（聚类距离、分布KL散度、表示一致性）；采用编码器顶层权重缩放技术对齐嵌入空间；通过添加高斯、拉普拉斯和紫色噪声模拟不同信噪比（SNR）环境测试噪声适应性。实验设计涵盖不同训练样本量（25/50/100 per class）及预训练编码器的对比分析。

原型计算优化与记忆簿机制

REMB为每个类别构建包含M个嵌入向量的记忆簿，计算支持样本嵌入与记忆嵌入的欧氏距离，选择最近邻记忆嵌入迭代优化类原型。该机制替代传统PN中直接求平均的原型计算方式，通过可学习的记忆条目捕获类别代表性特征，减少高维噪声干扰。记忆簿更新通过梯度下降端到端优化，而非静态存储样本，增强了泛化能力。

正则化策略与嵌入空间结构化

研究引入三种正则化项：聚类距离正则化（L_cluster）约束记忆嵌入靠近支持样本；分布正则化（L_KL）最小化支持集与记忆嵌入分布的KL散度；表示正则化（L_rep）惩罚输入向量与最近嵌入的差异。复合损失函数L = L_DBSL + λ1 L_cluster + λ2 L_KL + λ3 L_rep促使嵌入空间形成紧凑类内簇和高类间分离度，类似Fisher判别分析（Fisher’s Discriminant Analysis）效果，提升特征 discriminability 。

低维嵌入优势与维度灾难缓解

REMB显式学习低维嵌入（通常≤9维），克服高维空间中样本稀疏、距离计算失效等问题。实验表明低维嵌入提升模型 interpretability 和计算效率，无需t-SNE/UMAP等降维可视化即可直接观察类间关系。编码器顶层权重缩放技术（公式18-20）将嵌入范围对齐至[-0.5,0.5]，优化训练稳定性。

噪声鲁棒性与校准改进

在SNR为-10dB至-4dB的强噪声环境下，REMB保持较高分类性能（F1分数降幅低于基线PN）。噪声适应性源于记忆簿的平滑原型估计和正则化对异常嵌入的抑制。此外，REMB显著改善模型校准（Calibration），置信度水平（公式17）降低15%-50%，避免过度自信预测（Overconfidence），使平均置信度更接近准确率。

架构兼容性与预训练交互

REMB与PN整合效果优于RN（Relation Network），因RN的相似性学习模块与正则化目标存在冲突。预训练编码器削弱REMB增益，表明其正则化功能与预训练特征存在冗余。未来需探索自适应正则化权重或对比学习策略以增强兼容性。

研究结论表明，REMB为少样本故障诊断提供了一种广义的度量学习扩展框架，通过低维嵌入记忆簿和正则化技术显著提升原型估计质量、噪声鲁棒性和模型校准能力。其在有限数据场景下的有效性为工业PHM（Prognosis and Health Management）系统提供了实用解决方案，特别适用于传感器数据受限、故障样本稀少的实际环境。未来工作将探索REMB与Transformer架构的结合以及动态信任机制（如PID启发式模型）在原型演化中的应用。