《Computation》：A Comparative Study of Imbalance-Handling Methods in Multiclass Predictive Maintenance
Mohammed Alnahhal,
Mosab I. Tabash,
Samir K. Safi,
Mujeeb Saif Mohsen Al-Absy and
Zokir Mamadiyarov
编辑推荐：
预测性维护（PdM）在数字化转型举措中发挥关键作用；然而，在真实场景中，当故障实例相较于正常实例极为稀少时，故障预测会出现与类别不平衡相关的问题。在本研究中，研究人员系统比较了5种机器学习（ML）模型——随机森林（RF）、XGBoost、支持向量机（SVM）、
预测性维护（PdM）在数字化转型举措中发挥关键作用；然而，在真实场景中，当故障实例相较于正常实例极为稀少时，故障预测会出现与类别不平衡相关的问题。在本研究中，研究人员系统比较了5种机器学习（ML）模型——随机森林（RF）、XGBoost、支持向量机（SVM）、k近邻（k-NN）和多项逻辑回归（MLR）——并结合4种不平衡处理方法（即不处理、人工过采样、选择性人工过采样和类别加权），从而形成20种配置，用于检测多分类稀有故障。基于AI4I 2020预测性维护数据集（包含5种故障类型），研究确定：不进行不平衡处理的XGBoost获得了最高的宏平均F1（macro-F1）分数（0.842），但对刀具磨损故障（TWF）的召回率为0%。采用选择性人工过采样的MLR实现了约50%的TWF召回率，但其总体性能（0.636 macro-F1）低于XGBoost等表现最佳的模型。研究还发现，极端稀有类别仍然难以检测。即使是高性能模型，也无法稳定识别全部5种故障类型。总体而言，不存在任何单一策略能够在所有性能指标上同时实现高检测率。
该论文发表于《Computation》，聚焦工业4.0背景下预测性维护（PdM）的关键瓶颈，即多分类故障预测中的严重类别不平衡问题。随着工业系统数字化程度提高，设备运行过程中会持续产生大量数据，这为利用机器学习方法进行故障预警提供了条件。然而，真实工业数据往往呈现显著的长尾分布：正常工况样本占绝大多数，而某些关键故障，尤其是刀具磨损故障（TWF）与随机故障（RNF），样本数量极少。传统研究虽然已广泛采用机器学习、集成学习和重采样方法解决PdM问题，但多数工作将任务简化为二分类，即“正常”与“故障”，或者将多种故障合并为单一故障类。这种处理方式虽然可提升整体准确率，却掩盖了不同故障类型之间的判别难度，也难以为工业现场提供针对性的维护决策支持。正因为不同故障需要不同干预方式，因此开展多分类预测性维护研究具有现实必要性。论文指出，既有研究尚缺乏对多种不平衡处理策略与多类机器学习模型组合效果的系统性比较，尤其缺少对“总体性能”与“稀有故障检测能力”之间权衡关系的细致分析，这正是本研究试图弥补的知识空白。
围绕上述问题，研究人员基于公开AI4I 2020数据集，构建了一个面向多分类PdM的系统比较框架。研究设置了5类机器学习模型，即随机森林（RF）、XGBoost、支持向量机（SVM）、k近邻（k-NN）以及多项逻辑回归（MLR）；同时设置4类类别不平衡处理策略，即不处理、全量人工过采样、选择性人工过采样以及类别加权。两类因素组合后形成20种实验配置，并分别以3个随机种子重复运行，总计进行60次实验。研究目标并非单纯寻找“最佳模型”，而是分析不同模型架构在不同不平衡处理机制下对5种故障类型——TWF、热耗散故障（HDF）、功率故障（PWF）、过载应变故障（OSF）和随机故障（RNF）——的检测能力，以及各策略在总体性能与关键稀有故障识别之间的取舍关系。论文最终表明，多分类PdM中不存在普适最优策略；高总体性能并不意味着对关键稀有故障具有足够识别能力，而稀有故障检测能力的提升通常伴随着宏观指标下降。
研究采用AI4I 2020公开表格型数据集，包含10,000条样本与14个特征，数据来源为模拟真实铣削过程的合成PdM基准数据。研究人员删除无关字段后，构建7分类目标变量：NoFailure、Multiple以及5种单独故障类型；按80%/20%划分训练集和测试集，并保持测试集原始严重不平衡分布。在方法上，分别实施不处理、人工过采样、仅针对TWF与RNF的选择性人工过采样，以及类别加权；随后训练RF、XGBoost、SVM、k-NN与MLR，并以macro-F1、平衡准确率、G-mean（几何均值）、Kappa系数及类别特异召回率进行评估；全部配置在R 4.4.3环境下重复3次取平均。
在研究结果部分，论文保留了多个分析小节，逐步揭示不同模型与不平衡策略之间的复杂关系。
4.1. Overall Performance: Macro-F1 Perspective
该部分主要从宏平均F1（macro-F1）角度评估整体性能。结果显示，XGBoost在“不处理”和“类别加权”两种设置下均取得最高macro-F1值0.842，表明其在总体分类层面具有最强表现。然而，高总体性能并未转化为对所有故障类型的可靠检测：这两种配置下，XGBoost对TWF的召回率均为0%。这说明模型虽然能够很好地拟合多数类别和相对常见故障，但会完全忽略极稀有故障。相比之下，MLR在选择性人工过采样下显著提升了TWF识别能力，TWF召回率约为50%，但macro-F1降至0.636。论文据此指出，多分类PdM中存在鲜明的性能权衡：提高稀有故障灵敏度，往往以牺牲整体指标为代价。对RNF而言，所有配置均表现困难，最佳结果仅为k-NN配合人工过采样时22.2%的召回率，多数模型均为0%，表明当原始样本数少于20时，简单复制式过采样也难以突破检测极限。
4.2. Effects of Model Architecture on Performance
该部分关注模型架构差异如何影响不平衡处理效果。结果表明，不同模型对相同策略的响应模式并不一致。MLR对选择性过采样最敏感，在TWF检测方面提升最明显，显示线性概率模型在少数类样本权重增加后，决策边界会发生相对直接的全局偏移。XGBoost虽然总体性能稳定且保持领先，但对TWF检测改善有限，最高仅达到16.7%的召回率。RF可在人工过采样下获得一定程度改善，但幅度中等。k-NN虽整体性能较差，却在RNF检测中表现出独特优势，成为唯一在该类故障上达到22.2%召回率的配置之一。由此可见，模型架构本身决定了不平衡处理策略的效果转化方式，不存在一种处理机制能在全部模型上产生一致收益。
4.3. Practical Implications and Deployment Recommendations
该部分从部署层面总结了不同配置的适用场景。研究提出，模型选择不应只依据单一聚合指标，而应服从具体运行目标。若工业场景优先关注总体监测效率与整体性能，则XGBoost类配置更具优势；若现场对TWF这类关键但稀少的故障具有更高敏感性要求，则应考虑MLR结合选择性人工过采样。论文在此强调，多分类PdM部署本质上是一个多目标优化问题，实践者需要在误报、漏报、计算成本和关键故障识别率之间进行策略性权衡。
4.4. Average Number of Classes Predicted per Configuration
该部分统计各配置在不同随机种子下平均能预测出的类别数量，用以衡量模型是否存在“类别失明”。结果显示，采用人工过采样的k-NN是唯一能够在每次运行中都预测全部7类的配置。与之相对，SVM在不处理时平均只能预测3类，表现出严重的少数类忽视现象，而在人工过采样设置下甚至因内存与运行时间限制而完全失败。类别加权通常能提高类别覆盖度，例如RF从4.33类提升至6类，SVM也由3类提升至5类；选择性过采样对部分模型也有促进作用。该结果说明，仅考察准确率或macro-F1并不足以反映模型对全部故障类型的“识别意愿”，类别覆盖度是评估不平衡多分类PdM系统的一个实用补充维度。
4.5. Overall Performance Across Multiple Metrics
该部分引入多个性能指标进行交叉分析。结果显示，MLR结合类别加权取得了最高的故障平均召回率0.624，在HDF、PWF、OSF以及Multiple等类别上表现较均衡。XGBoost依旧在HDF和PWF上表现突出，但在TWF和RNF上持续失效。k-NN配合人工过采样虽可检测RNF，但其他类别性能较弱。从更综合的角度看，平衡准确率（balanced accuracy）、G-mean和Kappa系数揭示了一些与macro-F1不同的排序。例如，SVM结合类别加权取得最高G-mean，说明其在多数类与少数类之间的检测平衡较优；XGBoost结合人工过采样取得最高Kappa，表明其相较随机猜测具有较强改进幅度。研究据此指出，评价指标的选择必须与运维目标保持一致：若用于一般性状态监测，可优先考虑准确率和macro-F1；若用于关键故障预警，则应更加重视平衡准确率、G-mean和类别特异召回率。
4.6. Error Transfer Analysis
该部分是论文的重要创新点之一。研究人员通过混淆矩阵分析“错误转移”（error transfer）模式，即某类样本被误判后主要转移到哪一类。结果表明，在XGBoost不处理和类别加权配置中，所有TWF与RNF误分类几乎全部转移到NoFailure，Multiple错误则常转移至OSF。这解释了为何XGBoost能取得很高的macro-F1却完全漏检某些关键故障：模型实质上是将极稀有故障吸收到多数类中，从而维持整体分数。MLR结合选择性过采样时，8个TWF样本中有3个被正确识别，剩余5个仍被判为NoFailure；同时RNF依然全部错分为NoFailure，说明即使20×复制，RNF检测仍难以实现。k-NN的错误转移路径则更分散，部分TWF错误被转移至HDF，表明其实例邻域机制与树模型存在本质差异。该分析进一步证明，高聚合性能指标可能掩盖对关键少数类的系统性失效，因此必须结合错误转移结构进行解释。
在讨论部分，论文首先总结了核心发现：类别不平衡处理对于构建有效PdM系统是必要的，但不同处理方法适用于不同目标。研究明确证明，整体性能与关键故障检测之间存在难以消除的结构性权衡。XGBoost结合类别加权取得最佳总体结果，却无法识别TWF；MLR结合选择性过采样虽然显著提升TWF召回率，却牺牲了macro-F1。论文进一步提出一个面向PdM系统选择的决策框架，将“总体性能”与“稀有故障检测优先级”作为两个维度，将模型配置划分为效率优先、关键故障优先、欠检测和均衡监测四个区域。研究发现，本研究中没有任何配置进入“高总体性能且高稀有故障检测优先”的理想象限，说明当前多分类不平衡PdM仍存在基础性技术瓶颈。
论文还比较了全量过采样与选择性过采样的差异。结果表明，选择性过采样在效率上更优，只对最稀有的TWF和RNF进行复制，新增样本较少，却可帮助MLR实现较好的TWF识别效果；全量过采样虽然改善了整体类别平衡，但计算负担更重，甚至导致SVM无法完成训练。随后，研究从类别覆盖、故障特异检测模式、指标一致性及运维对齐等角度进行了多维分析，指出模型是否“尝试预测”所有故障、是否真正具备相应召回率，以及是否在平衡指标上无明显短板，都是部署前应审查的关键方面。
理论分析部分解释了不同模型对复制样本响应差异的原因。MLR属于线性模型，选择性过采样相当于对少数类损失赋予更高权重，因此会直接推动全局决策边界向少数类移动；XGBoost通过逐步分裂特征空间优化总体误差，当稀有类样本过少时，分离这些类别带来的增益不足以驱动树结构学习相应分裂，因此容易完全忽视它们；k-NN受邻域样本分布直接影响，复制样本会形成局部密集簇，从而在某些区域增强稀有类存在感，但也可能诱发过预测；SVM则因支持向量数量与数据规模扩张而迅速增加计算压力，在过采样后触发内存和运行时间瓶颈。论文因此强调，不平衡处理策略的有效性取决于其与模型学习机制之间的耦合关系。
在与既有文献比较时，研究确认了此前文献关于XGBoost整体表现较强的结论，但进一步揭示出其在严重类别不平衡多分类任务下对特定稀有故障可能完全失效。论文还指出，既往基于AI4I 2020数据集的高召回结果往往建立在二分类或聚合故障框架上，而本研究采用的是更具现实意义、也更困难的多分类故障辨识框架。相较已有工作，本研究的贡献不仅在于系统比较多种模型和不平衡处理策略，更在于提出了错误转移分析，揭示高macro-F1背后可能潜藏的关键故障漏检风险。
研究结论部分可概括翻译如下：本研究表明，类别不平衡处理对于开发有效的预测性维护系统至关重要，但应根据不同目标采用不同策略。通过在多分类PdM任务中比较4种实用不平衡处理方法与5种机器学习模型，研究为研究人员和实践者提供了具有操作性的见解。研究识别了在何种运行需求下应选择何种策略，并指出，对于包含稀有故障类别的PdM任务，想要实现可靠的关键故障检测，通常意味着需要付出计算成本、方法适配和总体性能折中。研究结果表明，不同模型对不平衡处理的响应存在明显差异：MLR对选择性过采样响应最佳；XGBoost保持了稳健的总体性能，但对TWF的检测改善有限；k-NN呈现较为均衡但整体一般的表现；RF响应不稳定；SVM则受到计算约束限制。研究同时揭示了极端稀有故障类别的实际检测极限，尤其是训练样本仅15个的RNF，即使经过20×复制，检测效果仍然有限。总体而言，高聚合得分模型可能无法识别某些特定故障类型，因此，在不平衡多分类情境下，必须重视平衡化评估与故障特异分析。
综合来看，这篇论文的重要意义在于：其一，突破了PdM研究中常见的二分类简化路径，直接面对多故障类型判别这一更符合工业实际的问题；其二，通过系统实验揭示了“总体性能最优”与“关键稀有故障可检出”之间的根本张力；其三，为工业实践提供了更具针对性的模型选择依据，强调应从业务风险而非单一指标出发配置系统。论文最终表明，在《Computation》发表的这项研究中，类别不平衡不仅是数据问题，更是模型行为、评价体系与部署目标共同作用下的系统性挑战。
