《Results in Engineering》:Meta-classification of one-class classification models using ranking correlation and nearest neighbor
编辑推荐:
对一类分类(One-Class Classification, OCC)模型进行元分类(Meta-classification)。所提出的方法将OCC模型表示为正常性排序(normality rankings)。OCC模型的分类与数据集的分类相关。使用睡眠记录
对一类分类(One-Class Classification, OCC)模型进行元分类(Meta-classification)。所提出的方法将OCC模型表示为正常性排序(normality rankings)。OCC模型的分类与数据集的分类相关。使用睡眠记录(sleeping records)证明了数据集的分类。所有机器学习(Machine Learning, ML)模型均可表示为OCC模型。
机器学习(Machine Learning, ML)已被广泛应用于多个领域,然而将机器学习应用于机器学习模型本身仍属罕见,此类思想称为元学习(Meta-learning)。现有元学习主要分为三类:从实验结果预测合适超参数、从任务属性预测评估指标、以及使用先前模型作为新模型的起点。然而,对机器学习模型本身的分类尚未得到充分探索。在联邦学习(Federated Learning)等隐私保护框架中,服务器需要审计本地上传的模型、比较数据集并检测异常,因此对机器学习模型进行分类具有重要的实际意义。由于所有机器学习模型均可视为一类分类(One-Class Classification, OCC)模型,研究人员提出对OCC模型进行元分类,以此实现统一分类框架。
研究人员提出了一种针对OCC模型的元分类算法。该方法将OCC模型表示为正常性排序(normality rankings),利用独立的排序集(ranking set)输入模型获取分数,并通过最近邻(nearest neighbor)和排序相关(ranking correlation)对排序进行分类。在KDD Cup数据集上的实验显示,该方法能高精度区分从不同数据集训练的模型以及四种OCC算法,但在类别高度相似时精度下降。该研究的核心意义在于提供了一种统一方案,可同时用于数据集、OCC模型和排序的分类,为联邦学习中的模型审计与异常检测提供了新思路。
研究人员采用基于排序相关与最近邻的元分类框架。具体地,构建独立于训练集的排序集,将排序集输入待分类的OCC模型,获得各样本的分数输出,并转化为正常性排序。模型间的相似度由Spearman相关或Kendall Tau相关计算,最终使用最近邻分类器完成分类。实验基于KDD Cup数据集(含97,278个正常样本和396,747个异常样本),训练了OCSVM、LOF、IF、GMM四种OCC算法及其集成模型。应用实验使用了捷克赫拉德茨-克拉洛韦大学(University of Hradec Králové)的呼吸障碍心冲击图(Ballistocardiogram, BCG)数据集,以及Healthy Aging in Industrial Environment项目中的睡眠记录(来自1308名受试者,采用Fitbit设备标注)。
研究结果包含以下三个实验。
数据集分类(Classification of dataset):研究人员将OCC模型按训练数据特征进行分类。正常类与异常类的二分类在留一法和2折交叉验证下准确率均为100.0%;加入混合类后三分类准确率为99.4%(留一法);正常-异常比例(11类)分类准确率为83.6%。该结果表明,训练数据的本质差异能够通过OCC模型的有效表征被准确识别。
算法分类(Classification of OCC algorithms):对OCSVM、LOF、IF、GMM四种基本算法进行分类,正常和异常数据下准确率均为100.0%;但对包含集成模型的15类分类时,正常数据准确率降至23.7%,异常数据为61.4%。这表明基本算法之间存在足够的区分度,而集成模型之间的正常性排序高度相似。
超参数分类(Classification of hyperparameters):对OCSVM核函数(4类)的分类准确率为93.8%(正常),GMM协方差类型(4类)准确率为75.0%;数值型超参数如LOF邻居数、IF最大特征数、GMM分量数的分类准确率分别仅为2.8%、27.9%、25.7%。该结果表明,类别型超参数对模型行为影响显著,而数值型超参数的微小变化对模型整体特征影响不大,更适合作为回归问题处理。
讨论部分指出,该方法的主要优势在于能够高精度区分不相似的数据集以及从相似数据集学习的不同OCC算法。由于OCC模型是数据集的表征,元分类OCC模型本质上是对数据集进行分类。在医疗健康领域的探索性应用中,研究人员利用心冲击图(BCG)信号和睡眠记录展示了该方法在数据集分类中的潜在价值。时间复杂性分析显示,Spearman相关比Kendall Tau相关快得多:计算4400×4400相关性矩阵时,Spearman仅需3分46秒,而Kendall Tau需3小时38分。消融研究显示,使用随机生成的10个排序样本即可达到99.4%的基本算法分类准确率,说明大规模排序集并非必需。类别相似性分析表明,LOF算法与其他算法差异较大,而集成模型间相关性普遍较高。此外,未来工作需解决可扩展性、黑盒模型访问和排序集依赖三大挑战。
结论翻译:本文提出了一种针对OCC模型的元分类算法。所提出的方法将OCC模型表示为正常性排序,并通过最近邻和排序相关对排序进行分类。元分类成功地区分了从不同数据集训练的模型,以及从相似数据集训练的四种OCC算法。然而,当类别相似时分类失败。所提出的方法是一种统一的解决方案,用于对数据集、OCC模型和排序进行分类。未来的工作应解决三个重要挑战:1)可扩展性,2)分析黑盒模型,3)排序集的依赖性。此外,研究人员将把所有可能的机器学习模型视为OCC模型。