《Results in Engineering》:Size-free one-class classification approach using probabilistic local cluster balance
编辑推荐:
单类分类(One-class classification, OCC)是一个监督式分类问题,其中训练数据仅包含一个类别。然而,现有的OCC算法必须将输入图像调整为固定尺寸,这可能导致信息丢失。本文提出了第一个无尺寸限制的OCC算法:单类概率局部聚类平衡(One
单类分类(One-class classification, OCC)是一个监督式分类问题,其中训练数据仅包含一个类别。然而,现有的OCC算法必须将输入图像调整为固定尺寸,这可能导致信息丢失。本文提出了第一个无尺寸限制的OCC算法:单类概率局部聚类平衡(One-class Probabilistic Local Cluster Balance, OCPLCB)。所提出的方法可以在不调整尺寸的情况下提取特征向量。OCPLCB将K-means聚类应用于图像中的滑动窗口。随后,通过将聚类平衡除以滑动窗口的数量来提取特征向量。最后,使用传统的OCC算法对特征向量进行分类。此外,本研究通过组合多个超参数避免了超参数调优。所提出的方法在灰度数据集上无需深度学习即可获得合理的受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic Curve, AUC)分数。讨论部分提供了无尺寸限制OCC的益处、局限性以及潜在的未来工作。源代码已上传至 https://github.com/ToshiHayashi/OCPLCB
论文解读文章
研究背景方面,单类分类(One-class classification, OCC)是一种监督式分类问题,其训练数据仅包含一个类别的样本。然而,现有OCC算法在处理图像时,必须将输入图像调整为固定尺寸,这种调整可能导致信息丢失,并限制了图像在分辨率、熵等属性上的正常性。因此,研究人员旨在开发一种能够处理任意尺寸图像而不引入系统误差的OCC算法,即无尺寸限制(size-free)的OCC。该研究提出首个此类算法,并发表于《Results in Engineering》。
研究人员提出的方法名为单类概率局部聚类平衡(One-class Probabilistic Local Cluster Balance, OCPLCB)。主要结论包括:在灰度图像数据集上,OCPLCB结合传统OCC算法可获得合理的AUC分数,无需深度学习;但在彩色图像上性能不足,原因在于颜色信息干扰了聚类特征。该研究的意义在于首次实现了无尺寸限制的OCC,为图像分类提供了新的视角,并避免了图像调整带来的问题。
关键技术方法方面,研究人员使用了以下主要方法:基于K-means聚类对图像中的滑动窗口进行聚类;通过计算聚类平衡(即每个聚类中窗口的数量)并除以滑动窗口总数,得到概率局部聚类平衡(Probabilistic Local Cluster Balance, PLCB)特征向量;利用传统OCC算法(如单类支持向量机(One-Class Support Vector Machine, OCSVM)、局部离群因子(Local Outlier Factor, LOF)、孤立森林(Isolation Forest, IF)和高斯混合模型(Gaussian Mixture Model, GMM))对PLCB特征进行分类;通过集成多个超参数(如不同滑动窗口尺寸)来避免超参数调优。样本数据来源包括MNIST、Fashion-MNIST、CIFAR10、CIFAR100、Kuzushiji49以及来自文献[56][57]的X光胸片图像。
研究结果部分分为四个小节。4.1 数据集与评估指标:研究人员使用了六个基准数据集和一个医学图像数据集,并采用接受者操作特征曲线下面积(Area Under the ROC Curve, AUC)作为评估指标,对每个类别的OCC任务进行平均。4.2 超参数分析:通过比较不同滑动窗口尺寸和聚类数K,发现较大的K(如50)通常带来更高AUC,但增加内存消耗;通过集成所有窗口尺寸候选者,避免了选择最佳尺寸的困难。实验表明,结合GMM作为OCC算法时,PLCB特征在多数数据集上获得最高AUC,例如在MNIST上PLCB+GMM达到98.22% AUC。4.3 比较:与其他OCC算法(如深度SVDD、旋转分类、几何变换等)对比,OCPLCB在固定尺寸图像上表现中等,但在灰度图像上具有竞争力;在MNIST上,PLCB+GMM的AUC(98.22%)接近最佳方法IGD(99.3%);在Fashion-MNIST上,性能差距约3.2%;在CIFAR10上,PLCB+GMM落后于自监督方法,AUC仅68.19%,而最佳方法CSI达94.3%;在X光数据集上,OCPLCB在正常类任务中表现优异(AUC 81.9%),在肺炎类任务中也有一定竞争力。4.4 无调整图像的实验:研究人员创建了随机缩放的MNIST和CIFAR10数据集,并直接使用原始尺寸的X光图像。结果表明,在随机缩放MNIST上,PLCB+LOF获得92.41% AUC,优于其他OCC算法;在随机缩放CIFAR10上,AUC最高为62.9%(PLCB+IF);在原始尺寸X光图像上,PLCB+GMM在正常类任务中达到74.8% AUC,与调整尺寸后的结果(81.9%)相比有所下降,但仍证明无尺寸限制算法的可行性。
讨论部分主要分析了计算复杂度、步长消融实验、颜色信息的影响、无尺寸限制的优势和局限性。计算复杂度方面,训练阶段主要瓶颈为K-means聚类,复杂度约为O(nKd
2(M-d+1)
2),测试阶段复杂度为O(nd
2(M-d+1)
2),空间复杂度也随图像尺寸平方增长。步长消融实验显示,增加步长可大幅降低计算时间,但AUC下降有限,尤其在X光图像上性能变化不大。成功OCC需要与颜色无关的特征,而OCPLCB的PLCB特征依赖于像素颜色,导致在彩色图像上性能差;未来可通过更深层架构或替换聚类模型来改进。无尺寸限制的优势包括:单一模型可处理不同尺寸图像、可忽略尺寸以标准化其他指标、可利用尺寸本身作为分类特征。局限性包括:处理大图像时的可扩展性、彩色数据集上的低AUC、以及训练时无法确定最优超参数。
研究结论部分翻译如下:本研究提出了一种无尺寸限制的OCC方法,即OCPLCB。无尺寸限制方法为未来的图像分类提供了多种益处。此外,所提出的方法应用了所有超参数候选的集成学习。带有超参数集成的OCPLCB在灰度图像上显示出合理的AUC分数。然而,OCPLCB在彩色图像上表现不佳。实验结果表明,成功的OCC算法需要与颜色信息无关的特征。传统的深度学习自动提取有助于分类的特征,而无监督聚类无法选择此类特征。未来的工作应将替代方法应用于滑动窗口。未来工作可分为三类:1)提高无尺寸限制OCC的准确度指标;2)解决可扩展性问题;3)将无尺寸限制函数应用于理论或实际应用。准确度可通过将监督学习应用于滑动窗口、将其他无尺寸限制技术扩展到OCC以及考虑滑动窗口的子任务来提高。另一方面,提高可扩展性有三种通用解决方案:应用比K-means更快的算法、减少滑动窗口尺寸(数据降维)以及维度缩减。第三类包括尺寸分类子任务和将无尺寸限制OCC算法应用于具有挑战性的现实场景。