利用深度学习进行的语义图像聚类

《IEEE Transactions on Cognitive and Developmental Systems》：Semantic Image Clustering with Deep Learning

图像聚类是机器学习和计算机视觉中的关键挑战，现有深度方法依赖特征相似性但语义合理性不足。本文提出联合语义图像聚类框架，结合实例级和聚类级约束，通过共享权重骨干网络进行数据增强，提升聚类语义质量。实验表明该方法优于多种SOTA方法。

　　

摘要：

图像聚类是机器学习和计算机视觉中一项至关重要但同时具有挑战性的任务。深度图像聚类方法在处理大规模和高维图像数据集方面取得了显著进展，但这些方法仅基于特征相似性来识别聚类。如何提高这些聚类的语义合理性仍然是一个亟待解决的问题。为了解决这个问题，我们提出了一种结合深度学习框架的联合语义图像聚类（SIC）方法。我们的核心思想是从实例层和聚类层两个角度来探索语义聚类：在聚类层，我们假设置信度最高的划分具有合理的语义划分；在实例层，我们假设相邻样本属于同一语义类别。通过聚类层和实例层的约束，可以提升聚类内部的紧凑性和类别间的差异性。聚类结果在很大程度上依赖于图像表示的质量。因此，我们引入了强大的数据增强技术，并使用了具有三个共享权重的主干网络来学习图像中最本质的特征。在多种图像数据集上的实验结果表明，我们的框架优于现有的各种先进方法。