一种结合多视图互补性和自适应双注意力机制的深度聚类方法

《Knowledge-Based Systems》：A multi-view complementarity deep clustering with self-paced dual attention mechanism

　　

里德万·萨拉胡丁（Ridwan Salahudeen）|熊胜武（Shengwu Xiong）|阿德耶米·阿贝尔·阿吉贝辛（Adeyemi Abel Ajibesin）|阿里尤·加尔巴（Aliyu Garba）

中国武汉，武汉工业大学，海南572000，三亚科学与教育创新园区

摘要

在深度聚类中，训练不稳定通常源于从未标记数据生成的噪声伪标签。早期的研究，如对比聚类和多视图聚类中的早期融合方法，往往依赖于共享编码器或结构独立性，这使得它们对噪声标签敏感，并且视图互补性不佳。为了解决这个问题，我们提出了一个框架，该框架利用互补视图来学习具有区分性的聚类特征，同时强制实现几何正交性。该框架采用了三种特定于视图的增强策略——几何变换（空间变换）、外观修改（颜色和纹理变化）以及遮挡模拟（部分擦除和剪切）——来生成样本的多样化但语义一致的图像视图。每个视图（包括原始视图）都由带有通道级注意力机制的专用编码器处理，以通过稀疏性约束提取出独特的、适合聚类的特征。全局注意力模块将这些特征聚合成一个互补的表示，并通过一种新的机制——多样性损失——来强制实现正交性，这种机制超越了多视图范式中的标准融合方法，从而减少冗余。为了稳定训练，我们引入了一个自定进度的课程来过滤高置信度的伪标签，并动态调整训练计划以逐步优化聚类。在包括STL-10、CIFAR-10、CIFAR-100、ImageNet-10、ImageNet-Dog和Tiny-ImageNet在内的多种数据集上评估的该方法的有效性表明，在准确性（ACC）、标准化互信息（NMI）和调整后的Rand指数（ARI）方面，其聚类性能优于现有的方法。此外，通过消融研究验证了每个组件的有效性，证明了该框架通过互补增强、基于注意力的特征选择和渐进式自定进度学习之间的相互作用，对提高聚类性能的贡献。

引言

数据聚类是一项基础的无监督学习任务，旨在根据数据的内在相似性将未标记的数据分组到有意义的簇中，而无需外部标签的指导。因此，分到同一簇的数据样本具有相似的特征，这些特征使它们与其他簇区分开来。与利用注释数据在图像分类等任务中实现高准确性的监督学习不同，由于缺乏真实的监督以及在高维空间中定义最佳划分的模糊性，聚类很难达到这样的性能[1]。这一挑战因传统聚类算法对特征质量和初始化的敏感性而进一步加剧，通常导致不稳定的或次优的解决方案[2]。聚类在图像分割[3]和异常检测[4]等应用中的重要性继续推动了对创新方法的需求，以提高数据处理的鲁棒性和有效性。另一方面，深度卷积神经网络（DCNN）作为在高维空间中进行特征工程的强大工具的出现，催生了一个名为深度聚类的活跃研究领域[5]，该领域旨在通过学习表达性强、非线性的特征表示来解决上述挑战。与k-means[6]、基于密度的空间聚类（DBSCAN）[7]或谱聚类[8]等经典聚类方法不同，这些方法依赖于原始或手工制作的特征在样本空间中对数据进行划分，深度聚类将DCNN的特征提取与聚类目标相结合，从而能够在潜在空间中发现复杂的模式。像深度嵌入式聚类（DEC）[9]和不变信息聚类（IIC）[10]这样的开创性方法表明，DCNN可以通过联合优化重建或互信息等目标与聚类目标来产生紧凑且适合聚类的潜在表示。然而，这些方法常常受到噪声伪标签、特征多样性有限以及对初始化的敏感性的影响，这限制了它们在复杂数据集上一致地实现高质量聚类性能的能力。

随后，由于自监督深度聚类技术能够通过分析训练样本的不同部分之间的相互作用自动生成监督信号，因此变得流行起来。这也使它们能够在没有人类干预的情况下从未标记的数据中学习语义上有意义的特征。例如，GATCluster[11]引入了一个标签特征定理，这是一种自学习机制，它结合了变换不变性、可分离性最大化、熵分析和注意力映射来派生出one-hot编码作为簇标签。同时，通过增强生成训练样本的多样化视图已被证明是一种有用的自监督方法，可以改进深度聚类的性能，因为它们使模型能够从同一数据实例的不同角度进行学习[12]。因此，像SwAV[13]这样的方法利用数据样本的各种视角来增强特征表示，从而在复杂数据集上获得更好的性能。这些策略的有效性取决于设计出在保持语义完整性的同时引入有意义的变化性的增强方法[12]。选择不当的增强方法可能会导致表面模式或冗余，特别是在分辨率和复杂性不同的数据集中。

基本上，当增强视图过于相似或缺乏多样性时，可能会出现特征冗余[14]，从而限制聚类性能。在多视图学习中，数据通过多个不同的视图表示，存在两个长期存在的挑战：（i）减少冗余，使每个视图贡献独特且不重叠的信息；（ii）充分利用视图之间的互补信息，同时保留视图特定的属性[15]。大多数现有的多视图聚类方法试图在多模态或多源环境中解决这些问题[16]、[17]，通常假设视图之间的结构独立性——当视图是通过增强从同一样本生成时，这种假设并不成立。在深度聚类中，这个差距尤为关键，因为伪标签的质量在很大程度上取决于学习到的表示的多样性和互补性。

在这项工作中，我们使用多视图学习不是为了从不同的模态（例如文本与图像）中提取特征，而是从同一图像样本的不同感知增强中提取互补特征。我们引入了增强策略：几何变换（缩放、裁剪和旋转）来模拟姿态和尺度变化；外观变化（亮度、对比度和模糊）来捕捉纹理和光照效果；以及遮挡（擦除和剪切）来增强对图像缺失区域的鲁棒性。这些策略是有意选择的，旨在产生互补而非冗余的多视图特定线索。每个视图（包括原始视图）都由带有通道级注意力的专用编码器处理，以提取与该视图的统计特征相一致的特征。这种设计允许每个编码器专门处理视图特定的属性和潜在偏差，而不是强迫共享编码器在冲突的线索之间妥协。然后，全局注意力模块通过促进多样性的损失来融合这些专门的输出，从而减少冗余并增强互补性——直接解决了现有多视图学习方法的核心限制。

为了进一步稳定训练，我们引入了一个自定进度的课程来过滤高置信度的伪标签，并动态调整正则化权重以逐步优化聚类。在包括STL-10、CIFAR-10、CIFAR-100、ImageNet-10、ImageNet-Dog和Tiny-ImageNet在内的多种数据集上进行评估，所提出的方法实现了卓越的聚类性能，在t-SNE可视化中显示出稳定和清晰的簇分离。这项工作的主要贡献总结如下：

• 1.
  我们提出了一个深度聚类框架，该框架使用多个编码器从同一图像样本的不同增强中提取互补特征，从而提高表示的多样性和聚类的鲁棒性。
• 2.
  我们设计了一个定制的增强流程，生成基于几何、外观和遮挡的视图，以捕捉多样的感知线索，同时保持语义完整性。
• 3.
  我们整合了通道级和全局注意力机制，以专门化编码器的输出，并将它们融合成一个统一、无冗余的表示。
• 4.
  我们引入了一种自定进度的课程学习策略，用于过滤噪声伪标签并动态调节训练，从而增强稳定性和聚类优化。

本文的其余部分结构如下。第2节回顾了相关工作。第3节详细介绍了所提出的方法论，包括架构、损失函数和理论分析。第4节描述了实验设置并展示了结果分析及讨论。第5节总结了未来的研究方向。

章节片段

相关工作

深度聚类使用深度神经网络将未标记的数据组织成有意义的簇。然而，当前深度聚类方法中仍然存在特征冗余、噪声伪标签和对初始化的敏感性等问题。我们利用多视图学习、注意力机制和自定进度学习来解决这些限制，建立在深度聚类的最新发展基础上。在本节中，我们简要回顾了相关的四类工作：

方法论

本节正式定义了深度聚类问题，介绍了互补多视图增强（CMVA）框架，并解释了具有多样性损失的双重注意力机制。它还详细介绍了带有动态正则化的自定进度学习策略。这些组件在图1中进行了说明，它们协同工作，为无监督图像聚类生成了稳健的、适合聚类的表示。最后，我们描述了整合所有模块的全面训练算法，

实验

本节评估了所提出框架在六个广泛使用的图像数据集上的聚类任务的有效性。我们采用了深度聚类研究中常用的三个标准指标，并将我们的结果与最先进的基线进行了比较。实验分析包括设置、定量和定性评估、消融研究以及运行时比较。这些结果证明了该框架能够减少特征冗余和噪声伪标签，

结论

本研究提出了一个新颖的深度聚类框架，该框架利用多个编码器从训练样本中学习互补特征。我们方法的核心是互补多视图增强（CMVA）流程，它生成输入数据的三个不同视图。每个视图都通过配备有通道级注意力的专用编码器进行处理，以强制实现稀疏性并提取特定于簇的、具有区分性的特征。然后，全局注意力模块将这些特征整合起来，

CRediT作者贡献声明

里德万·萨拉胡丁（Ridwan Salahudeen）：撰写——原始草稿、方法论、概念化。熊胜武（Shengwu Xiong）：监督。阿德耶米·阿贝尔·阿吉贝辛（Adeyemi Abel Ajibesin）：验证、调查。阿里尤·加尔巴（Aliyu Garba）：撰写——审阅与编辑、可视化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。