双层模糊对抗聚类

《Neurocomputing》：Double level fuzzy adversarial clustering

　　

摘要
模糊C均值（FCM）使用模糊隶属度（FMD）来表示每个样本，用以量化样本对簇的归属程度，而非统计概率。然而，其欧氏距离度量可能无法充分捕捉复杂的样本结构，并且没有显式利用互补的非归属信息。我们将精确互补量定义为互补非隶属度（NMD）矩阵。我们提出了双层模糊对抗聚类（DLFA）方法。DLFA 通过在共享划分的基础上，在模糊聚类层面和线性映射层面协调 FMD 相关目标与 NMD 相关目标。这里所说的"对抗"指的是它们通过互补量在联合最小化框架中形成的符号相反耦合，而非传统的极小极大博弈。谱旋转和非负缩放进一步将模糊划分与图嵌入进行对齐。在 28 个基准数据集上的实验将 DLFA 与代表性的模糊、谱、图结构、平衡以及离散聚类方法进行了比较，包括 RWFCM、FCSR-P、GCSED、DBSC 和 FCAG。在主要比较中所有方法共享的 15 个数据集上，DLFA 的平均 ACC 和 NMI 值分别为 80.87% 和 70.92%，分别超出第二好的方法 FCSR-P 5.18 和 6.61 个百分点。最终分配诊断还表明，在所评估的数据集上没有出现单一簇或未使用簇的退化现象，尽管可能存在依赖于数据集的簇不平衡问题。DLFA 将局部模糊分配、其确定性互补量以及全局图结构融合于一个无标签目标函数中。

引言
模糊聚类通过软分配将无标签数据划分为多个组。模糊C均值（FCM）因其简单的公式设计和模糊隶属度（FMD）而被广泛使用，FMD 表示样本对簇的归属程度 [1]。然而，基于欧氏距离的模糊聚类在处理高维或结构化数据时可能不够充分，如生物信息学 [20]、[22]、图像分割 [26]、[40] 和车联网 [18]、[50] 等应用。

当数据位于非线性流形上或簇存在重叠时 [16]，FCM 对欧氏距离的依赖可能具有局限性。在这种情况下，单一的距离度量可能无法捕捉图像、生物及文档数据相关的几何或图结构。谱聚类通过相似矩阵的特征向量表示全局结构 [14]、[25]，但对于大规模数据集而言，其谱分解可能代价高昂。锚点图模糊聚类通过紧凑的图来降低该代价并表示非欧氏关系 [28]，但其结果依赖于预定义的图结构。结构感知 FCM 方法则将邻域信息融入模糊分配中 [19]、[52]。其有效性取决于所选结构对数据几何的多好表示。这种依赖性促使模糊分配与结构信息之间需要更紧密的协调。

每个元素 $u_{ic}$ 表示样本 $i$ 对簇 $c$ 的模糊归属程度。DLFA 将其精确互补量 $(1-u_{ic})$ 定义为互补 NMD，表示相应的非归属程度。NMD 矩阵由 FMD 矩阵确定性地导出，并未引入第二个自由划分变量。

本文提出了双层模糊对抗（DLFA）聚类方法。DLFA 通过独立的原型目标和正则化线性映射目标来评估互补表示，同时保持一个行归一化的模糊划分。它还使划分与谱嵌入对齐。学习到的 FMD 对齐映射为新样本嵌入提供了初步机制。该公式针对以下两个局限性：
(i) 仅依赖欧氏原型距离可能无法捕捉高维、图结构或非欧氏数据中的相关局部和全局结构。
(ii) 上述方法主要优化模糊隶属度，而缺乏对其确定性互补量的显式目标。

归一化图结构提供了 $c$ 维行归一化谱嵌入，通过正交旋转和非负逐样本行缩放直接与模糊划分对齐。特征空间原型 $\mathbf{V}_1$ 和 $\mathbf{V}_2$ 不直接与谱嵌入匹配；它们与谱表示的连接通过共享划分来实现。

DLFA 在受限的目标层面意义上使用"对抗"一词。FMD 相关和 NMD 相关组件通过互补量依赖于共享划分，因此它们对隶属度子问题的直接贡献符号相反。然而，完整模型仍然是联合最小化的，并不涉及传统的对抗玩家或极小极大优化。在线性映射层面，两个正则化映射拟合互补的潜在目标。互补原型项保留了均匀缩放的欧氏几何结构；其在模糊划分约束下退化的证明在 3.6 节中给出。主要贡献总结如下：
• 我们开发了一个统一的双层框架，通过一个共享划分在模糊聚类层面和线性映射层面协调互补的 FMD 相关和 NMD 相关目标。
• 我们通过计算归一化谱嵌入并将其通过正交 Procrustes 旋转和非负逐样本行缩放与模糊划分直接对齐，从而集成了图结构信息。
• 我们引入了一个 NMD 加权的均匀缩放欧氏原型项，将互补非归属信息纳入原型学习，并显式证明该缩放在模糊划分约束下退化为 1。
• 我们提供了互补 FMD–NMD 耦合的目标层面分析、距离缩放的代数刻画，以及包括运行稳定性、模糊有效性和退化解检查在内的广泛实验。

本文的其余部分组织如下：第 2 节回顾模糊聚类和谱学习的相关工作。第 3 节提出 DLFA 框架及其各组件。第 4 节报告实验结果与分析。第 5 节总结全文。

符号说明
设 $n$ 为数据点数量，$c$ 为簇数量。数据矩阵为 $\mathbf{X} \in \mathbb{R}^{n \times d}$，其中 $\mathbf{x}_i$ 为第 $i$ 个数据点的特征向量，$d$ 为维数。矩阵 $\mathbf{V}_1$ 和 $\mathbf{V}_2$ 分别包含 FMD 相关和 NMD 相关原型。矩阵 $\mathbf{U}$ 为 FMD 矩阵，$\mathbf{M} = \mathbf{1} - \mathbf{U}$ 为其互补 NMD 矩阵。符号 $\mathbf{1}$ 和 $\mathbf{J}$ 分别表示全 1 向量和全 1 矩阵。矩阵 $\mathbf{A}$ 的 Frobenius 范数定义为：$\|\mathbf{A}\|_F = \sqrt{\text{tr}(\mathbf{A}^T \mathbf{A})}$。本文中使用的其他主要数学符号为：

模糊聚类层面的隐式对抗耦合
在 FCM 中，$u_{ic}$ 表示样本 $i$ 对簇 $c$ 的模糊隶属度（FMD）。DLFA 将其精确互补量 $(1-u_{ic})$ 定义为互补非隶属度（NMD）。由于该 NMD 由 FMD 固定，DLFA 不允许直觉模糊犹豫，也不引入独立的潜能变量。原型目标为：
$$\sum_{c=1}^c \sum_{i=1}^n (1-u_{ic})^m \|\mathbf{x}_i - \mathbf{v}_c\|^2$$
其中 $\mathbf{v}_c$ 为簇 $c$ 对应的原型。

注 3.1 模糊层面的隐式对抗耦合
公式 (3) 的受限对抗解释可以直接从其 $u$-子问题中进行刻画。设：
当 $\mathbf{V}_1$ 和 $\mathbf{V}_2$ 固定时，FMD 相关项和 NMD 相关项的梯度符号相反……

实验
我们在 28 个基准数据集上评估了 DLFA，并与 32 个传统和最新聚类基线方法进行了对比。

结论
本文提出了 DLFA 方法，该方法通过独立的原型目标和带谱对齐的正则化线性映射目标来协调一个模糊划分及其确定性互补量。"对抗"一词仅表示它们在联合最小化框架中对共享划分的受限符号相反依赖。在 28 个基准数据集上，DLFA 表现出具有竞争力的性能；在主要共同基线比较的 15 个数据集上，其平均 ACC 和 NMI 分别为 80.87% 和 70.92%。

作者贡献声明
郝献旭：撰写—审阅与编辑，撰写—原始稿件，数据整理，概念构思。吕卫军：撰写—审阅与编辑，可视化，概念构思。钟伟芳：调研，数据整理。詹建华：调研，数据整理。何苇英：调研。方晓兆：撰写—审阅与编辑，指导，项目管理。

利益冲突声明
作者声明没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

郝献旭 获得中国石油大学（北京）计算机科学与技术学士学位，目前就读于广东工业大学自动化学院控制科学与工程博士项目。

郝献旭 | 吕卫军 | 钟伟芳 | 詹建华 | 何苇英 | 方晓兆
广东工业大学自动化学院，广州，510006，中国