任意模态缺失下的异步联邦多模态约束聚类

《Neurocomputing》：Asynchronous federated multi-modal constrained clustering under arbitrary modality missingness

　　徐振豪|陈华竹|王薇薇|段文辉中国郑州中原工业大学数学与信息科学学院，邮编457004

摘要
联邦多模态聚类旨在在不损害隐私的前提下对分布式多模态数据进行聚类。现有的联邦多模态聚类方法难以处理客户端存在任意模态缺失的现实场景。此外，基于对比学习的联邦多模态聚类在训练后期会出现表示能力下降的问题，而客户端计算能力的差异又会导致同步聚合时的效率瓶颈。为解决这些问题，我们提出了适用于任意模态缺失场景的异步联邦多模态约束聚类方法，通过三种关键设计来应对这些挑战：（i）一种具有模拟模态缺失功能的新多模态自编码器，用于解决任意模态缺失问题；（ii）类别相关矩阵正则化方法，用于防止对比学习性能下降并提升聚类分离度；（iii）加权异步聚合策略，用于缓解计算能力不平衡问题并加速收敛。在多种基准数据集上的实验表明，该方法在保持隐私的同时，其在聚类精度和效率方面均优于现有的先进联邦多模态聚类方法。论文被接受后，代码和数据集将公开发布。

引言
随着移动终端和边缘传感器的普及，在医疗、工业和智慧城市等场景中，图像、文本、语音以及各类传感器时间序列等多模态数据大量产生。然而，这些数据往往分散在不同的机构或设备中，由于隐私、合规性以及数据孤岛等问题，很难实现集中共享。联邦学习技术通过“将数据保留在本地，仅上传模型更新”来实现协同建模，其中以FedAvg为代表的同步聚合范式最为经典。在标注数据稀缺或无法获取的应用场景中，联邦多模态聚类逐渐成为一项重要的研究方向。其目标是通过利用各客户端之间的互补信息，学习更具区分度的表示形式和更加一致的聚类结构，同时严格保护原始多模态数据的隐私。

典型的联邦多模态聚类方法会在服务器上维护一个全局多模态编码器，引导每个客户端利用本地数据进行表示学习与跨模态对齐，再通过参数级或特征级聚合来更新全局模型。例如，FedDMVC方法在服务器上构建全局自监督信号，如全局原型和伪标签，来指导各客户端基于本地数据进行表示学习和聚类，之后通过模型更新实现全局聚合。在效率和可扩展性方面，FMVC-IMK方法将矩阵分解与多视图K均值算法整合为统一流程，并引入图结构正则化来保持数据的几何结构，从而降低计算和通信成本，提高训练稳定性。

然而，这些方法通常基于一个理想化的假设：客户端拥有完整且一致的多模态数据用于本地训练。而在现实世界的联邦学习场景中，模态缺失才是常态，这一假设很少成立。具体而言，如图1所示，模态缺失包括两种情况：1. 样本级缺失：同一客户端内的某些样本仅有图像模态，而其他样本仅有文本模态；2. 客户端级缺失：某些客户端完全缺乏一种或多种模态。在实际应用中，客户端级缺失在联邦多模态聚类中更为常见。例如，由于硬件限制，一些边缘设备可能无法获取某些模态数据，如高质量图像、音频或多传感器信号，从而导致不同客户端之间的模态可用性存在差异。本文主要研究客户端级缺失场景下的联邦多模态聚类问题。

目前有许多研究聚焦于样本级缺失问题。而在面对客户端级缺失时，这些方法的缺陷会更加明显。相关研究中，FMCSC方法通过采用局部协同对比学习策略以及全局特定加权聚合方案，降低了客户端级模态缺失对联邦多模态聚类的影响，提升了在混合视图环境下的聚类性能。但它假设每个客户端要么拥有完整的多模态数据，要么只有一种模态，无法覆盖客户端之间存在任意模态组合缺失的更普遍且更具挑战性的场景。尽管FedAMM方法解决了任意模态缺失的问题，但它是为有监督的医学图像分割设计的，并非用于无监督聚类。因此，如何在客户端存在任意模态缺失的情况下稳定地学习全局聚类结构，仍是联邦多模态聚类领域的一个关键难题。

除了模态缺失问题，我们还发现FMCSC方法在训练初期表现良好，但随着优化过程的推进，其性能会逐渐下降（见图2）。从图2(b)的第一行可以看出，当迭代次数约为200时，聚类结构最为清晰，效果最佳；但随着训练继续进行，当迭代次数达到800时，原本属于同一簇的数据点又会显著分散，聚类结构被破坏。这一现象使得难以确定可靠的提前终止标准，进而降低了聚类质量。这可能是因为FMCSC方法的特征提取依赖于对比学习技术。在本研究中，我们将提出一种新的正则化项来解决这一问题。

此外，现实世界的联邦学习系统往往存在客户端之间的严重计算能力不平衡问题。FMCSC方法及其他现有方法采用同步训练方式，这会加剧落后节点的影响，降低资源利用率，并延长整体训练时间。

为解决这些挑战，我们提出了一套统一的解决方案。首先，为处理模态缺失问题，我们开发了一种针对客户端级任意模态缺失场景的新型联邦多模态聚类框架。该框架通过模态模拟与重建，实现从拥有完整多模态数据的客户端向模态不完整的客户端的知识传递，从而在真实的模态缺失情况下获得更稳健的全局聚类结果。其次，我们从粒子动力学角度分析了对比学习中的性能退化现象，并引入基于类别相关矩阵的全局正则化机制，以此稳定训练过程，提升聚类分离度和平衡性。最后，为解决计算能力不平衡带来的效率问题，我们提出了一种异步联邦优化策略，摒弃严格的轮次级同步机制，大幅缩短了异构环境下的训练时间。

通过整合这些组件，我们提出了适用于任意模态缺失场景的异步联邦多模态约束聚类方法。如图3所示，客户端在每个本地训练阶段结束后会与服务器交互并更新本地参数（详细内容见第3.5节）。AFMCC方法能够处理各种模态缺失场景——即可以是一种或多种模态缺失，只要至少有一种模态存在，具体细节见第3.2节。此外，我们还从粒子动力学角度分析了对比学习中的性能退化现象（见图2），相关内容见第3.3节。我们的主要贡献如下：
•我们开发了一种针对客户端级任意模态缺失场景的联邦多模态聚类框架。该框架使拥有完整多模态数据的客户端能够通过模态模拟与重建帮助那些模态不完整的客户端，从而提升整体聚类性能。我们还引入了异步聚合策略，可在计算能力不平衡的情况下大幅缩短训练时间。
•我们从粒子动力学角度分析了对比学习中的性能退化现象，并引入基于类别相关矩阵的全局正则化机制，有效缓解了性能退化问题，提升了聚类分离度和平衡性。
•我们通过大量实验验证了AFMCC方法的有效性，结果表明它在不同的数据集、模态缺失配置以及异构联邦学习环境中均能带来持续的性能提升。

章节摘录
联邦多模态聚类
近年来，已有众多方法被提出用于联邦多模态聚类，这些方法旨在利用各客户端之间的互补多模态信息，无需共享原始数据即可学习具有区分度的表示形式和一致的全局聚类结构。这些方法大致可分为传统基于学习的方法和基于深度学习的方法。

问题定义
我们考虑一个包含多个客户端的异构联邦学习场景。每个客户端最多可以访问种模态数据，这些模态由表示。客户端拥有一个子集，其中。每个客户端都拥有个样本的私有数据集，每个样本包含种模态，第种视图的数据集可表示为，其中是客户端处样本的第种模态数据，表示数据特征的维度。我们的目标是对这些数据進行聚类。

实验设置
我们将客户端分为三类：F类客户端，即拥有所有可用模态数据的完整模态客户端；M类客户端，即拥有至少两种模态数据的多元模态客户端；S类客户端，即仅拥有一种模态数据的单模态客户端。

数据集
我们在四个具有代表性的多模态基准数据集上评估了所提出的方法，这些数据集的关键统计信息如下。BDGP数据集包含2500个果蝇胚胎样本，每个样本都有相应的描述。

结论
我们提出了AFMCC，这是一种针对客户端级任意模态缺失场景设计的异步多模态联邦聚类框架，只要至少有一种模态存在，即使有一种或多种模态缺失也可实现聚类。该框架通过模态模拟与重建机制，让拥有完整模态数据的客户端协助那些模态缺失的客户端，从而提升全局表示学习与聚类性能；同时，还采用了异步聚合策略。

CRediT作者贡献说明
徐振豪：撰写——初稿、软件实现、方法设计。陈华竹：撰写——审阅与编辑、监督、方法设计。王薇薇：方法设计、形式化分析。段文辉：可视化、数据整理。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
作者感谢匿名审稿人的细致评价和建设性意见。本研究部分得到了国家自然科学基金的支持，项目编号分别为62202513、12371429和62573336。徐振豪于2023年在中国浙江万里学院获得学士学位，目前在中国中原工业大学数学与信息科学学院攻读硕士学位。他的研究兴趣包括聚类、联邦学习以及多模态特征提取。