SynthFed：利用VQ-VAE和GPT增强的联邦学习技术实现保护隐私的长尾眼科诊断

《Biomedical Signal Processing and Control》：SynthFed: Privacy-preserving long-tail ophthalmic diagnosis via VQ-VAE and GPT-augmented federated learning

本文提出SynthFed框架，结合VQ-VAE和GPT实现联邦学习中罕见眼科疾病样本的合成与增强，有效缓解长尾分布问题，同时保障数据隐私，显著提升多中心眼科诊断模型的性能。

　　随着人工智能技术的迅速发展，其在疾病分类中的应用日益广泛，展现出巨大的潜力和价值。特别是在眼科领域，深度学习算法在自动识别和分类视网膜图像及角膜病变方面取得了显著进展。这些技术不仅提高了眼科医生对多种眼病的诊断效率和准确性，还为患者提供了更及时和精确的治疗方案。然而，尽管人工智能在医疗诊断中展现出了强大能力，但数据隐私和分布不均仍然是制约其广泛应用的重要因素。

为了应对这一挑战，联邦学习作为一种隐私保护的深度学习范式，近年来在医疗信息学研究中发挥了重要作用。联邦学习允许多个医疗机构在不直接共享患者数据的前提下，共同训练诊断模型，从而解决数据孤岛问题，同时确保患者病历数据的隐私和安全。这种方法不仅能够利用来自不同地区和设备的大规模疾病数据，还符合严格的患者隐私法规要求，显著提升了模型的泛化能力和诊断精度。例如，Shen 等人利用联邦学习机制将电子病历系统的数据共享问题转化为机器学习问题，结合同态加密系统和支持向量机，成功实现了对患者生理数据的有效分类。Wicaksana 等人则提出了一种基于自适应权重分配的标签无关联邦学习框架，用于医学图像分割，结合混合图像标签提升了模型的适应性。在多中心眼科疾病诊断中，联邦学习同样展现出重要价值。Gu 等人通过联邦学习解决了多中心眼科疾病分类的挑战，提出了处理数量异质性、数据异质性和特征异质性问题的有效解决方案。近年来，研究者们从数据隐私、表征学习和多视角建模等多个角度探索了联邦学习在长尾分布问题上的应用。

然而，在眼科疾病诊断领域，病例数量在各类别中的分布呈现出明显的长尾效应。所谓长尾效应，是指在数据集中，某些类别拥有远多于其他类别的样本数量，占据了数据集的大部分。这种分布导致模型在这些主要类别上表现出较高的分类准确率，但在样本数量较少的类别上识别能力明显不足。如图 1 所示，第一套中文生物医学语言理解基准数据集 CBLUE 和从中国病例中收集的医学图像分割数据集 SA-Med2D-20M 都突显了数据分布的长尾特性。在眼科领域，常见疾病如糖尿病视网膜病变（DR）的病例数量远远超过罕见疾病如 Coat 病的病例数量，导致眼科数据集中的类别间样本数量严重失衡。这种不平衡严重影响了诊断模型的性能，尤其是在识别罕见疾病方面。

为了解决这一问题，已有多种方法被提出。例如，Ou 等人提出了一种基于损失重加权策略的两阶段训练方法。该方法首先以常规方式训练分类模型，随后冻结网络中除全连接层外的所有权重，并重新训练全连接层以调整权重，从而增加罕见疾病类别在模型分类决策中的影响，提高在临床光学相干断层扫描（OCT）数据集上的分类准确率。Cai 等人则受到对比学习的启发，将图像分割为更小的子图像，学习哪些子图像包含病变，哪些是健康的（或无病变）。这种方法使模型能够聚焦于病变区域，显著增强了不同疾病类别之间的对比度，从而提升了对少数类别病变的识别能力。然而，这些方法在联邦学习环境中并未有效利用其他客户端的知识，特别是在多中心联邦学习场景中，由于各中心的数据分布可能差异较大，长尾效应更加严重。

为了解决上述问题，本文提出了一种基于向量量化变分自编码器（VQ-VAE）和生成预训练变换器（GPT）的新型联邦图像合成方法，命名为 SynthFed。该方法旨在应对多医院眼科疾病诊断任务中的长尾分类问题。通过结合 VQ-VAE 的强大特征提取和压缩能力，以及 GPT 的自回归建模能力，SynthFed 能够在联邦学习框架下高效生成高质量的眼科图像，特别是针对少数类别病例。这种方法不仅能够缓解数据分布的长尾问题，还能在不直接交换数据的前提下，保护数据的隐私性。

近年来，长尾学习的研究主要集中在通过损失重加权、数据重采样和特征空间校准等方法解决类别不平衡问题。虽然这些方法在集中式设置中取得了显著成效，但在隐私敏感的医疗领域，它们通常需要访问完整的数据集，这在实际应用中是不可行的。在联邦医疗应用中，由于客户端之间数据分布不一致、单个机构的样本量有限以及模型可能过度拟合于主导类别，额外的挑战也随之而来。尽管已有研究探索了联邦数据增强技术，但大多数方法依赖于参数共享或全局模型广播，这可能会无意中暴露敏感的特征统计信息。

相比之下，本文提出的 SynthFed 框架通过在隐私保护的联邦结构下，结合 VQ-VAE 的离散潜在表示学习和 GPT 的生成建模能力，有效解决了上述问题。该框架能够在不直接交换数据的前提下，本地合成罕见类别样本，从而缓解长尾分布带来的影响，同时保持严格的数据保密性。此外，通过将视觉特征编码为量化嵌入，SynthFed 有效减少了客户端间的特征漂移，促进了模型参数的高效聚合。这种结合联邦生成合成与离散潜在适应的方法，使 SynthFed 与传统的长尾学习和标准联邦学习方法有所不同。本文提出的方法不仅增强了模型对罕见疾病的诊断能力，还维护了数据隐私，为多中心眼科疾病诊断提供了一种新的解决方案。通过这种联邦数据生成和增强策略，我们旨在显著提升多医院眼科疾病诊断模型的整体性能和准确性，同时保护患者的隐私。

本文的研究还涉及多个眼科数据集的构建与分析。我们采用了三套广泛的视网膜荧光造影（FFA）数据集，分别标记为 D1、D2 和 D3。其中，D1 和 D3 是从中国长江三角洲地区的一级甲等医院收集的，而 D2 则来源于中国西北地区的一家顶级医院。D3 包含最多的样本，总共有 16,795 张图像，而 D1 和 D2 分别包含 3199 和 4100 张图像。对于每个数据集，我们将其 80% 的图像用于训练，其余 20% 作为测试集。这些数据集的构建为研究联邦学习在眼科疾病诊断中的应用提供了丰富的实验材料。

本文的主要贡献包括以下几个方面：首先，我们开发了一种基于 VQ-VAE 的深度生成模型，用于视网膜图像的重建和离散编码特征的表示。这一模型能够有效提取图像的关键特征，并将其压缩为离散的潜在表示，从而提升图像合成的质量和效率。其次，我们引入了 GPT 用于离散潜在变量序列的自回归建模，帮助 SynthFed 实现对特定疾病视网膜图像的条件生成。通过 GPT 的生成能力，模型能够根据给定的疾病标签，生成与真实数据高度相似的合成图像，从而增强对罕见疾病类别的识别能力。第三，我们提出了一种两阶段的联邦学习框架，以促进 SynthFed 的参数训练，实现不同客户端模型之间的知识互补和个性化表达。这一框架不仅提高了模型的泛化能力，还增强了模型在不同医疗环境下的适应性。最后，我们利用 SynthFed 生成的合成图像对训练集进行增强和再平衡，显著提升了多医院眼科疾病诊断模型的准确性。

在方法论部分，本文详细介绍了 SynthFed 的实现原理和算法流程。首先，我们通过 VQ-VAE 对原始图像进行特征提取和编码，生成离散的潜在表示。这些潜在表示能够捕捉图像的关键特征，同时减少对敏感信息的暴露。接着，我们将这些离散特征输入 GPT 进行自回归建模，使模型能够根据给定的疾病标签生成高质量的合成图像。GPT 的生成能力使其能够在不依赖完整数据集的情况下，生成与真实数据相似的图像，从而有效缓解数据分布的长尾问题。此外，我们还设计了一个两阶段的联邦学习框架，其中第一阶段用于训练 VQ-VAE 和 GPT 的基础模型，第二阶段则在联邦学习环境中进行参数聚合和模型优化。这一框架不仅提高了模型的训练效率，还增强了模型在不同医疗中心之间的适应性。

在实验部分，我们对 SynthFed 在多医院眼科疾病诊断任务中的表现进行了评估。实验结果表明，SynthFed 在识别罕见疾病方面显著优于传统的联邦学习方法。通过生成高质量的合成图像，SynthFed 不仅提高了模型的泛化能力，还增强了模型对罕见疾病类别的识别能力。此外，实验还验证了 SynthFed 在保护数据隐私方面的有效性。由于合成图像是在本地生成的，且不涉及直接的数据交换，因此能够有效防止敏感信息的泄露。这一特性对于医疗数据隐私保护尤为重要。

本文的研究还存在一些局限性。首先，由于合成图像的质量依赖于 VQ-VAE 和 GPT 的训练效果，因此在实际应用中，需要确保这两个模型能够准确捕捉图像的关键特征并生成高质量的图像。其次，联邦学习环境中的通信成本可能较高，尤其是在需要频繁交换模型参数和生成图像的情况下。因此，如何优化通信效率，减少训练过程中的计算开销，是未来研究的一个重要方向。此外，本文主要关注了眼科疾病的分类任务，未来可以进一步探索 SynthFed 在其他医学领域的应用，例如皮肤科、放射科等。通过扩展 SynthFed 的适用范围，可以更好地解决多领域医疗数据分布不均的问题。

综上所述，本文提出了一种基于 VQ-VAE 和 GPT 的新型联邦图像合成方法 SynthFed，旨在解决多医院眼科疾病诊断中的长尾分布问题。通过结合生成模型和联邦学习的优势，SynthFed 能够在不直接共享数据的前提下，生成高质量的合成图像，从而提升模型对罕见疾病的识别能力。同时，该方法有效保护了数据隐私，为医疗数据共享提供了一种安全且高效的解决方案。未来的研究将进一步优化 SynthFed 的性能，探索其在其他医学领域的应用，并提升其在实际医疗环境中的适用性和可靠性。