基于质量聚合方法的联邦学习在多模态医学图像上的脑肿瘤分割应用

《Intelligent Systems with Applications》：Federated learning using quality-based aggregation method for brain tumour segmentation on multimodality medical images

隐私保护下的多中心医疗影像联邦学习模型研究

　　在医学影像分析领域，深度学习技术的应用已经展现出显著的潜力，尤其是在提高疾病诊断准确率方面。然而，深度学习模型在临床环境中的广泛应用面临一个主要障碍，即数据获取的困难。由于医学数据通常涉及患者隐私，传统的集中式训练方式要求将大量私密数据上传至中央服务器进行处理，这不仅违反了《通用数据保护条例》（GDPR），还可能引发数据泄露和安全风险。为了解决这一问题，联邦学习（Federated Learning, FL）被提出作为一种去中心化的替代方案，它允许各数据所有者在不共享原始数据的前提下协同训练模型，从而保护患者隐私。尽管联邦学习在医疗领域具有重要应用价值，但其在多模态脑肿瘤分割等复杂任务中的研究仍较为有限，主要受限于数据异质性等挑战。

本研究提出了一种先进的联邦深度学习模型，即Federated E-CATBraTS，该模型基于现有的E-CATBraTS框架，旨在对多模态磁共振成像（MRI）进行脑肿瘤分割，同时保障数据隐私。为了应对医学影像质量不一致的问题，我们引入了一种新颖的聚合方法，称为Data Quality Averaging（DaQAvg）。该方法通过综合考虑每个参与客户端的数据量和质量，优化模型权重的组合，从而提高模型在面对低质量或有噪声的医学影像时的鲁棒性。我们使用了两个公开可用的数据集：UPenn-GBM和UCSF-PDGM，并对后者进行了降质处理，以评估DaQAvg方法的有效性。实验结果显示，与传统集中式方法相比，Federated E-CATBraTS整体性能提升了6%。此外，我们对DaQAvg与当前最先进的联邦学习聚合算法（如FedAVG、FedProx和FedNova）进行了全面比较，FedNova在总体Dice Score（DSC）上表现最佳，而DaQAvg则在应对噪声条件时表现出更强的鲁棒性，这在医学影像领域尤为重要。

在联邦学习的框架下，数据的异质性是一个关键挑战。不同机构可能使用不同的成像设备和协议，导致数据分布不均，这可能影响模型的泛化能力。为了克服这一问题，我们的研究引入了E-CATBraTS这一混合深度学习模型，该模型结合了视觉Transformer（ViT）和卷积神经网络（CNN），能够对多模态MRI进行三维分割。E-CATBraTS在多个数据集上均展现出良好的泛化能力，能够处理多样化的医学数据，从而弥补现有方法在泛化能力方面的不足。此外，我们的研究还对联邦学习框架的隐私保护和数据安全进行了深入探讨，指出联邦学习能够有效降低数据在传输过程中被攻击的风险，同时确保数据不被直接共享。

为了进一步提升联邦学习的性能，我们提出了DaQAvg这一新的权重聚合方法。该方法不仅考虑了数据量，还引入了数据质量这一关键因素，从而在聚合过程中优先考虑高质量数据的贡献。我们对多个图像质量评估指标进行了探索，包括基于感知的图像质量评估器（PIQE）、自然图像质量评估器（NIQE）以及熵值。这些指标能够在不依赖参考图像的情况下评估医学影像的质量，适用于多种医疗场景。通过综合使用这些指标，我们能够更准确地反映数据质量对模型训练的影响，从而提高聚合过程的效率和准确性。

在实验设计方面，我们采用了一种灵活的联邦学习框架，结合了UPenn-GBM和UCSF-PDGM数据集，并引入了降质后的UCSF-PDGM数据集以模拟现实中的噪声环境。实验结果显示，DaQAvg在噪声条件下仍能保持较高的分割精度，而FedAVG、FedProx和FedNova等传统方法在面对噪声数据时则表现得较为脆弱。这表明，DaQAvg在医学影像分割任务中具有显著的优势，特别是在数据质量波动较大的情况下。此外，我们还对不同训练轮次和本地训练轮数的配置进行了分析，发现通过优化通信轮次与本地训练轮数的比例，可以显著提升模型的性能。在实验中，我们发现随着通信轮次的增加，模型的准确性逐步提高，但在有限的训练轮次下，模型的泛化能力仍受到一定限制。

在理论分析方面，我们对DaQAvg方法进行了收敛性研究，提出了其在非独立同分布（non-IID）环境下的收敛保证。我们的分析表明，DaQAvg能够有效减少由于数据异质性带来的误差，并在数据质量波动的情况下保持较高的模型稳定性。此外，我们还探讨了该方法的局限性与可能的扩展方向，例如在部分参与（partial participation）和不同质量评估指标的应用上。这些分析为联邦学习在医学影像领域的应用提供了理论支持，并为未来的研究方向提供了参考。

实验结果表明，DaQAvg在联邦学习框架下的表现优于FedAVG、FedProx和FedNova，特别是在噪声条件下。这一结果强调了数据质量在医学影像分割任务中的重要性，并验证了DaQAvg在处理低质量数据时的鲁棒性。此外，我们还对不同数据集的分割精度进行了比较，发现DaQAvg在多种数据质量条件下均能保持较高的分割性能，而FedNova则在噪声条件下表现最佳，但其对数据质量的依赖性较高。这些发现表明，联邦学习框架的性能不仅取决于数据量，还与数据质量密切相关，而DaQAvg能够有效平衡这两者，从而在实际应用中具有更高的可行性。

本研究的另一项重要贡献是提出了一种全新的联邦学习模型，该模型在保证数据隐私的同时，实现了更高的分割精度。此外，我们还展示了如何通过调整训练参数和优化通信策略，提高联邦学习在实际医疗场景中的适用性。这些结果不仅验证了联邦学习在医学影像分割中的潜力，还为未来在更多医学任务中的应用提供了理论依据和技术支持。

在实际应用中，联邦学习框架的实施需要考虑多个因素，包括数据传输成本、模型大小和计算资源。我们的实验表明，模型的总参数数量为113,399,301，模型大小约为432.58 MB，这在当前的计算设备中是可行的。此外，我们还评估了模型的推理时间，发现每个扫描的分割过程大约需要4.55秒，这在实际临床应用中是可接受的。然而，模型的训练和优化仍需要进一步研究，以确保其在不同医疗环境中的适用性。

总的来说，本研究提出了一种新型的联邦学习模型Federated E-CATBraTS，并引入了DaQAvg这一优化的聚合方法。通过实验验证，我们发现该方法在处理多模态医学影像分割任务时，能够有效提升模型的性能，同时保障数据隐私。这些结果不仅为联邦学习在医学影像领域的应用提供了新的思路，还为未来的研究奠定了基础。尽管当前的联邦学习框架仍面临一些挑战，如数据异质性、模型收敛性和计算资源限制，但随着技术的不断进步，这些挑战有望得到进一步的解决。