《BMC Methods》：FedDA-TSformer: Federated Domain Adaptation with vision TimeSformer for left ventricle segmentation on gated myocardial perfusion SPECT image
编辑推荐：
本文介绍了一种创新的左心室自动分割方法FedDA-TSformer，它巧妙融合了联邦学习（Federated Learning）与域适应技术，应用于门控心肌灌注SPECT图像分析。该方法在保护患者数据隐私的前提下，有效解决了多中心数据异质性难题，显著提升了分割精度与模型泛化能力，为心血管疾病的精准诊断提供了可靠、安全的AI工具。
研究背景与意义
冠状动脉疾病是全球范围内导致死亡和残疾的主要原因之一。门控心肌灌注单光子发射计算机断层扫描因其能同时评估心肌灌注和左心室功能，已成为诊断冠心病的重要无创技术。该技术效用的核心在于对心内膜、心肌和心外膜等心脏结构的精确描绘，从而实现左心室功能的准确量化评估。然而，手动分割不仅费时费力，而且存在观察者内和观察者间的差异，导致结果不一致。此外，分割准确性还可能受到心外活动、示踪剂摄取降低等挑战的影响。尽管基于深度学习的方法在自动化左心室分割方面取得了进展，但大多数现有模型都是使用集中式数据集训练的，这些数据集由于数据隐私法规通常局限于单一机构。在临床实践中，原始医学图像无法在各机构之间自由交换，这极大地限制了此类模型的泛化能力和鲁棒性。
方法概述
本研究提出了一种新颖的方法FedDA-TSformer，它将联邦域适应与TimeSformer模型相结合，用于利用MPS图像进行左心室分割。该模型通过划分时空注意力机制捕获空间和时间特征，确保了跨多中心数据集预测的时空一致性。为了促进域适应，本研究采用了局部最大均值差异损失函数来对齐来自三个不同机构数据的模型输出。这一策略有效结合了联邦学习和域适应，在确保数据安全的同时增强了模型的泛化能力。
该框架包含四个关键组成部分：门控MPS预处理与目标及位置嵌入；将本地训练的TimeSformer模型权重和域适应参数传输到中央服务器；中央服务器使用复合损失更新模型，该损失包括Dice分割损失、注意力一致性损失和域适应损失，从而在保持分割精度的同时实现跨域泛化；将更新后的模型重新分发给每个本地站点。
数据与预处理
本研究纳入了来自三家医院的150名受试者的完全去识别化MPS数据集。其中73名来自南京医科大学第一附属医院，28名来自台湾彰滨秀传纪念医院，49名来自中南大学湘雅医院。所有患者均接受了静息和负荷状态下的8帧心电图门控SPECT成像。
为了处理每个3D MPS图像体素，首先将其纵向分割以产生32张2D长轴切面。由于远离左心室的区域为分割提供的信息有限，研究者从每张切面中裁剪出中心的32个像素，最终得到分辨率为32×32×32的3D体素。由经验丰富的核心脏病专家手动描绘每个门控MPS图像的心外膜和心内膜轮廓，并转换为二值掩膜作为手动参考标注。
基于TimeSformer的LV分割
研究者将左心室分割问题重新表述为利用4D MPS时空信息的时间序列预测任务。模型的输入是连续门控MPS 3D体素的序列。由于门控MPS帧代表了心肌随时间的动态变化，时空维度尤为重要。传统模型在处理这些复杂的时空交互，尤其是在需要同时分析细粒度空间细节和长程时间依赖性的场景中可能存在困难。因此，本研究采用了TimeSformer模型，因其能够有效捕获对4D MPS数据中准确左心室分割至关重要的空间和时间依赖性。
TimeSformer模型专为2D图像预测设计，而输入是3D，且需要3D输出。为此，研究者对TimeSformer模型进行了修改，使其能接受3D输入并产生3D预测。具体而言，将每个门控MPS分解为大小为P×P×P的块，然后将其扁平化为向量，并通过可学习矩阵线性变换为嵌入向量，同时添加可学习的位置嵌入向量以编码每个块的时空信息。
为了支持3D空间中的密集体素分割，研究者用一组可学习的目标标记替换了标准的分类标记。这些标记被预置到块序列之前，旨在聚合跨时空维度的全局上下文信息。模型经过多个注意力层后，直接从这些标记产生分割预测。这种修改使得模型能够生成密集的3D预测，适用于体素分割。
模型采用划分时空注意力机制，首先沿时间轴计算注意力，然后在空间轴计算注意力，最后将两者结合。这种设计在保持捕获时空依赖关系能力的同时，显著降低了内存和计算成本，使其在资源受限的多机构联邦学习环境中更具效率和实用性。
FedDA-TSformer：保护隐私的左心室分割方法
医学影像数据高度敏感，在机构间共享原始患者数据会引发重大的隐私和合规问题。本研究涉及三个不同的中心，因此开发一种能够在确保患者数据保密并遵守数据保护法规的同时，协作训练鲁棒分割模型的策略至关重要。传统的集中式训练方法需要汇集所有中心的数据，由于这些隐私限制以及共享患者信息的潜在法律和伦理影响，并不可行。
联邦学习通过将本地数据和可识别信息保留在客户端，不在网络上传输，从而确保了客户端隐私。在训练过程中，只共享梯度和模型权重。与需要交换和使用源站点和目标站点数据的训练方法相比，联邦学习通过避免站点间的任何数据交换来保护患者信息。
然而，来自三家医院的MPS图像分布不同，模型在目标域的性能可能会迅速下降。为了增强模型在目标域的泛化能力，研究者加入了目标域的数据进行域适应学习。在联邦学习过程中，会产生两种不同的自注意力图：时间注意力图负责捕获时间依赖性，空间注意力图负责捕获空间关系。
优化与损失函数
当使用源域和目标域的数据时，由于成像协议、患者群体或成像设备的差异引起的显著域偏移可能导致模型性能不一致。解决这些差异需要一种有针对性的方法，使两个域之间的时空注意力模式和类级特征分布都对齐。本文采用了自注意力一致性损失和局部最大均值差异损失来促进带域适应的联邦学习。
自注意力一致性损失旨在确保模型的自注意力机制在两个域中捕获相似的时空关系。通过强制自注意力图之间的一致性，模型可以学习对域特定变化不变的鲁棒时空表示。LMMD损失的目标是通过最小化源域和目标域之间的分布差异来促进域适应，特别关注类别级别的对齐。通过确保源域中每个类别的特征与目标域中的对应特征紧密对齐，LMMD实现了更精确的域适应。
最终的损失函数是Dice分割损失、注意力一致性损失和LMMD损失的加权和。通过结合这些损失函数，该框架同时解决了时空注意力对齐和特征分布对齐问题，从而产生了一个既鲁棒又能有效跨域泛化的模型。
优化采用联邦平均方法聚合模型权重和梯度，同时考虑使用上述复合损失进行域适应。过程如下：服务器初始化全局模型并将其发送给客户端；客户端使用自己的数据和复合损失在本地训练模型；训练后，客户端将更新后的模型权重发送给服务器；服务器使用FedAvg聚合本地模型更新，计算新的全局模型，并相应更新梯度。
结果与分析
研究评估了所提出模型的有效性，采用V-Net和TimeSformer作为集中式基线，并在来自所有三个站点的汇集数据集上训练。此外，还纳入了两种联邦学习策略——FedAvg和FedDA——以实现在不跨机构共享患者数据的情况下进行协作模型训练。
定量评估表明，所提出的FedDA-TSformer在结合三个来源的数据集上，使用80%的数据进行训练，20%进行测试时，在心内膜分割方面取得了最高的DSC和SP，以及最低的ASD和HD。可视化比较显示，与其他模型和手动分割相比，FedDA-TSformer表现出更强的时间相关性，虽然不能完美匹配手动分割，但能持续保留随时间演变的动态分割区域。
进一步验证表明，FedDA-TSformer在使用两门控MPS序列时，无论是心内膜还是心外膜分割都取得了最佳性能。具体而言，FedDA-TSformer在使用两门控MPS序列进行心内膜分割时表现最佳，优于带或不带FedAvg的模型。
为了评估FedDA-TSformer在三个机构间的跨站点性能，使用来自两个中心的数据训练模型，并在第三个中心进行测试。结果显示，FedDA-TSformer在心内膜分割方面的性能优于TimeSformer，无论是否使用FedAvg。对于心外膜，FedDA-TSformer的性能与其他方法相当，甚至在使用TW和XY数据集训练并以NJ作为测试集时超过了它们。
超参数调优表明，对于心内膜分割，最佳结果是alpha=0.01和beta=100时获得；对于心外膜分割，最佳性能是在alpha=0.0001和beta=0.0001时获得。消融研究评估了每个组件对模型的影响，结果表明LMMD损失函数的影响最为显著，特别是在增强边界对齐指标方面。完整的模型在所有评估指标上都优于其他模型。
五折交叉验证显示，Fold 0在心和心外膜分割方面始终表现最佳，实现了高DSC、低HD和ASD以及良好的SP和SN指标。所有折叠结果的一致性表明，模型正则化良好，能够在不同的数据子集上实现稳定的性能。
为了评估统计显著性，进行了t检验。根据p值，所提出的FedDA-TSformer在心内膜分割方面，与所有基线模型相比，取得了显著更高的DSC和更低的ASD。
讨论与结论
与FedAvg等传统联邦学习方法相比，所提出的FedDA-TSformer框架在处理跨站点数据集的域偏移方面表现出显著优势。通过集成域适应机制，该方在应用于从不同机构收集的异构数据时，实现了更一致的分割性能。这在成像方案和患者群体差异很大的临床场景中尤为重要。
然而，联邦学习过程本身会带来较高的通信开销。本地模型更新的上传和全局模型的部署都需要大量的带宽和计算资源。这可能会限制此类方法在资源受限的临床环境中的实用性。
尽管结果令人鼓舞，但当前研究仍存在一些局限性。首先，数据集仅包含来自三个机构的150名受试者，可能无法完全反映真实世界应用中遇到的临床环境和成像方案的多样性。其次，客户端数量仅限于三个站点，限制了对框架在更大协作网络中部署时的可扩展性和稳定性的评估。第三，目前的方法仅专注于SPECT模态；泛化到其他成像模态仍有待探索。
总而言之，本研究提出了一种改进的TimeSformer，能够提取左心室心外膜和心内膜轮廓，同时通过联邦学习利用多个站点的数据更新模型，而无需交换任何原始患者数据。通过利用TimeSformer对时空数据的敏感性，深度学习模型实现了性能提升。该方法在150名受试者的数据集上得到了验证，多项测试证明了其可行性和准确性。所提出的模型在需要隐私保护的情况下确保了患者数据的机密性，同时有效地利用数据为左心室心内膜和心外膜分割提供辅助支持。
在潜在的临床应用中，该框架可以在不损害患者隐私的情况下支持跨医疗中心的大规模协作诊断，特别是在使用门控MPS进行心脏功能分析方面。未来的工作将扩大数据集规模，纳入CT和MRI等其他模态，并探索通信高效的联邦技术，以实现在资源受限的临床环境中部署。
