针对腹部和盆腔CT图像的医学图像，采用联邦增量语义分割技术

《Expert Systems with Applications》：Federated incremental semantic segmentation in medical images for abdominal and pelvic CT images

　　摘要
联邦增量语义分割旨在设计保护隐私的协作训练方法，以持续从分布式数据集中分割新类别。然而，将这一任务扩展到腹部和盆腔领域引入了新的挑战，这些挑战源于腹部和盆腔CT图像的固有特性，包括较低的前景-背景对比度和像素级数据不平衡。为了解决这些问题，我们提出了一种新的MedFISS框架，这是一种针对腹部和盆腔CT图像的联邦增量语义分割方法。具体来说，我们利用文本先验知识作为跨客户和跨任务的语义指导。基于这种先验，我们设计了一种任务相关性引导的自适应伪标记机制和结构一致性约束，这提高了低对比度腹部和盆腔CT图像中伪标签的可靠性，并减轻了灾难性遗忘现象。此外，我们在本地训练阶段提出了缓解策略，以逐步减少联邦增量语义分割中由像素级不平衡引入的偏差。Furthermore，我们量化了在模型聚合过程中不同类别的信息稀释程度，并应用了一种加权机制来减轻不同类别之间的信息损失差异。最后，我们在四个公共数据集上进行了实验，以验证我们方法的有效性。与当前模型AMOS-LITS相比，我们的方法在最终mIoU上实现了5.88%的改进。代码可从以下链接获取：https://anonymous.4open.science/r/MFISS/

引言
联邦语义分割（FSS）允许多个客户在分布式私有数据集上协作训练全局模型（Ma, Wang, Yang, Wang, 2024; Zhao, Pang, Wang, Qiao, Zhao, Wang, Lyu, 2025）。将FSS应用于腹部和盆腔CT图像分割是一个重要的临床应用，它可以有效降低注释成本并保护患者数据隐私。然而，现有的FSS方法假设前景类别集是静态的，在整个训练过程中保持不变（Liu, Wang, Liu, Xu, 2020; Liu, Chen, Qin, Dou, Heng, 2021b; Lv, Xiao, Liu, Lei, Fan, Liu, Li, Pan, 2026）。这一假设与现实世界的部署情况不符，因为在实际应用中，数据流会随着时间的推移不断到来，并且常常包含之前未见过或未被注释的前景类别。为了解决随着时间出现的新解剖结构或器官类别的问题，一些研究开始探讨医学图像分割中的类别增量语义分割（Zhu et al., 2026）。这些方法设计了针对特定策略，如伪标记机制，以便从当前任务数据中学习新类别并保持先前学习类别的分割性能（Zhang et al., 2023）。然而，大多数现有方法是在集中式训练环境中开发的（Cermelli, Cord, & Douillard, 2023）。对于腹部和盆腔CT图像分割而言，患者数据具有高度的隐私性和敏感性，直接在不同的医疗机构之间共享原始数据是不切实际的。研究人员引入了联邦增量语义分割（FISS）（Dong et al., 2023），以在动态且保护隐私的数据流下进行语义分割。在这种设置中，来自不同客户的数据会随着时间顺序到达，不断引入新的语义类别。模型在学习这些新类别的同时保留了先前的知识，而无需访问历史数据。最近的研究尝试通过构建伪标签和设计跨增量任务的损失函数来实现FISS。然而，对于腹部和盆腔CT图像的语义分割，FISS任务仍然没有得到充分探索。现有FISS方法直接应用于腹部和盆腔CT图像的连续语义分割时面临两个新挑战。首先，与自然图像相比，腹部和盆腔CT图像中的前景区域在强度和纹理上与周围组织的对比度较低，边界也不清晰。前景区域是指在特定任务中需要分割的目标区域，例如腹部器官分割中的不同器官类别。同时，不同增量任务之间的背景构成非常相似，通常由相对固定的解剖结构主导。伪标记机制用于缓解自然图像FISS中的背景偏移问题。背景偏移是指在当前增量阶段标记为背景的像素可能对应于之前或未来阶段的 foreground 类别，从而导致灾难性遗忘。然而，根据上述分析，伪标记的质量高度依赖于置信阈值的选择，而旧模型的数据分布与当前数据的分布不一致，这是这一任务设置中医学图像的独特特征。将伪标记方法直接转移到腹部和盆腔CT图像场景中更容易产生系统误差，例如边界漂移和遗漏小目标。因此，我们利用相邻任务之间的关联性和模型预测熵来自适应性地调整伪标签的置信阈值，从而提高伪标签的可靠性。此外，我们考虑基于跨增量任务中类别相似性和语义关系保持稳定的属性来构建约束，以进一步减轻灾难性遗忘。

此外，如图1所示，腹部CT图像中的前景区域与背景之间存在严重的像素级不平衡，且类别分布呈现长尾特征。因此，在每个客户每次增量阶段的本地训练中，决策边界倾向于背景区域，导致前景类别（特别是小对象类别）的欠拟合（Johnston & Yu, 2023）。更重要的是，这种对小对象的偏见在训练过程中逐渐增强，最终导致小对象的性能持续下降。因此，我们引入了一种分布鲁棒优化（DRO）框架，以提高模型对不平衡数据的鲁棒性。然而，在我们的任务设置中，旧类别的监督是通过伪标签提供的。即使我们的方法生成的伪标签具有相对高的置信度，仍然存在系统噪声，这会影响DRO框架的优化机制，甚至导致训练崩溃。基于上述分析，我们进一步利用特征空间中样本之间的相似性作为调节因素，以减轻DRO框架内伪标签的过度主导。尽管将现有的FSS和ISS方法直接结合用于腹部和盆腔CT图像可能是一个潜在的解决方案，但如上所述，大多数现有ISS方法是通过假设旧模型在相同数据分布上训练来缓解灾难性遗忘的（Cermelli, Cord, Douillard, 2023; Zhang, Li, Chen, Yuille, Liu, Zhou, 2023）。相比之下，腹部和盆腔CT图像场景中的FISS问题本质上涉及非独立同分布（Non-IID）的数据分布，这使得这一假设不再成立。因此，我们引入了语义先验作为跨客户训练期间的语义锚点，以减轻Non-IID数据分布下的语义漂移和类别不对齐问题。为此，我们提出了MedFISS框架，这是一种针对腹部和盆腔CT图像的联邦增量语义分割方法。具体来说，我们设计了一种任务相关性引导的自适应伪标记（TRAPL）机制，该机制通过结合梯度相关性和医学语义先验来构建任务相关性指标。这个指标与预测熵一起使用，用于自适应调整伪标签的置信阈值，以增强伪标签对细微前景-背景变化的抵抗力。此外，我们设计了一种结构一致性约束（SCC），通过整合文本和视觉信息来构建类别关系标签，并使用Kullback-Leibler（KL）散度来约束旧模型和新模型的预测分布。进一步，为了缓解像素级长尾问题，我们提出了一种基于一致性的鲁棒优化控制（CAROC）训练策略。这种策略引入了DRO框架来调节模型的反向传播更新，并设计了特征一致性标准来自适应调节DRO的优化强度，从而抑制伪标签中系统噪声的影响。最后，我们引入了聚合稀释比率（ADR）来量化聚合过程中的信息衰减程度，并进一步设计了ADR引导的联邦聚合（ADR-FA）策略，以在联邦平均过程中补偿不同类别。

本文的主要创新点和贡献总结如下：
•据我们所知，我们是首次系统地研究腹部和盆腔CT图像的FISS。我们揭示了由于CT图像和自然图像之间的差异而产生的领域特定挑战，并提出了MedFISS来应对这些挑战。
•利用文本先验知识，我们提出了一种结构感知的TRAPL策略，以提高腹部和盆腔CT图像场景中伪标签的可靠性，并结合SCC有效减轻FISS中的灾难性遗忘。
•我们在本地训练和全局聚合层面分别提出了CAROC和ADR-FA模块，以应对FISS设置下的多类别学习中的挑战。具体来说，CAROC逐步减轻了数据不平衡引入的偏差，而ADR-FA减少了聚合过程中不同类别之间的信息损失。
•我们在四个公共数据集上进行了全面实验，系统地验证了所提方法的有效性，并在mIoU上实现了5.88%的改进。

部分摘录
医学成像中的联邦语义分割（FSS）是一种分布式学习框架，允许不同客户在不交换原始数据的情况下共同训练模型，从而确保数据隐私（Chen, Xu, Xu, Zhao, Zhang, Cui, 2025; Liu, Xin, Yang, Teng, Cao, Du, Chen, Zu, 2026; Wicaksana, Yan, Zhang, Huang, Wu, Yang, Cheng, 2023）。在医学领域探索FSS范式为缓解医学图像分割中注释数据的稀缺性提供了一个有前景的方向（Ma, Wang, Yang, Wang, 2024; Wicaksana, Yan, ...）。

方法论
对于腹部和盆腔CT图像的FISS任务，我们将全局服务器表示为Mg，K个本地客户端表示为{Mk}k=1K。每个客户端从一系列流式分割任务{1,2,…,t}中进行学习。当Mk在训练轮次r参与任务t时，最新的全局模型θr,t?1会被分配给Mk，并在其私有数据Tkt={(xk,it,yk,it)}i=1Nkt～Pkt上进行训练，其中xk,it和yk,it分别表示第k个客户的图像和标签。本地数据分布{Pkt}k=1K...

数据集和数据预处理
在这个实验中，我们使用四个公开可用的医学图像基准数据集的部分数据来评估我们方法的有效性，包括AMOS（Ji et al., 2022）、LiTS（Bilic et al., 2023）以及CTPelvic1K（Liu et al., 2021a）的两个子数据集，即CLINIC和CLINIC-metal。AMOS数据集包含了来自600个独特患者的600张标注腹部扫描图像，包括500张CT图像和100张MRI图像，这些数据来自六个机构。该数据集为15个腹部器官提供了注释...

结论
在本文中，我们提出了一种新的MedFISS方法来解决腹部和盆腔CT图像的挑战性FISS问题。具体来说，我们通过TRAPL策略提高了伪标签的可靠性，并引入了SCC损失以在联邦增量学习过程中保持稳定的跨任务语义关系。此外，为了减轻像素级类别不平衡，我们在本地训练期间设计了CAROC策略。在全局聚合阶段，我们提出了ADR指标来量化类别之间的信息损失...

作者贡献声明
Manting Huang：撰写 – 审查与编辑、撰写 – 原始草稿、验证、方法论、概念化、调查、形式分析。
Sha Fan：撰写 – 审查与编辑、验证、调查、形式分析、方法论。
Chao Deng：撰写 – 审查与编辑、监督、资金获取、概念化、项目管理。
Yuecong Xu：撰写 – 审查与编辑、监督、概念化、方法论。
Kai Zheng：撰写 – 审查与编辑、监督。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。