DeferredSeg：面向医学图像分割的多专家延迟框架

《Pattern Recognition》：DeferredSeg: A multi-expert deferral framework for medical image segmentation

　　

• •
  DeferredSeg，一种用于医疗图像分割的像素级移交框架。
• •
  一种移交协作损失学习模型与专家分支之间的像素级路由。
• •
  一种聚合移交预测器鼓励空间连贯的移交区域。
• •
  一种负载均衡惩罚缓解了多专家设置下的路由崩溃。
• •
  使用合成专家掩码和离线临床医生注释的实验评估了协作分割。

引言

医疗图像分割是医疗数据分析的一项基本任务，旨在为图像中的每个像素或体素分配语义标签。准确的解剖结构或病理区域描绘对于广泛的下游应用至关重要，包括计算机辅助诊断、治疗计划和术中导航 [1]。与自然图像分割相比，医疗分割由于成像模态的异质性、低对比度边界、不规则形状以及高质量注释的稀缺性，本质上更具挑战性。传统方法已证明有效，但深度神经网络现在主导了医疗图像分割。跳连接架构，特别是 U-Net [2] 及其变体 [3], [4]，仍然是强大的临床基准。最近的基于 Transformer 的设计，包括 kMaXU [5]，通过全局上下文和多尺度表示学习进一步增强了性能。

尽管这些模型表现出显著的泛化能力，但最近的研究报告称，这些深度模型通常会产生 过度自信 或 信心不足 的预测 [6]。这种倾向在模糊或低对比度区域尤为明显，例如模糊边界、小病变和分布偏移 [7]。在高风险医疗分割中，此类问题构成关键风险：带有高确定性的错误预测可能会误导临床医生并造成严重后果。

因此，仅依赖自动化输出是不安全的；融入 人机协作，将临床专业知识整合到高风险案例的决策过程中是至关重要的。已经提出了几种交互式分割方法，例如 MIDeepSeg [8] 和 TIS [9]，减少了所需的用户交互量。然而，这些方法仍然要求用户对整张图像做出决策，而不是专注于较小、更模糊的区域。

学习移交范式解决了这个问题，允许模型在置信度低时要么做出自己的预测，要么移交给专家 [10], [11]。与传统的置信度估计不同，L2D 将转诊视为一个明确的决策，并将不可靠的预测路由到专家 [12]。

然而，现有的 L2D 方法在实例级操作，使其不适用于不确定性在像素级空间变化的密集预测任务。在医疗分割中，这种基于实例的移交无法解决局部模糊性，包括不清晰的组织边界和异质病变纹理。这促使了一种用于密集预测的区域选择性协作策略，其中只有模糊区域被转交专家审核，而不是要求全图校正。

在本文中，我们提出 DeferredSeg，一种用于密集医疗图像分割的像素级学习移交框架。我们框架的核心是一种像素级移交机制，旨在通过移交预测器和学习到的路由函数支持人机协作。这些组件动态路由像素级预测，确定是接受基础分割模型的预测还是将模糊区域移交给人类专家，如图 1 所示。在预期的部署中，专家仅提供针对由学习到的移交函数选择的像素或区域的局部校正。

我们的主要贡献是：

• 1.
  一种新颖的移交感知分割框架。 我们引入了 DeferredSeg，一种用于人机协作医疗图像分割的像素级移交感知框架。它具备一个动态移交预测器，智能地将像素级决策路由到基础模型或专家分支。这是由两个定制损失函数实现的：一个用于高效训练的代理移交协作损失，以及一个空间连贯性损失，以确保移交区域在空间上是连贯且可靠的。
• 2.
  用于平衡协作的多专家设置。 我们的方法引入了多个专家以促进协作决策。这包括一个负载均衡惩罚，缓解了路由崩溃，并不鼓励单个专家分支的严重过载或低利用。
• 3.
  骨干网络兼容实例化。 我们使用 MedSAM 实例化 DeferredSeg，并在 CENet 上进一步验证其可迁移性，表明提出的路由机制可以附加到不同的分割骨干网络上。
• 4.
  全面评估。 使用合成专家掩码和现有临床医生注释的实验表明，DeferredSeg 提高了系统级分割性能，同时量化了像素级专家路由比率。

章节摘要

经典和深度学习方法

早期的医疗图像分割依赖于手工方法，如基于能量的模型、基于阈值的方法 [13] 和基于图的方法 [14]。虽然对高对比度结构有效，但这些方法对噪声、参数调整和解剖变异敏感，并逐渐被数据驱动学习方法 [15] 所取代。

基于经典方法的局限性，学习方法，特别是基于 CNN 的架构，已成为主导

预备知识

我们首先形式化具有多个专家的 一般 学习移交问题，然后提供 0-1 损失的真实风险及其用于优化的替代者的公式化。

方法

我们的方法论将学习移交 (L2D) 从实例级预测扩展到像素级医疗图像分割。本节介绍了 DeferredSeg 的整体框架、像素级路由公式化、训练目标以及基于 MedSAM 的实例化。

实验

我们进行了广泛的实验，从四个方面评估 DeferredSeg：与强基准的对比、跨器官和模态的性能、扩展到多个专家的能力，以及关键组件的消融。

结论

我们提出 DeferredSeg，一种用于医疗图像分割的像素级移交框架。通过结合路由通道与移交感知、空间连贯性和负载均衡目标，DeferredSeg 为基础分割器和一个或多个专家分支提供了人机协作的像素级机制。使用合成专家掩码和临床医生注释的实验表明，DeferredSeg 改善了多个数据集上的系统级分割性能，特别是在

CRediT 作者贡献声明

田秋宇：写作 – 初稿，可视化，方法学。孙浩亮：写作 – 审阅与编辑，验证，监督，项目管理，方法学，资金获取。王云山：验证，数据管理。史英环：写作 – 审阅与编辑，验证。殷毅龙：写作 – 审阅与编辑，验证，资金获取。

写作过程中生成式 AI 和 AI 辅助技术声明

在准备本工作的过程中，作者使用生成式 AI 和 AI 辅助技术进行语法、格式和拼写检查。作者审阅和编辑了手稿，并对其内容负全部责任。

竞争利益声明

作者声明，他们没有任何已知的竞争性经济利益或个人关系，这些可能影响本文报告的工作。

田秋宇 |孙浩亮 |王云山 |史英环 |殷毅龙