《Computers in Biology and Medicine》：MOIS-SAM2: Exemplar-based segment anything model 2 for multi-lesion interactive segmentation of neurofibromas in whole-body MRI
编辑推荐：
为解决神经纤维瘤病1型（NF1）患者全身MRI（WB-MRI）中数百个神经纤维瘤（NFs）手动分割耗时且现有交互式方法难以兼顾精度与可扩展性的难题，本研究提出了一种名为MOIS-SAM2的新型多目标交互式分割模型。该模型在Segment Anything Model 2（SAM2）的基础上，创新性地引入了基于范例的语义传播机制，通过存储已分割病灶的语义表征来指导未标注病灶的分割。研究结果显示，MOIS-SAM2在域内测试集上取得了0.60的扫描级Dice相似系数（DSC），显著优于基线模型nnU-Net（0.54）和SAM2（0.35），并在MRI场强变化、低肿瘤负荷及临床站点差异等域外测试场景下均表现出优异的泛化能力。该模型通过极少的用户交互即可实现高效、可扩展的多病灶分割，为NF1的临床监测工作流提供了强有力的支持。
在神经纤维瘤病1型（NF1）的临床管理中，全身磁共振成像（WB-MRI）是监测神经纤维瘤（NFs）生长和恶变风险的金标准。然而，NFs在患者体内往往数量庞大、形态各异且分布广泛，对其进行手动分割不仅耗时数小时，还面临着巨大的观察者间和观察者内差异。尽管深度学习模型如nnU-Net在自动化分割上取得了一定进展，但它们难以应对NFs的高形态学变异性和域偏移（如扫描仪差异）。而现有的交互式分割方法，如Deep Interactive Networks（DINs），虽然通过用户点击进行修正，但其全局传播机制限制了其对单个病灶进行精细调整的能力。更先进的Segment Anything Model 2（SAM2）虽然支持实例级精修，但在面对数百个病灶时，要求用户对每个病灶单独点击，这在临床实践中是难以承受的负担。因此，开发一种能够以最少用户输入实现高效、可扩展的多病灶分割方法，是当前NF1影像分析领域亟待解决的关键挑战。
为了攻克这一难题，来自德国汉堡-埃彭多夫大学医学中心的研究团队在《Computers in Biology and Medicine》上发表了题为“MOIS-SAM2: Exemplar-based segment anything model 2 for multi-lesion interactive segmentation of neurofibromas in whole-body MRI”的研究论文。该研究提出了一种名为MOIS-SAM2的新型多目标交互式分割模型，旨在通过“范例学习”机制，将用户对少数病灶的标注知识自动传播到整个扫描图像中，从而实现对大量相似病灶的快速、精准分割。
本研究基于一项回顾性研究，纳入了来自84名NF1患者的119例T2加权脂肪抑制WB-MRI扫描数据。研究团队将数据集按患者层面划分为训练集和四个独立的测试集，分别用于评估模型在域内、MRI场强变化、低肿瘤负荷以及临床站点和扫描仪差异等不同场景下的性能。为了构建MOIS-SAM2模型，研究人员在SAM2的基础上进行了关键性扩展。他们引入了“范例库（Exemplar Bank）”和“范例注意力（Exemplar Attention）”模块。当用户通过点击分割一个病灶后，该病灶的视觉嵌入、位置编码和对象指针等语义信息会被存储为“范例”。随后，模型利用范例注意力机制，将当前切片与范例库中的病灶进行语义匹配，从而自动识别并分割出图像中所有与范例相似的未标注病灶。这种设计使得模型能够同时支持基于提示的单病灶实例分割和基于范例的多病灶语义分割。在训练策略上，模型采用多任务监督，同时优化实例分割损失和语义分割损失，以确保其能够兼顾单病灶的精确度和多病灶的覆盖范围。
5.1. 架构消融研究
为了验证MOIS-SAM2中各个组件的有效性，研究团队进行了一系列消融实验。结果显示，原始的SAM2架构（仅支持多病灶语义分割）在扫描级DSC上表现不佳（0.50）。当尝试将范例信息直接输入到SAM2原有的记忆注意力模块中时，模型性能并未得到提升（DSC 0.49），这表明共享的注意力模块无法有效处理范例语义传播任务。进一步分析发现，从范例结构中移除对象指针（用于标识病灶身份）会导致性能显著下降（DSC 0.47），而移除切片索引对性能影响较小。最终，包含完整范例结构和专用范例注意力模块的MOIS-SAM2模型取得了最佳性能，扫描级DSC达到0.59，病灶检测F1分数达到0.73，证明了所提架构的有效性。
5.2. 范例数量的影响
研究分析了分割性能随范例（即用户提示的病灶）数量增加的变化趋势。结果表明，仅需1到2个范例即可显著提升所有评估指标。随着范例数量从1个增加到5-6个，性能逐渐达到饱和。例如，扫描级DSC从0.51提升至0.59，病灶检测F1分数从0.51提升至0.64。这一发现表明，MOIS-SAM2能够通过极少数量的用户交互，有效地将分割知识传播到整个扫描图像中，极大地提高了交互效率。
5.3. 与基线模型的基准测试
研究将MOIS-SAM2与六种基线模型进行了全面比较，包括自动卷积模型（U-Net, nnU-Net）、交互式卷积模型（DINs, SW-FastEdit）和交互式Transformer模型（SAM2, VISTA3D）。在域内测试集（Test Set 1）上，MOIS-SAM2以0.60的扫描级DSC和0.74的病灶检测F1分数，显著优于所有基线模型。在面临域偏移的挑战性场景下，MOIS-SAM2同样表现出色。在MRI场强变化（Test Set 2）和临床站点/扫描仪差异（Test Set 4）的测试集上，其性能下降幅度远小于其他模型，展现了卓越的泛化能力。特别是在低肿瘤负荷（Test Set 3）的病例中，MOIS-SAM2表现出了极高的敏感性，能够准确识别出稀疏分布的小病灶，其扫描级DSC达到0.61，远高于其他模型。
5.4. 交互效率
为了评估模型的实用性，研究比较了SAM2和MOIS-SAM2在相同用户交互次数下的分割性能。结果显示，MOIS-SAM2在所有测试集上均表现出更高的交互效率。例如，在域内测试集上，MOIS-SAM2仅需3次交互即可达到0.60的DSC，而SAM2在10次交互后DSC仍低于0.33。尽管MOIS-SAM2因范例传播机制导致单次推理时间略有增加（约17.4秒 vs. 12.0秒），但其通过更少的交互次数即可达到更高的精度，从而在整体上显著降低了用户的工作负担。
5.5. 临床有效性
为了评估模型分割结果与临床专家标注的一致性，研究进行了一项读者间变异性分析。结果显示，三位NF影像专家的读者间一致性DSC在0.57至0.69之间。而MOIS-SAM2在仅由非医学背景用户提供20次点击提示的情况下，其分割结果与专家标注的一致性DSC达到了0.62至0.68，完全落在专家间一致性的范围内。这表明，MOIS-SAM2能够以极低的用户输入，实现与专家水平相当的标注质量，具有极高的临床应用潜力。
本研究提出的MOIS-SAM2模型，通过将范例学习机制与先进的Transformer架构相结合，成功解决了NF1患者WB-MRI中多病灶分割的效率和精度难题。该模型的核心创新在于其能够将用户对少数病灶的标注知识，通过语义传播的方式，自动泛化到图像中所有相似的病灶上。这不仅极大地减少了用户所需的交互次数，还使得模型在面对不同扫描仪、不同场强以及不同肿瘤负荷的复杂场景时，依然能够保持稳健的性能。
研究结果表明，MOIS-SAM2在多个维度上均显著优于现有的自动化和交互式分割方法。其分割精度与临床专家间的一致性相当，证明了其作为辅助工具的可靠性。尽管模型在推理速度上略有牺牲，但其带来的交互效率提升和分割质量改善，使其在临床工作流中具有巨大的应用价值。该研究为医学图像分析领域提供了一种新的范式，即通过范例驱动的交互式学习，来应对多目标、高变异性的分割任务。未来，该技术有望被推广至其他具有类似挑战的医学影像分割场景中，为精准医疗提供更高效、更智能的解决方案。
