通过短长时记忆SAM 2加速医学影像的标注工作

《IEEE Transactions on Medical Imaging》：Accelerating Volumetric Medical Image Annotation via Short-Long Memory SAM 2

医学图像标注效率优化研究。针对SAM2在批量标注中的错误传播问题，提出SLM-SAM2架构，通过双记忆模块分别处理短期定位和长期结构关联，显著提升MRI/CT/超声视频的器官分割精度（Dice提升0.14-0.10），并降低60.575%的过传播修正时间。

　　

摘要：

手动标注体积医学图像（如磁共振成像（MRI）和计算机断层扫描（CT）是一个劳动密集型且耗时的过程。最近在视频对象分割基础模型方面的进展，例如Segment Anything Model 2（SAM 2），为通过手动标注一两层图像然后将目标掩膜应用到整个体积中来显著加快标注过程提供了潜在的机会。然而，SAM 2在这种情况下的性能存在差异。我们的实验表明，依赖单一的记忆库和注意力模块容易导致错误传播，尤其是在目标在前一层图像中存在但在当前层图像中缺失的边界区域。为了解决这个问题，我们提出了Short-Long Memory SAM 2（SLM-SAM 2），这是一种新的架构，它结合了不同的短期和长期记忆库以及独立的注意力模块以提高分割精度。我们在四个公共数据集上评估了SLM-SAM 2的性能，这些数据集涵盖了MRI、CT和超声视频中的器官、骨骼和肌肉。结果表明，与默认的SAM 2相比，所提出的方法表现显著更好，在初始适应时，当有5个体积和1个体积可用时，平均Dice相似性系数分别提高了0.14和0.10。SLM-SAM 2还对错误传播具有更强的抵抗力，与SAM 2相比，每个体积纠正传播后的掩膜所需的时间减少了60.575%，为医学图像的更准确自动化标注和分割模型开发迈出了重要一步。