基于MedCLIP-SAMv2的跨模态医学图像零样本与弱监督分割框架研究

这篇研究提出了一种创新的MedCLIP-SAMv2框架，通过整合CLIP（对比语言-图像预训练）和SAM（分割任意模型）的跨模态能力，结合新型DHN-NCE（解耦硬负样本噪声对比估计）损失函数和M2IB（多模态信息瓶颈）技术，实现了在CT、MRI、超声和X射线四种模态下的高精度零样本与弱监督医学图像分割，为临床数据稀缺场景提供了通用解决方案。

　　

亮点

与现有技术的对比

表1显示，MedCLIP-SAMv2在零样本设定下的平均DSC（ Dice相似系数）从原版的64.54%提升至77.61%，NSD（归一化表面距离）从66.10%跃升至81.56%。弱监督场景中，平均DSC和NSD分别达到82.11%和87.33%，甚至超越仅用伪标签训练的nnUNet模型。

讨论

MedCLIP-SAMv2在脑肿瘤MRI、乳腺超声等复杂任务中展现出卓越的跨模态泛化能力。其核心创新在于：1）通过DHN-NCE损失优化BiomedCLIP的医学特征对齐；2）利用M2IB生成视觉提示替代人工标注；3）结合检查点集成（checkpoint ensembling）提升弱监督结果的可靠性。

结论

本研究升级的MedCLIP-SAMv2框架通过CLIP-SAM协同机制，为CT/X射线/超声/MRI四大模态提供了迄今最鲁棒的少样本分割方案，其文本驱动交互模式显著降低了临床部署门槛。

作者贡献声明

Taha Koleilat：主导方法论设计、代码实现与论文撰写；Hassan Rivaz：负责资源协调与理论指导；Yiming Xiao：参与临床验证与跨模态分析。

利益冲突声明

所有作者声明无潜在竞争性利益关系。

致谢

感谢加拿大自然科学与工程研究委员会（NSERC）和魁北克自然与技术研究基金（FRQNT）的资助支持（B2X-363874）。