基于多模态大语言模型的MRI软组织肉瘤零样本分割与肿瘤直径测量

《Skeletal Radiology》：Zero-shot segmentation and tumor diameter measurement of soft tissue sarcomas on MRI using a multimodal large language model

　　

摘要

研究目的

旨在评估多模态深度学习模型（Gemini 3.0）在MRI图像上对软组织肉瘤进行无监督分割的能力，并比较通过自动分割得到的肿瘤直径测量结果与直接模型估算结果的准确性。

研究方法

这项回顾性研究使用了公共数据集（癌症影像档案），其中包含51名经组织学确诊患有软组织肉瘤的患者（平均年龄为54.8±17.0岁，24名男性，27名女性）。Gemini 3.0在脂肪抑制T2加权或STIR图像上执行无监督病变分割和直接直径估算。分割准确性是通过Dice相似系数与经过认证的放射科医生手动分割的结果进行对比来评估的。从Gemini分割掩模和直接估算得到的肿瘤直径则通过类内相关系数和Bland-Altman分析与手动测量结果进行比较。此外还通过Bootstrap分析来比较这两种自动测量方法的性能。

研究结果

Gemini生成的分割掩模的Dice相似系数平均值为0.935±0.082，这一数值与不同放射科医生之间的共识值（0.949±0.037）相当，且具有很高的重复性（Dice相似系数为0.981±0.038）。在肿瘤大小评估方面，通过分割得到的测量结果的类内相关系数为0.976，显著高于直接估算的0.922（p=0.027）。Bland-Altman分析显示，基于分割的方法的平均偏差为-0.5毫米，而直接估算的平均偏差则为-5.0毫米。

研究结论

Gemini 3.0在MRI图像上对软组织肉瘤进行无监督分割时表现出高精度。通过自动分割获得定量测量结果比直接由大型语言模型估算尺寸更为可靠。