《Bioengineering》:Annotation-Efficient Vulnerable Carotid Plaque Identification in 3D MRI: A Multimodal Knowledge-Transferred Framework
编辑推荐:
近年来,多模态学习因其能够有效利用来自不同模态的数据特征而受到关注。直接从颈动脉3D MRI图像诊断动脉粥样硬化斑块的易损性对放射科医生和传统3D视觉网络均构成挑战。临床实践中,放射科医生采用多模态方法评估患者,该方法融合了多种成像模态和领域专业知识,为构建多
近年来,多模态学习因其能够有效利用来自不同模态的数据特征而受到关注。直接从颈动脉3D MRI图像诊断动脉粥样硬化斑块的易损性对放射科医生和传统3D视觉网络均构成挑战。临床实践中,放射科医生采用多模态方法评估患者,该方法融合了多种成像模态和领域专业知识,为构建多模态诊断网络铺平了道路。本研究中,研究人员提出了一种有效框架,通过变分推断和多模态知识蒸馏(VMD)利用放射科医生的领域知识来改进颈动脉斑块易损性的自动诊断。该框架擅长从训练数据中有限的图像标注和放射学报告中利用跨模态先验知识,从而增强诊断网络对未标注3D MRI图像的准确性。研究人员在内部数据集上验证了所提出的VMD框架,证明了其有效性。
本研究发表于《Bioengineering》,提出了一种基于变分推断与多模态知识蒸馏(Variational inference and Multimodal knowledge Distillation,VMD)的框架,用于在三维磁共振成像(Three-Dimensional Magnetic Resonance Imaging,3D MRI)中实现标注高效的易损颈动脉斑块识别。
在研究背景方面,颈动脉狭窄患者常伴有动脉粥样硬化斑块,其中易损斑块破裂可引发缺血性脑卒中,致残率和死亡率高。高分辨率MRI序列能够清晰显示斑块组成,如薄帽纤维粥样硬化(Thin-Cap Fibroatheroma,TCFA)、富含脂质坏死核心(Lipid-Rich Necrotic Core,LRC)、钙化(Calcification,CA)和斑块内出血(Intraplaque Hemorrhage,IPH)。然而,准确判断斑块易损性需要放射科医生具备多年诊断经验。现有U-Net类视觉网络虽已用于血管壁分割和成分检测,但强监督分割需要大量像素级标注,尤其在三维图像上标注成本高昂且主观性强。采用仅包含血管区域的有限标注可降低劳动强度,却限制了模型对易损性的直接评估。此外,不同斑块成分在MRI上的灰度范围存在重叠,使得详细标注更为困难。放射学报告蕴含丰富领域知识,但在颈动脉斑块自动分析中常被忽略。因此,研究人员提出利用有限标注和放射学报告中的跨模态知识,构建无需详细标注即可诊断易损斑块的智能网络。
研究人员设计了一个三级蒸馏框架VMD,采用学生–教师–专家结构。学生网络从无标注的3D MRI图像直接预测斑块易损性;教师网络利用有限标注(血管区域)提供解剖学先验;专家网络从放射学报告中提取领域知识。通过变分推断和对比学习最大化互信息,将教师和专家网络的知识传递给学生网络,同时最小化交叉熵损失以提升分类准确性。VMD在训练阶段使用有限标注和放射学报告,但在推理阶段仅需输入原始3D MRI。在包含502个颈动脉样本(来自303例患者,其中350个易损、152个稳定)的内部数据集上,VMD在准确率、精确率、召回率、F
beta和AUC等指标上均优于基线方法和多种先进知识蒸馏方法,且诊断效率显著高于初级放射科医生。该框架降低了自动诊断对详细人工标注的依赖,为颈动脉斑块易损性的临床筛查提供了潜在的低成本工具。
关于关键的技术方法,研究队列来源于首都医科大学宣武医院神经外科2021年9月至2023年9月收治的颈动脉狭窄患者,共303例患者的502个颈动脉样本。主要技术方法包括:利用预训练于CT和MRI数据的MedicalNet作为视觉特征编码器,Mc-BERT作为中文医学文本编码器;构建学生、教师、专家三级网络,分别输入未标注3D MRI、有限标注与MRI的乘积、相应放射学报告;采用变分推断(通过重参数化计算潜在变量的均值和标准差)和基于对比学习的相似性优化最大化互信息,并通过最小化KL散度实现知识迁移;训练时使用5折交叉验证和在线数据增强。
研究结果如下。
**5.1 诊断特征可视化**:使用Grad-CAM可视化学生网络最终卷积层的特征图,发现网络注意力主要集中于颈动脉血管区域及其周围,与临床评估易损斑块的相关区域一致,表明模型学习到了具有临床意义的特征。
**5.2 与初级放射科医生比较**:从独立测试集选取54例(36个易损、18个稳定),由两名初级放射科医生和VMD分别诊断。VMD平均单张图像诊断时间为0.2659秒,准确率为0.7481;初级医生平均单张耗时分别为81.63秒和112.63秒,准确率为0.6111;差异均具有统计学意义。表明VMD在诊断效率和准确性上均优于初级放射科医生。
**5.3 消融研究**:消融实验分为两部分。第一部分验证专家网络对教师的指导,加入专家后教师模型的准确率从0.6732提升至0.7829(相对提升约16.3%),召回率、F
beta和AUC亦同步提升。第二部分验证教师和专家对学生网络的指导,与无指导基线相比,VMD在准确率、精确率、召回率、F
beta和AUC上分别提升10.5%、4.2%、10.8%、7.8%和12.8%。表明教师和专家提供的知识迁移无特征冲突,均可有效提升学生模型性能。
总结讨论部分,VMD通过互信息最大化,将变分推断和对比学习相结合,高效传递跨模态信息,且不引入额外推理成本。与基于分割的现有方法相比,VMD在推理时仅需原始3D MRI,无需多序列输入或额外标注,具有临床部署潜力。同时,研究存在局限性:单中心数据、单序列成像、仅二分类、训练阶段仍需有限标注、测试集样本量较小且类别不平衡。未来需多中心、多扫描仪外部验证以及前瞻性临床研究,以进一步评估其稳健性和应用价值。
研究结论部分的翻译为:颈动脉3D MRI易损斑块的自动诊断任务具有挑战性。本研究中,研究人员提出了名为VMD的学生–教师–专家蒸馏框架,用于颈动脉3D MRI的自动诊断,显著改善了对动脉粥样硬化斑块易损性的诊断。通过结合变分推断和基于对比学习的互信息优化理论,研究人员将教师网络和专家网络的跨模态信息高效传递给学生网络,且未引入额外推理成本。然而,目前结果基于单中心数据集,可能限制研究结果的普适性。未来工作将涉及在多中心、多扫描仪数据集上的外部验证,以进一步评估所提出框架的稳健性和临床适用性。