基于规则感知视觉语言模型的成人型弥漫性胶质瘤分子预测框架

《npj Digital Medicine》：Rule-aware reasoning visual language model for molecular prediction in adult-type diffuse glioma lacking contrast enhancement

　　

摘要

准确术前预测异柠檬酸脱氢酶（IDH）突变和1p/19q共缺失对于成人型弥漫性胶质瘤中缺乏对比增强的病例（ADG-LCE）的治疗规划至关重要。现有方法在可解释性与自动化之间面临权衡。我们开发了一种视觉语言模型（VLM）框架，用于利用标准CT和MRI对ADG-LCE进行可解释的分子预测。本回顾性多中心研究纳入了873例经病理确诊的ADG-LCE患者。分子推理引导的语义视觉语言模型（MIG-SemVLM）提取了五项语义影像特征（T2-FLAIR不匹配征、皮质受累、钙化、FLAIR均匀性和肿瘤边界），这些特征通过基于规则感知的LLM，结合年龄和ADC比值，按照简单评分体系进行整合。模型性能通过AUC、准确率、F1分数和平衡准确率进行评估，并在300例中对人机协作进行了评估。MIG-SemVLM在五项特征上均实现了优异的语义提取性能（AUC范围：0.9215–0.9536）。规则感知的LLM在测试集上表现出强大的分子预测能力：IDH突变（AUC：0.9349，准确率：0.8806）和1p/19q共缺失（AUC：0.9126，准确率：0.8538）。在探索性人机读者研究中，AI辅助与读者诊断准确率的提升相关（IDH：+7.0%，1p/19q：+7.0%），并将每例决策时间缩短了56.2秒。所提出的具有规则感知推理能力的VLM框架为ADG-LCE提供了准确且可解释的分子预测，有助于经验较少的读者在临床决策中获益。