大型语言模型与视觉深度学习模型在预测直肠癌新辅助放化疗后NAR评分的应用与价值

本研究探索了大型语言模型(LLMs)和计算机视觉模型在预测局部晚期直肠癌(LARC)新辅助放化疗(NACRT)后新辅助直肠(NAR)评分中的应用。研究人员利用160例患者的CT扫描和4种放射学报告数据，发现基于NACRT后MRI报告的LLM模型预测性能最佳(AUC=0.708)，显著优于临床基线模型(p=0.03)，而CT扫描的视觉模型预测效果有限。该研究为无创预测直肠癌治疗效果提供了新思路，具有重要临床意义。

　　

直肠癌是全球第三大常见恶性肿瘤，其中局部晚期直肠癌(LARC)的标准治疗方案是新辅助放化疗(NACRT)联合手术。然而，术后病理评估发现约24-42%患者达到病理完全缓解(pCR)，这意味着部分患者可能无需接受创伤性手术。目前，新辅助直肠(NAR)评分作为评估治疗效果和预后的重要指标，但其计算依赖术后病理数据，无法在术前预测。

新加坡国立癌症中心的研究团队创新性地将人工智能技术应用于这一临床难题。他们采用两种深度学习方法：针对CT扫描的计算机视觉模型(包括2D切片分析和3D整体分析)和基于放射学报告的大型语言模型(BioBERT)。研究纳入192例LARC患者数据，其中160例具有有效CT扫描，并收集治疗前后CT/MRI生成的四种放射学报告。通过五折交叉验证评估模型性能，主要指标为受试者工作特征曲线下面积(AUC)。

关键技术包括：(1)对3D CT扫描进行各向同性重采样和HU值标准化；(2)采用预训练RadImageNet模型进行2D切片分析；(3)构建3D ResNet模型处理整体CT数据；(4)使用BioBERT-Large模型分析放射学报告结论部分，并通过句子排列增加训练数据；(5)建立包含临床变量(cT/cN/cM)的基线逻辑回归模型进行对比。

研究结果显示：

1. 视觉模型表现
   两种CT分析方法预测效果均不理想，2D和3D方法的AUC分别为0.537(±0.095)和0.541(±0.072)，未能显著提升基线临床模型(p>0.05)。Grad-CAM可视化显示模型缺乏明确关注区域。

2. 文本模型突破
   NACRT后MRI放射学报告(MRI_Post)的预测性能最佳(AUC=0.708±0.042)。结合临床变量后，联合模型AUC提升至0.726(±0.106)，较单纯临床模型(0.687)具有统计学差异(p=0.03)。SHAP分析证实模型决策依据合理，如正确识别"未见明确残留病灶"等关键描述。

3. 数据增强价值
   通过句子排列将训练数据扩大5倍，使MRI_Post模型AUC从0.637提升至0.708，显著改善模型性能。

4. 临床变量贡献
   基线临床模型中，远处转移(cM)变量的预测权重最高，反映转移状态对预后的重要影响。

这项发表于《BMC Medical Imaging》的研究具有多重意义：首次系统评估了LLMs在NAR评分预测中的应用，证明放射学报告蕴含关键预后信息；揭示了CT影像在预后预测中的局限性，为后续MRI研究指明方向；开发的数据增强策略为小样本医学NLP研究提供参考。未来需通过多中心大样本验证，并探索多模态融合方法，进一步提升预测准确性，最终实现个体化治疗决策支持。