《Information》:Refined Graph-Guided Fusion Network for Explainable Multimodal Lung Cancer Classification Using CT Imaging and Semantic Features
编辑推荐:
从计算机断层扫描(CT)图像中对良性和恶性肺结节进行分类仍然困难,因为肺结节可能难以分类,且单模态模型无法捕获互补的诊断信息。尽管深度学习取得了成功,现有方法仍仅依赖图像信息,缺失了可从专家放射科医师知识中获得的语义信息。为此,研究人员在本研究中提出了一种新的
从计算机断层扫描(CT)图像中对良性和恶性肺结节进行分类仍然困难,因为肺结节可能难以分类,且单模态模型无法捕获互补的诊断信息。尽管深度学习取得了成功,现有方法仍仅依赖图像信息,缺失了可从专家放射科医师知识中获得的语义信息。为此,研究人员在本研究中提出了一种新的多模态肺结节分类模型,命名为图引导融合网络(R-GGFN),该模型结合了三维(3D)CT图像特征与结构化放射科医师标注。所提出的架构由三个模型组成:用于图像特征提取的3D ResNet-18网络、用于编码语义信息的多层感知机(MLP)网络,以及用于捕获结节间关系并通过图融合多模态信息的图注意力网络(GAT)。研究人员添加了表格跳跃连接以保留判别性语义特征,并使用焦点损失来解决训练过程中的类别不平衡问题。为防止数据泄漏,研究人员在患者层面划分了公开可用的LIDC-IDRI数据集。在模型选择完成后仅访问一次的留存患者级测试集上的实验结果表明,所提出的R-GGFN达到了85.21%的准确率、0.9147的AUROC(受试者工作特征曲线下面积)、0.9213的PR-AUC(精确率-召回率曲线下面积)和0.8609的F1分数。在内部评估的所有单模态和多模态基线中,R-GGFN在包括准确率、AUROC、PR-AUC、F1分数、精确率、灵敏度和特异性在内的每项报告指标上均取得了最佳值。此外,所提出的方法通过结合可解释人工智能技术(如3D Grad-CAM、SHAP和图可视化)在图像、特征和图层面解释模型,增强了模型透明度。结果表明,图引导的多模态融合方法能够充分利用互补的图像与语义信息,提高诊断准确性和可解释性。本文提出的框架是肺癌计算机辅助诊断决策支持系统的一个良好且可理解的方案,也是迈向未来外部数据集验证的一步。
《Information》论文解读:精细化图引导融合网络实现可解释多模态肺癌分类
**1. 研究背景与问题**
肺癌是全球癌症死亡的主要原因之一。世界卫生组织(WHO,联合国负责国际公共卫生的机构)估计,2022年全球肺癌新发病例约250万例,死亡约180万例。肺结节在CT图像上可为良性、癌前病变或恶性,早期诊断对治疗至关重要;但结节在形态、大小、形状、纹理和密度上差异显著,放射科医师之间的判读变异普遍存在,使CT图像解释困难。近年来,基于深度学习(DL,利用多层神经网络自动学习数据表征的方法)特别是卷积神经网络(CNN,一种擅长处理网格状数据的神经网络)的计算机辅助诊断(CAD,利用计算机技术辅助医学影像判读的系统)显著提升了分类性能。然而,现有方法仅利用图像数据,无法利用放射科专家提供的语义信息;且单一模型架构难以全面捕获肺结节特征。多模态学习通过融合图像特征与结构化临床数据日益受到关注。LIDC-IDRI(肺癌图像数据库联盟与图像数据库资源计划,一个公开的胸部CT图像与标注数据库)除图像外还包含边缘、纹理、钙化、毛刺征、分叶征等语义属性。但多数融合方法仅简单拼接图像与表格特征,未显式建模结节间关系,也未保留语义重要信息;同时,深度学习模型缺乏可解释性,限制了临床应用。因此,研究人员开展了本研究。
**2. 研究内容与意义**
针对上述问题,研究人员提出了精细化图引导融合网络(R-GGFN),论文发表在《Information》期刊。该框架结合三维(3D)CT图像特征与结构化放射科医师标注,包含3D ResNet-18(一种18层三维残差卷积网络)图像特征提取、多层感知机(MLP,由全连接层组成的前馈神经网络)语义编码、图注意力网络(GAT,通过注意力机制聚合邻居节点信息的图神经网络)结节间关系建模与多模态融合,并通过表格跳跃连接保留判别性语义特征,采用焦点损失(focal loss,一种通过调整难易样本权重处理类别不平衡的损失函数)应对类别不平衡。在留存测试集上,R-GGFN准确率达85.21%,AUROC为0.9147,PR-AUC为0.9213,F1分数为0.8609,在所有内部评估模型中每项指标均最优,并通过3D Grad-CAM(三维梯度加权类别激活映射,一种可视化图像判别区域的方法)、SHAP(一种基于博弈论的特征重要性解释方法)和图注意力可视化增强了模型透明度。
**3. 关键技术方法**
研究使用公开LIDC-IDRI数据集作为样本队列来源,预处理后纳入867例患者、2602个结节,按患者层面以70/15/15比例划分训练/验证/测试集。主要方法包括:3D ResNet-18提取容积图像特征;MLP编码8项放射科语义标注(微妙度、内部结构、钙化、球形度、边缘、分叶征、毛刺征、纹理);门控多模态融合机制自适应加权图像与语义特征;GAT建模同一患者内结节间关系;表格跳跃连接保留原始语义信息;焦点损失与加权随机采样处理类别不平衡;3D Grad-CAM、SHAP与图注意力可视化实现多层级可解释性。
**4. 研究结果**
**4.1 基线模型性能结果**:在三个基线(表格MLP、XGBoost(一种梯度提升树模型)、3D ResNet)中,表格MLP准确率最高,XGBoost的AUROC约0.76,3D ResNet最低约0.70,表明放射科语义特征比纯图像特征更具判别力。
**4.2 多模态融合结果(晚期融合与门控融合)**:晚期融合准确率67.61%、AUROC 0.7427;门控融合准确率67.84%、AUROC 0.7457。两者均优于纯图像基线,但未建模结节间关系,性能低于R-GGFN。
**4.3 朴素GGFN训练结果**:按预先注册的最大验证PR-AUC准则选择第8轮为最终检查点,准确率66.29%,AUROC 0.7597,PR-AUC 0.7265。
**4.4 R-GGFN结果**:在留存测试集上准确率85.21%、AUROC 0.9147、PR-AUC 0.9213、F1分数0.8609,混淆矩阵显示假阴性和假阳性均较基线和其它多模态模型显著减少。
**4.5 所有模型对比**:R-GGFN在准确率、AUROC、PR-AUC、F1分数、精确率(87.84%)、灵敏度(84.42%)、特异性(86.15%)上均列七种模型之首。统计检验(McNemar检验、DeLong与bootstrap置信区间)证实R-GGFN与各基线差异显著。
**4.6 可解释性结果**:GradCAM-3D显示模型注意力集中于结节本体而非背景结构;SHAP显示微妙度、纹理、球形度对表格分支贡献最大且方向符合临床认知;图注意力可视化显示四个注意力头分布趋同,注意力保真度检验中移除高注意力边与随机移除边的AUROC差异仅0.0015,表明注意力权重未可靠识别关键结节连接。
**5. 讨论与结论**
讨论指出,图引导上下文学习与表格跳跃连接是性能提升的关键因素,但R-GGFN与朴素GGFN差异包含优化协议,跳跃连接的独立贡献尚需消融研究验证。局限性包括:全连接患者内图结构可能引入非解剖学连接;仅单层GAT限制复杂关系学习;参考标准基于LIDC-IDRI共识恶性评分而非病理确诊;需独立外部队列验证泛化性。未来工作包括外部多中心验证、分割掩膜监督、注意力正则化及延长训练轮次。
研究结论:本研究成功设计了多模态深度学习系统,通过融合医学图像、放射科语义描述符和结节间图关系学习,依据LIDC-IDRI共识恶性评分对肺结节进行分类。研究设定的五个目标(构建深度学习分类框架、融合临床表格数据与图像特征、设计图关系学习融合方法、通过XAI提升可解释性、在统一评估协议下比较不同策略)均在内部评估队列中实现;框架在外部队列及共识评分之外的泛化能力尚待验证。R-GGFN展示了图引导多模态融合、语义保留与多层级可解释人工智能相结合的有效性,为可理解的计算机辅助诊断系统奠定了基础。