通过特征融合和XAI技术，将视觉变换器（Vision Transformers）与ResNet-50集成在一起，以实现可解释的肺癌诊断

《Journal of Imaging Informatics in Medicine》：Ensembling Vision Transformers and ResNet-50 for Interpretable Lung Cancer Diagnosis with Feature Fusion and XAI Techniques

肺癌病理切片分类的混合深度学习模型研究。提出ResNet-50与Vision Transformer（ViT）融合架构，通过并行提取2048维空间特征和768维全局特征，融合后经三层数全连接网络输出分类结果。实验显示交叉验证准确率99.96%，测试集准确率99.82%-99.94%，并集成Grad-CAM、LIME等多维度可解释性分析，注意力热图与病理学家标注区域重叠度达87.3%。

　　

摘要

肺癌仍然是癌症相关死亡的主要原因之一，这主要是由于诊断上的不一致性和传统方法的局限性。本研究提出了一种新的深度学习框架，用于组织病理学肺癌分类，以满足对准确、透明且具有临床可行性的诊断系统的迫切需求。我们的研究引入了一种混合集成架构，该架构结合了ResNet-50的分层特征提取能力和Vision Transformer (ViT) 的全局上下文理解能力。输入图像通过两条路径并行处理：ResNet-50通过卷积和残差块提取2048维的空间特征，然后进行全局平均池化；而ViT从补丁嵌入和变换器编码器生成768维的特征。这些特征随后被融合成一个2816维的组合向量，该向量被输入到一个包含三个全连接层的分类头中，这些层应用了批量归一化、ReLU激活函数和Dropout正则化，最终输出一个3类的softmax结果。集成模型表现出卓越的性能，平均交叉验证准确率为99.96%±0.0004%，保留测试集准确率为99.94%，独立测试集准确率为99.82%。此外，通过整合多学科的可解释AI (XAI)策略（包括Grad-CAM、LIME、SHAP、显著性图、集成梯度和遮挡敏感性），提供了重要的可解释性，其中注意力热图与病理学家识别的感兴趣区域有87.3%的重叠。这项工作通过提供一种强大、高度准确且可解释的解决方案，显著推进了AI辅助的肺癌诊断，解决了当前的临床问题，并具有改善患者预后的巨大潜力。