HyCANet：一种结合交叉注意力融合的混合卷积-注意力网络，用于肺癌组织病理学分类

《Scientific Reports》：HyCANet: a hybrid convolutional-attention network with cross-attention fusion for lung cancer histopathological classification

　　

摘要

肺癌组织病理学的解读需要仔细观察组织形态，尤其是区分良性肺组织、腺癌和鳞状细胞癌。尽管深度学习技术在数字病理学领域取得了显著成果，但如何在单一模型中同时捕捉细胞层面和组织层面的特征仍是一个挑战。为解决这一问题，本文提出了一种用于肺癌组织病理图像分类的混合卷积-注意力网络（HyCANet）。该模型采用并行架构，包含两个分支：一个是为学习局部形态特征设计的动态CNN分支，另一个则是为学习图像区域内的长距离上下文信息而设计的轻量级视觉Transformer分支。在这两个特征流中，局部特征和全局特征通过交叉注意力特征融合（CAFF）模块结合在一起，从而使两种特征在最终分类之前能够相互作用。所提模型的性能通过在LC25000数据集的肺部子集上进行验证，该数据集包含肺组织、肺腺癌和肺鳞状细胞癌的图像。在2,250张经过校正的分层测试图像上，HyCANet的准确率为96.44%，精确率为96.21%，召回率为95.97%，F1分数为96.08%。该模型的性能优于仅使用CNN、仅使用Transformer、串联混合模型以及专门针对病理学的编码器模型。消融实验进一步表明，动态CNN分支、轻量级ViT分支和CAFF模块都对最终性能有所贡献。此外，该模型还在BreakHis、CRC-Tissue、TCGA-Lung和PathMNIST数据集上进行了验证，表现出良好的性能。总体而言，这些结果表明HyCANet是一种适用于肺癌组织病理图像分类的可行且易于理解的模型，不过还需要通过患者级、切片级以及多中心临床数据集进行进一步验证。