基于自适应多图融合的病理图像肿瘤分级方法AMGF-GNN研究

本研究针对癌症分级中多尺度组织信息整合的挑战，提出自适应多图融合注意力图神经网络(AMGF-GNN)。通过构建细胞群落图、层次图和相似性图三通路模型，结合自适应融合模块和双重损失优化策略，在TCGA胶质瘤和IDC数据集上实现89.68%的准确率，为病理图像分析提供了新的多视角建模范式。

　　

在数字病理学快速发展的今天，全切片图像(WSI)分析已成为癌症诊断的重要工具。然而，传统卷积神经网络(CNN)在捕捉细胞间复杂空间关系方面存在局限，而单一图结构的图神经网络(GNN)又难以兼顾组织结构的多个尺度特征。特别是在肿瘤分级任务中，如何同时表征细胞形态学特征、群落分布规律以及多层次拓扑关系，成为制约病理人工智能发展的关键瓶颈。

悉尼大学计算机学院的研究团队在《Pattern Recognition》发表创新成果，提出自适应多图融合注意力图神经网络(AMGF-GNN)。该研究通过整合细胞群落空间分布、形态特征相似性和层次结构三重视角，开发了包含GIN层和双重注意力机制的新型架构，在保持病理可解释性的同时，将胶质瘤二分型准确率提升至89.68%，显著优于现有8种基准模型。

研究采用三项关键技术：基于HoVer-Net的核分割与566维特征提取（含ResNet特征和GLCM纹理特征）；KNN算法构建的三种拓扑图（细胞群落图G_C、层次图G_H和相似性图G_S）；以及包含单图注意力门和自适应融合层（公式8-10）的双重注意力机制。实验使用TCGA的654例胶质瘤WSI和IDC的922张切片，通过五折交叉验证评估性能。

多图构造模块显示，基于500像素阈值距离的细胞群落图在胶质瘤数据中贡献度最高（注意力权重28%），而IDC数据更依赖特征相似性图。网络架构比较证实，三图融合比任何单图路径准确率提高4.77-20.85%，证明多视角互补价值。自适应融合层动态调整各图权重，在epoch训练中使群落空间信息的注意力值从初始0.33升至0.52。双重损失函数（α=10^-3，β=1）通过矩阵范数‖S_ref-S_V‖_F²保持嵌入一致性，较单分类损失提升3.2% F1-score。

该研究创新性地将病理学家的多尺度诊断思维转化为可计算的图模型框架，其注意力热图可视化显示，高级别胶质瘤的高关注区域（top20%节点）分布更广泛（28% vs 低级别的9%），与临床侵袭性特征高度吻合。未来通过集成自监督预训练和动态图生成技术，有望进一步推动计算病理学从组织形态分析向预后预测领域拓展。