用于预测乳腺癌组织病理学中HER2状态的空间-频率图注意力网络

《Biomedical Signal Processing and Control》：Spatial–frequency graph attention network for predicting HER2 status in breast cancer histopathology

　　**摘要**
准确诊断乳腺癌在指导治疗决策中起着关键作用，其中评估人表皮生长因子受体2（HER2）的表达对于靶向治疗至关重要。传统的HER2评估是一个复杂的过程，依赖于荧光原位杂交（FISH）和免疫组化（IHC），这两种方法不仅成本高昂、劳动密集，而且受观察者差异的影响较大。在这项研究中，我们提出了一种新的模型——空间-频率图注意力网络（SF-GANet），可以直接从现成的苏木精和伊红（H&E）染色全切片图像（WSI）中自动评估HER2表达，从而避免了额外的染色程序和相关成本。SF-GANet将空间拓扑与频域信息结合起来，以捕捉用于HER2识别的形态和纹理特征。该模型使用四个数据集进行训练和独立验证，这些数据集包含多个队列，包括三个公共数据集和一个来自江门市妇幼保健院（JMMCH）的数据集。与现有的最先进方法相比，SF-GANet在各种数据集上均表现出更好的性能，证明了其有效性和泛化能力，并凸显了其在计算病理学中自动评估HER2表达的潜力。

**引言**
乳腺癌占所有女性癌症病例的32%，仍然是全球最常见的女性恶性肿瘤之一[1]。乳腺癌的精准诊断和个性化治疗已成为国际医学研究的重点[2]。然而，当前的诊断金标准需要劳动密集的多步骤免疫组化（IHC）和荧光原位杂交（FISH）检测，这需要病理学家具备丰富的专业知识才能准确解读[3]。这种工作流程消耗了大量的人力、时间和医疗资源。通过高分辨率数字化病理组织切片生成的全切片图像（WSI）可以实现细胞级别的检查，并提供全面的组织学信息以用于诊断。这种细胞级分辨率产生的超高分辨率图像每张切片包含数亿个像素，使得手动分析变得不切实际，也远远超出了传统图像处理技术的能力范围。为了解决传统监督方法中巨大的标记成本和可解释性不足的问题，多实例学习（Multiple Instance Learning, MIL）提供了一个计算框架，用于弱监督的WSI分析[4]。该方法通过将WSI划分为数千个具有诊断意义的patch（实例）来应对千兆像素数据的复杂性，从而将特征维度降低到可计算的规模。此外，该方法还通过特征聚合机制对实例间关系进行建模，实现了无需详尽注释的切片级预测——有效地弥合了病理实践与计算可行性之间的差距。为了增强传统MIL在建模实例间关系方面的能力，研究人员引入了图卷积网络（Graph Convolutional Networks, GCNs）。作为处理关系数据的高效技术，GCNs为MIL框架提供了明确的机制，通过邻域信息聚合来捕捉复杂的实例间依赖性。尽管取得了这些进展，WSI分析在泛化能力和区分能力方面仍然面临挑战，特别是对于高度异质性和具有长距离依赖性的组织特征。为了解决这一问题，研究人员正在探索频域视角，这种视角能够揭示全局纹理模式、周期结构和光谱能量分布[5]。为了解决上述挑战，我们提出了SF-GANet，这是一个旨在通过双路径协同架构增强全局区分特征建模的新框架。空间路径采用基于特征相似性的聚类优先图构建策略来组织区域；同时，频率路径应用光谱调优策略来增强频域中的原始特征。然后通过空间-频率交叉注意力机制整合来自两条路径的表示，有效地将精炼的光谱特征与空间结构的图特征结合起来。基于这一创新架构，本研究的核心贡献包括：
(i) 我们提出了一种基于H&E染色的WSI的HER2二分类模型，避免了传统IHC/FISH检测的临床成本和组织消耗[6]；
(ii) 我们提出了一种空间-频率交叉注意力机制，该机制通过FFT将特征映射到频域，提取增强后的光谱特征，并将其与空间特征融合，以改善在病理组织异质性下的特征区分能力；
(iii) 我们采用了一种基于聚类优先的图构建策略，该策略基于特征相似性动态建立边，并结合图注意力层，有效聚合了语义相关的实例，克服了固定感受野建模的局限性；
(iv) 我们在来自四个独立医疗机构的多样化多中心数据集上进行了全面验证，这些数据集涵盖了不同的扫描仪和人口统计特征。从定量角度来看，SF-GANet在所有队列中始终优于现有的最佳基线模型，在临床JMMCH数据集上达到了85.1%的AUC和84.3%的准确率（超过了当前最佳水平10个百分点以上），从而证明了其强大的泛化能力和临床应用潜力。

**多实例学习范式**
多实例学习（MIL）范式为WSI处理提供了一个强大的框架。其基本思想是将整个WSI视为由许多未标记的“实例”组成的“容器”。MIL的核心任务是设计有效的实例聚合策略，从这些实例中学习映射函数，最终生成容器级别的预测。这种弱监督方法避免了昂贵的实例级注释需求，其关键挑战在于...

**初步研究**
在数字病理分析任务中，数据集包含带有切片级标签的WSI：??={(????,????)}????=1，其中????∈???×??×3表示高分辨率的病理图像，????∈{0,1}是根据标准病理标准分配的二进制诊断标签。这里，????=1表示至少存在一个阳性区域。由于像素级注释的成本过高，大多数诊断图像依赖于这种标记范式。因此，弱监督的MIL应运而生。

**数据集**
本研究利用了多源数据集来研究乳腺癌中的HER2表达。癌症基因组图谱（TCGA）数据库提供了全面的基因组信息，包含大量原发性癌症样本，是大规模癌症基因组学研究的一部分[30]。此外，我们还纳入了由葡萄牙波尔图大学健康研究与创新研究所（i3S）与系统与信息研究所合作组织的HERO挑战赛的数据。

**结论**
在这项研究中，我们提出了一个基于多实例学习的图卷积神经网络框架，该框架集成了傅里叶变换和图注意力机制，最终实现了特征融合。这一有效的分类网络能够区分乳腺癌中的HER2阴性和HER2阳性表达。通过使用领域标准的性能指标与多个基线模型进行评估，我们的方法在性能上全面超越了现有的模型。

**作者贡献声明**
Hao Xie：撰写——原始草案，项目管理工作；
Jinbin Zhuang：撰写——审阅与编辑，验证工作；
Qisheng Long：资源协调，数据管理；
Junying Zeng：监督，正式分析；
Mei Yang：资源协调，调查研究；
Yikui Zhai：监督，概念构思；
Hui Huang：可视化，数据管理；
Chuanbo Qin：撰写——原始草案，方法论设计。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本研究部分得到了广东省基础与应用基础研究基金会（项目编号2025A1515110259）、广东省普通高等学校2024年重点研究平台项目（项目编号2024ZDZX1008）以及吴杰平乳腺癌科学研究基金会2024年临床研究专项基金（项目编号320.6750.2024-2151）的支持。

**作者列表**
Hao Xie | Jinbin Zhuang | Qisheng Long | Junying Zeng | Mei Yang | Yikui Zhai | Hui Huang | Chuanbo Qin
五邑大学，中国