《Journal of Visual Communication and Image Representation》：THE-GEFusion: A topological heterogeneity association enhancement and gated expert fusion framework for multimodal pathological-genomic integration
编辑推荐：
摘要使用多模态数据（IHC PD-L1表达、CT影像和基因组测序）预测晚期非小细胞肺癌（NSCLC）的免疫治疗反应仍然是临床医生和深度学习算法面临的一项艰巨任务。对于深度学习算法而言，主流方法通常将补丁级别的特征模型应用于IHC PD-L1图像，或采用静态融合策略，这些方法无
摘要
使用多模态数据（IHC PD-L1表达、CT影像和基因组测序）预测晚期非小细胞肺癌（NSCLC）的免疫治疗反应仍然是临床医生和深度学习算法面临的一项艰巨任务。对于深度学习算法而言，主流方法通常将补丁级别的特征模型应用于IHC PD-L1图像，或采用静态融合策略，这些方法无法有效捕获跨区域语义关联和模态间的动态依赖关系，从而最终限制了预测的准确性。本研究提出了THE-GEFusion，一个多模态病理-基因组联合分析框架，该框架将IHC全切片图像（WSI）与基因组数据相结合，以解决上述局限性。该框架构建了双图-超图表示，并引入了拓扑异构性增强模块（THEM），以增强图节点和超图节点之间的互补性。此外，门控混合专家融合模块（GHEFM）利用样本特征作为调制信号，自适应地调整特定专家的权重，从而提高了NSCLC免疫治疗反应的预测性能。在免疫治疗反应预测实验中，THE-GEFusion相比一系列最先进的模型取得了优越的性能，展示了其在推进NSCLC免疫治疗反应预测方面研究的强大潜力。
引言
非小细胞肺癌（NSCLC）是最常见的肺癌类型[1]。尽管免疫治疗显著改善了治疗效果，但不到40%的患者能获得持久的临床获益[2]，[3]。因此，准确预测免疫治疗反应已成为一个重要的研究课题。
在临床实践中，免疫治疗决策通常由免疫组织化学程序性细胞死亡配体1（IHC PD-L1）染色得出的肿瘤比例评分（TPS）来指导[4]。随着深度学习的发展，数字病理学在利用IHC PD-L1全切片图像（WSI）进行自动免疫治疗反应预测方面展现出了巨大的潜力[5]，[6]，[7]，[8]。现有方法通常将WSI建模为图来表征组织形态[9]，[10]。MCA-RG [11]进一步证明了在医学成像中结构化跨模态表示学习的重要性。近期的基于注意力的研究也展示了在增强视觉特征表示和交互方面的强大能力。一种自适应图注意力机制[12]在特征更新过程中同时增强了局部结构信息和上下文依赖关系，并减少了冗余信息。BiAtten-Net [13]提出了一种深度双向注意力网络，有效促进了成对特征分支之间的信息交换，并提高了对细微视觉差异的敏感度。随后，PBAN [14]进一步整合了双向特征对齐、多尺度自适应感知和细粒度信息激发，提供了对复杂视觉模式的更全面表征。除了基于注意力的表示学习外，HyperSSM [15]将动态超图计算与状态空间模型相结合，以捕获高阶运动相关性并提高对噪声和遮挡的鲁棒性，证明了基于超图的协同推理在超越成对交互方面的有效性。尽管这些方法在通用视觉表示学习和运动推理方面取得了令人瞩目的成果，但现有的病理导向方法仍然主要关注成对关系，往往无法捕获WSI内的高阶结构依赖和全局语义交互，从而限制了其表征复杂肿瘤微环境的能力。除了病理形态外，基因组变异也在决定免疫治疗结果方面起着重要作用。因此，整合病理和基因组信息的多模态学习引起了越来越多的关注。Xing等人[16]证明了跨模态交互在整合异质病理和分子信息方面的有效性。与此同时，CA-Diff [17]强调了在医学图像分析中建模复杂结构关系的价值。然而，大多数现有的多模态融合方法依赖于静态或线性融合策略[18]，[19]，[20]，这些策略无法充分适应样本特定的模态贡献。因此，模态间的互补信息未被充分利用，导致预测性能次优。
为应对这些挑战，本研究提出了THE-GEFusion，一个联合分析IHC PD-L1 WSI和基因组数据以进行免疫治疗反应预测的多模态框架。所提出的框架由两个关键组件组成。首先，拓扑异构性关联增强模块（THEM）构建互补的图和超图表示，以捕获局部组织关系和高阶结构依赖。其次，门控混合专家融合模块（GHEFM）根据患者特定特征动态调整模态贡献，从而实现自适应的多模态融合。通过联合建模病理拓扑和跨模态交互，所提出的框架旨在提高NSCLC免疫治疗反应评估的预测准确性和鲁棒性。与现有的跨模态对齐和掩码学习不同，THE-GEFusion将双向图-超图关联增强与患者特定的专家路由相结合，以联合建模异质病理拓扑和自适应病理-基因组交互。这种设计使得局部成对组织关系和高阶病理依赖能够在拓扑特定编码之前进行交互，同时动态地将非线性多模态融合适应于每个患者的联合病理、基因组和临床状态，从而解决了当前免疫治疗预测研究中尚未充分探索的挑战。
总之，本文的创新和贡献主要体现在以下两个方面：
（1）提出了一个多模态病理-基因分析框架（THE-GEFusion），旨在增强跨拓扑关联并进行门控专家混合融合，以实现免疫治疗反应的准确预测。
（2）引入了一个Topological Heterogeneity association Enhancement Module（拓扑异构性关联增强模块，THEM），用于建模图-超图特征相似性，实现跨结构互补性并增强IHC PD-L1区域的空间-语义表示。
（3）开发了一个Gated-controlled Hybrid Expert Fusion Module（门控混合专家融合模块，GHEFM），利用样本驱动的门控信号自适应地分配模态特定的专家权重，从而实现IHC PD-L1和肿瘤基因组特征之间的动态融合和非线性交互。这种设计增强了多模态特征集成并提高了免疫治疗反应预测的准确性。
本文其余内容安排如下：第二部分回顾了相关研究工作；第三部分介绍了所提出的多模态融合框架和关键算法设计；第四部分展示了实验结果和性能分析；第五部分总结了全文并展望了未来的研究方向。
章节摘要
单模态数据驱动
在计算病理学领域，全切片图像（WSI）分析正从局部补丁分类发展为结构化和层级化表示学习。早期基于CNN的方法可以提取局部纹理和形态特征，但难以捕获肿瘤微环境中的长程依赖和跨区域语义关系。Adnan等人[21]首次将WSI建模为全连接图并引入注意力池化……
方法论
如图1所示，THE-GEFusion由三个主要模块组成：（1）多模态特征编码模块；（2）拓扑异构性关联增强模块（THEM）；（3）门控混合专家融合模块（GHEFM）。整体框架通过跨结构注意力机制实现图和超图特征的互补学习，同时通过专家混合策略自适应地进行多模态融合。算法1展示了整体工作流程……
数据集
为了验证本文提出的多模态融合预测方法，我们选择了纪念斯隆-凯特琳癌症中心（MSKCC）的NSCLC公开队列[42]。该队列包括247名接受PD-L1免疫治疗的晚期NSCLC患者。其中163名患者同时具有基因组和PD-L1 IHC病理数据，这些数据用于构建和验证病理-遗传联合预测模型。
纳入标准为：接受PD-L1……
结论
本研究提出了THE-GEFusion，一个结合病理数据和基因组数据以精确预测NSCLC患者免疫治疗反应的统一多模态整合框架。该框架解决了多模态免疫治疗反应分析中的两大挑战：现有的基于图的建模方法无法捕获IHC PD-L1病理图像表示中的跨区域语义关联，且缺乏跨不同模态的自适应融合机制。
CRediT作者贡献声明
Hanchen Wang（王韩辰）：撰写–审阅与编辑，撰写–初稿，软件，方法学，数据整理，概念化。Baisen Cong（丛百森）：撰写–审阅与编辑，项目管理，方法学，数据整理。Yan Ding（丁燕）：撰写–审阅与编辑，监督，软件，数据整理。Lijun Huang（黄丽君）：撰写–审阅与编辑，方法学，数据整理。Guanqiu Qi（祁冠球）：撰写–审阅与编辑，监督，方法学。William C. Cho（卓威廉）：撰写–审阅与编辑，方法学，数据……
未引用参考文献
[48]，[49]，[50]，[51]，[52]，[57]，[58]，[59]
利益冲突声明
作者声明他们不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。
致谢
本研究由国家自然科学基金委员会资助：62576062，重庆市教育委员会科学技术研究项目：KJZD-M202500604，新重庆青年创新人才：CSTB2024NSCQ-QCXMX0067以及重庆市自然科学基金项目：CSTB2024TIAD-GPX0015。
Hanchen Wang（王韩辰）|Baisen Cong（丛百森）|Yan Ding（丁燕）|Lijun Huang（黄丽君）|Guanqiu Qi（祁冠球）|William C. Cho（卓威廉）|Zhiqin Zhu（朱志勤）
