结合异构图注意力网络的多模态对比学习用于基因表达预测

《Journal of Computational Science》：Multimodal contrastive learning with heterogeneous graph attention network for gene expression prediction

**摘要**

**背景与目标：** 空间转录组学（ST）能够联合分析组织形态与基因表达，为空间分辨的分子机制提供见解。然而，现有的基于组织病理学全玻片图像（WSI）预测基因表达的方法往往无法有效地对齐多模态特征，且缺乏跨模态的鲁棒融合。本研究提出了一种新颖的框架MCL-HGAT，以提升空间基因表达预测的准确性和鲁棒性。

**方法：** 我们提出了一种多模态对比学习异构图注意力网络（MCL-HGAT）。首先，分别使用DenseNet-121和自归一化网络（SNN）从WSI中提取图像特征，以及从独立的scRNA-seq参考数据集中提取基因特征，然后通过对比学习在共享的潜在空间中对齐这些特征。构建了一个异构图，包含空间邻接边、功能相似边和跨模态对比边。利用一种多层异构图注意力网络进行建模，该网络具备标签引导门控和对比空间关系聚合功能，以捕捉复杂的语义交互。

**结果：** 在STNet和10xProteomic数据集上的评估表明，MCL-HGAT持续优于现有的最先进基线方法。在STNet数据集上，模型实现了0.449的均值皮尔逊相关系数（PCC@M），比第二好的方法提高了34.8%。在10xProteomic数据集上，模型达到了0.861的PCC@M和0.0119的均方误差（MSE）。值得注意的是，模型在STNet上将PCC@F提高了86%，表明对低表达基因或具有复杂空间模式的基因具有较高的鲁棒性。

**结论：** MCL-HGAT通过异构图推理有效地整合了多模态生物信号。所提出的框架为捕捉复杂的空间-功能耦合提供了鲁棒工具，在肿瘤微环境分析和生物标志物发现方面具有巨大潜力。

**引言**

组织结构中基因表达的异质性空间分布在推动各种复杂疾病的发生和进展中起着关键作用[1], [2]。因此，准确表征基因表达的空间动态对于识别恶性生物学行为、理解治疗抵抗以及设计个性化治疗策略至关重要[3], [4]。

空间转录组学（ST）技术通过以空间分辨的方式捕获基因表达，能够从组织切片中同时获取组织结构和转录组谱信息，为研究肿瘤异质性、干细胞生态位和免疫逃逸机制提供了强有力的支持[1], [5]。然而，当前的ST平台（如10x Visium和Slide-seq）严重依赖专业的原位测序设备。这些平台在成本、通量和分辨率之间难以取得平衡，且通常需要新鲜组织样本、高质量的包埋和复杂的实验步骤，这阻碍了其在临床环境中的可扩展性和应用[6], [7]。

相比之下，全玻片图像（WSI）作为组织形态的标准化记录在医疗机构中常规存档，不仅具有便捷的获取性、高分辨率和广泛的可用性，而且内在地编码了丰富的结构和细胞特征，反映了组织微环境的组织方式[8], [9]。因此，深度学习方法已试图将WSI中的组织学特征映射到基因表达，为直接的ST测序提供了一种具有成本效益且可扩展的替代方案[10]。

早期研究主要基于卷积神经网络（CNN）构建端到端回归模型。例如，STNet[11]微调了在ImageNet上预训练的ResNet，直接从图像块预测基因表达，而NSL[12]假设染色强度与基因表达之间存在线性关系，应用浅层CNN进行快速映射。这些方法证明了从病理图像中提取基因表达信号的可行性。然而，由于传统CNN固有的有限感受野，这些模型难以捕捉组织结构中跨长距离的空间依赖关系，例如肿瘤-基质界面的间室信号或免疫细胞的空间浸润模式[13]。此外，基因表达在不同空间域上的高度异质分布增加了模型对噪声的敏感性，独立预测策略缺乏全局上下文感知能力，阻碍了对更广泛表达趋势的发现[14]。此外，这些模型仍难以准确捕捉组织结构与分子功能之间的高层次语义关联。

近年来，图神经网络（GNN）通过显式建模空间邻近性为基因表达预测提供了新方法。在这些方法中，STGAT[15]将病理图像分割为图节点，并通过多头注意力聚合局部上下文特征，提高了近细胞分辨率下的预测准确性。ErwaNet[16]在此基础上引入了边关系特定的注意力模块，动态调整图像块之间的连接性并降低计算成本。然而，这些方法主要仅基于图像模态构建同构图，缺乏对跨模态交互的建模机制。因此，它们在捕捉组织形态与基因表达之间的复杂语义关系方面存在不足，限制了在统一表示空间中整合多模态生物信号的能力。

为克服这些局限性，多模态对比学习作为一种有前景的策略应运而生。例如，mclSTExp[17]通过联合优化病理图像和空间转录组数据之间的对比损失来学习跨模态的共享表示。虽然该方法改善了模态级别的对齐，但通常依赖于基于相似性的聚合，并未显式建模空间层次或异质关系。因此，其表示复杂生物过程的能力仍然有限。

为此，我们提出了MCL-HGAT（多模态对比学习异构图注意力网络）。按照既定的流程，通过DenseNet-121从WSI图像块中提取图像特征，通过SNN从scRNA-seq参考数据中提取基因特征，然后模型通过CLIP风格的对比学习对齐两种模态。通过对比预训练识别出的正负关联随后被编码为异构图中的持久二元标记的跨模态对比边（CCE），在此基础上我们设计了AttentionLabeledEdge算子，以充分利用CCE在消息传递过程中承载的二元监督信号。我们进一步引入了CSRA模块，在传统的多层异构图传播后，使用生物对齐的基因上下文选择性精炼图像表示。本文的主要贡献如下：

- 我们提出了一种异构图框架，将对比特训监督编码为结构先验。在SAE和FSE用于模态内推理的基础上，引入CCE作为一种新颖的边类型，将对比预训练中的硬二元标签直接嵌入为图属性，将预先建立的语义边界作为持久图先验保留，使得下游模块能够对正负基因邻居应用不同的操作，而无需在推理时重新计算跨模态对齐。
- 我们设计了AttentionLabeledEdge算子，专门为CCE边构建，以实现标准注意力算子无法利用的二元标签语义。通过将二元边标签纳入消息构建并采用内容自适应门控机制，该算子确保正负基因邻居产生根本不同的聚合贡献。
- 我们提出了CSRA模块，在多层传播后通过仅关注正标签CCE邻居来精炼图像表示。注意力权重从图像节点与对齐的基因邻居之间的特征差异计算得出，而非基于特征相似度，从而捕捉基因邻居中存在但尚未在当前图像嵌入中建模的互补分子信号。一个可学习的门控系数控制信号注入，同时保留原始结构信息。
- 我们在STNet和10xProteomic数据集上进行了广泛的实验，并通过设计的消融研究验证了每个组件的贡献。与现有的最先进方法相比，MCL-HGAT在所有评估指标上均实现了一致性的提升，对低表达基因或具有复杂空间模式的基因展现出卓越的鲁棒性。

**相关工作片段**

空间转录组学能够在肿瘤微环境内解码基因调控网络[18], [19]。然而，由于其高昂的实验成本以及空间分辨率与通量之间的权衡，特别是对于单细胞分辨率或大型组织区域，其临床采用仍然有限[20]。因此，近年来从常规组织病理学图像中预测基因表达已成为一种引人注目的替代方案[21]。

早期方法主要依赖……

**概述**

在空间转录组数据中，基因表达是揭示组织功能状态和疾病潜在分子机制的关键变量，而嵌入在组织病理学图像中的空间结构信息为解释组织微环境提供了关键的上下文线索[21]。有效建模组织学图像中的基因表达并结合空间上下文理解表达异质性仍然是主要挑战……

**实验**

本节对提出的MCL-HGAT框架进行了全面评估。4.1节描述了实验数据集和预处理流程。4.2节详细介绍了实现和训练设置。4.3节正式定义了评估指标。4.4节报告了与最先进方法的比较。4.5节展示了模型组件和边配置的消融研究。

**讨论**

为了进一步分析关键超参数的影响并评估所提出模型的空间可解释性，我们在本节进行了几项深入研究。5.1节调查了模型性能对CCE构建中正负边比例、特定模态编码器选择以及CCE构建中负样本选择策略的敏感性。5.2节展示了空间分布可视化分析，以评估预测质量……

**结论**

在本文中，我们提出了MCL-HGAT，一种用于从组织学图像中进行空间基因表达预测的多模态对比异构图注意力框架。该模型通过DenseNet-121和SNN提取模态特定特征，使用对比学习在共享潜在空间中对齐它们，并构建了一个集成空间、功能和跨模态关系的异构图。一个具备标签引导门控和对比空间关系的……多层异构图注意力网络……

**CRediT作者贡献声明**

**Yuexin Li**：撰写-初稿，软件，方法论，形式分析，概念化。
**Xuemei Peng**：可视化，验证，软件。
**Weihong Ding**：资源，调查，形式分析，数据整理。
**Yunlan Zhou**：监督，资源，数据整理。
**Xueqin Zhang**：撰写-审阅与编辑，监督，资助获取。

**资助**

本工作得到了国家哲学社会科学基金重大项目（项目编号：23&ZD142）的支持。

**利益冲突声明**

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Xueqin Zhang报告获得了国家哲学社会科学基金重大项目提供的资金支持。如果还有其他作者，他们声明没有已知的可能影响本文工作的竞争性财务利益或个人关系。

**致谢**

我们感谢研究组所有成员在本项目开发过程中的建设性反馈和技术支持。

**Yuexin Li | Xuemei Peng | Weihong Ding | Yunlan Zhou | Xueqin Zhang**