基于协变量增强广义因子模型的可解释多组学表示学习

《Pattern Recognition》：Interpretable multi-omics representation learning via covariate-augmented generalized factor model

　　

•我们提出了 CMGFM，这是一种协变量增强广义因子模型，专为具有异质变量类型和尺度的单细胞及空间多组学设计。
•它通过指数族链接学习高维基因计数、二进制峰值或连续信号的组学共享和组学特定潜在表示。
•显式集成辅助信息（如测序深度、空间坐标）以提高细胞分型和空间域分割。
•变分 EM 算法确保了线性时间可扩展性，并在合成数据和六个真实数据集上实现了优越的性能，提供了一个 R 包。

引言
近年来单细胞和空间测序技术的进步通过多组学方法彻底改变了调控图谱的探索，涵盖了不同的模态，如 RNA（转录组）、蛋白质（抗体衍生标签）和 DNA（染色质可及性、DNA 甲基化）[1]。这提供了前所未有的机会来揭示支配不同细胞类型和功能状态的潜在调控机制。在单细胞多组学测序中，像 CITE-seq [2] 这样的技术能够在同一个细胞内同时测量 RNA 中的基因表达丰度和表面蛋白标记物。其他技术 [3] 可以评估 RNA 中的基因表达和 DNA 中的染色质可及性。在空间多组学测序中，像 spatial-CITE-seq [4] 和 SPOTS [5] 这样的方法在保留细胞空间位置的同时测量 RNA 和蛋白质。为了说明现代多组学技术生成数据的特点，考虑两个代表性例子。在单细胞 RNA–DNA 测序中，两种模态在维度和数据类型上存在巨大差异。RNA 模态通常包含约 30,000 个基因，而 DNA 模态可能包含超过 100,000 个峰值。此外，RNA 测量通常表示为读取计数，而 DNA 峰值丰度通常被二值化。测量到的细胞数量可以从数万个到超过一百万个。类似的问题也出现在 SPOTS [5] 等空间 RNA–蛋白质技术中。虽然 RNA 模态通常包含约 30,000 个变量，但蛋白质模态可能仅包含约 50 个。此外，RNA 测量通常是计数值，而蛋白质测量在标准化后可以是计数值或连续值 [6]。除了多模态测量外，空间坐标也可用并提供有价值的信息，因为附近的细胞通常表现出相似的分子特征。

多组学分析的一项基本任务是学习低维表示，以整合跨模态的信息并促进下游分析，如细胞类型识别、组织分割和调控网络推断 [7], [8]。尽管在多组学整合方面取得了重大进展 [9], [10]，但仍存在几个挑战。首先，不同组学在测量尺度、变量类型和特征维度上存在显著异质性。其次，模态内部和跨模态存在复杂的非线性依赖关系。第三，辅助信息（如测序深度和空间坐标）通常很有用但未被充分利用。最后，现代多组学数据集越来越向高维和大规模发展，带来了巨大的计算挑战。

为解决这些问题，我们提出了一种新颖的表示学习框架，称为协变量增强多模态广义因子模型 (CMGFM)。在广义因子模型框架 [11] 的基础上，CMGFM 旨在处理具有异质变量类型的大规模多模态数据。该方法具有以下几个优点：
•跨模态集成。CMGFM 采用模态共享潜在因子来捕捉共同的生物学信号，并采用模态特定因子来保留互补的模态特定信息。
•异质数据的灵活建模。通过利用指数族分布和合适的链接函数，CMGFM 能够适应多样化的变量类型并捕捉复杂的非线性依赖结构。
•辅助信息的整合。通过将测序深度和空间位置等协变量纳入增广回归组件，提高了表示质量。
•可扩展性和可解释性。高效的变分 EM 算法实现了可扩展的推断，计算复杂度随样本量和特征维度线性增长，而基于模型的表述提供了清晰的可解释性。

在多组学表示学习领域，基本前提是多样化的组学数据集包含共享的生物学信号和互补的模态特定信息，这些信息可以通过低维潜在表示来捕捉。因此，这种学习范式的主要目标是识别和学习能够表征多个组学层中共同和模态特定变异的潜在特征。

为了实现这一目标，现有方法大致可分为基于神经网络的方法和基于统计模型的方法。基于神经网络的方法通常通过深度生成模型和多模态表示学习框架来学习共享的潜在表示。代表性例子包括 TotalVI [12], MultiVI [13], scMM [14], scECDA [15] 和 scMODAL [16]。这些方法在整合异质组学模态和捕捉复杂非线性关系方面已表现出强大的实证性能。最近，基于基础模型和自监督学习的方法作为一种有前景的范式，出现在大规模单细胞和多组学分析中。代表性例子包括 Geneformer, scGPT 和 CellFM [17], [18], [19]，它们利用大规模预训练来学习可迁移的细胞表示。最近的综述进一步强调了基础模型、对比学习和跨模态表示学习在整合日益庞大和异质的生物数据集中的重要性 [15], [20], [21], [22], [23]。尽管这些方法具有令人印象深刻的表示学习能力，但它们通常提供的可解释性有限，因为学习到的嵌入并没有明确表征模态共享和模态特定的变异，也没有量化观测协变量的效应。

提出的 CMGFM 属于第二类基于统计模型的方法。Alghanim 等人 [24] 天真地将主成分分析应用于将 DNA 甲基化、基因表达和拷贝数变异数据转换为共享的潜在空间，而没有考虑模态特定信息。Argelaguet 等人 [25], [26] 引入了多组因子分析模型来提取模态共享潜在因子，在模态特定载荷矩阵上采用稀疏先验。然而，这些模型仅考虑了模态变量和潜在因子之间的线性关系。在关系为非线性的情况下，线性模型通常缺乏足够的拟合优度 [11]。为了捕捉跨模态的潜在因子和观测变量之间的非线性关系，Argelaguet 等人 [25] 也探索了扩展以适应计数和二进制变量，Luo 等人 [27] 引入了混合结果降秩回归 (MRRR) 模型，而 Liu 等人 [11] 提出了广义因子模型 (GFM)。然而，MRRR 模型没有明确考虑未观测因子，而 GFM 忽略了观测协变量。为了将额外的协变量纳入建模，Carvalho 等人 [28] 和 Avalos 等人 [29] 通过添加协变量回归项引入了线性因子回归 (LFR) 模型。然而，该模型仍然无法捕捉非线性关系，并且忽略了跨模态变量类型的异质性。为了同时解决非线性问题和额外协变量的建模问题，Liu 等人 [30], [31] 提出了协变量增强过离散泊松因子模型。然而，该模型主要适用于计数值模态。所有前述方法都忽略了模态特定因子。有关更传统的线性与非线性降维/特征提取技术的综述见 [32]。为解决现有方法的局限性，我们提出了 CMGFM 以同时建模跨模态变量之间的非线性关系，通过纳入协变量利用额外信息，使用模态特定分布考虑变量类型的异质性，并通过模态特定潜在因子提取模态间的互补信息。

本文的其余部分组织如下。我们在第 2 节介绍 CMGFM 的模型表述并研究其可识别性条件。在第 3 节中，我们提出了估计方法、CMGFM 的变分 EM 算法以及调节参数选择。CMGFM 的性能在第 4 节中通过广泛的数值实验进行评估。第 5 节简要讨论了该方向的进一步研究。技术证明见补充材料。此外，我们将 CMGFM 集成到了一个高效且直观的 R 包中，从而使其在 Github 社区和 CRAN 社区中方便地可用，分别在 https://github.com/feiyoung/CMGFM 和 https://CRAN.R-project.org/package=CMGFM 上提供。

章节片段
问题表述
假设有 M 个模态，每个都源自一个组学测量。这 M 个组学层可能涵盖一系列生物数据类型，如 RNA 表达、蛋白质丰度、染色质可及性、DNA 甲基化和其他相关模态。对于每个模态 m，我们观测到一个矩阵 Xm=(ximj)i?n,j?pm∈Rn×pm，且该模态中的变量属于相同的变量类型 tm。此外，对于每个测序单元 i，我们观测到一组协变量 zi∈Rd，例如空间位置

CMGFM 的估计和算法
令 p=∑m=1Mpm,X=(X1,…,XM)∈Rn×p 且 Y 定义类似；Z=(z1,…,zn)T∈Rn×d, F=(f1,…,fn)T∈Rn×q, H∈Rn×M 是一个第 m 列为 (h1m,…,hnm)T 的矩阵。记 θ=(μ,β,B,Λ,σ2) 为所有模型参数的集合，其中 μ=(μjm,m=1,…,M,j=1,…,pm),β=(βm,m=1,…,M)∈Rd×M,B=(B1T,…,BMT)T∈Rp×q 且 σ2=(σm2,m=1,…,M)∈RM。全似然由 L(θ;X,Z,Y,F,H)=Πi=1nΠm,jP(ximj|yimj)P(yimj|zi,fi,him)ΠmP(him)P(fi) 给出。然后，全对数似然是 l(θ;X,Z,Y,F,H)=∑i=1n∑m=1M∑j=1pm(lnP(ximj|yimj)+

实验结果
在本节中，我们主要通过模拟研究和真实数据集的应用来展示实验验证，以说明我们提出的 CMGFM 模型的表示能力和计算效率。

讨论
本工作介绍了一种名为 CMGFM 的新型统计模型，专为高维、大规模多模态混合类型数据背景下的可解释多组学表示学习而设计。CMGFM 解决了跨模态异质性问题，捕捉数据之间的非线性依赖关系，整合了额外信息，并提供了卓越的可解释性。为了保证可解释性，我们提出了一套可识别性条件，并证明模型参数是唯一的

CRediT 作者贡献声明
刘伟：写作 – 初稿，软件，方法论，概念化。向德伟：可视化，软件。周宣成：软件，数据整理。江佳坤：写作 – 审阅与编辑，方法论，资金获取，形式分析。

利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢
刘的研究得到了国家自然科学基金 (12401361)、四川省自然科学基金 (2025ZNSFSC0809)、四川省自然科学基金项目（创新研究群体，2026NSFSCZY0056）和中央高校基本科研业务费，以及中国工业与应用数学学会 (CSIAM) 青年精英科学家资助计划和四川天府峨眉计划青年人才项目的支持。江的工作得到了

刘伟 | 向德伟 | 周宣成 | 江佳坤