生物库规模自监督基因型预训练产生可迁移的人类遗传学表征：SNPBERT

《Nucleic Acids Research》：Biobank-scale self-supervised genotype pretraining yields transferable representations for human genetics

　　

生物库规模的基因分型为人类遗传学创造了前所未有的队列，但该领域仍缺乏可扩展的方法来从大规模未标记的个体水平基因型数据中学习可迁移表征。在此，研究人员介绍了SNPBERT，一种自监督Transformer，利用掩码rsID预测在来自英国生物库（UK Biobank）485 923名参与者的基因型上进行了预训练。SNPBERT嵌入在英国生物库及三个外部数据集中恢复了已知的种群结构，其表现与主成分分析（PCA）相当，并支持了祖先信息标记SNP的识别。通过基于注意力的多实例学习头进行微调，产生了疾病特异性风险评分，提供了超越传统多基因风险评分（PRS）的补充信息。Nagelkerke's R²的相对增幅为0.7%至3.3%，在所检查的八种慢性病中，有七种观察到独立关联。在乳糜泻中，注意力优先级重现了主要组织相容性复合体（MHC）信号，同时相对于全基因组关联研究（GWAS）排名，提升了CCHCR1和NOTCH4中的变异。这些结果支持生物库规模的基因型预训练作为个体水平基因型数据基础建模的早期步骤。

**论文解读：SNPBERT——生物库规模基因型自监督预训练的可迁移表征**

大规模生物库（biobank）的建立为人类遗传学提供了前所未有的机遇，数百万个体的基因型与丰富的表型数据相互关联。然而，现有分析框架大多将基因型数据视为单一任务的输入，缺乏从大规模未标记的个体水平基因型数据中学习可迁移表征的可扩展方法。蛋白质语言模型和基因组序列基础模型已证明自监督预训练能够从未标记序列中恢复有用的结构和功能信息，但个体水平基因型数据与蛋白质或核苷酸序列存在本质区别：其基本单位是人，信号反映连锁不平衡（linkage disequilibrium, LD）、共同祖先、混合和进化历史导致的局部及全基因组依赖。传统方法如主成分分析（principal component analysis, PCA）主要用于概括种群结构，全基因组关联研究（genome-wide association study, GWAS）识别边际关联位点，多基因风险评分（polygenic risk score, PRS）聚集效应量，但它们各自为政，均未从原始基因型数据中学习统一的、可迁移的表征。为此，研究人员开发了SNPBERT，利用英国生物库（UK Biobank, UKB）485 923名参与者的基因型数据进行自监督预训练，探索生物库规模基因型预训练能否产生支持多种下游任务的个体水平表征。该研究发表在《Nucleic Acids Research》。

研究人员采用的主要关键技术方法包括：基因型分词，在显性模型下将杂合和纯合交替基因型均编码为1，仅生成携带至少一个交替等位基因的rsID token，并按染色体和碱基位置排序形成序列；自监督预训练，采用掩码语言建模（masked language modeling, MLM），随机掩蔽30%的rsID token，以80%[MASK]、10%随机、10%不变的策略训练模型；模型架构基于ModernBERT，包含22层Transformer、隐藏维度768，交替使用全局和局部滑窗注意力；持续预训练，在1000 Genomes Project Phase 3（1KGP）、HapMap3和人类基因组多样性计划（Human Genome Diversity Project, HGDP）三个外部数据集上从UKB预训练权重继续训练；下游任务微调，添加基于注意力的多实例学习（attention-based multiple-instance learning, AMIL）头，冻结预训练编码器，训练疾病风险评分；聚类与标记SNP识别，使用Leiden社区检测和对应分析（association plot, APL）框架。样本队列来源为UK Biobank（申请ID 76092）及三个外部参考数据集。

**SNPBERT建立了个体水平基因型建模的自监督框架**。研究人员将UKB参与者编码为稀疏rsID token序列，经预训练后，模型在30个epoch时验证MLM损失为0.435，掩码token准确率达到78.5%，表明基因型数据可以被建模为token序列并通过掩码预测学习有效的上下文特征。

**SNPBERT嵌入在内部和外部数据集中恢复种群结构**。在UKB全队列中，SNPBERT嵌入的低维可视化显示大陆级分组以及主要祖先群内部的连续梯度。下采样UKB子集经Leiden聚类后调整兰德指数（adjusted Rand index, ARI）为0.93，与PCA的0.92相当。在零样本条件下，SNPBERT嵌入在1KGP、HapMap3和HGDP中分别达到ARI 0.98、0.77和0.91；持续预训练后进一步提高至0.99、0.81和0.93。嵌入预测前四个遗传主成分的交叉验证R²为0.835–0.992，说明模型捕获了主要的种群结构。

**嵌入定义的聚类暴露祖先信息标记SNP**。在UKB子集中，Leiden聚类将嵌入空间划分为九个组，对应分析（APL）排名生成的簇特异性标记SNP呈近似块对角结构，表明聚类由一致的等位基因频率模式支持。代表性标记包括欧洲富集的HERC2基因rs1129038和东亚富集的CNGA3基因rs4146045，显示嵌入空间保留了已知的群体分化信号。

**SNPBERT衍生的评分提供超越传统PRS的疾病风险信息**。在八种慢性病中，单独的SNPBERT风险评分（SNPBERT-RS）的受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUC）为0.527–0.773。将SNPBERT-RS与GWAS-PRS组合后，Nagelkerke's R²相对增加0.7%–3.3%，其中乳糜泻增幅最大；八种疾病中有七种SNPBERT-RS在调整GWAS-PRS后仍与疾病状态独立关联。与同SNP PRS、L1正则化逻辑回归和基于PCA的逻辑回归相比，SNPBERT通常取得更高AUC，并在七种疾病中带来显著的R²增量，说明其提供了超越简单线性模型的补充信息。

**基于注意力的解释优先排序疾病相关位点**。在乳糜泻中，SNPBERT-AMIL注意力得分识别的前1%位点（136个）与GWAS排名前1%的位点共享55个SNP，但各自恢复81个独特SNP。注意力优先排序提升了MHC区域内CCHCR1和NOTCH4基因变体的排名，而GWAS则偏向最强的边际关联信号。基因本体论（Gene Ontology, GO）富集分析显示，注意力优先的基因富集于抗原加工与呈递、T细胞介导细胞毒性的调节等生物学过程，表明该模型能够产生生物学一致的位点排序。

讨论部分指出，SNPBERT的核心贡献是证明自监督预训练可以将大型生物库基因型集合转化为可迁移的个体水平表征，打破PCA、GWAS和PRS之间的分析孤岛。该模型在种群结构识别上与PCA相当，但额外支持疾病风险预测和位点解读。SNPBERT-RS提供的增量预测信息超越了传统PRS，但增益幅度因疾病而异，且不应被解释为特定生物学机制的证据。注意力位点优先级不构成因果证据，但可作为候选位点提名的辅助工具。局限性包括严格的LD剪枝可能去除信息变异、显性稀疏编码无法区分杂合与纯合交替基因型、非欧洲祖先样本量有限、以及当前仅覆盖常见SNP等。未来方向包括更密集的基因型面板、显式剂量编码、多模态预训练以及更多样化的祖先群体。研究结论认为，自监督基因型预训练为个体水平基因型数据的基础建模提供了早期但具体的步骤，将生物库队列重塑为学习可复用基因组表征的引擎，可支持种群结构分析和若干下游任务。