《Briefings in Bioinformatics》:A literature-derived benchmarking database for single-ancestry polygenic risk score construction methods with spectral ranking inferences
编辑推荐:
多基因风险评分(PRS)已成为人类疾病遗传风险预测与分层的重要工具。过去十年间,大量方法学研究致力于提升PRS的预测效能,推动了众多PRS构建方法的开发。因此,对这些方法进行基准测试成为指导未来PRS应用的关键任务。尽管已有研究在特定表型和队列上对部分方法进行
多基因风险评分(PRS)已成为人类疾病遗传风险预测与分层的重要工具。过去十年间,大量方法学研究致力于提升PRS的预测效能,推动了众多PRS构建方法的开发。因此,对这些方法进行基准测试成为指导未来PRS应用的关键任务。尽管已有研究在特定表型和队列上对部分方法进行了基准测试,但由此产生的证据仍然碎片化,缺乏对各种PRS方法相对性能的全面评估。为填补这一空白,研究人员构建了一个PRS方法基准测试数据库,综合了2009至2025年已发表的研究结果,并采用带不确定性量化的谱排序推断(spectral ranking inference),对14种具有充足基准测试证据以支持可靠排序的基于单祖先(single-ancestry)汇总统计量的PRS方法进行排序。研究人员利用两个互补来源构建排序:原始方法开发研究与应用/基准测试研究。尽管最高排名方法(LDpred2和AnnoPred)与最低排名方法(C + T)在两个来源中均被一致识别,但大多数方法的相对排序表现出中等程度的变异性。研究人员进一步构建了表型特异性排序,为各方法的稳健性和表型特异性优势提供了更详细的见解。总体而言,PRS方法的整体排序和表型特异性排序,连同从文献中整理的详细模型性能数据,构成了一个动态基准测试数据库,可随着新PRS方法和已发表基准测试证据的出现而持续更新,为未来PRS方法选择和应用提供实用资源。
**研究背景与问题**
多基因风险评分(Polygenic Risk Scores, PRS)源自全基因组关联研究(Genome-Wide Association Studies, GWAS),作为遗传易感性的定量指标,在疾病风险分层、个性化风险管理及临床决策中具有重要潜力。近年来,将PRS与电子健康记录(Electronic Health Records)及多组学(multi-omic)数据整合的研究进一步凸显了其临床效用。在PRS构建方法方面,早期以连锁不平衡剪枝与p值阈值法(LD Clumping and p-value Thresholding, C + T)为代表,因其计算高效、算法简洁而广泛应用;随后发展的贝叶斯方法(如LDpred2、PRS-CS、SBayesR)和惩罚回归方法(如lassosum2)通过显式建模数百万遗传变异间的复杂相关结构,展现出优于早期无模型方法的预测性能。
然而,目前已有超过40种PRS模型开发方法被提出,各方法开发论文往往声称其在特定表型或数据场景下优于现有方法。PRS方法的相对性能取决于多种因素,包括分布假设对表型遗传变异效应量真实分布的近似程度、算法稳健性等。除原始方法论文外,后续应用与基准测试研究在更广泛的表型和数据集上评估了不同方法子集。这些来源的证据虽有价值但呈碎片化,亟需适当的分析框架进行系统综合。此外,基于论文类型(原始方法论文与独立应用/基准测试研究)的分层研究可提供更平衡的评估。
**研究内容与结论**
研究人员构建了一个基于文献证据的PRS方法基准测试数据库,包含从文献中提取的详细模型性能指标(如预测R2和受试者工作特征曲线下面积AUC)以及基于谱排序推断方法(spectral ranking inference)得出的方法排序及不确定性量化。研究识别了14种在复杂人类表型上具有充足比较证据以支持稳定排序推断的单祖先GWAS汇总数据PRS构建方法,数据来源于2009至2025年间26篇同行评审论文,涵盖531次应用、114种不同表型和6个超级人群。多祖先、混合人群、跨性状等方法以及比较证据不足的较新单祖先方法未被纳入。
研究得出以下主要结论:LDpred2和AnnoPred在基于方法论文、应用论文及联合证据的排序中均排名最高,C + T排名最低;多数方法的排序置信区间(Confidence Intervals, CIs)重叠,表明总体性能相近;表型特异性排序揭示了方法性能在不同表型间的显著异质性。研究的重要意义在于建立了一个可动态更新的PRS方法基准测试参考数据库,为未来PRS方法选择和应用提供实用资源。
**关键技术方法**
研究人员主要采用以下关键技术方法:(1)系统性文献检索与数据整理,从PubMed、Google及Google Scholar检索并提取26篇论文中14种方法的预测性能数据(R2和AUC),仅纳入真实数据分析结果而排除模拟研究;(2)谱排序推断方法,通过将不完整的成对比较聚合为随机游走转移矩阵,利用其平稳分布估计潜在偏好得分并排序,采用bootstrap方法提供95% CIs;(3)将多方法比较分解为成对比较,以较高性能指标定义胜者;(4)表型特异性排序分析,设置最少10次比较的过滤阈值,并采用覆盖感知排序调整(coverage-aware rank adjustment)进行跨表型标准化;(5)近 tie 敏感性分析及表型过滤阈值分析以评估排序稳健性。样本队列来源为已发表的26篇同行评审文献。
**研究结果**
**整理的原始方法比较数据**:研究人员整理的基准测试数据记录了14种PRS方法子集在不同情境下的相对性能。观察到方法间成对性能差异变化较大,排名第1与第2方法间的差异虽小于平均成对差异,但远大于近 tie 差异(如绝对差异低于0.01),表明识别顶级方法在许多应用中具有重要意义。方法内性能跨研究变异较大,部分源于研究设计差异,说明朴素方法无法恰当汇总原始比较数据,需要稳健的排序分析。
**方法的一般排序**:研究人员构建并比较了三组排序。总体排序显示,LDpred2和AnnoPred排名最高,其紧致CIs显示对多数其他方法的显著优越性(除lassosum2、SCT和LDpred-funct外);C + T、LDpred和LDpred2-inf排名最低且置信度高。其余九种方法趋于聚集在中部,CIs较宽。值得注意的是,比较次数多不一定导致窄CI,如SBayesR比较数第三多但CI第二宽。基于方法论文的排序显示两个聚类:一簇(LDpred2、AnnoPred、LDpred2-auto、LDpred-funct、DBSLMM)优于另一簇(PRS-CS、SCT、LDpred、PRS-CS-auto、LDpred2-inf、C + T),且较新提出的方法排序趋于更高。基于应用论文的排序(6431次比较 vs 方法论文的929次)CIs更窄,LDpred2和AnnoPred仍为前两名,LDpred2-inf、LDpred和C + T仍为最差,但SCT从第10升至第3、DBSLMM从第5降至第11、lassosum2从第8升至第4,表明在更广泛表型应用中方法性能与发表日期的关联减弱。
**表型特异性分析**:研究人员对23种连续表型和19种二分类表型进行了表型特异性排序。平均方法性能排序与总体排序高度相似,但多数方法跨表型排名变异较大,表明总体上"最差"的方法在特定表型上可能优于"最好"的方法,如C + T在阿尔茨海默病中排名第2,而LDpred2在血小板计数中排名第13。LDpred2在多数表型中表现出一致的优越性和高稳健性,SBayesR则似乎是精神分裂症和抑郁症PRS模型的合适选择。
**近 tie 敏感性分析**:研究人员评估了性能差异阈值从0到0.01对排序的影响,结果显示方法排序总体保持相似,点估计最大变化在两个排名位次以内,且所有变化的排序仍位于原始排序的CIs内,表明几乎不可区分的差异对排序结果影响不大。
**表型过滤阈值分析**:研究人员评估了5至20的比较数过滤阈值,发现10和15产生广泛相似的排序模式,而5纳入过多稀疏支持估计导致更大变异性,20以上则显著减少保留的方法和表型数量。因此保留10作为排序稳定性与数据覆盖度之间的务实平衡。
**讨论与结论**
研究人员在讨论中指出,通过综合现有文献理解计算方法相对性能可为其实际效用和未来方法学发展提供重要见解。在PRS建模领域,新方法不断涌现,而比较评估通常在有限方法子集上跨不同研究进行,导致基准测试证据碎片化且报告不一致。建立整合多来源证据的综合基准测试资源对于全面研究PRS方法相对性能和指导未来应用至关重要。
当前数据规模(共7360次成对比较)使许多方法排序的CIs相对较宽,但LDpred2和AnnoPred一致聚集于顶部,C + T和LDpred2-inf一致位于底部。表型特异性排序揭示了跨表型类别的详细且高度异质的排序。未观察到方法排序与发表日期的明显趋势,表明较新方法不一定优于早期方法。排名的高度变异性和多数方法间无法区分排序表明不存在"最佳"方法,未来方法开发可继续针对特定遗传架构进行专业化或引入更灵活的处理方式。
研究存在若干局限性:当前排序仅限于14种单祖先方法;表型覆盖数量有限;所有比较目前跨研究等权重,未考虑研究间样本量和R2/AUC估计不确定性差异;跨研究比较可能不完全独立;当前框架仅关注预测准确性而未考虑计算效率;分析主要聚焦复杂人类表型。未来可纳入研究特异性权重(如逆方差权重)、依赖感知推断程序,并扩展至多祖先、多性状及混合人群方法。
总之,该PRS方法基准测试数据库(包括整理的文献性能数据和生成的排序)为广泛人类性状和疾病的PRS方法比较与实施提供了有价值的参考资源。研究人员进一步确定了扩展该资源的方向,强调需要未来持续更新数据库。更广泛地,研究人员希望该通用分析框架——用于整理和综合文献证据以构建计算方法基准测试数据库——可为扩展至其他需要全面计算方法基准测试的领域提供启示。