通用大语言模型在临床遗传变异分类中的能力系统评估及其局限性分析

《BMC Bioinformatics》：Prompting alone is insufficient for large language model-based clinical variant classification

　　

摘要

背景

随着数据量和知识复杂度的增加，准确的临床遗传变异分类变得越来越具有挑战性。大语言模型（LLMs）有可能实现证据检索的自动化并协助变异解读。

目标

系统评估通用型大语言模型（Claude、ChatGPT、Gemini 和 Perplexity）支持临床遗传变异分类的能力。

方法

我们分析了 185 个基因中的 475 个变异，由专家变异科学家建立了参考分类。四种大语言模型使用详细的结构化提示策略进行分类，并与一个商业非 LLM 专业平台进行比较。性能在分类标准和标准水平上进行了评估，并按各种变异特征进行了分层。

结果

详细的提示通常能提高性能。大语言模型分类的平均一致性为 69.0%（精确度 70.2%，召回率 68.2%），这显著低于所测试的专业商业非 LLM 平台实现的 81.1% 一致性（精确度 80.2%，召回率 84.5%）。一致性在变异类型之间存在差异，未调整的平均一致性从内含子变异的 87.2% 到剪接区域变异的 56.0% 不等；调整后的关联具有模型特异性。在标准水平上，性能具有高度标准特异性：BP7、PP3、PVS1 和 PM2 的敏感性超过 80%，但几个标准的标准调用精确度和强度精确一致性要低得多。

结论

与专业解读平台相比，通过直接或结构化提示使用的通用型大语言模型在临床遗传变异分类中表现出重大局限性。这些发现表明，询问大语言模型分类变异的常见对话方法，即使有详细说明，也不足以进行自主临床使用。