编辑推荐：
许多遗传疾病在儿科研究较多，成年阶段的研究存在空白。研究人员评估 Llama-2-70b-chat 和 GPT-3.5 在 282 种遗传疾病中的表现。结果显示，大语言模型（LLMs）在生成医学 vignettes 等方面表现良好，但管理计划生成存在局限。这为 LLMs 临床应用提供参考。
在遗传疾病的研究领域，长久以来存在着一个有趣又棘手的问题。目前已知的遗传疾病超过 6000 种，可对于很多遗传疾病，人们的了解大多集中在儿科阶段。这是因为大部分临床遗传学家多在儿科领域接受培训，且许多严重的遗传疾病会影响患者成年前的生存，同时，一些地区成人的基因检测覆盖不足，导致成年患者的精准诊断困难重重。这些因素使得遗传疾病在成年阶段的临床特征、治疗管理等方面的研究存在明显空白。
随着生成式人工智能的飞速发展，大语言模型（LLMs）在生物医学领域的应用越来越广泛。它们能回答医学问题、辅助诊断等，可在遗传疾病研究方面，尤其是涉及衰老相关的表现和管理计划方面，还缺少深入研究。为了填补这一空白，美国国立卫生研究院（National Institutes of Health）国家人类基因组研究所医学基因组学部门的研究人员开展了一项极具意义的研究。
研究人员选择了 Llama-2-70b-chat 和 GPT-3.5 这两种模型，针对 282 种基于患病率选择的遗传疾病（涵盖代谢疾病等亚组），探究它们生成医学案例（vignettes）、医患对话以及管理计划的能力，评估是否存在与年龄相关的偏差。该研究成果发表在《npj Aging》杂志上。
在研究方法上，研究人员从 Orphanet 的罕见病数据集筛选出 282 种遗传疾病，并按年龄相关表现和管理方式分为五类。他们运用两种大语言模型，为每种疾病生成儿童和成人的医学案例。对于 Llama-2-70b-chat，还使用了来自 Orphanet 和 GeneReviews 的上下文提示（in - context prompting）。案例、对话和管理计划均由临床医生手动评分，以此评估模型性能。
下面来看看具体的研究结果。在评估生成的医学案例方面，对于 “仅限于儿童期” 的疾病，儿童案例的正确性得分更高；“仅限于成年期” 的疾病则相反。在 “管理变化”“表现变化” 和 “无变化” 这三类疾病中，儿童和成人案例的正确性、完整性得分无显著差异。上下文提示能提升 Llama-2-70b-chat 的表现，特别是完整性得分。GPT-3.5 在无提示下准确性得分很高，适当提示后，Llama-2-70b-chat 性能可与 GPT-3.5 相媲美。
对 “仅限于儿童期” 和 “仅限于成年期” 疾病案例中患者的平均年龄分析发现，添加上下文提示后，Llama-2-70b-chat 生成的儿童案例平均年龄降低；GPT 生成的成年案例平均年龄高于 Llama-2-70b-chat。在代谢疾病儿童案例中，“所有代谢疾病” 与 “新生儿急性危象代谢疾病” 两组相比，70b Context 和 GPT 生成的平均年龄均显著降低，反映出模型对疾病发病年龄的了解。
在性别偏见方面，GPT 在儿童提示中使用性别指示词的可能性较低，总体上性别比例偏向男性，但成年案例中分布更均匀。研究还发现疾病的遗传模式存在从 “仅限于儿童期” 的常染色体隐性遗传到 “仅限于成年期” 的常染色体显性遗传的转变。
在生成对话的评估中，针对 “管理变化” 和 “表现变化” 两类疾病，Llama-2-70b-chat 生成的对话在正确性、完整性和同情心得分上与年龄无关，且在沟通质量方面表现出色。然而，在生成管理计划时，Llama-2-70b-chat 的正确性和完整性得分较低（55 - 66%），GPT-3.5 虽能提高儿童管理计划的准确性，但对成人计划的提升不显著。
综合研究结论和讨论部分，此次研究表明，Llama-2-70b-chat 和 GPT-3.5 在处理遗传疾病相关问题时，在生成医学案例和对话方面表现良好，超出预期，且未显示出明显的年龄偏见。这对于缺乏遗传学正式培训的临床医生来说，是获取遗传疾病信息的有效途径。但在生成管理计划方面，大语言模型还存在局限性，不能完全依赖其做出关键决策。该研究为大语言模型在临床遗传学中的应用提供了重要参考，有助于后续改进模型性能，推动其在临床实践中的合理应用。未来，研究人员计划进一步分析对话和管理计划，细化年龄分类，基于真实临床数据开展实验，以更全面地评估大语言模型在遗传疾病研究中的作用。
