对大型语言模型进行基准测试，以用于无细胞RNA诊断生物标志物的发现

《Nature Communications》：Benchmarking large language models for cell-free RNA diagnostic biomarker discovery

　　

摘要

大型语言模型能够合成生物医学知识、解析海量数据并生成代码，使其成为从高通量组学数据中发现生物标志物的有力工具。在这项研究中，我们对比了来自OpenAI、Anthropic和Google的六个模型在三个临床队列上的表现：川崎病与儿童多系统炎症综合征、活动性结核病与有症状的呼吸系统对照组、肌痛性脑脊髓炎/慢性疲劳综合征与久坐对照组。我们评估了这些模型在指导诊断基因组提名方面的能力，以及它们从原始计数矩阵自动构建端到端分类器的能力，并将这些分类器应用于独立测试数据集进行验证。尽管在模型响应速度上存在一些问题，但这些模型推荐的基因组仍能够准确反映典型的免疫通路，并且在所有队列中的表现均优于随机生成的基因组；甚至在结核病队列中，它们的表现也与基于差异基因表达的基线结果相当。端到端的自动化过程是可行的，但具体效果取决于所使用的模型和任务类型。其中一个模型在川崎病与儿童多系统炎症综合征的诊断中达到了与传统方法相当的水平，而在结核病和肌痛性脑脊髓炎/慢性疲劳综合征的诊断中表现较差。这些发现揭示了大型语言模型在诊断领域的当前能力和局限性，为它们未来在生物标志物发现中的应用指明了方向。