LEADS：医学文献挖掘中实现人机协作的基础模型——基于63万样本训练的系统评价与临床试验数据挖掘新突破

本刊推荐：为解决医学系统评价中文献检索不全面、筛选效率低及数据提取耗时等问题，研究人员开发了基于大语言模型（LLM）的医学文献挖掘基础模型LEADS。该模型通过633,759条指令样本训练，在六大文献挖掘任务（如研究检索、筛选及数据提取）中显著优于GPT-4o等主流模型。用户实验显示，专家借助LEADS可将研究筛选召回率提升至0.81（vs. 0.78），时间节省20.8%；数据提取准确率达0.85（vs. 0.80），时间节省26.9%。该研究为高质量领域数据驱动专业LLM开发提供了实践范例，极大提升了医学证据合成效率。

　　

在当今医学研究中，系统评价和Meta分析已成为整合证据、指导临床实践的关键手段。然而，随着PubMed每年新增超过100万篇文献，总量突破3500万篇，研究人员在进行文献筛选、数据提取时面临巨大挑战。传统人工操作不仅平均耗时67.3周，且存在检索不全面、筛选偏差和数据提取错误等风险。更令人咋舌的是，大型制药公司和科研机构每年在系统评价上的花费高达1700万美元！尽管人工智能（尤其是大型语言模型如ChatGPT）在文本处理中展现出潜力，但其在专业医学领域的应用仍存在三大瓶颈：模型泛化能力不足、评估数据规模有限以及实际工作流整合缺失。

为此，一项发表于《Nature Communications》的研究提出了LEADS（Literature mining for human-AI collaboration in medical Evidence synthesis, Search, screening, and Data extraction from Studies）——一个专为医学文献挖掘设计的基础模型。该模型基于从21,335篇系统评价、453,625篇临床试验出版物和27,015个临床试验注册库中精心构建的633,759个指令样本进行训练，在六大关键任务（检索查询生成、研究资格评估、研究特征提取、分组设计提取、参与者统计提取和试验结果提取）上全面超越GPT-4o、Claude-3.5-Haiku等前沿模型，并通过多机构用户研究验证了其在实际工作场景中提升效率与准确性的显著价值。

研究主要依托以下方法开展：

1. 1.
   多源数据整合与指令数据集构建（LEADSInstruct），涵盖PubMed、ClinicalTrials.gov和系统评价的关联数据；
2. 2.
   基于Mistral-7B模型的指令微调，采用30,000 token长上下文处理技术；
3. 3.
   自动化评估与人工验证结合，包括检索召回率（Recall@K）、提取准确率等指标；
4. 4.
   多中心用户实验设计，邀请14家机构的16名临床医生和研究人员参与，对比纯人工与AI辅助模式下的性能差异。

研究结果

文献检索查询生成

LEADS在生成检索查询时显著优于所有基线模型。在基于10,000余篇系统评价的测试中，LEADS在出版物检索和试验检索任务中分别达到24.68和32.11的召回率，较最佳基线提高3.76和7.43。值得注意的是，未经微调的Mistral-7B仅达到7.18和8.08，而GPT-4o也仅为5.79和6.74，表明通用模型在专业领域中的局限性。通过多次采样生成多组查询词进行集成（LEADS+Ensemble），召回率可进一步提升至70以上。

研究资格评估与排名

在包含40万篇文献-评价对的测试中，LEADS在Recall@50指标上达到与GPT-4o相当的水平（85 vs. 86），且在十大疾病主题中的七个表现更优。其核心优势在于对PICO标准进行细粒度评估（支持“是/部分/否/不确定”四级判断），并生成可解释的判定依据。当目标研究数量增多时，LEADS的稳定性显著高于密集检索方法和未调优模型。

高效数据提取

LEADS在四项数据提取任务中均呈现一致性提升：研究特征提取准确率0.68（vs. GPT-4o 0.55）、分组设计提取0.53（vs. 0.45）、参与者统计提取0.94（vs. 0.55）、试验结果提取0.78（vs. 0.45）。人工校验进一步证实了其可靠性（例如研究特征提取准确率66.2 vs. GPT-4o 59.7）。研究还发现，数值字段提取（如平均年龄计算）难度高于文本字段，且模型表现与输入文档长度呈弱相关。

专家协作实验验证

在涉及15名临床医生的筛选用户实验中，AI辅助组（Expert+AI）召回率达0.81（较纯人工组0.78提升5.2%），平均耗时减少20.8%（449秒 vs. 580秒）。在数据提取任务中，两名医学研究人员借助LEADS将准确率从0.80提升至0.85，时间节省26.9%。值得注意的是，任务难度越大（处理时间>900秒），AI辅助带来的效益越显著（召回率0.89 vs. 0.76）。

结论与展望

LEADS研究证实了基于高质量领域数据构建的专业化语言模型在复杂医学文献挖掘任务中的卓越潜力。其不仅在多任务评估中全面超越通用LLM，更通过人机协作模式实际提升了证据合成的效率与质量。该模型已集成至TrialMind平台，为医学研究者提供无缝体验。未来工作需进一步拓展指令数据覆盖范围（如研究质量评估、证据不确定性分析），优化模型输出与工作流整合，并加强针对数据偏差、时效性问题的控制。值得注意的是，LEADS目前需20GB以上GPU内存部署，对本地硬件存在一定要求，且专家监督仍是确保输出准确性的必要环节。这项研究为领域专用LLM的发展提供了重要范式，有望推动医学研究从“信息过载”向“智能证据合成”转型。