大语言模型在肿瘤学实施科学中自动提取CFIR框架决定因素的可行性评估

《Implementation Science Communications》：Prompt-driven large language model for evidence extraction in implementation science: exploring semantic similarity between manual and automated coding across studies

　　

摘要

背景

尽管科学进步迅速，产生了各种旨在优化疾病预防、诊断和治疗的临床干预措施，但在证据与临床采用之间仍存在显著差距。实施科学系统评估那些旨在促进循证干预措施、项目和政策在真实世界环境中采用、整合及持续实施的针对性策略。然而，识别和编码文献中报告的与实施成功相关的因素非常耗时且劳动密集。大语言模型（LLMs）有望实现该过程的自动化和规模化。我们旨在评估LLMs准确提取与肿瘤学实施相关、并与公认实施框架相一致的决定因素的能力。

方法

本探索性初步研究评估了使用基于Llama架构的本地部署LLMs，从有目的选样的十二篇已发表研究中提取符合CFIR（实施研究综合框架）的障碍和促进因素的可行性，样本包括以肿瘤学为重点的实施研究（含结构化实施数据）和已发表的临床干预研究（含非结构化实施数据）。采用基于本体论的模式指导数据结构化，并评估了三种提示策略——零样本提示（仅提供任务指令）、少样本提示（任务指令加示例说明）和思维链提示（CoT，指导模型逐步生成推理过程）——以评估提取性能。通过人类评分和基于句向量化模型的自动评分两种方式，评估LLMs生成输出与人工编码输出之间的语义相似度。

结果

共生成144个提取输出。对于实施科学研究，与少样本和CoT提示相比，零样本提示在障碍和促进因素方面均表现出最高的平均语义相似度。在临床干预研究中，与零样本和CoT提示相比，少样本提示通过句向量化模型的平均相似度得分更高（障碍为0.78，促进因素为0.76），通过人类评分分别为0.68/0.67。在所有提示方法中，人类评分略低于自动评分，尽管未直接考察该差异的原因。总体而言，LLMs将标注时间减少了约75%–95%，将每篇文章的编码时间从数小时缩短至20分钟以内。

结论

在本次探索中，本地部署的LLMs显示出支持提取实施科学决定因素的初步潜力，且提示策略的效果因研究类型而异。样本量较小且为有目的选样，限制了外部效度，研究结果应被解读为可行性证据，而非对LLMs提取质量的确定性验证。在就准确性和可推广性提出更广泛的结论之前，需要更大规模、系统抽样、独立标注并经专家评审的数据集。