基于提示工程的大型语言模型在放射学检查申请路由中的概念验证研究

【编辑推荐】为解决大型医院放射科检查申请人工分诊效率低的问题，杜克大学团队开发了基于GPT-4等LLM的智能路由系统。研究测试了250例标准申请和25例特殊案例，GPT-4以96.4%准确率（$0.03/次）显著优于其他模型（P<0.001），为临床流程优化提供了高性价比的AI解决方案。

　　

在大型教学医院的放射科，每天涌入的检查申请如同潮水般涌向各个亚专科团队——从血管介入放射学(Vascular Interventional Radiology)到神经放射学程序(Neuroradiology Procedures)，每个团队都有复杂的分时段值班表和不同的联系方式。传统依赖纸质指南或电子表格的人工分诊方式，不仅效率低下，更可能在紧急情况下因联系信息更新延迟而导致临床延误。这种"找对人"的挑战，在夜间和周末尤为突出，成为影响医疗质量和患者安全的关键瓶颈。

杜克大学医院的研究团队敏锐捕捉到这一痛点，创新性地将大型语言模型(Large Language Model, LLM)技术引入医疗流程优化领域。他们以医院现有的8个放射学程序团队（包括体部程序、胃肠透视等）的联系规则为基础，构建了一套基于提示工程(prompt engineering)的智能路由系统。这项发表在《Journal of Vascular and Interventional Radiology》的研究，首次系统评估了不同LLM在医疗流程自动化中的性能差异与成本效益。

研究采用多模型平行测试的设计思路，既包含OpenAI的商业模型GPT-3.5-turbo和GPT-4，也涵盖Llama 3等4个开放权重模型。测试样本精心设计为250个符合预定规则的"范围内"申请和25个超出常规的"范围外"案例，全面模拟真实临床场景。通过对比分析日间与夜间/周末时段的处理准确率，研究揭示了AI分诊系统在非标准时段的性能衰减规律。

主要技术方法
研究团队首先梳理了8个放射学团队的覆盖时间表和联系方式，将其转化为机器可读的规则库。测试时使用标准化的申请文本作为输入，通过应用程序接口(API)调用不同LLM生成路由建议。成本计算基于OpenAI的官方定价，统计分析了GPT-3.5-turbo-0125（0.0006/次）与GPT?4?0314（0.03/次）的性价比。性能评估采用卡方检验比较各模型差异（P<0.001视为显著）。

结果

Materials and Methods
构建的规则库涵盖血管介入放射学等8个团队的分时段值班信息。测试集包含275个临床典型申请案例，其中9.1%为刻意设计的边缘案例。所有模型处理结果均与金标准人工分诊进行盲法比对。

Results
GPT-4-0314展现出压倒性优势：对标准申请的准确率达96.4%，显著高于第二名Llama 3 70B的85.9%（P<0.001）。开放权重模型中，Llama 3 8B表现最差（72.3%）。所有模型在非工作时间段的准确率平均下降14.7个百分点。成本分析显示，GPT-3.5-turbo的每次查询成本仅为GPT-4的1/50，但准确率差距达13.9个百分点。

Discussion
研究表明LLM可有效替代传统分诊参考资料，其单点提示接口比电子表格更符合临床工作流。尽管开放权重模型在本地部署方面具有优势，但其准确性仍无法与商业模型比肩。值得注意的是，系统在边缘案例中仍存在24%的错误率，提示需要建立人工复核机制。

这项研究的创新价值在于证实了轻量级AI解决方案在医疗流程优化中的可行性。相比传统IT系统改造，基于提示工程的LLM实现成本极低，却能提供接近人类水平的准确率。研究者特别指出，该框架可扩展应用于放射科电话树导航或读片室协调员辅助工具，为医疗人工智能的落地应用开辟了新思路。未来通过融合实时值班表更新和临床语境理解，有望建立更智能的医疗流程自动化体系。