序列式多大型语言模型医疗教育流程中的人工介入验证

《npj Digital Medicine》：Human-in-the-loop validation of a sequential multi-LLM medical education pipeline

　　

摘要

大型语言模型能够大规模生成医学教育内容，但目前尚未对多大型语言模型处理流程进行大规模的多维度人工验证。我们评估了一个由Gemini系列模型构成的7阶段顺序式多大型语言模型处理流程（文本处理使用Gemini 3 Flash和Pro版本；图像处理使用Gemini 3 Pro Image以及Nano Banana Pro预览版），该流程共生成了6000张闪卡和833幅用于放射学考试准备的图表。9名住院医师和11名主治放射科医生在以第五阶段反馈为核心的两阶段评估中，对11个亚专业领域的1284张闪卡进行了评价。在980张文本类合格闪卡的1100次评估中，因错误而被标记为不合格的假阴性率为1.00%（95%置信区间为0.50–1.78%），超过了预先设定的0.3%的安全阈值；而针对单张闪卡及多数人投票结果的评估显示的假阴性率分别为1.12%和0.82%。第五阶段的反馈会导致更多错误被标记出来（共有39–54次评估结果出现此类情况，McNemar检验p值=0.003），同时还会降低技术准确性和教育质量评分（两者p值均小于0.001）。在未进行调整的分析中，主治放射科医生发现的错误数量多于住院医师（比值比为4.52，95%置信区间为2.38–8.57），不过经过工作量匹配后的敏感性分析则缩小了这一差异。在针对19项内容的初步图像测试中，表格和图表都存在严重错误，经不同格式对比后，在Holm校正后仍无显著差异，因此这一与图像相关的发现仅可作为探索性数据。基于条件安全估算、低可靠性参考标准以及评估者和工作量带来的差异，目前还不适合完全自动化地应用这类系统；虽然自动化反馈能促使评估者更加仔细地检查，但由于研究为单组设计，无法区分其中有效的提示作用与固有偏见或重新审核带来的影响。