大语言模型生成影像学诊断印象的结构化提示词优化策略及多维质量评估框架验证

《BMC Medical Imaging》：Prompt optimization and multidimensional quality assessment for Chinese large language model-generated diagnostic impressions from liver MRI findings: external-center and cross-disease validation

　　

摘要

目的

开发并验证一种结构化的提示词优化策略及多维质量评估（MDQA）框架，用于评估基于影像学发现文本生成的大语言模型（LLM）诊断印象。

方法

本回顾性研究纳入了15,127份主中心肝脏MRI报告。将影像学发现提供给了中文大语言模型，而由两位副高或正高放射科医师确认的共识诊断结论则保留用于评估。MDQA框架评估了语义连贯性、诊断正确性、临床优先级一致性、Top-1匹配度及综合得分。对Kimi-K2、DeepSeek-V3、ByteDance-Seed-OSS-36B-Instruct和Qwen3-235B-A22B-Instruct-2507等模型的提示词组成、示例数量和模型类型进行了评估。跨中心验证使用了1,009份外部肝脏MRI报告，跨疾病验证使用了1,692份肺部薄层CT报告。放射科医师评分用于一致性评估。

结果

与仅包含角色定义或基本任务指令的提示词相比，结构化提示词提高了诊断正确性、优先级排序及整体MDQA得分。增加示例数量主要提升了语义连贯性和Top-1匹配度；综合得分峰值为Kimi-K2搭配提示词11的0.7696，以及DeepSeek-V3搭配提示词10的0.7613。在外部队列中，本地适配的提示词11 V3在Kimi-K2和DeepSeek-V3上取得了最高的MDQA得分。在肺部疾病验证中，MDQA得分从提示词0的0.4773±0.1701提升至提示词10的0.7109±0.1676。放射科医师评分呈现相似趋势。

结论

结构化提示词和基于MDQA的评估方法可能提高大语言模型从放射学发现中生成的诊断印象的一致性及报告级质量。