基于定制化提示策略与混合方法评估的大语言模型生成放射学报告通俗摘要性能研究

《PLOS Digital Health》：Evaluating large language models for lay summaries of radiology reports using tailored prompting strategies and mixed-method assessment

　　

摘要专业翻译 放射学报告中常充斥医学专业术语，这限制了患者的理解。通俗摘要（Lay Summaries）可改善患者理解，但由医疗保健提供者编写极为耗时。本研究旨在探索五种大语言模型（Large Language Models, LLMs）在定制化提示（tailored prompts）下，由放射学报告生成通俗摘要的应用。研究人员采用公开的“BioNLP 2023报告摘要”数据集中的100份报告，在基于预试验确定的提示风格下[少样本学习（Few-Shot，GPT-4）、生成知识（Generated Knowledge，GPT-4o mini、Gemini 1.5 – Pro、Gemini 1.5 – Flash）及零样本学习（Zero-Shot，Llama 3.1）]，由各LLM生成通俗摘要。研究采用混合方法框架进行评估：由设盲专家（n=2名放射科专科培训医师）及大型推理模型（Large Reasoning Models, LRMs）[Gemini 2.5 – Pro（LRM 1）；GPT-oss-120b（LRM 2）]进行主观评估（李克特量表陈述），并结合可读性指标（Flesch-Kincaid年级水平与Flesch阅读易读性）。依据李克特陈述的百分比一致性，对LLM-提示组合的性能进行排名，并开展Friedman检验及事后Nemenyi检验。Gemini 1.5 - Flash与- Pro（生成知识提示）在生成可操作性强的通俗摘要方面，获得人类专家及LRM的最高评分，且所需监督最少[P < 4.97 × 10-2（评分者1）；P < 9.03 × 10-21（评分者2）；P < 6.90 × 10-15（LRM 1）；P < 2.760 × 10-5（LRM 2）]。GPT-4（少样本学习）在人类评分中获得最高的准确性（98%），而Gemini 1.5 – Flash（LRM 1评分：95%）与Gemini 1.5 – Pro（LRM 2评分：91%）分别在LRM评分的准确性中位列第一。Gemini 1.5 - Pro生成的摘要可读性最佳（Flesch-Kincaid年级水平：7.55 ± 1.38；Flesch阅读易读性：67.84 ± 7.78）。专家与LRM之间观察到较强的一致性[完全分歧率分别为0.96%（LRM 1）与3.4%（LRM 2）]。总体而言，本研究凸显了采用生成知识提示的Gemini模型在生成通俗摘要方面的优势，并展示了LRM评估器在评估LLM生成的通俗摘要中的潜力。

论文解读文章

一、研究背景与问题提出

放射学报告是临床诊疗中的关键文书，但其内容高度专业化，充斥着大量医学术语，这常常成为患者理解自身病情的障碍。患者及其家属虽非此类报告的目标读者，却往往依赖其了解疾病状况。医学术语的过度使用不仅会降低患者对疾病的理解程度，还可能影响其治疗依从性，并加剧医患沟通的鸿沟。为此，患者倡导组织建议在官方医疗文书中纳入清晰、易懂且语言简明的患者友好型摘要，即通俗摘要。

然而，编写通俗摘要需要额外的专业人员配置与精力投入，这对于多数临床科室而言难以实现，尤其是本就面临日益增长的医疗服务需求的放射学科。在此背景下，预训练大语言模型凭借其成本效益和强大功能，被视为辅助放射学工作流程中报告开发的潜在工具。通过提示工程这一技术，可设计对LLM的请求以生成期望输出，从而利用LLM为影像报告生成通俗摘要。不同的提示工程风格，如零样本学习、少样本学习及生成知识等，均可探索用于通俗摘要的生成。

尽管已有若干研究对LLM在临床文本通俗摘要生成中的性能进行了比较分析，但这些研究大多采用零样本提示风格，且集中于LLM本身的性能，缺乏对LLM-提示组合在实际应用中性能的系统性探究，也缺乏将临床专家判断与大型推理模型推理能力相结合的混合评估框架。鉴于LLM对提示风格的敏感性，针对不同LLM-提示组合在通俗摘要生成任务中的表现，以及采用混合评估框架进行评价，是填补现有文献空白的必要之举。

二、研究设计与核心发现

为填补上述研究空白，研究人员开展了一项比较分析研究，旨在评估五种LLM在各自经预试验确定的定制化提示策略下，生成放射学报告通俗摘要的性能差异。研究采用混合评估框架，综合人类专家、LRM的主观评价与客观可读性指标，对生成的摘要进行全面评估。

研究结果显示，Gemini 1.5 – Flash与Gemini 1.5 – Pro在生成知识提示下，于多项主观评价标准中表现优异，获得了人类专家与LRM的最高评分，尤其在“无需监督”标准中表现突出，表明其生成的摘要更可能被视为可信、准确且自足。GPT-4在少样本学习提示下生成的摘要，在人类评分的准确性方面表现最佳。在可读性方面，所有LLM生成的摘要均较原始报告有显著改善，其中Gemini 1.5 – Pro生成的摘要可读性最佳，适合约7至8年级水平的读者。此外，LRM评估器与人类专家之间表现出较强的一致性，其中Gemini 2.5 – Pro与人类专家的分歧率更低。

三、关键技术方法

研究人员选取了五种LLM（GPT-4、GPT-4o mini、Gemini 1.5 – Pro、Gemini 1.5 – Flash和Llama 3.1）及两种LRM（Gemini 2.5 – Pro和GPT-oss-120B）。LLM的选择基于预试验结果、发布时间及API可用性。研究使用“BioNLP 2023报告摘要”数据集（源自MIMIC胸部X光数据库v2.0.0），从中分层抽样100份报告。所有LLM均通过Python脚本和API调用进行提示，采用三种提示工程风格之一生成通俗摘要。评估采用混合方法框架：由两名放射科专科培训医师进行设盲的主观评估，使用包含五个主要标准的李克特5点量表；同时由两种LRM使用相同评估标准进行评价；此外，还计算了多种客观可读性指标。统计分析方法包括Friedman检验、事后Nemenyi检验、组内相关系数及Spearman秩相关分析等。

四、研究结果分述

第一模式：人类专家评估。 两名人类评分者均对Gemini 1.5 – Flash和Gemini 1.5 – Pro（生成知识提示）生成的摘要给予高分。综合排名显示，Gemini 1.5 – Flash位列第一，Gemini 1.5 – Pro紧随其后。在“无需监督”标准中，Gemini 1.5 – Pro获得最高一致性比例（71%）。GPT-4（少样本学习）生成的摘要被人类评分者评为准确性最高（98%）。Gemini 1.5 – Pro和Gemini 1.5 – Flash（生成知识提示）生成的摘要被认为更简洁。

第二模式：LRM评估。 Gemini 2.5 – Pro对所有LLM生成的摘要评分普遍较高，而GPT-oss-120b的评分则更具差异性。综合排名中，Gemini 1.5 – Flash（生成知识）位列第一，Gemini 1.5 – Pro（生成知识）紧随其后。在准确性方面，LRM 1认为Gemini 1.5 – Flash（生成知识）最准确（95%），LRM 2则认为Gemini 1.5 – Pro（生成知识）最准确（91%）。两种LRM均认为Gemini 1.5模型的摘要更简洁。LRM与人类评分者之间表现出较强的一致性，Gemini 2.5 – Pro的完全分歧率仅为0.96%。

第三模式：定量评估。 Gemini 1.5 – Pro（生成知识）生成的摘要可读性最佳，具有最高的Flesch阅读易读性得分（67.84）和最低的Flesch-Kincaid年级水平（7.55）。GPT-4o mini（生成知识）生成的摘要可读性得分最低。Friedman检验显示各模型的可读性指标存在显著差异。此外，Gemini 1.5模型（生成知识提示）生成的摘要平均字符长度更短，更为简洁。

提示长度与摘要质量关系。 研究发现，较长的“发现”部分（提示长度）与较高水平的无关信息相关，但这并未转化为更多相关或可操作信息的包含。对于某些模型，较长的提示有时可能提高准确性，但伴随产生无关内容的风险。

五、讨论与结论总结

在讨论部分，研究人员指出，Gemini 1.5模型在生成知识提示下的优越性能，可能源于该提示风格促使模型调用其内在的通俗沟通知识。GPT-4在少样本提示下虽准确性高，但生成的摘要较长，且性能逊于Gemini模型。研究强调了“无需监督”标准的重要性，并指出约30%的摘要仍需改进，提示需加强安全审查。LRM评估器展现出作为可扩展的二轮审查者的潜力，但需进一步外部验证。研究还指出，较新版本的模型可能影响性能，但本研究的方法论见解具有持续适用性。

研究结论指出，Gemini 1.5 – Flash和Gemini 1.5 – Pro采用生成知识提示，在可读性指标、李克特评分及“无需监督”标准方面均优于其他模型-提示组合。LRM评分者与人类评分者及彼此之间表现出强一致性，其中Gemini 2.5 – Pro作为评估器的性能更优。GPT-4在少样本提示下生成的摘要被人类评分者评为最准确。鉴于AI模型的快速演进，本研究的方法论见解及混合评估框架的应用，对于利用LLM进行临床沟通具有重要参考价值，而非作为性能基准。