《Diagnostics》：Benchmarking Open-Source Large Language Models for Breast Ultrasound Report Processing: A Multicenter Study
编辑推荐：
背景/目的：通用型大语言模型（large language models，LLMs）可能支持医学报告处理，但其在乳腺超声（breast ultrasound，BUS）工作流程中的作用仍不明确。研究人员利用来自真实临床实践的回顾性多中心报告，在医师监督下评估了可
背景/目的：通用型大语言模型（large language models，LLMs）可能支持医学报告处理，但其在乳腺超声（breast ultrasound，BUS）工作流程中的作用仍不明确。研究人员利用来自真实临床实践的回顾性多中心报告，在医师监督下评估了可本地部署的开源LLMs在BUS报告质量控制、BI-RADS推理及临床决策支持任务中的表现，并进一步与专有模型及超声医师相比，刻画了其相对优势、局限性及潜在的辅助作用。
方法：研究人员构建了一个包含来自三家三级医院的1173份任务特异性中文BUS报告的多中心基准数据集。七项任务涵盖报告质量控制、BI-RADS推理和临床决策支持。研究人员评估了24个开源LLMs、20个专有LLMs及六名超声医师。任务1–5采用参考标准分类指标，任务6–7采用盲法专家五级Likert量表评分。
结果：开源LLMs与专有LLMs在基础错误检测、所见与印象不一致检测、治疗反应评估及随访建议生成方面无显著差异。在术语非标准化检测、单模态BI-RADS分类及多模态BI-RADS分类方面，开源LLMs表现较差，平均准确率分别为0.3775对0.4563、0.4121对0.4920及0.6149对0.7178。在210例人工评估子集中，医师在基础错误检测、所见与印象不一致检测、单模态BI-RADS分类及多模态BI-RADS分类方面优于LLMs。LLMs在治疗反应评估和随访建议生成方面获得更高的专家评分。术语非标准化检测在医师资历和模型组之间呈现混合结果。在开源LLMs中，具备推理能力的模型在七项任务中的六项优于非推理模型。最新的开源发布时段显示出更高的综合性能，但模型层面仍存在显著异质性。
结论：开源LLMs可支持选定的BUS报告处理任务，尤其是纵向总结和推荐意见起草。其在术语非标准化检测和BI-RADS推理方面的较弱表现提示在专科诊断推理方面仍存在持续局限。临床部署应保持医师监督，并应包括本地验证、版本控制和任务特异性模型选择。
论文解读
一、研究背景与问题
乳腺超声（breast ultrasound，BUS）报告的准确性和标准化对于乳腺癌早期筛查、精准诊断、治疗方案制定及患者管理至关重要。然而，全球范围内超声医师资源有限，在人口众多且资源受限的地区（如中国）这一短缺尤为突出。持续的高工作负荷可能增加报告错误、不一致和非标准化的风险，进而可能导致诊断延迟、不当干预及不良患者结局。
近年来，大语言模型（large language models，LLMs）在医学领域快速发展，为自动化影像报告分析提供了新机遇。既往研究已展示其在信息提取、报告标准化、错误检测和诊断推理方面的潜力。然而，现有评估存在重要局限：一项纳入519项研究的系统综述发现，仅5%的研究使用真实患者护理数据进行LLM评估，84.2%涉及问答任务，95.4%以准确率作为主要评估维度。尽管LLMs在医学执照考试中取得接近满分的成绩，但此类评估不能充分反映临床实践的复杂性和多样性。此外，既往医学影像领域的LLM评估往往聚焦于单一任务，未能全面刻画其在BUS报告处理中涉及的多样化功能。同时，部分研究纳入的模型数量较少，限制了跨模型比较的范围。
另一个重要研究空白是开源LLMs的代表性不足。一项涵盖4609项临床LLM研究的系统综述报告显示，闭源模型占所评估模型的87.7%。专有LLMs通常通过云端API访问，可能需要将敏感临床数据传输至外部服务，带来患者隐私和机构数据治理方面的挑战。相比之下，开源LLMs支持本地部署、机构定制和更可控的模型版本管理。然而，开源LLMs在通用基准上的进步并不必然转化为专科临床任务中的可靠表现。
二、研究内容与结论
为弥补上述空白，研究人员开发了一个七任务评估框架，反映报告处理工作流程的关键组成部分，并使用来自常规临床实践的多中心BUS报告评估模型性能。这是该专科领域首个在同一研究中整合多中心真实世界数据、多项临床相关任务、以开源LLMs为中心的大规模评估、与专有模型的互补比较及医师基线的研究。该框架支持开源LLMs、专有模型和人类医师之间的任务特异性比较，有助于识别本地可部署的开源LLMs可能提供有用辅助的任务，以及需要密切医师监督的任务。
三、关键技术方法
研究人员构建了一个包含1173份中文BUS报告的多中心基准数据集，数据来自三家三级医院：南华大学附属第一医院（衡阳）、湖南中医药大学第一附属医院（长沙）和中南大学湘雅医学院附属肿瘤医院（长沙）。七项任务涵盖报告质量控制（任务1–3）、BI-RADS推理（任务4–5）和临床决策支持（任务6–7）。任务1–5采用参考标准分类指标（准确率、宏平均精确率、宏平均召回率、宏平均F1值），任务6–7采用三位资深超声医师基于五级Likert量表的盲法专家评分。研究评估了24个开源LLMs和20个专有LLMs，所有模型均通过零样本提示（zero-shot prompting）在温度设为0的条件下进行单次推理评估。人类评估在预先定义的210例子集上进行，六名超声医师（三名资深、三名初级）独立完成相同任务。统计推断采用病例级配对bootstrap重抽样，多重比较分别采用Holm法和Bonferroni校正。
四、研究结果
4.1 开源LLMs的多任务表现
开源LLMs与专有LLMs在基础错误检测（任务1）、所见与印象不一致检测（任务3）、治疗反应评估（任务6）和随访建议生成（任务7）方面无显著差异。在基础错误检测中，开源LLMs平均准确率为0.4062，专有LLMs为0.4268，组间差异为?0.0206（p = 0.4072）。在所见与印象不一致检测中，开源LLMs平均准确率为0.5856，专有LLMs为0.6097，组间差异为?0.0241（p = 0.5302）。在治疗反应评估中，开源和专有LLMs的平均五级Likert评分分别为3.1619和3.1740（p = 0.9540）；在随访建议生成中分别为4.3083和4.3025（p = 0.9711）。
然而，开源LLMs在术语非标准化检测（任务2）、单模态BI-RADS分类（任务4）和多模态BI-RADS分类（任务5）方面显著低于专有LLMs。术语非标准化检测的平均准确率分别为0.3775和0.4563（p = 0.0241）；单模态BI-RADS分类分别为0.4121和0.4920（p = 0.0070）；多模态BI-RADS分类分别为0.6149和0.7178（p = 0.0020）。补充误差分析显示，任务2的错误主要归因于类别误分类而非漏检；任务4中过度分类是主要方向性错误，而任务5中分类不足成为主要方向性错误。在开源LLMs排名中，Kimi-K2.6综合得分最高（0.6557），GLM-5.1、GLM-5、DeepSeek-V4-Flash和Qwen3.6-27B分列第二至第五。
4.2 人机性能比较
在210例人工评估子集上，医师在基础错误检测、所见与印象不一致检测和BI-RADS推理方面表现优于LLMs。在基础错误检测中，开源和专有LLMs的平均准确率分别为0.4172和0.4323，而资深、初级和全体医师分别为0.7508、0.5825和0.6667。在所见与印象不一致检测中，LLMs分别为0.5791和0.6199，医师组分别为0.9158、0.8479和0.8818。单模态BI-RADS分类中，LLMs分别为0.4031和0.4967，医师组分别为0.8889、0.8222和0.8556。多模态BI-RADS分类中，LLMs分别为0.6149和0.7178，医师组分别为0.9333、0.8667和0.9000。术语非标准化检测呈现混合模式：开源LLMs（0.3775）与资深医师（0.5542）和初级医师（0.2519）均无显著差异，而专有LLMs（0.4489）显著优于初级医师（0.2519，p = 0.0010）。
相反，在治疗反应评估中，开源和专有LLMs的评分分别为3.1720和3.5870，显著高于资深（2.1949）、初级（1.9740）和全体医师（2.0844）。在随访建议生成中，LLMs评分为4.4410和4.2025，显著高于医师组（资深1.8355、初级1.5250、全体1.6803）。
4.3 多中心性能
跨中心分析显示，基础错误检测、治疗反应评估和随访建议生成在三个机构中均未显示开源与专有LLMs之间的显著差异。而在所有三个中心，专有LLMs在多模态BI-RADS分类中均显著优于开源LLMs。术语非标准化检测在机构1（p = 0.0060）和机构2（p = 0.0420）中专有模型显著更优，机构3差异不显著。单模态BI-RADS分类在机构1（p = 0.0360）和机构3（p = 0.0050）中专有模型显著更优。
4.4 推理与非推理开源LLMs比较
推理型开源LLMs在七项任务中的六项表现优于非推理模型。在基础错误检测中，推理模型平均准确率为0.4348，非推理模型为0.3210，相对提升36%（p = 0.0002）。术语非标准化检测中分别为0.4316和0.2150，相对提升100%（p = 0.0002）。单模态BI-RADS分类中分别为0.4442和0.3160，相对提升41%（p = 0.0002）。多模态BI-RADS分类中分别为0.6499和0.5099，相对提升28%（p = 0.0002）。治疗反应评估中推理模型均分为3.4111，非推理模型为2.4145，相对提升41%（p = 0.0004）。随访建议生成中两组无显著差异（p = 0.0794）。
4.5 不同发布时段开源LLMs的性能
按发布时间分组的分析显示，较晚发布时段的模型综合得分总体更高，但呈非单调模式。2026年4月组（平均综合得分0.5866）显著优于2024年12月–2025年7月组（0.4476，p = 0.0051）、2025年8–9月组（0.4462，p = 0.0020）和2025年11–12月组（0.4820，p = 0.0371）。然而，发布时段内仍存在显著的模型层面异质性。
五、讨论与结论
本研究的核心发现是开源LLMs在BUS报告处理中的效用是任务分层的，而非统一适用于临床。开源LLMs在基础错误检测、所见与印象不一致检测、治疗反应评估和随访建议生成方面与专有LLMs无显著差异，这些任务对应明确的报告辅助功能。然而，在术语非标准化检测和BI-RADS推理方面，开源LLMs表现较弱，提示其在专科诊断推理方面存在持续局限。
人机比较揭示了LLM使用的临床边界：医师在错误识别、所见与印象一致性判断和BI-RADS风险分层方面保持优势，而LLMs在纵向信息组织、治疗后变化总结和推荐意见起草方面获得更高评分。这提示LLMs可能在医师监督下作为初步警报、结构化总结和推荐意见起草的辅助工具，但诊断推理和BI-RADS风险分层应保持医师主导。
模型异质性分析强调任务特异性模型选择的重要性：没有单一模型在所有BUS报告任务中持续占优。推理能力与六项任务中的较高性能相关，但随访建议生成中未见明显优势。研究结论指出，开源LLMs可支持选定的BUS报告处理任务，临床部署应保持医师监督，并应包括本地验证、版本控制和任务特异性模型选择。
