面向消费者大型语言模型在泌尿肿瘤学临床决策中的安全性与稳定性评估

《BMC Urology》：Performance and safety of large language models versus two early-career urologists in urological oncology: a source-masked vignette benchmark with repeated-query assessment of LLM response stability

　　

摘要

背景

大型语言模型（LLM）的总体表现可能会掩盖重复查询中的严重错误和变异性。我们比较了三种面向消费者的LLM在泌尿肿瘤学领域的临床表现和安全性，并与两名经验有限的泌尿科医生进行了对比测试，同时分别评估了LLM在重复查询中的响应稳定性。

方法

我们使用相同的标准化提示，让GPT-5.2 Instant、Claude Sonnet 4.5、Gemini 3 Pro Preview以及两名经验有限的泌尿科医生回答了100个涉及五种泌尿系统癌症和五种决策类别的合成案例。两名具有泌尿肿瘤学专业知识的泌尿科医生独立评估了所有500个初始响应，依据的是预先确定的2025年欧洲泌尿学会（EAU）框架。基准定义的主要综合成功标准包括指南一致性得分≥2分、临床安全性、决策完整性以及风险/分期准确性，且不允许出现任何预先规定的不合格的临床错误。所有五种响应来源的安全关键错误都进行了评估，而针对三种LLM的精确三次重复响应稳定性则分别进行了单独评估。

结果

在100个案例中，GPT-5.2的回答中70个（70.0%）达到主要综合成功标准，Claude为64个（64.0%），Gemini为60个（60.0%）；而泌尿科医生A和B的回答中分别为85个（85.0%）和89个（89.0%）（Cochran’s Q = 34.23；P < 0.001）。经过Holm调整后，六个人类与LLM对比中的五个仍然具有显著性；泌尿科医生A与GPT-5.2的对比则没有显著性（差异为15个百分点；95%置信区间为3-27；调整后的P = 0.095）。LLM的回答中25.0%、25.0%和26.0%出现了安全关键错误，而泌尿科医生的回答中这一比例为2.0%和1.0%（Cochran’s Q = 51.34；P < 0.001）；所有六个人类与LLM的对比都保持显著。在60种LLM-平台组合中，主要分类的精确三次重复稳定性为45.0%，安全关键状态的稳定性为48.3%，完整的四个领域得分概况的稳定性为28.3%。稳定的主要分类包括一致成功的和一致不成功的输出；稳定的安全关键状态包括在三次运行中都不存在或存在安全关键错误的情况。

结论

在研究期间评估的面向消费者的LLM通常能够产生可接受的响应，但安全关键错误和有限的重复性在临床层面仍然具有重要意义。总体表现并不能完全反映响应的可靠性。研究结果支持在临床应用前分别评估性能、严重错误和重复性。临床监督是否能够缓解所观察到的故障模式，需要在前瞻性工作流程研究中进行直接评估。