《Journal of Medical Systems》：AI-enabled clinical decision support in breast cancer care: a blinded multicenter benchmarking study comparing medically specialized with a general-purpose system
编辑推荐：
已作为医疗器械获得监管批准的医疗专用人工智能（Artificial Intelligence, AI）系统，可在规定的合规要求下部署用于患者特异性临床决策支持。然而，医疗专业化和监管地位是否能转化为比通用大语言模型（Large Language Model,
已作为医疗器械获得监管批准的医疗专用人工智能（Artificial Intelligence, AI）系统，可在规定的合规要求下部署用于患者特异性临床决策支持。然而，医疗专业化和监管地位是否能转化为比通用大语言模型（Large Language Model, LLM）更高质量的乳腺癌治疗建议，目前尚不明确。这项盲法、多中心研究比较了两种医疗专用AI系统与一种通用模型在乳腺癌诊疗中的性能表现。研究人员以20例标准化乳腺癌患者病例为提示，要求两种医疗专用系统（Prof. Valmed和OpenEvidence）与一种通用系统（ChatGPT-5 Thinking）生成治疗方案。由来自7个大学乳腺癌中心的 blinded 、委员会认证的乳腺癌专科医师，对系统输出进行安全性、指南依从性、医学 adequacy、完整性、整体质量和逻辑一致性等方面的评分与排序。统计分析包括描述性统计、评价者间可靠性（Inter-Rater Reliability, IRR）评估、评分与排序结果的非参数性能比较，以及相关性分析。ChatGPT-5 Thinking的平均处理时间（mean [± standard deviation, SD], 159 ± 58 s）超过Prof. Valmed（35 ± 4 s）和OpenEvidence（9 ± 1 s）的四倍以上。ChatGPT-5 Thinking在所有评价类别中均获得显著更高的评分，两种医疗专用系统之间无显著差异。ChatGPT-5 Thinking生成的治疗计划在96.4%的评价者-病例组合中被列为首选，OpenEvidence为3.6%，而Prof. Valmed从未获得首选排名。在这项盲法、多中心评估中，通用LLM在生成乳腺癌治疗计划的所有评估类别中均优于两种医疗专用、检索增强（Retrieval-Augmented Generation, RAG）系统。这些结果表明，尽管监管批准和领域专业化满足了AI赋能临床决策支持系统的关键要求，但仅凭这些因素尚不能在乳腺癌诊疗中转化为更优的性能。目前，医疗专用系统可能最适合在专家监督下作为辅助工具使用，同时需要进一步优化和真实世界验证。
乳腺癌是全球最常见的恶性肿瘤，预计将持续成为癌症死亡的主要原因之一，若当前趋势不变，乳腺癌死亡人数预计将从2020年的68.5万增长至2040年的约100万，增幅超过50%[1]。精准肿瘤学在乳腺癌治疗中的发展要求医师评估大量多模式治疗数据和多样化的潜在治疗方案，以识别最优的个体化治疗方案，这一复杂且耗时的过程若与快速发展的科学证据不同步，则易产生决策失误。人工智能凭借其整合海量数据和算法推理的能力，被视为应对这一医疗挑战的重要杠杆[4-6]。与此同时，美国食品药品监督管理局（Food and Drug Administration, FDA）批准的AI医疗器械数量在过去五年增长约四倍，截至2025年底已达1357项认证设备[7]，其中约四分之三集中在放射学领域，主要依赖机器学习和深度学习算法[8]。在乳腺癌筛查领域，E foucsed 研究显示AI辅助筛查的癌症检出率比标准专家筛查提高17.6%[8]。随着生成式AI模型的普及，大语言模型在肿瘤学中的应用迅速扩展，涵盖临床决策支持、诊断性能评估、数据提取及患者辅助管理等多个领域[10]。在此背景下，医疗领域专用LLM系统正成为临床决策支持系统持续演进的重要组成部分。Prof. Valmed（Validated Medical Information GmbH, Langen, Germany）作为首个基于LLM的检索增强生成（RAG）临床决策支持系统，是欧盟首个获得IIb类医疗器械认证的解决方案[11]；OpenEvidence（OpenEvidence, Cambridge, MA, USA）则通过了美国健康保险流通与责任法案（Health Insurance Portability and Accountability Act, HIPAA）合规认证并完成SOC 2 Type II审计。然而，尽管已有研究评估了公开可用LLM在乳腺癌决策支持中的性能[12,13]，但这些AI系统获得医疗器械监管授权代表了一个全新的临床应用场景，允许其在临床决策中直接应用并处理患者特异性数据。Kremer等人曾比较了这三种系统在风湿病诊断中的表现[14]，但其在乳腺癌治疗计划中的性能尚未被评估。鉴于此，德国妇产科学会数字医学委员会决定开展这项基准研究，比较两种AI赋能的医疗专用系统与通用AI系统ChatGPT-5 Thinking在乳腺癌治疗决策支持中的性能。
本研究旨在通过先前使用的多维度评分框架，在德国的大学乳腺癌中心进行盲法、多中心评估，比较这两种医疗专用、受监管系统与通用LLM的决策支持性能，为临床决策者提供关于乳腺癌治疗中特定领域AI决策支持系统当前性能和适当使用的信息。
研究采用前瞻性、专家盲法评估设计，纳入两种具有不同监管授权_status_ 的医疗专用系统（Prof. Valmed和OpenEvidence）以及一种非领域特异性通用系统（ChatGPT-5 Thinking）。研究人员使用标准化、经先前测试的乳腺癌特异性提示词，要求各系统为20例患者档案生成单一治疗方案。病例源自Griewing等人发表的标准化乳腺癌患者档案[13]，涵盖癌前病变、早期浸润性乳腺癌、原发性转移性乳腺癌、双侧乳腺癌及炎性乳腺癌等多种临床情境，并按淋巴结状态和绝经状态进行分层。每例档案包含年龄、绝经状态、出生史、ECOG（Eastern Cooperative Oncology Group Performance Scale）评分、既往病史、肿瘤家族史、既往手术治疗等临床信息，以及pTNM分期、最小切缘（R
0/R
所有实验于2025年8月29日至9月14日在德国Marburg进行，以控制系统更新变量。提示执行前，病例顺序经随机化处理，并在三系统间保持一致。所有标识符被移除后，三系统以标准化提示词（见在线资源1）进行单次独立会话查询，禁用聊天机器人记忆功能，禁止后续追问（单轮交互）。记录每例查询的响应时间（TIME，秒）和答案长度（WRDS，词数）。为保持盲法，所有响应被汇编至同一文档，删除引用文献和URL，并进行格式标准化处理（包括间距规范化、Markdown语法移除、粗体标记转换），内容不作更改。
七名来自德国七个大学医院乳腺癌中心（Erlangen、Halle [Saale]、Heidelberg、Marburg、Luebeck、Tuebingen、Ulm）的委员会认证专科医师，以盲法方式按相同顺序对系统生成的决策支持答案进行评分。每例患者的三个匿名系统答案以固定顺序并列呈现。采用Labinsky等人提出的5点Likert量表（1-强烈反对至5-强烈同意）评估输出结果[18]，评价维度包括：方案安全性（SAFE）、当前指南依从性（ADHE）、医学 adequacy（ADEQ）、完整性（COMP）、治疗质量（QUAL）和治疗决策推理的逻辑一致性（COHE）。此外，评价者还使用5点Likert量表评估每例病例的临床难度（DIFF，1-非常容易至5-非常困难），并按个人偏好对三系统答案进行排序（RANK：1/2/3）。
数据分析采用描述性统计、Krippendorff's α评估评价者间可靠性（Inter-Rater Reliability, IRR）。通过Friedman检验进行系统间非参数性能比较，效应量报告Kendall's W；显著时采用配对Wilcoxon符号秩检验配合Holm-Bonferroni校正。排序数据分析采用频率表和Kendall's W评估一致性。Spearman秩相关分析模型性能与感知难度的关系。
研究结果显示，ChatGPT-5 Thinking的平均处理时间（arithmetic mean [AM] ± standard deviation [SD], 159 ± 58 s）超过Prof. Valmed（35 ± 4 s）和OpenEvidence（9 ± 1 s）的四倍以上，其词数（927 ± 247词）也超过后两者两倍多（Prof. Valmed: 419 ± 63词; OpenEvidence: 322 ± 55词）。病例平均难度评分为2.54 ± 0.52，多数病例被评为"容易"（43.6%的140个评价者-病例组合），其次为"中等"（29.3%）、"困难"（16.4%）和"非常容易"（10.0%），仅一例被评为"非常困难"（0.7%）。模型平均Likert评分和平均RANK均与难度无显著相关性（所有Spearman p ≥ 0.1），提示模型性能和偏好在很大程度上独立于感知病例难度。
七名评价者在六个评分维度上呈现中等评价者间可靠性，Krippendorff's α范围为0.460（SAFE）至0.596（QUAL）；Friedman检验同时揭示三系统间存在统计学显著差异（χ2≈30–32, p < 0.001），效应量较大（Kendall's W ≈ 0.75–0.81）。事后Wilcoxon符号秩检验显示，ChatGPT-5 Thinking在每个类别中均显著优于OpenEvidence和Prof. Valmed（所有校正后p < 0.001，效应量r > 0.87），而后两者间无显著差异。逐评价者敏感性分析重复了这一模式。各系统内部，ChatGPT-5 Thinking的类别间差异较小，OpenEvidence和Prof. Valmed则呈现中等程度且统计学显著的变异。ChatGPT-5 Thinking在SAFE和QUAL维度得分最高（均为4.4 ± 0.6），其次为ADHE、ADEQ和COHE（均为4.3 ± 0.7/0.6），COMP最低（4.2 ± 0.8）。Prof. Valmed在SAFE（2.6 ± 1.1）和COHE（2.6 ± 0.9）方面相对较好，ADHE、ADEQ和COMP均较差（2.4 ± 1.0），QUAL最差（2.3 ± 0.9）。OpenEvidence呈现相似模式，SAFE最高（2.9 ± 1.1），COHE其次（2.8 ± 0.9），ADHE和ADEQ为2.6 ± 1.1/1.0，COMP和QUAL最低（均为2.5 ± 1.1/1.0）。
排名结果显示，ChatGPT-5 Thinking在135/140个评价者-病例组合中排名第一（96.4%），仅5例为第二，从未列为第三；OpenEvidence占3.6%（5/140），Prof. Valmed从未获得首选。评价者间排序一致性较高（平均Kendall's W = 0.77），χ2检验检测到轻微系统性差异（p = 0.033）。全局Friedman检验显示显著模型效应（χ2=195.44, p < 0.001），配对Wilcoxon检验确认ChatGPT-5 Thinking显著优于另两系统，Prof. Valmed与OpenEvidence间无显著差异。
研究人员指出，这是首个比较医疗专用、监管批准AI决策支持系统与通用AI系统在乳腺癌诊疗中性能的研究。该比较具有临床相关性，因为OpenEvidence（HIPAA合规）和Prof. Valmed（欧盟IIb类医疗器械认证）的引入建立了新的监管和临床背景，使其能够直接用于临床决策和患者特异性数据处理——这此前是公开可用通用LLM的关键局限。总体而言，研究识别出通用系统ChatGPT-5 Thinking在乳腺癌诊疗盲法多中心评分中的更优性能。
ChatGPT-5 Thinking在所有评分标准上均显著优于两种医疗专用系统，平均Likert评分介于4.2-4.4，而OpenEvidence和Prof. Valmed主要停留在2分中段。这些差异不仅统计学显著，且伴随大效应量，并在逐评价者敏感性分析中得到重复。各模型在游戏内的类别间变异较小，提示无明显的类别特异性"盲点"。临床医师在几乎所有病例中均偏好ChatGPT-5 Thinking。此结果与Vishwanath等人的早期研究（2025年12月，未经同行评审）一致，后者发现ChatGPT-5在临床知识和专家判断一致性上优于OpenEvidence（知识准确率：96.2% vs. 89.6%；专家对齐率：97.0% vs. 74.3%）。
值得注意的是，感知病例难度与Likert评分或排序均无相关性，提示模型性能和偏好在很大程度上独立于临床难度。此发现与Inojosa等人的研究相呼应——该研究比较了ChatGPT-4o、多发性硬化症（Multiple Sclerosis, MS）特异性RAG系统和Prof. Valmed，发现各系统在难度水平上的性能相当，但研究生在简单问题上表现优于模型，在困难问题上则较差，提示AI在挑战性病例中可能具有最大附加价值。
研究人员进一步探讨了为何领域特异性、RAG赋能系统目前在此聚焦情境中落后于通用系统。多种因素可能贡献于这一观察：首先，欧洲医疗器械法规要求设备在安全、性能、临床评价、风险管理、技术文档和上市后监督方面符合结构化要求，但这些要求与研究中的多维度专家评估并不完全重叠；监管状态本身不应被视为独立比较评估的直接替代，也不应假定为复杂乳腺癌治疗决策支持中更优性能的保证。其次，ChatGPT-5 Thinking以速度换取了更广泛、结构更优的响应，而医疗专用RAG系统似乎优先考虑快速输出——通用模型的处理时间超过160秒，是后者的四倍以上。更高感知质量系统性地伴随更长延迟，这可能对肿瘤board等多病例连续讨论的时效性临床场景构成挑战。此外，通用LLM通常在极大且多样化的语料库上训练，设计用于广泛的语言理解和推理，这可能转化为更细致的治疗论证和更强的知识检索能力。研究结果与同一批LLM在风湿病诊断情境中的评估形成对比：Kremer等人报告医疗专用与通用系统在诊断准确性上大致相似，提示生成连贯、指南依从的治疗策略对推理深度、纵向连贯性和情境整合的要求高于单纯的诊断排序。
在临床日常实践中，提供透明、可验证的循证推荐对临床医师信任和循证工作流整合至关重要。领域特异性医疗系统在此方面具有明显优势，最显著的是通过结构化、可验证的指南和同行评审文献引用——这些特征在本研究盲法评估中未被捕捉。鉴于先前研究显示通用系统可能频繁编造或错误归因参考文献，如Hooshiar报告ChatGPT-4o在口腔种植学研究中引用幻觉率达82.2%，而OpenEvidence为0.0%[30]，RAG系统的可追溯性和可审计性优势在本研究文本-only评估中未能体现，可能导致其临床实用价值被低估。此外，两种专用系统在数据保护和隐私保障方面具有优势，这也是盲法、文本-only评估未能捕捉的方面。
尽管ChatGPT-5 Thinking生成的治疗计划被一致评判为更安全、更指南一致、逻辑推理更严谨，但这并不意味着不存在临床重要错误或足以独立使用。鉴于肿瘤决策的高风险性质，任何AI系统输出必须严格限定为咨询性质并须经人工核验。
研究人员也指出了研究局限性：评分基于多中心专家共识而非预先设定的病例特异性金标准；系统间响应长度和结构存在显著差异，可能引入系统性偏倚；为保持盲法删除引用削弱了RAG系统的固有限势；提示设计和平台特异性AI护栏可能影响模型行为；模型快速迭代的性质使研究发现仅代表特定时间点评；单轮交互设计未充分反映临床实际中的迭代澄清过程；评价者均限于德国医疗体系，限制了向其他指南、监管框架和资源约束不同环境的推广性；病例数量和亚型分布也限制了亚型特异性结论的得出。
未来研究应扩展至更大规模、更多样化的真实世界患者队列，纳入国际化多中心评分方法，并整合实时多轮交互设计，特别是在多学科肿瘤board情境中，以系统分析模型生成推荐的可接受性、修改或拒绝情况，深入洞察AI赋能决策支持系统在乳腺癌治疗中的临床整合、安全性和实用性。
研究结论指出，在这项盲法、多中心基准研究中，通用LLM（ChatGPT-5 Thinking）在多个临床相关类别中始终优于两种医疗专用LLM赋能系统（OpenEvidence和Prof. Valmed）。这些发现表明，仅凭领域专业化和医疗器械监管授权本身，目前尚不能转化为更优的感知决策支持质量。尽管受监管系统在数据保护、可追溯性和监管合规方面提供重要优势，其当前性能尚不能支持独立临床应用。因此，无论监管授权状态或领域专业化程度如何，目前所有评估系统均需专家监督，在常规临床实施前进行前瞻性真实世界验证，以及此后的上市后监测和定期临床再评估，对于确保持续符合不断演进的临床证据、指南以及快速技术进步至关重要。
