大语言模型生成的新诊断肺癌治疗建议：资源有限环境下的单中心可行性研究

《Current Oncology》：AI-Generated Treatment Recommendations in Newly Diagnosed Lung Cancer: A Single-Center Feasibility Study in a Resource-Limited Setting

　　

背景：大语言模型（large language model, LLM）生成的治疗建议与现实世界肿瘤治疗决策之间的比较，尤其在资源有限环境中，仍缺乏充分刻画。方法：在这项单中心可行性研究中，四种LLM（ChatGPT、Claude、Gemini和Grok，于2026年6月通过消费者界面访问）为27例连续新诊断肺癌病例生成了治疗建议，这些病例在罗马尼亚一家肿瘤科接受治疗（2024年6月–2026年5月）。每个模型的输出与实际实施的治疗均以相同格式呈现（共135条建议），以随机顺序展示，并由一名对来源设盲的评审员按适当性（1–5分）评分，同时设有三个质量标记。第二名独立评审员对所有建议重新评分，以评估评审员间信度。使用Friedman检验比较各来源的评分。结果：现实世界决策的平均适当性评分最高（4.52），其次为ChatGPT（4.48）、Claude（4.44）、Grok（4.41）和Gemini（4.37），差异无统计学意义（Friedman χ²₄ = 1.99，p = 0.74）。没有任何建议的评分低于3分。评审员间原始一致性较高（93.3%的评分相差在1分以内），但经机会校正后仅为一般（加权κ = 0.26），这反映了天花板效应。结论：AI生成建议与现实世界决策获得的评分相似。该评估方法在资源有限环境中被证明可行；小样本和天花板效应排除了等价性声明，研究结果具有假设生成性质。

肺癌是全球癌症死亡的首要原因，其治疗决策涉及分期、组织学、分子分型、体能状态等多个变量，且随着免疫治疗和靶向治疗的快速发展而不断变化。多学科团队（multidisciplinary team, MDT）讨论是整合这些信息并形成治疗共识的常规途径，但在此过程中信息常不完整，与指南的调适也颇具挑战。大语言模型（large language model, LLM）已被探索作为肿瘤治疗决策支持工具，现有研究显示其生成的建议常与指南一致，但大多数证据来自资源充足的大型学术中心，且多以MDT决策作为参考标准，人类决策本身并未被评分。在资源有限环境中，专科知识更稀缺、分子检测可及性不稳定，AI决策支持可能更具价值，但能否在这种条件下严格评估AI工具尚不清楚。为此，研究人员开展了一项单中心可行性研究，旨在比较四种LLM生成的治疗建议与现实世界治疗决策的适当性，并测试该盲法评估方法在资源有限环境中的可行性。

研究人员从罗马尼亚布加勒斯特Colentina临床医院肿瘤科连续纳入27例新诊断肺癌患者（2024年6月至2026年5月），其中21例为非小细胞肺癌（non-small-cell lung cancer, NSCLC），6例为小细胞肺癌（small-cell lung cancer, SCLC）。通过消费者网页界面访问ChatGPT（GPT-5.5）、Claude（Sonnet 4.6）、Gemini（3.5 Flash）和Grok（Fast模式）四种商业LLM，采用标准化提示要求模型按固定七字段结构输出治疗建议，并将实际临床治疗记录转写为相同结构，形成135条建议。每条建议以随机顺序呈现，由对来源设盲的评审员按1–5分评定适当性，并标记潜在不安全、指南一致性、局部/支持治疗遗漏三项质量标记；第二位独立评审员对所有建议重新评分。主要比较采用Friedman检验，评审员间信度采用加权Cohen's κ评估。

研究结果部分包含以下几个方面的发现。病例特征：27例中NSCLC占77.8%，腺癌最常见（55.6%），中位年龄67岁，男性占74.1%，体能状态以ECOG 1为主（51.9%），晚期病例（IV期NSCLC和广泛期SCLC）占70.4%。21例NSCLC中有8例在治疗决策时无分子检测结果。主要适当性评分：现实世界决策平均分最高（4.52），ChatGPT（4.48）、Claude（4.44）、Grok（4.41）和Gemini（4.37）紧随其后，Friedman检验显示五种来源间差异无统计学意义（χ²₄ = 1.99，p = 0.74），且所有评分均不低于3分，提示存在天花板效应。分子检测缺失的影响：有分子检测结果的13例NSCLC评分均值略高于无结果的8例（4.55对4.33；AI来源仅分别为4.54和4.34），说明模型在缺少关键生物标志物信息时仍能给出合理建议，但评分确实反映决策不确定性。评审员间信度：两位评审员完全一致率为61.5%，相差1分以内为93.3%，但加权κ仅为0.26，这是评分分布严重偏斜导致的“kappa悖论”；在两位评审员的边际分布下最大可能κ仅为0.52，观察κ约为其一半。第二评审员评分更宽松（均值4.82对4.44），但两个评分集得到相同的无差异结论。质量标记：第一评审员标记7条建议为潜在不安全（现实决策1条、ChatGPT 2条、Claude 2条、Grok 2条、Gemini 0条），第二评审员仅标记1条；两位评审员共同独立标记的唯一一条潜在不安全建议来自现实世界决策而非AI输出。指南一致性方面，现实决策和ChatGPT最高（均为89%），Gemini最低（67%）；局部/支持治疗遗漏标记少见（0–4%）。由于样本量小，标记差异未作统计检验。敏感性分析：按第二评审员评分，来源间仍无显著差异（Friedman χ²₄ = 4.00，p = 0.41），提示结论不依赖于评审员严格程度。建议长度从Grok的平均80词到Claude的126词不等，两个模型超过120词上限，但长度与适当性无关联（Spearman ρ = ?0.01，p = 0.91），表明评审员依据临床内容打分而非回复长度。

讨论指出，AI生成建议与现实世界决策评分相似，与已有文献一致，但研究规模小且评分存在天花板效应，不能据此声称AI与人决策等价；结果应视为假设生成。特别地，两位评审员共同指出的唯一潜在不安全建议来自现实世界治疗，提示人类决策并非必然安全的参照。与既往研究将人类决策预设为参考标准不同，本研究中人类决策同样接受盲法评分，因此未表现出明显优势。研究局限性包括：主要评审员与作者存在亲属关系，但设盲设计可部分限制偏倚，且第二评审员独立复核得到相同结论；病例以晚期、体能状态较好为主，限制了对早期或体弱人群的外推性；LLM均通过消费者接口查询，模型版本和生成参数无法固定；人类比较器系从实际治疗记录回顾性重建，而非前瞻性记录的MDT共识，可能造成不对称。未来研究应采用版本固定的应用程序编程接口（application programming interface, API）、前瞻性采集MDT决策，并进行更大规模多中心验证；验证可靠的AI工具有望在资源有限环境中作为低成本第二意见，在治疗启动前识别与现行标准不符的决策。结论翻译如下：在该可行性研究中，AI模型与现实世界决策的适当性评分均高且相似，并聚集于量表顶端。小样本和天花板效应排除了等价性声明；研究结果具有假设生成性质，并确立了该评估方法的可行性。这些结果反映的是2026年6月特定日期通过特定消费者接口生成的具体输出，而非所命名AI平台的稳定或标准化特征（供应商可随时更改），应据此解读。未来需在更大规模、多中心、含多名独立评审员的研究中进一步验证。