《Frontiers in Public Health》：General-purpose and medically adapted large language models versus oncologist consensus for immunotherapy videos
编辑推荐：
专业术语翻译：
摘要
引言： 接受免疫检查点抑制剂的患者依赖于准确的教育来识别免疫相关不良事件并知晓何时联系其肿瘤学团队，而许多患者依赖质量参差不齐的在线视频。专家对此类材料的审查资源密集，大语言模型（Large Language Models, LLMs）被
专业术语翻译：
摘要
引言： 接受免疫检查点抑制剂的患者依赖于准确的教育来识别免疫相关不良事件并知晓何时联系其肿瘤学团队，而许多患者依赖质量参差不齐的在线视频。专家对此类材料的审查资源密集，大语言模型（Large Language Models, LLMs）被越来越多地提议用于支持初步筛选；尚不清楚是否有任何模型的判断与专科医生的判断足够接近以安全执行此任务，以及模型将专家认为不充分的材料判定为充分的频率如何。
方法： 在这项横断面内容分析（按STROBE报告）中，研究人员评估了90个关于癌症免疫治疗的英语YouTube视频的匿名转录本。三名肿瘤内科医生和四个LLM——ChatGPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro以及医学适配模型MedGemma 27B——独立使用DISCERN、全球质量评分（Global Quality Score, GQS）以及患者教育材料评估工具（Patient Education Materials Assessment Tool, PEMAT）的可理解性和可操作性维度对每个转录本进行评分，每个模型进行三次独立的运行，并以专家多数共识作为参考标准。
结果： 肿瘤科医生之间的一致性良好至优秀，而模型之间的一致性有限。根据专家多数分类，90个转录本中有35个（38.9%）至少满足四个充分性标准中的三个，24个（26.7%）满足所有四个标准。ChatGPT-5.5在每个工具上的得分与专家得分的偏差最小，并且对充分性的分类最准确（敏感性94.3%，95% CI 81.4–98.4；特异性89.1%，78.2–94.9；Cohen's kappa 0.82，0.69–0.93）。Gemini和MedGemma在测试条件下系统地给出了更宽松的评分，分别产生了43个和26个假阳性充分性分类，即通过了肿瘤科医生判断为不充分的材料；在此评估中，医学适配模型并未改善一致性，原始流行度指标也无法识别高质量内容。
讨论： 大多数抽样视频基于转录本的教育内容未同时满足所有四个充分性标准。这些发现支持进一步评估选定的模型-提示组合用于患者教育材料的初步审查，但并未确立临床使用的操作阈值，并且在两个模型中观察到的宽松性意味着专家审查不能从流程中移除。
论文解读文章
研究背景与问题
接受免疫检查点抑制剂治疗的患者必须能够识别免疫相关不良事件的早期症状并及时联系医疗团队，这依赖于高质量的患者教育。然而，患者及其家属越来越依赖在线视频获取此类信息，YouTube等平台上的内容虽能有效解释复杂主题，但其质量缺乏标准化审核，在准确性、可理解性和实用性方面差异巨大。更严重的问题是，那些看似可信却遗漏了关键警告症状或就医指导的内容，可能给患者带来虚假的安全感。现有的评估工具，如DISCERN、全球质量评分（GQS）以及患者教育材料评估工具（PEMAT），可以从可靠性、教育价值、可理解性和可操作性等多个互补维度评估材料质量。然而，由专家对这些材料进行人工审查资源消耗巨大，而癌症教育项目需要审核的材料量远超专家实际能处理的范围。因此，大语言模型（LLMs）被越来越多地提议用于辅助初步筛选。尽管已有研究显示某些模型与专家评分的一致性中等，但尚无研究系统比较多个通用型模型与医学适配模型在这一特定任务上的表现，特别是评估模型是否会错误地将专家判定为不合格的材料标记为合格，从而产生潜在的误导风险。
研究设计与方法
研究人员开展了一项横断面内容分析，于2026年5月29日通过10个预设查询词在YouTube上检索并筛选了90个面向癌症患者的英语免疫治疗教育视频。研究人员获取了这些视频的自动生成字幕，并对其中可能暴露来源的身份信息进行了匿名化处理。三名具有至少三年专科经验的肿瘤内科医生独立使用DISCERN、GQS和PEMAT的可理解性与可操作性四个维度对所有转录本进行评分。同时，四个LLM——ChatGPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro以及医学适配模型MedGemma 27B——在相同的统一提示下，也对这些匿名转录本进行了三轮独立的评分。模型评分取三轮平均值后，与三位肿瘤科医生的多数共识进行比较。主要结局指标是各模型与专家共识之间的平均绝对误差（MAE），并以DISCERN为主要比较工具。此外，研究人员还分析了评分者间一致性、分类性能（灵敏度、特异度、Cohen's kappa）、系统性偏差以及视频特征与专家评分之间的关联。
研究结果
3.1 教育内容的充分性
根据专家多数共识，仅有35个（38.9%）转录本满足至少三个充分性标准（宽松定义），24个（26.7%）满足全部四个标准（严格定义）。在所有维度中，PEMAT-可理解性是表现最弱的维度，表明一个视频即使内容可靠，也可能难以让患者理解和遵循。
3.2 评分者一致性
肿瘤科医生之间的平均测量组内相关系数（ICC(A,k)）在0.89至0.96之间，显示出良好至极佳的一致性。相比之下，三个通用型模型之间的单测量ICC(A,1)仅为0.22至0.54，属于差到中等水平；加入MedGemma后也未改善（0.21至0.56），表明不同模型的评分不能相互替代。
3.3 与专家共识的偏差
弗里德曼检验显示四个模型在所有四个工具上的评分均存在显著差异。ChatGPT-5.5在每个工具上的MAE均为最低，Claude排名第二。在主要结局DISCERN上，ChatGPT-5.5的MAE为4.65，低于三位专家之间的基准误差（6.51），而Gemini（16.11）和MedGemma（13.58）的误差则超过该基准的两倍。Bland-Altman分析进一步揭示，Gemini和MedGemma在所有四个工具上都表现出明显的正向偏倚（系统性宽松评分），而ChatGPT-5.5和Claude的偏倚很小。
3.4 充分性分类与假阳性
在宽松复合定义下，ChatGPT-5.5的分类性能最佳（灵敏度94.3%，特异性89.1%，kappa 0.82），仅产生6个假阳性和2个假阴性。Claude的性能次之（kappa 0.62）。Gemini虽然灵敏度高（91.4%），但特异性极低（21.8%），产生了43个假阳性（kappa 0.11）。MedGemma同样灵敏度高（91.4%）但特异性不足（52.7%），产生了26个假阳性（kappa 0.39）。在严格定义下，ChatGPT-5.5依然表现最佳（kappa 0.86）。阈值敏感性分析（覆盖180种阈值组合）证实，ChatGPT-5.5在绝大多数组合中拥有最高的kappa值和最少的假阳性数量。
3.5 探索性发现
视频的原始流行度指标（观看次数、点赞数）与专家评定的质量无显著相关性。视频时长与DISCERN评分呈中等程度正相关，可能是因为较长的视频有更多机会涵盖各个评分条目。
讨论与结论
本研究表明，大多数面向患者的癌症免疫治疗视频在教育内容上未能同时满足可靠性、整体质量、可理解性和可操作性这四个充分性标准，其中可理解性是最薄弱的环节。作为筛选辅助工具，四个模型的表现差异巨大。ChatGPT-5.5与专家共识最为接近，而Gemini和MedGemma则表现出系统性的宽松倾向，产生了大量假阳性分类，这意味着它们可能会让大量不合格的材料通过初步筛查，这是在实际应用中最具危害性的错误。值得注意的是，专门为医学领域微调的MedGemma并未展现出任何优势，表明医学标签并不能保证其在教育质量评估这类不同于事实问答的任务上表现更优。模型之间的一致性很差，进一步说明不能将一个模型的评分推广到另一个模型。
研究人员指出，这些结果是特定模型在特定提示下的表现，而非模型的固定极限。通过更严格的提示设计（如要求逐项评分并提供依据）可能有助于减少宽松性。然而，即使经过优化，LLM的角色也应局限于对材料进行排序或标记以引起人类专家的关注，而非替代专家审查。任何计划采用此类工具的机构都必须针对本地专家判断对具体模型-提示组合进行验证，并在版本更新后重新验证。研究结论强调，大多数抽样视频的教育内容未达到充分性标准；ChatGPT-5.5在本评估中与肿瘤科医生共识的一致性最接近且最均衡；Gemini和MedGemma产生了显著的分数膨胀和过多的假阳性分类；某些模型可能值得作为初步优先级排序工具进行前瞻性评估，但专家审查必须保留为最终环节，且任何采用的模型都应在版本变更后重新评估。
