RadOnc-GPT：一种用于放射肿瘤学结局标注与注册表审计的原型大语言模型智能体的探索性可行性研究

《Meta-Radiology》：RadOnc-GPT: An Exploratory Feasibility Study of a Prototype LLM Agent for Radiation Oncology Outcomes Labeling and Registry Auditing

　　

研究人员开发了RadOnc-GPT，一种自主的GPT-4o大语言模型（large language model, LLM）智能体，用于近实时地标注放射肿瘤学（radiation oncology）结局。该智能体在500例患者中的497例（99.4%）中再现了结构化放射治疗数据。在395例结局标注病例中，经分歧裁定后的F₁分数达到93.0%。专家审查发现，47例不一致中有24例是潜在的注册表（registry）错误。该研究将LLM标注重新定义为一种注册表审计（registry auditing）与数据质量（data quality）工作流。

研究背景与目的
癌症复发是肿瘤学中重要的临床终点，反映疾病控制并常影响后续治疗决策。然而，复发证据分散在多年诊疗记录中，既包括结构化数据，也包含临床记录、影像和病理报告等叙述性文档，结论往往间接或随时间演变，因此大规模可靠捕获十分困难。既往研究显示，某学术头颈癌注册表对复发的敏感性仅为61%。不准确的复发与毒性标签成为结局研究、预测模型训练和验证的主要瓶颈。研究人员因此开发了RadOnc-GPT研究原型，评估大语言模型（large language model, LLM）智能体能否检索纵向临床证据并生成受模式约束的候选结局标签。该研究发表于《Meta-Radiology》。

关键方法概述
本项为单机构回顾性可行性研究。RadOnc-GPT通过允许列表函数访问Aria与Epic相关数据库，经内部数据层标准化，并连接机构批准的Azure OpenAI GPT-4o端点（gpt-4o-2024-11-20，temperature=0）。采用两层级评估：Tier 1从结构化数据再现6个患者人口学/标识字段及放疗计划信息（500例，随机选自2015–2025年放疗患者）；Tier 2进行3项结局标注任务（下颌骨放射性骨坏死233例、前列腺癌复发80例、头颈癌复发82例可评估），需综合结构化数据与叙述性文档。使用LLM Task Streaming编排，以统一提示和结构化JSON输出逐例处理；分歧病例由每数据集一名不设盲的领域肿瘤学专家裁定。后两个复发队列富集阳性病例。

研究结果
Tier 1：结构化数据提取
在结构化数据再现层级，原型在500例患者中匹配全部6个人口学/标识字段（3000/3000），并在497/500例（99.4%）中再现了放疗计划信息。前导数字课程ID格式化问题已在系统开发及预测试阶段用非正式队列患者发现并修正，Tier 1的500例为独立评估队列。

Tier 2：复杂结局标注（综合结构化与非结构化患者数据）
在下颌骨放射性骨坏死（osteoradionecrosis, ORN）检测中，233例头颈癌患者初始准确率为85.0%、召回率90.9%、精确率48.4%；模型阳性队列为62/233（26.6%），其中模型阳性/基线阴性为32/233（13.7%）。35例初始不一致中，20例裁定为基线标签错误、11例为模型错误、4例为不确定并排除；分歧裁定后准确率为95.2%，确认的假阴性为0，召回率为100%（95% CI, 92.6–100%）。

在前列腺癌复发队列（80例）中，初始准确率、精确率、召回率均为92.5%。6例初始不一致中，2例为基线标签错误（均为小体积淋巴结复发未被基线标签记录）、4例为模型错误、0例不确定；分歧裁定后准确率为95.0%，召回率92.9%，精确率97.5%。

头颈癌复发任务尝试83例，1例输出在5次重试后仍无法解析，故排除，余82例可评估。初始准确率为92.7%、精确率88.2%、召回率93.8%。若将不可解析输出计为错误尝试，初始尝试病例准确率为76/83（91.6%）。6例初始不一致中，2例为基线标签错误、3例为模型错误、1例为不确定；分歧裁定后准确率为96.3%，召回率97.0%。

分歧裁定汇总
3项任务合计（n=395，裁定前）共47例模型-注册表不一致，其中24例（51%）裁定为基线标签错误、18例为模型错误、5例为不确定。排除不确定后，初始合并微平均精确率/召回率/F₁/准确率分别为71.3%/92.4%/80.5%/88.1%，分歧裁定后分别为89.5%/96.7%/93.0%/95.4%。对348例一致病例按1%、3%、5%的潜在共享错误率进行压力测试，合并准确率分别降至94.4%、92.6%、90.8%，显示在共享错误情景下的预期下降。

模型错误模式
18例被裁定为模型错误的病例中，14例为假阳性，4例为假阴性。常见模式包括将范围外发现标为阳性（8例），对轻微、一过性或模棱两可的发现过度分级（6例），因保守处理矛盾或已治疗证据而漏判（2例），以及将真实复发归因于并存第二原发癌（2例）。这些模式提示了未来提示词细化方向。

讨论与结论
讨论部分指出，模型-注册表不一致为定向数据质量审查提供了实用触发条件；47例不一致中24例为基线注册表错误，说明RadOnc-GPT可作为研究及质量保证工具。局限性包括：裁定仅针对不一致病例且每数据集仅一名不设盲评审者，一致病例中的共享错误和评审者间信度未测量；所有队列来自单一机构，复发队列富集阳性结局，自然患病率下的阳性预测值、阴性预测值和审查负担需进一步测量。未来研究应纳入盲法多评审者裁定、外部验证、自然患病率队列和前瞻性工作流测量。

研究结论翻译如下：在这项单机构回顾性可行性研究中，RadOnc-GPT研究原型再现了选定的结构化放疗字段，生成了队列特异性的候选结局标签，并标记了模型-注册表不一致以供专家审查。分歧裁定后的表现在三个结局任务中均很强，基于假设的压力测试显示在共享错误情景增加时性能出现预期下降。这些发现支持进一步开展大语言模型辅助结局标注和注册表审计的研究，包括盲法多评审者裁定、外部验证、自然患病率队列和前瞻性工作流测量。