基于GPT-4o不确定性调整标签提取的上肢X线摄影人工智能模型开发研究

《European Radiology》：Large language model-based uncertainty-adjusted label extraction for artificial intelligence model development in upper extremity radiography

本研究针对AI模型开发中数据标注成本高、质量不一的问题，利用GPT-4o从锁骨、肘部和拇指X线报告中自动提取结构化诊断标签（含不确定性标识），并以此训练多标签分类模型。结果显示标签提取准确率>98%，且不确定性处理方式不影响模型性能（AUC=0.76-0.80）。该方案为快速构建大规模放射影像数据集提供了可扩展的技术路径，支持专科AI模型的高效开发。

　　

在全球每年约36亿次医学影像检查的背景下，人工智能模型开发却面临"数据荒"的困境。尽管影像数据总量庞大，但高质量标注数据的稀缺严重制约了AI模型的训练效率和泛化能力。传统人工标注方式不仅耗时费力，且易受主观因素影响导致标注不一致；而早期基于规则或传统自然语言处理的自动标注方法，又难以应对放射学报告中复杂的医学术语和语法结构，误标率可达10%。

面对这一挑战，德国亚琛大学医院的研究团队将目光投向了大型语言模型这一新兴技术。在《European Radiology》发表的最新研究中，Kreutzer等人创新性地利用GPT-4o，针对上肢三个关键部位——锁骨、肘部和拇指的X线影像，开发了一套全自动的标签提取和模型训练流程。这项研究特别关注了放射科医生报告中常见的诊断不确定性表达（如"可能""可疑"等），探索了这些不确定性标注对最终模型性能的影响。

研究团队采用回顾性多中心设计，从亚琛大学医院（2010-2024年）和科隆大学医院（2010-2022年）共收集6,903例上肢X线影像及对应放射学报告。经过严格的数据筛选，最终纳入锁骨1,170例、肘部3,755例和拇指1,978例，确保所有病例均符合成人非术后、非随访、非截肢的纳入标准。

关键技术方法包括：使用GPT-4o进行零样本标签提取，将德文放射报告自动转换为包含26-29个标签的JSON结构化数据；设计包含"阳性""阴性""不确定"三种状态的标注体系；基于ResNet50架构构建多标签分类模型，分别训练"包容型"（不确定转为阳性）和"排除型"（不确定转为阴性）两种变体；采用5:1:1的数据分割比例，并在外部数据集验证模型泛化能力。

标签提取精度分析

GPT-4o在自动标签提取任务中表现出色，内部测试集整体准确率达98.6%（60,618/61,488）。具体到各解剖部位：锁骨标签级准确率98.8%（5,988/6,058），报告级准确率78.5%；肘部分别为98.6%（21,294/21,605）和74.4%；拇指为99.0%（9,731/9,825）和85.5%。外部测试集同样保持高水平，三个部位标签级准确率分别为98.6%、98.4%和98.1%。然而，不确定性标签的检测效果相对较弱：内部数据中，模型仅识别出手动标注不确定性案例的0.9%-6.4%，外部数据为3.3%-13.3%。

模型性能评估

多标签分类模型在不同解剖区域均展现出竞争力，但具体表现因标签类型而异。锁骨模型宏观平均AUC（Area Under the Curve）为0.80-0.81，肘部模型为0.80，拇指模型为0.76-0.78。常见骨折相关标签（如"所有部位骨折"）表现优异（AUC>0.90），而罕见或软组织相关标签（如"肿胀/血肿"）性能相对较低（AUC 0.47-0.70）。

不确定性处理策略对比

研究对比了两种不确定性处理方案——"包容型"（将不确定标签转为阳性）和"排除型"（转为阴性）。DeLong检验显示，两种策略在所有解剖部位和测试集上均无统计学显著差异（p≥0.15）。这一结果表明，放射报告中存在的不确定性表达对最终模型性能影响有限，可能由于不确定标签在训练集中占比过低（锁骨42个、肘部492个、拇指231个），导致统计检验力不足而非真正无影响。

模型泛化能力

外部验证结果显示模型具有良好的跨机构泛化性能。例如，肘部包容型模型在内部测试集AUC为0.80（0.62-0.87），外部测试集为0.79（0.61-0.87）；排除型模型相应为0.80（0.61-0.88）和0.79（0.63-0.89）。所有比较均无显著差异（p≥0.15），证明基于GPT-4o提取标签训练的模型能够适应不同机构的设备和报告风格。

本研究通过系统验证证实了GPT-4o在放射报告自动标注中的实用价值。与传统的CheXpert等规则基标注器相比，LLM（Large Language Model）方法在理解复杂医学语言方面更具优势，且无需针对特定任务进行额外训练。特别值得关注的是，该方法成功应用于相对少见的解剖部位（锁骨、肘部、拇指），实现了覆盖25个以上标签的多任务学习，突破了以往研究多集中于常见部位单标签任务的局限。

尽管不确定性检测效果有待提升，但研究证明现有的不确定性水平并不影响模型性能，这为在实际应用中简化标注流程提供了依据。从临床转化视角看，该工作流程能够将常规放射报告快速转化为结构化多标签数据集，显著加速专科AI模型的开发周期。未来通过多中心合作扩大数据集规模，并整合可解释性工具（如类别激活图），有望进一步推动放射学AI向更透明、更可靠的方向发展。

研究也存在若干局限性：部分标签样本量不足导致置信区间较宽；仅针对德文报告，其他语言适用性待验证；未与人工标注训练的模型直接对比；LLM输出的非确定性可能影响结果复现。这些都为后续研究指明了改进方向。