《Frontiers in Digital Health》：Automated chest X-ray disease screening using large language models and deep convolutional neural networks on the MIMIC-CXR dataset
编辑推荐：
引言：在资源有限的医疗环境中，放射科医生常面临高工作量，尤其在胸部X射线判读方面。大规模影像数据集的人工标注成本高昂且耗时。本研究旨在探索使用大语言模型（large language models, LLMs），特别是GPT-4o，从自由文本放射学报告中生成二
引言：在资源有限的医疗环境中，放射科医生常面临高工作量，尤其在胸部X射线判读方面。大规模影像数据集的人工标注成本高昂且耗时。本研究旨在探索使用大语言模型（large language models, LLMs），特别是GPT-4o，从自由文本放射学报告中生成二元疾病存在标签的可行性，并利用这些标签训练深度学习模型，实现自动化胸部X射线分类。
方法：研究人员利用公开可用的MIMIC-CXR v2.1.0数据集开发了一个两阶段监督学习流程。首先，使用结构化临床协议提示GPT-4o，将每份放射学报告分类为“患病”或“无疾病”。其次，将生成的标签用于监督四个卷积神经网络（convolutional neural networks, CNNs）的训练：ResNet-18、DenseNet-121、EfficientNet-B1和ConvNeXt-Tiny。采用患者级别的70/10/20划分以防止跨集合数据泄漏。每个模型使用五个随机种子（42–46）进行训练，并使用t分布计算95%置信区间。通过将210个生成标签与一名委员会认证放射科医生的标注进行比较，评估标签质量。
结果：在210份报告的验证集上，GPT-4o与专家标签的总体准确率达到92.9%。“患病”类别的精确率为97.4%，召回率为90.5%；“无疾病”类别的精确率为87.1%，召回率为96.4%。在保留测试集上评估的CNN模型中，ConvNeXt-Tiny取得了最高的曲线下面积（area under the curve, AUC=0.832，95%置信区间[0.801, 0.863]）和平衡准确率（0.739），显著优于EfficientNet-B1（AUC=0.797；配对t检验，p=0.014）。ResNet-18（AUC=0.822）和DenseNet-121（AUC=0.808）表现居中。所有模型的AUC值均高于0.79，证实了LLM衍生弱监督的可行性。
讨论：本研究表明，LLMs可有效用于为医学影像任务生成监督标签。所提出的方法为初步疾病筛查提供了一种可扩展且低成本的解决方案，尤其适用于专家资源有限的医疗环境。多随机种子评估及置信区间为模型稳定性提供了严格的评估。未来需要进一步提高标签可靠性并扩展至多标签分类。
研究背景与意义
胸部X射线（chest X-ray, CXR）是临床最常见的诊断影像学方法之一，广泛应用于肺炎、胸腔积液、心力衰竭等心肺疾病的检出。然而，CXR判读高度依赖专业经验，在资源匮乏或高负荷医疗系统中，放射科医生短缺问题日益突出。此外，X射线作为三维结构的二维投影，存在解剖结构重叠、细微病变易遗漏、观察者间差异大等固有局限。深度学习（deep learning, DL）为CXR自动判读提供了新途径，但高性能模型依赖大规模高质量标注数据，而人工标注成本高昂且耗时，传统基于规则的自然语言处理（natural language processing, NLP）标注泛化能力不足。大语言模型（large language models, LLMs）的出现为从自由文本放射学报告中提取结构化标签提供了可能。基于此，研究人员旨在探索利用GPT-4o生成二元疾病存在标签，并将这些标签用于训练深度卷积神经网络，以构建自动化CXR筛查流程。该研究发表于《Frontiers in Digital Health》。
研究内容与结论概述
研究人员使用公开的MIMIC-CXR v2.1.0数据集，开发了一个两阶段监督学习流程。第一阶段利用GPT-4o结合结构化临床协议，将每份放射学报告分类为“患病”或“无疾病”；第二阶段使用生成的标签监督训练四种卷积神经网络：ResNet-18、DenseNet-121、EfficientNet-B1和ConvNeXt-Tiny。采用患者级别70/10/20划分以防止数据泄漏。每个模型在五个随机种子上训练，并计算95%置信区间。通过210份报告与委员会认证放射科医生标注进行比较，评估标签质量。结果显示GPT-4o标签总体准确率达92.9%，所有CNN模型AUC均高于0.79，其中ConvNeXt-Tiny表现最佳，证实了LLM衍生弱监督的可行性。该研究为医学影像自动化筛查提供了一种可扩展、低成本的解决方案，尤其在专家资源有限的医疗环境中具有重要意义。
关键技术方法
样本来自MIMIC-CXR数据集的p10分区，共623名患者的2,105项影像研究，经筛选后保留2,097项。主要技术包括：①使用GPT-4o配以临床协议生成二元标签；②四种CNN架构（ResNet-18, DenseNet-121, EfficientNet-B1, ConvNeXt-Tiny）均采用ImageNet预训练权重进行微调；③训练中使用类别加权交叉熵损失、数据增强（水平翻转、旋转±10°、颜色抖动）及标准化；④优化器采用Adam/AdamW，学习率1×10
-4或5×10
-5，权重衰减1×10
-5；⑤基于验证集平衡准确率设置早停（耐心10轮）和最佳检查点保存；⑥采用约登指数确定最优阈值（限于[0.4,0.7]区间）；⑦使用患者级别划分及五个随机种子评估模型稳定性。
研究结果
3.1 实验设置：研究共纳入2,097项胸部X射线研究。GPT-4o生成的标签显示，约68.8%的研究被标记为“患病”，31.2%为“无疾病”，呈现中度类别不平衡。该实验设置明确了数据分布与标签划分。
3.2 LLM生成标签质量：研究人员将GPT-4o生成的210个标签与放射科医生标注对比。总体准确率92.9%；“患病”类精确率97.4%、召回率90.5%，F1分数93.8%；“无疾病”类精确率87.1%、召回率96.4%，F1分数91.5%。混淆矩阵显示114个真阳性、12个假阴性、3个假阳性、81个真阴性。表明LLM标签与专家标注高度一致，可用于弱监督训练。
3.3 定量结果：四种CNN在测试集上的平均AUC均超过0.79。ConvNeXt-Tiny取得最高平均AUC（0.832，95%CI[0.801,0.863]）和平衡准确率（0.739），并通过配对t检验显著优于EfficientNet-B1（p=0.014），与DenseNet-121相比差异边缘显著（p=0.052）。ResNet-18的AUC为0.822，平均F1分数最高（0.840）。DenseNet-121的灵敏度跨种子最稳定（SD=0.045）。EfficientNet-B1的AUC最低（0.797），但特异度（0.641）中等。该结果通过五个随机种子和置信区间评估，证实了LLM弱监督的有效性。
3.4 混淆矩阵与错误分析：通过混淆矩阵分析，ConvNeXt-Tiny具有最低的平均假阳性数，特异度最高（0.688），但灵敏度最低（0.789），表明其决策界限保守；ResNet-18和DenseNet-121灵敏度较高（0.853–0.854），特异度较低（0.608–0.616），更适合分诊场景；EfficientNet-B1居中。不同种子间混淆矩阵差异明显，凸显多种子评估的重要性。
讨论与结论
讨论部分指出，LLM可以高效生成医学影像任务的监督标签，且所有模型性能达到可行水平。多种子评估显示AUC最为稳定，而灵敏度与特异度变异较大，因此报告置信区间对于阈值相关指标至关重要。与现有文献相比，本研究完成了从临床文本到图像模型训练的完整流程。局限性包括：GPT-4o未接触图像内容、单中心数据、二元分类简化、种子数量有限。未来工作应扩展到多标签分类、增加不确定性估计、探索多模态LLM，并在多机构验证。
研究结论部分可翻译为：研究人员的方法新颖之处在于，标签创建需要大量临床时间，以从自由文本放射学报告中构建深度学习系统的稳健数据预处理流程。研究人员的方法是使用经过临床信息验证的提示词让LLM生成标签。标签验证在整个数据集的10%子集上进行。CNN的统计可靠性通过包括置信区间在内的性能指标得到验证。临床相关性在于该模型用作筛查/分诊系统，这在缺乏放射科医生但需要提示临床紧迫性的低资源环境中尤其有用。该用途通过将临床相关性纳入标签定义而得到证明。当作为临床决策支持系统（clinical decision support system, CDSS）应用时，它可以减少放射科医生的工作量，并实现对胸部X射线图像中临床相关发现的早期检测，同时保持人类（放射科医生）作为最终诊断提供者在环路中。该方法的可解释性在于标签生成的提示词在方法学中已完整记录。
