《Ophthalmology》:A Comparison of Machine Learning and Human Graders for Glaucoma Diagnosis from Fundus Images for Population Screening
编辑推荐:
目的:比较通过机器学习(ML)与人工分级员基于眼底图像确定的垂直杯盘比(VCDR)在青光眼检测中的准确性。本研究利用基于人群的数据,其疾病患病率和病例构成比传统病例对照研究更接近真实世界环境,旨在开发改进的青光眼筛查检测方法。
设计:一项基于人群研究的横断面
目的:比较通过机器学习(ML)与人工分级员基于眼底图像确定的垂直杯盘比(VCDR)在青光眼检测中的准确性。本研究利用基于人群的数据,其疾病患病率和病例构成比传统病例对照研究更接近真实世界环境,旨在开发改进的青光眼筛查检测方法。
设计:一项基于人群研究的横断面分析。
研究对象:EPIC-Norfolk眼科研究的6,304名参与者,其双眼彩色眼底图像可经人工和ML分级。
方法:由经培训的人工分级员(H-VCDR)和经外部训练、开放获取的ML模型(ML-VCDR)分别独立评估EPIC-Norfolk眼科研究参与者二维眼底图像的VCDR。使用在81,830张眼科医师标注图像上训练的神经网络为超过100,000张英国生物样本库(UK Biobank)图像生成伪标签,随后基于这些伪标签训练ML-VCDR。青光眼状态由三级医疗中心专科医师检查确定。采用逻辑回归检验VCDR对青光眼状态的预测性能。此外,还将ML-VCDR的评估结果与一种广泛使用的开源ML模型(AutoMorph)和扫描激光检眼镜(海德堡视网膜断层扫描(HRT))进行了比较。
主要结局指标:受试者工作特征曲线下面积(AUROC)、解释方差(McFadden伪R2)。
结果:在6,304名参与者(平均年龄68岁;57%为女性)中,696人至少一只眼为青光眼或疑似状态。对于左眼,H-VCDR和ML-VCDR分别解释了青光眼状态方差的17%(95% CI 14.7 - 20.4)和31%(95% CI 27.9 - 33.9),受试者工作特征曲线下面积(AUROC)分别为79%(95% CI 76.8 - 81.2)和88%(95% CI 86.3 - 89.1)。右眼H-VCDR和ML-VCDR分别解释了方差的20%(95% CI 16.9 - 22.6)和35%(95% CI 32.4 - 37.9),AUROC分别为81%(95% CI 78.6 - 82.5)和90%(95% CI 88.7 - 91.0)。在基于VCDR评估预测青光眼状态方面,ML-VCDR的表现也优于AutoMorph和HRT。
结论:在这一基于人群的研究环境中,ML在基于眼底图像预测专科医师确定的青光眼状态方面远远优于经培训的人工分级员。这为机器学习支持下的青光眼人群筛查策略提供了前景。
青光眼是全球范围内导致不可逆性失明的主要原因。尽管目前已具备药物、激光及手术等多种治疗手段,仍有患者因该病失明,其中重要的促成因素之一是许多患者在出现晚期病变时才就诊,其在遭受严重视野缺损之前并未意识到自身患有威胁视力的疾病。近期一项荟萃分析显示,56%的青光眼患者目前尚未被确诊。社会经济弱势群体缺乏对常规眼科检查的依从,持续导致就诊延迟及青光眼诊断的不公平。基于人群的筛查策略已被提议作为弥补这一差距的途径,然而政府筛查委员会目前因担心现有检测在低患病率环境下准确性不足而反对开展青光眼筛查。拟议的由技术人员进行有限检测并由专科验光师进行全面评估的筛查策略在普通人群中可能不具备成本效益,过量的假阳性转诊亦将使本已负担过重的医疗服务难以承受。眼底成像的可及性日益提高,基于机器学习(ML)的眼底图像分析通过自动检测青光眼体征(如垂直杯盘比(VCDR)增大、局灶性视盘切迹、神经纤维层缺损及盘沿出血)而成为提高诊断准确性的潜在途径。然而,高敏感性与特异性的报告多源自病例对照研究,此类研究排除了诊断不明确的病例,无法反映筛查人群的异质性或患病率;评估ML在人群数据集中性能的研究较少,且其结果通常较差。本研究旨在填补这一证据空白。
研究人员基于欧洲癌症前瞻性调查(EPIC)-Norfolk眼科研究这一基于人群的大型队列,评估了一个在大量专家标注眼底图像上训练、用于VCDR估计的机器学习模型(ML-VCDR)在外部人群数据集中的青光眼筛查性能,并将其与同一批图像的独立人工分级VCDR估计(H-VCDR)进行直接比较。研究结果表明,ML-VCDR在预测经三级医疗中心青光眼专科医师确诊的青光眼状态方面显著优于经培训的人工分级员,解释的青光眼诊断方差比例更高(右眼35%对20%,左眼31%对17%),受试者工作特征曲线下面积(AUROC)更高(右眼90%对81%,左眼88%对79%)。该研究为ML支持下的青光眼人群筛查策略提供了依据,论文发表于《Ophthalmology》杂志,且ML-VCDR模型已开放获取以供其他研究者使用。
本研究采用以下关键技术方法:(1)数据来源:EPIC-Norfolk眼科研究,共8,623名参与者,主分析纳入6