《Ophthalmology Science》:Deriving OCT-Equivalent Retinal Nerve Fiber Layer Thickness Maps from Fundus Photographs with Deep Learning Improves Glaucoma Diagnosis
编辑推荐:
目的:开发并评估一种深度学习模型,该模型可直接从彩色眼底照片预测光学相干断层扫描(OCT)等效视网膜神经纤维层厚度(RNFLT)图,并评估其在检测青光眼性视野缺损中的诊断价值。设计:回顾性模型开发与评估研究。参与者:2011-2022年于马萨诸塞眼耳医院收集的
目的:开发并评估一种深度学习模型,该模型可直接从彩色眼底照片预测光学相干断层扫描(OCT)等效视网膜神经纤维层厚度(RNFLT)图,并评估其在检测青光眼性视野缺损中的诊断价值。设计:回顾性模型开发与评估研究。参与者:2011-2022年于马萨诸塞眼耳医院收集的15,031对眼底照片和频域OCT扫描。方法:研究人员使用配对眼底与OCT图像训练基于U-Net的模型,以像素级方式预测RNFLT图,并采用伪影校正监督。诊断性能通过单模态模型(仅眼底照片、真实RNFLT图、预测RNFLT图)和多模态融合模型(眼底+预测RNFLT图)进行评估。分层分析考察了模型在不同青光眼严重程度和人口统计学亚组中的表现。青光眼基于应用于Humphrey 24-2视野测试的标准标准定义。主要结局指标:RNFLT图预测的平均绝对误差(MAE)和结构相似性指数(SSIM);青光眼检测的受试者工作特征曲线下面积(AUC)和准确率。结果:RNFLT图预测的MAE为15.4 μm,SSIM为0.65(以OCT衍生并经伪影校正的RNFLT图为参照)。在青光眼检测方面,仅预测RNFLT分类器优于仅眼底分类器(AUC 0.889 vs 0.883,p < 0.005;准确率82.0% vs 78.0%),但劣于仅真实RNFLT分类器(AUC 0.889 vs 0.903,p < 0.005)。眼底图像与预测RNFLT图的多模态融合提升了性能,AUC达到0.909,优于所有单模态输入(与仅眼底、仅预测RNFLT和仅真实RNFLT相比,p < 0.005)。从仅眼底到多模态分类器的性能提升在早期青光眼中较严重病例更为显著:准确率在轻度病例中从55.3%提升至64.0%,中度病例中从71.5%提升至80.4%,严重病例中从90.0%提升至94.6%。结论:从眼底照片衍生的预测RNFLT图提供了定量的、类似OCT的结构信息,并改善了青光眼性视野缺损的检测。与先前仅预测汇总RNFLT值的研究不同,本模型生成完整的RNFLT图,比单独使用眼底图像更能支持青光眼分类。该方法为早期青光眼筛查提供了一条可扩展的路径,并在资源有限的环境中扩大了诊断可及性。
**研究背景与问题**
青光眼是一种不可逆的视神经病变,是全球导致失明的主要原因之一,预计到2040年将影响超过1.1亿人。该疾病以视网膜神经节细胞及其轴突(位于视网膜神经纤维层,RNFL)进行性丧失为特征,导致视野恶化。由于早期阶段常无症状,约50%的美国青光眼患者未被诊断。早期检测对预防永久性视力丧失至关重要,但大规模筛查仍面临挑战。传统上,临床医生依赖眼底摄影识别青光眼相关结构变化,如视杯视盘比增大和RNFL缺损。近几十年来,光学相干断层扫描(OCT)通过提供定量的、深度分辨的RNFL厚度(RNFLT)测量,革新了眼科成像,成为临床青光眼结构评估的金标准。然而,OCT采集技术要求高、依赖操作者,且分割错误可能引入伪影,降低RNFLT测量质量。此外,OCT设备在初级保健场所和资源有限环境中普及率较低。相比之下,眼底摄影更广泛可用,但其二维图像识别视神经头和RNFL早期细微变化的能力有限,且解读依赖主观判断,导致结果不一致。这些权衡促使研究人员探索从眼底照片推导OCT样结构信息的方法。深度学习已广泛用于自动青光眼检测,但眼底模型可能受标签来源偏差影响,而OCT模型提供客观可重复的生物标志物。近期“机器到机器”(M2M)方法显示,深度网络可从眼底照片推断OCT指标,但多数研究仅预测全局或区域汇总值,而非完整RNFLT图,限制了其展示整体和局部结构丢失的能力。本研究提出一个端到端框架,直接从彩色眼底照片预测像素级OCT等效RNFLT图,并评估这些合成图在检测青光眼性视野缺损中的临床效用。论文发表在《Ophthalmology Science》。
**关键技术与方法**
本研究使用2011-2022年于马萨诸塞眼耳医院收集的15,031对眼底照片(Zeiss Visucam)和频域OCT扫描(Cirrus OCT),并采用Humphrey 24-2视野测试定义青光眼标签(视野平均偏差MD<-3 dB、青光眼半视野测试异常、模式标准差异常)。主要技术方法包括:(1)基于U-Net的RNFLT图预测模型,以伪影校正后的OCT衍生RNFLT图为监督目标,采用加权平均绝对误差损失函数;(2)使用EyeLearn伪影校正模型(部分卷积U-Net)修复OCT图中缺失或损坏区域,提高训练目标质量;(3)青光眼分类模型:单模态(仅眼底、仅真实RNFLT图、仅预测RNFLT图)及多模态融合(中层次融合与基于注意力的融合,后者通过Transformer实现跨模态特征交互);(4)分层分析按青光眼严重程度和人口统计学亚组(种族、民族、性别、年龄)评估模型性能。
**研究结果**
**人口特征**:最终数据集含15,031样本(训练11,882,验证1,602,测试1,547),青光眼患病率61.4%,平均年龄63.8±14.4岁。患者主要为白人(63.2%)、非西班牙裔(86.8%)、女性略多(53.5%)。按严重程度分布:轻度21.5%,中度22.0%,重度17.9%。11.2%的初始配对因RNFLT图质量被排除,排除率随严重程度增加(从无视野缺损的4.4%到重度的19.7%)。
**RNFLT图预测性能**:EfficientNet-B3编码器取得最佳测试集表现,MAE为15.4 μm,SSIM为0.65。经滤波和伪影校正后,性能优于未处理数据(MAE 24.6 μm,SSIM 0.59)。预测误差按视野严重程度变化:无视野缺损眼MAE 14.35 μm,轻度16.01 μm,中度17.00 μm,重度15.33 μm。每眼MAE与视野MD呈弱负相关(Spearman ρ=-0.091,p<0.005)。按平均RNFLT分组:厚度<60 μm组MAE 13.69 μm(有符号误差+4.05 μm,高估),>90 μm组MAE 23.69 μm(有符号误差-17.50 μm,低估),表明预测压缩了厚度范围。按Garway-Heath扇区分析:颞侧(12.44 μm)和鼻侧(14.49 μm)MAE最低,颞上(22.21 μm)和颞下(21.64 μm)最高。
**预测RNFLT的临床验证**:全局水平上,平均环乳头RNFLT与视野MD的Spearman相关性,真实RNFLT为ρ=0.57,预测RNFLT为ρ=0.61(均p<0.005)。扇区水平上,预测RNFLT与对应扇区视野总偏差的相关性在颞上(ρ=0.61)、颞下(ρ=0.63)和鼻下(ρ=0.48)较高,与真实RNFLT模式相似。所有扇区相关性均显著。
**青光眼分类性能**:单模态模型中,仅真实RNFLT图模型AUC最高(0.903,准确率83.1%),其次为仅预测RNFLT图(AUC 0.889,准确率82.0%),均优于仅眼底模型(AUC 0.883,准确率78.0%,p均<0.005)。多模态融合中,基于注意力的眼底+预测RNFLT融合模型AUC达0.909,准确率82.5%,优于所有单模态模型(p<0.005)。中层次融合略低(AUC 0.900)。仅平均环乳头RNFLT的标量基线表现较差(真实RNFLT AUC 0.838,预测RNFLT AUC 0.798)。
**分层分析**:按严重程度,仅预测RNFLT模型和融合模型在轻度和中度青光眼中准确率提升最大(轻度:从55.3%到64.0%或68.1%;中度:从71.5%到80.4%或79.9%),重度提升较小。按人口统计学,融合模型相比仅眼底模型在黑人(AUC增加0.031)、亚洲人(0.017)、西班牙裔(0.028)、男性(0.025)和60-69岁组(0.035)中提升更大,表明在不平衡亚组中获益更显著。
**讨论与结论**
讨论部分指出,本研究表明OCT基RNFLT图可从眼底照片以足够精度预测,从而改善青光眼检测。预测RNFLT图(AUC 0.889)优于仅眼底模型(AUC 0.883),确认了从眼底推断的三维结构信息捕获了疾病相关特征。真实RNFLT图(AUC 0.903)性能最强,但预测图接近,表明合成表示可有效近似OCT结构信息。多模态融合进一步提升了诊断性能,特别是基于注意力的模型(AUC 0.909),表明整合两种模态提供了更全面的青光眼损伤表征。性能提升源于预测RNFLT图将眼底图像中的间接线索重新投射为定量厚度空间,更直接地编码疾病相关特征。预测误差在轻中度疾病中较高,可能与局部异质性缺陷有关;预测压缩了厚度范围,但保留了疾病相关空间信息。扇区分析显示,预测RNFLT在颞上和颞下扇区相关性最强,与真实RNFLT一致。分层分析发现,预测RNFLT图在早期和代表性不足的亚组中获益最大,可能减少模型对人口统计学特异性视觉模式的依赖。局限性包括:预测图可能继承OCT伪影、单中心回顾性设计、眼底照片质量受控、未检测眼球运动伪影、早期病例绝对性能仍有限。结论部分翻译如下:
总之,研究人员提出了一种从眼底照片预测OCT级结构信息并用于改进青光眼检测的流程。该眼底到RNFLT模型利用伪影校正监督和逐像素质量加权生成定量地形厚度图,表明临床上有意义的RNFLT结构可直接从广泛可用的眼底图像推断。在下游诊断评估中,基于RNFLT的模型优于仅眼底照片基线,而眼底照片与RNFLT图的多模态融合取得了最强结果。分层分析显示,轻度和中度疾病以及代表性不足的人口统计学亚组获益最大,表明合成RNFLT图有助于检测细微损伤并可能减少模型性能差异。这些发现为在OCT不可用的情况下,通过利用现有眼底相机生成可解释的RNFLT图并提高诊断准确性,提供了一条扩展OCT样结构评估的实用途径。