《Frontiers in Neurology》：Artificial intelligence-integrated multimodal retinal imaging for early detection and risk stratification of systemic vascular and neurodegenerative diseases
编辑推荐：
中文摘要翻译：
背景：研究人员开发并验证了RetinalVNG-Net，这是一种多模态深度学习框架，通过整合眼底照相、光学相干断层扫描（Optical Coherence Tomography, OCT）和临床元数据，实现对高血压性视网膜病变、糖尿病视网膜
中文摘要翻译：
背景：研究人员开发并验证了RetinalVNG-Net，这是一种多模态深度学习框架，通过整合眼底照相、光学相干断层扫描（Optical Coherence Tomography, OCT）和临床元数据，实现对高血压性视网膜病变、糖尿病视网膜病变及神经退行性相关视网膜改变的同时风险分层。方法：这项回顾性多中心研究纳入了来自三个独立眼科中心的2,740名受试者（2019年1月至2023年12月）。A中心和B中心（n = 2,220）构成开发集，其中按分层抽样预留15%的子集（n = 333）用于超参数调优，其余（n = 1,887）用于五折交叉验证。C中心（n = 520）作为地理位置独立、设备异构的外部测试集。RetinalVNG-Net采用RETFound ViT-Large眼底编码器、双流OCT分支（用于体积B扫描的ResNet-3D-18和用于层厚度图的2D-CNN）以及用于元数据的表格Transformer，通过跨模态注意力进行融合。辅助回归头输出连续的视网膜生物学年龄差（Retinal Biological Age Gap, RBAG）评分，作为可解释的严重程度生物标志物。结果：内部交叉验证在四类分类中取得宏平均AUC-ROC为0.957（±0.008），敏感性0.913，特异性0.941，F1为0.908。在外部测试集上，宏平均AUC-ROC达到0.944（95% CI 0.922–0.958），各类别AUC分别为0.963（高血压性视网膜病变）、0.951（糖尿病视网膜病变）、0.924（神经退行性改变）和0.938（对照）。RetinalVNG-Net显著优于最佳单模态眼底模型（宏AUC 0.944对0.901；p < 0.001）。结论：RetinalVNG-Net在跨不同设备和场景中对血管及神经退行性视网膜改变的同时多模态风险分层展现出良好的稳健性和泛化能力，支持其作为与系统性血管及神经退行性疾病相关的视网膜表现风险分层工具的进一步评估。未来需要前瞻性纵向研究来确定其在早期或预测性检测中的价值。
论文解读文章：
**一、研究背景与问题**
心血管疾病与神经退行性疾病是全球范围内最常见且负担最重的两类慢性疾病。高血压影响超过13亿成年人，是卒中、心力衰竭和终末器官损害的首要可归因危险因素；糖尿病视网膜病变约影响三分之一的糖尿病患者，常在心脑血管事件发生前即提示更广泛的系统性血管损害；以阿尔茨海默病和帕金森病为代表的神经退行性疾病在老龄化人口中负担日益加重，预计到2050年全球患病人数将超过1.5亿。这些疾病共同的临床挑战在于：当症状促使患者就医时，病理过程往往已超过最佳治疗干预窗口。因此，通过一次可及的影像检查即可对疾病相关视网膜改变进行风险分层并分类，具有重要临床意义。
视网膜作为中枢神经系统的胚胎延伸，既与脑微循环共享血管自主调节机制，又包含可随皮质及皮质下神经元损失而发生可测量退变的神经组织。眼底照相和光学相干断层扫描（OCT）能够无创、快速且相对低成本地捕获这些结构和血管特征，形成了“眼组学”（oculomics）这一新兴研究范式。深度学习的发展显著提升了视网膜影像分析能力，RETFound等基础模型已在多种眼部和全身性疾病任务中展现出可泛化的表征学习能力。然而，现有方法存在三个关键局限：第一，绝大多数模型为单模态，仅依赖彩色眼底照相，未纳入OCT容积数据所编码的互补性结构深度信息或临床元数据中的定量背景信息；第二，现有模型多为任务特异性，仅针对单一疾病或生物标志物进行训练，无法在一次影像检查中同时完成多种疾病的风险分层；第三，跨制造商、跨独立患者群体的泛化性能尚未得到充分表征，多数研究仅在单中心或单设备环境中验证。
**二、研究内容与结论**
为应对上述局限，研究人员提出了RetinalVNG-Net（Retinal Vascular-Neuro-Glial Network），这是一个整合彩色眼底照相、OCT容积数据和结构化临床元数据的多模态深度学习框架，用于在三个独立临床中心、三种不同成像设备组合下，同时进行高血压性视网膜病变（HR）、糖尿病视网膜病变（DR）和神经退行性相关视网膜改变（NRC）的风险分层。该架构采用跨模态注意力融合机制整合异质模态表征，并引入视网膜生物学年龄差（RBAG）作为由辅助回归头导出的连续、可解释风险生物标志物。研究在开发队列上通过分层五折交叉验证进行严格评估，并在地理和设备均独立的外部测试集上验证，同时通过全面消融分析分离各架构组件的贡献。结果表明，RetinalVNG-Net在外部测试集上取得宏平均AUC-ROC 0.944，显著优于最佳单模态眼底模型（AUC 0.901，p < 0.001），且验证集到外部测试集的AUC差异仅0.013，证实了跨设备泛化能力。该研究是首个在统一框架内同时进行系统性血管和神经退行性相关视网膜疾病多模态深度学习风险分层，并经多成像平台外部验证的研究。论文发表于《Frontiers in Neurology》。
**三、主要关键技术方法**
研究人员构建了包含三个并行编码分支的RetinalVNG-Net：眼底分支采用在160万张视网膜图像上通过掩码自编码预训练的RETFound ViT-Large，冻结前18个Transformer块并微调最后6块及轻量适配层；OCT分支包含处理原始B扫描容积的ResNet-3D-18子流和处理逐层厚度图的2D-CNN子流；临床元数据分支通过四层表格Transformer编码11个连续变量和1个二值变量。三个分支表征投影至统一的512维空间后，通过具有8个注意力头的跨模态注意力Transformer块融合，融合表征分别输入四类softmax分类头和辅助回归头。研究为回顾性多中心设计，纳入2019年1月至2023年12月期间来自三个独立眼科中心的2,740名受试者；A、B中心（n = 2,220）构成开发集，C中心（n = 520）作为外部测试集。图像预处理采用CLAHE对比度增强和CycleGAN域归一化以缓解设备间差异，并应用SMOTE嵌入空间过采样处理类别不平衡。
**四、研究结果**
**4.1 受试者特征**：最终分析队列共2,740名受试者，开发池2,220人，其中333人用于超参数选择，1,887人用于五折交叉验证；C中心520人作为外部测试集。各中心人口统计学特征匹配良好（年龄p = 0.61，性别p = 0.74）。NRC组年龄显著更大（平均64.7岁，p < 0.001），HR和DR组分别呈现预期的血压和血糖指标升高。
**4.2 模型性能**：训练集宏平均AUC-ROC达0.984 ± 0.004，内部验证为0.957（95% CI: 0.941–0.973），外部测试为0.944（95% CI: 0.922–0.958）。HR类别在各评估集中AUC最高（外部0.963），NRC最低（外部0.924），反映了早期神经视网膜变薄与正常衰老之间的形态学相似性。校准指标显示ECE均低于0.044，Hosmer–Lemeshow检验p值均大于0.05，提示概率校准良好。
**4.3 ROC曲线与混淆矩阵**：外部测试集上，训练、验证和外部测试曲线接近，证实无严重过拟合。混淆矩阵显示最常见的误分类为NRC与健康对照之间（11/95，11.6%），HR误分类最少（4/175，2.3%），HR与DR交叉混淆极低，表明模型能有效区分共享微血管底物的两种疾病。
**4.4 t-SNE可视化**：512维融合嵌入的t-SNE投影显示HR和DR出现明显聚类，NRC与健康对照部分重叠，与混淆矩阵一致；该投影仅为定性说明，不解释为定量可分离性证据。
**4.5 可解释性**：Attention Rollout图显示HR的注意力集中于小动脉段、动静脉交叉点和视盘边缘；DR集中于后极部和颞侧血管弓；NRC集中于视盘周围区域和黄斑神经节细胞复合体。Grad-CAM图在B扫描上呈现类别特异性激活模式，经两名资深视网膜专家定性审查确认临床合理性。
**4.6 基线比较**：RetinalVNG-Net显著优于全部十二种对比架构。仅眼底的RETFound微调模型AUC为0.901（ΔAUC = +0.043，p < 0.001），拼接融合为0.922（p = 0.003），加法融合为0.918（p = 0.001），仅元数据的随机森林为0.812。McNemar检验确认所有差异在Bonferroni校正后均显著。
**4.7 消融研究**：将跨模态注意力替换为拼接使AUC降低0.018（p = 0.009）；去除RBAG头使AUC降低0.008（p = 0.042）；增加OCT厚度图子流较仅B扫描带来ΔAUC = +0.019（p < 0.001）。各组件均具有独立且加性的贡献。
**4.8 RBAG评分分析**：外部测试集中RBAG与疾病严重程度显著相关：HR的Keith–Wagener–Barker分级r = 0.71，DR的ETDRS严重程度r = 0.68，NRC的MoCA认知评分r = ?0.63。多因素回归调整年龄、性别、收缩压、HbA1c和血清肌酐后，RBAG仍是三类疾病的独立预测因子（HR OR = 1.28，DR OR = 1.31，NRC OR = 1.41，均p < 0.001）。平均RBAG呈渐进梯度：健康对照+0.8年，HR +3.4年，DR +4.1年，NRC +6.7年。
**4.9 亚组与设备分层分析**：外部AUC在性别（男0.941，女0.947，p = 0.43）和年龄分层（<50岁0.938，50–65岁0.946，>65岁0.941，p = 0.61）间无显著差异。Center A内部验证AUC 0.959与Center B 0.954无显著差异（p = 0.38），证实CycleGAN域归一化有效。
**4.10 NRC标签敏感性分析**：去除与NRC定义直接对齐的层厚度图子流后，外部NRC AUC从0.924降至0.902（ΔAUC = ?0.022）；仅用神经科诊断重新定义NRC（不采用OCT变薄标准）并重新训练后，外部NRC AUC为0.883。这表明模型预测神经退行性临床诊断的能力独立于原始标签中使用的OCT阈值，排除了标签泄漏所致的性能假象。
**五、讨论与结论**
讨论部分指出，RBAG生物标志物参与了快速发展的视网膜生物学年龄研究领域。既往研究已证明深度学习衍生的视网膜年龄估计编码超越实足年龄的临床意义生物学信息，包括UK Biobank中视网膜年龄差与未来帕金森病发病风险的关联，以及视网膜衰老生物标志物预测长期认知衰退和痴呆事件。本研究RBAG与疾病严重程度的相关性大小与这些流行病学发现一致，且来源于单一统一模型在临床多中心队列中的同时推导，而非针对单一疾病的独立模型。RBAG提供与分类输出并行的单一连续值，可作为筛查环境中的分诊信号和监测指标，但其预测未来事件的纵向价值尚待确认。
在同时多疾病视网膜AI背景下，既往研究主要采用单疾病框架。一项涵盖阿尔茨海默病和帕金森病十项研究的meta分析报告汇总AUC为0.73（95% CI: 0.69–0.77），其中OCT模型最高AUC为0.762。RetinalVNG-Net对NRC的外部AUC为0.924，大幅超过该基准，且同时实现HR的0.963和DR的0.951，表明当融合架构足够表达以分离疾病特异性多模态表征时，同时多疾病风险分层可能不会对单疾病模型造成显著性能损失。
研究局限性包括：回顾性设计存在选择偏倚；三个中心均位于中国东北地区，泛化至其他种族和医疗环境受限；NRC类别将阿尔茨海默病和帕金森病合并为单类，可能掩盖疾病特异性模式；横断面设计无法评估预后性能；排除共病患者的单标签设计可能高估真实世界性能；训练数据以东亚裔为主；模型计算需求较高；未纳入OCT血管成像；临床效用和成本效益尚未评估。未来方向包括：在社区筛查项目中开展前瞻性验证、纵向随访评估RBAG对心血管事件和神经退行性疾病诊断的预测价值、开发轻量化模型、整合OCT血管成像、多民族外部验证以及卫生经济学建模。
结论部分翻译：视网膜编码了系统性血管和神经退行性病理的临床意义特征，而传统的单模态、单疾病AI框架仅部分利用了这些信息。RetinalVNG-Net证明，通过跨模态注意力融合眼底照相、双流OCT和临床元数据，能够同时实现三大类系统性疾病的风险分层，外部宏平均AUC-ROC达0.944。泛化能力已在单一地理区域内的独立成像平台上得到验证，而在更广泛异质患者群体中的泛化仍有待建立。RBAG生物标志物将该框架从分类诊断扩展至连续、探索性的加速视网膜衰老指数，该指数在本队列中与所有目标疾病的严重程度均独立相关。其跨设备和人群的稳健性需进一步验证后方可视为设备无关。实现该方法的临床潜力需要在全球代表性人群中进行前瞻性验证和正式的实施科学评估。本研究发现为统一多模态视网膜AI的生物学合理性、技术可行性及跨设备泛化性提供了证据，支持其作为系统性疾病相关视网膜改变风险分层平台的进一步研究，而早期预测性检测仍是未来纵向研究的目标。
